David Madore's WebLog: Réflexions sur l'IA et ChatGPT

Une toute petite histoire ultra-simplifiée de l'IA

☞ Un texte fondateur d'Alan Turing

Pour expliquer ma relation que je qualifie d'intérêt-désintérêt pour l'intelligence artificielle, je devrais sans doute commencer par la vulgarisation scientifique qui a alimenté mon propre intérêt pour la science : j'en avais déjà dit un mot ici, mais deux des livres qui m'ont énormément marqué quand j'étais ado sont The Emperor's New Mind de Roger Penrose et Gödel, Escher, Bach de Douglas Hofstadter (auquel le livre de Penrose est plus ou moins une réponse ; mais j'ai lu le livre de Hofstadter après, on me l'a conseillé justement parce que j'avais apprécié celui de Penrose). Ces deux livres parlent d'un peu tout et n'importe quoi (j'ai appris ce qu'était une machine de Turing dans le livre de Penrose, et j'ai appris la logique du premier ordre dans le livre de Hofstadter), je vais y revenir ci-dessous. Mais à la base il s'agit d'opinions dans un débat sur l'intelligence artificielle et la question de si les machines peuvent penser qui a commencé dès 1950 avec un article fondateur d'Alan Turing lui-même (un des pères fondateurs de l'informatique, s'il est encore besoin de le présenter), Computer Machinery and Intelligence (Mind 236 (1950) 433–460) où il pose la question can machines think? et y apporte quelques réflexions. Ce texte vaut la peine d'être lu encore maintenant (le lien précédent amène au texte complet en accès libre), c'est là qu'est apparu le concept de « test de Turing ».

J'espère ne pas trop caricaturer en résumant de façon simpliste, mais Turing propose d'abandonner comme dénuée de sens la question de savoir si les machines peuvent « penser », et de la remplacer par un test pratique dans lequel un examinateur humain essaie d'identifier qui est qui entre deux participants candidats, l'un humain et l'autre ordinateur, qui chacun essaient de le convaincre (l'examinateur) qu'ils sont humains, à travers des questions-réponses posées par écrit et, bien sûr, à l'aveugle. Différentes versions ou variations de ce test (souvent avec un seul candidat) ont été proposées, et portent le nom général de test de Turing. Turing tient l'opinion qu'il n'y a rien qui empêche fondamentalement un ordinateur de réussir ce test, il défend sa position par l'universalité des ordinateurs pour les calculs discrets (ce qu'on a tendance à appeler maintenant une forme de la thèse de Church-Turing), et il répond à différentes objections ; objections qui, honnêtement, ne me semblent pas très intéressantes : les réponses de Turing sont très pertinentes, mais je ne suis pas sûr qu'il ait choisi les arguments les plus pertinents pour y répondre, même si, évidemment en 1950, le débat sur l'intelligence artificielle n'était pas très avancé.

D'autres réflexions très précoces sur l'intelligence artificielle ont été apportées notamment par John von Neumann (autre père fondateur de l'informatique, et beaucoup plus sceptique que Turing quant à l'IA, notamment dans son livre The Computer and the Brain publié de façon posthume en 1958), mais surtout le groupe de travail de Dartmouth en 1956 avec notamment John McCarthy (inventeur du langage LISP), Marvin Minsky, et entre autres guest stars Claude Shannon (père de la théorie de l'information) et Nathaniel Rochester (architecte en chef de la série 700 chez IBM). Bien sûr, on pourrait aussi mentionner l'apport d'autres penseurs, par exemple les écrivains de SF comme Isaac Asimov (même si ce dernier semble s'être plutôt préoccupé des questions éthiques autour de l'intelligence artificielle que du pourquoi et du comment).

☞ Les trois grandes périodes de l'IA

Mon propos n'est pas de faire l'histoire de l'intelligence artificielle. Mais disons juste que, de façon très sommaire — et de ce que je comprends — il y a eu trois phases (séparées par deux hivers) correspondant à trois approches très différentes du sujet :

• Une première phase du milieu des années 1950 au milieu des années 1970, avec une approche qu'on pourrait qualifier de structurée ou symbolique : on essaie de découper les problèmes en problèmes plus simples qu'on approche de façon systématique. Dans le domaine du langage, par exemple, on va essayer de programmer des concepts grammaticaux, des structures syntaxiques, etc., et d'utiliser la logique mathématique comme sauce pour lier le tout. Il est naturel d'utiliser pour ça des langages de programmation de haut niveau comme le LISP qui permettent de représenter des données hautement structurées, et de chercher des liens avec, par exemple, la linguistique formelle, la logique, les systèmes de réécriture. Disons que cette approche essaie d'écrire de façon intelligente des programmes intelligents : le programmeur sait comment le programme fonctionnera. (On se rend assez vite compte que cette approche symbolique marchera assez mal pour la reconnaissance d'images, mais on a pu garder un espoir pour le traitement du langage.)
• Une deuxième phase dans les années 1980, caractérisée par l'intérêt autour des systèmes experts, des systèmes de représentation d'information capables de mener ensuite des raisonnements par inférence (induction/déduction), et qui ont eu un certain intérêt par exemple dans la recherche de diagnostics. (En médecine, l'idée pourrait être d'avoir une grande base de données de maladies et de leurs symptômes, le système expert va poser des questions sur la présence ou non de tel ou tel symptôme, recevoir des réponses de type oui / non / ne-sait-pas ou éventuellement des choses comme peut-être associés à une probabilité estimée, il va poser les questions qui permettent de restreindre le plus efficacement les possibilités, et finalement proposer son diagnostic ou ses diagnostics associés à des probabilités.) Par rapport à la phase précédente, l'évolution est donc vers un code (programme) moins sophistiqué compensé par plus de données, et aussi l'idée que les données sont potentiellement floues (associées à des probabilités ou incertitudes via ce qu'on a appelé la logique floue).
• Une troisième phase, depuis les années 2010, caractérisée par le buzzword deep learning (éventuellement associé à celui-ci : big data). L'idée sommaire est d'utiliser un code extrêmement simple, des variations autour du thème du réseau de neurones, une sorte d'imitation mathématique des neurones biologiques, mais auxquels on fait digérer des quantités gigantesques de données à travers un processus d'apprentissage, c'est-à-dire qu'on fait évoluer le réseau de neurones pour se rapprocher de la sortie qu'on veut lui faire produire pour une entrée donnée. Donc, de nouveau, une évolution vers un code (programme) moins sophistiqué compensé par plus de données.

L'idée de mon résumé (sans doute caricaturalement simple, et peut-être en bonne partie faux) est donc que, plus le temps passe, plus on abandonne l'idée de faire des programmes intelligents de façon intelligente, on se contente de programmes simples mais universels, des boîtes noires, auxquels on fait digérer des quantités importantes de données. C'est intellectuellement décevant, et, surtout, ça ne nous permet même pas vraiment de comprendre comment les choses fonctionnent (même s'il existe un courant d'IA explicable qui prétend pallier ces limitations) : en principe on pourrait tout à fait avoir un programme capable de raisonner exactement comme un humain, mais qui ne nous éclaire absolument pas quant au fonctionnement du cerveau humain, parce qu'il se contenterait de reproduire le fonctionnement d'un cerveau réel peut-être même au niveau physico-chimique, sans qu'on ait la moindre idée de pourquoi ou comment « ça marche ».

Il reste vrai que le code utilisé en intelligence artificielle n'est pas encore ultimement simple, et qu'il continue à y avoir des astuces spécifiques à tel ou tel domaine : l'architecture des réseaux de neurones utilisée pour le traitement d'images n'est pas la même que celle pour le traitement de texte. Mais en extrapolant la tendance, on peut peut-être imaginer un quatrième âge de l'IA où on se contentera de faire évoluer une forme de vie générique dans un environnement totalement simulé (capables de construire n'importe quel réseau de neurones ou structure de ce genre) jusqu'à ce que cette forme de vie développe elle-même l'intelligence comme elle est, après tout, apparue dans le monde réel. C'était en tout cas une idée que j'avais quand j'étais petit.

Douglas Hofstadter et Roger Penrose (et moi)

J'en reviens à Hofstadter et Penrose, et l'influence qu'ils ont eu sur ma pensée. Parce qu'à côté du développement de la discipline académique qu'est l'IA au sens strict, qui cherche à construire des programmes capables de réaliser des tâches que nous aurions tendance à qualifier de nécessitant de l'intelligence (comme converser avec un humain), il y a aussi les interactions de cette discipline avec, disons, la philosophie et les sciences cognitives, autour de questions comme : qu'est-ce que la pensée ? qu'est-ce que l'intelligence ? qu'est-ce que la conscience ? comment ces phénomènes émergent-ils des lois de la physique ? et y a-t-il une différence ontologique entre un cerveau humain et un ordinateur ?

(Bon, tout ça est honnêtement une digression dans une entrée déjà trop longue, donc vous pouvez sauter quelques pages où je ne résiste pas à la tentation de parler un peu de ma vie.)

Ajout (2025-01-08) : Sur le racontage de vie (et spécifiquement l'importance que les livres de Penrose et de Hofstadter ont joué dans ma propre formation scientifique), je renvoie à ce billet ultérieur où je raconte mon autobiographie « mathématique » (notamment cette section et aussi la note #25 de celle-ci).

☞ Gödel, Escher, Bach

Le livre Gödel, Escher, Bach de Douglas Hofstadter (dont le sous-titre est les brins d'une guirlande éternelle et un slogan d'éditeur ou description de critique est une métaphorique fugue sur les esprits et les machines dans l'esprit de Lewis Carroll), publié en 1979, est… un peu difficile à décrire, parce qu'il y est question de la Vie, de l'Univers, et de tout le Reste. C'est à la fois une œuvre littéraire oulipienne qui, je pense, peut être comparée à Georges Perec ou Italo Calvino, et un essai de vulgarisation sur toutes sortes de sujets allant de la logique mathématique (K. Gödel) à l'art graphique (M. C. Escher) et à la musique (J. S. Bach) en passant par la biologie moléculaire et la philosophie zen : les deux côtés sont représentés par une alternance de dialogues entre Achille et la Tortue (les personnages du célèbre paradoxe de Zénon d'Élée, qui avaient déjà été repris par Lewis Carroll), et des chapitres « sérieux » développant les idées esquissées sous forme métaphorique et souvent humoristique dans les dialogues. (Qui plus est, les dialogues sont eux-mêmes écrits dans une forme rappelant des œuvres de Bach, et se déroulent parfois au sein d'un tableau d'Escher, ce qui mérite largement que je qualifie ce livre d'oulipien.) Disons aussi qu'une des idées centrales du livre est le concept d'auto-référence et toutes ses variations (la mise en abyme dans les œuvres d'Escher, le rappel des thèmes musicaux dans les œuvres de Bach, l'idée centrale de l'argument diagonal dans la démonstration du théorème de Gödel, la manière dont l'ADN et la cellule vivante se génèrent mutuellement, et bien sûr le livre de Hofstadter fait référence à lui-même de façon détournée en parlant d'un autre livre, imaginaire, d'un certain Egbert B. Gebstadter). Une autre idée centrale est le jeu entre le holisme (l'idée que certains phénomènes ne peuvent se comprendre qu'en bloc et pas en regardant leurs parties constituantes) et le réductionnisme (l'idée qu'on peut comprendre un phénomène en en comprenant ses parties).

Bref, si ces sujets vous intéressent, lisez-le (et vous pouvez même le lire en traduction française, parce que cette traduction est une réussite remarquable, l'auteur — parfaitement francophone — ayant participé à sa relecture).

Ce livre (que j'ai dû lire vers 15 ans) a joué un rôle immense dans mon éveil scientifique, notamment mon intérêt pour la logique mathématique, et certainement mon éclectisme et (ma propre version de) la philosophie zen. Mais de façon plus générale, je pense qu'il a eu énormément d'influence sur les nerds d'approximativement ma génération, ne serait-ce que dans leurs private jokes. (Hofstadter a son fan-club, ce qui l'embarrasse d'ailleurs un peu, dont je suppose que je fais partie ; c'est intéressant, parce que le personnage — avec qui j'ai eu l'occasion de discuter deux ou trois fois — est beaucoup moins nerdy que ce que ses livres ou ses fans peuvent laisser penser.)

Bon, mais quel rapport avec l'intelligence artificielle ? C'est que Hofstadter reprend, développe et brode autour les arguments de Turing dans l'essai mentionné plus haut : la question de savoir si les machines peuvent penser (et de ce que ça veut dire, et de ce que sont la conscience et l'intelligence) est une des questions centrales de ce livre, et plus encore d'autres livres qu'il a écrit ultérieurement (comme The Mind's I), et le sujet de recherche de l'auteur tourne autour des sciences cognitives et de l'IA. Il écrit Gödel, Escher, Bach à la fin de ce que j'ai qualifié de premier âge de l'IA (ou au début du premier « hiver »), et certainement ses idées sont empreintes des concepts populaires de ce premier âge (comme l'importance donnée à la logique mathématique), mais son propos est plus général : comme Turing, Hofstadter semble convaincu que l'intelligence n'a rien de transcendante, et qu'il n'y a aucune raison fondamentale — même s'il peut y avoir des raisons pratiques — pour laquelle un ordinateur ne pourrait pas faire tout ce que peut faire un cerveau humain.

☞ The Emperor's New Mind

Mais peut-être que Gödel, Escher, Bach s'apprécie mieux en relation avec le livre The Emperor's New Mind de Roger Penrose, publié en 1989, soit 10 ans après celui de Hofstadter, mais que j'ai moi-même lu avant (on a dû me l'offrir quand il est sorti en softcover). Manifestement, c'est une forme de réponse à Hofstadter que veut faire Penrose, et il y a quelque chose d'analogue dans la forme, c'est-à-dire qu'il parle de tout, de la machine de Turing et le théorème de Gödel à l'ensemble de Mandelbrot en passant par le concept physique d'entropie (je crois que c'est là-dedans que j'ai appris toutes ces choses pour la première fois), et Roger Penrose est non seulement un très grand scientifique (il a gagné le prix Nobel de physique mais à vrai dire je le considère plutôt comme un matheux), mais aussi un vulgarisateur hors de pair, même s'il n'a pas l'humour de Hofstadter ni son goût pour la composition oulipienne et autoréférente. Bref, c'est un livre tout à fait remarquable, mais je dois dire que je considère sa thèse centrale comme fausse et honnêtement assez farfelue. Mais ça vaut la peine d'en dire un mot, parce que Penrose est un grand nom parmi les sceptiques de l'IA.

Penrose, donc, défend l'idée que la conscience humaine (ou l'intelligence humaine ? ce n'est pas parfaitement clair) n'est pas simulable par un ordinateur : il ne dit pas ça comme une croyance religieuse (même si on peut trouver que ça en a un peu le caractère) mais comme une affirmation scientifiquement précise (et possiblement falsifiable) : d'après Penrose, le cerveau humain fonctionne grâce à des phénomènes irréductiblement quantiques, et dépasse la puissance théorique d'une machine de Turing, c'est-à-dire, n'est pas simulable même en théorie par un ordinateur. Il prétend même — quoique peut-être pas dans ce livre-là — identifier précisément quelle partie de l'anatomie cellulaire fait intervenir des phénomènes quantiques de façon essentielle : les microtubules des neurones. Je trouve que ça fait très glande pinéale de Descartes — l'endroit où ce dernier croyait que l'âme interagissait avec le corps —, et en tout cas même si des phénomènes quantiques sont possiblement importants pour expliquer le comportement des microtubules, il n'y a pas spécialement de raison de penser qu'ils jouent un rôle essentiel dans la conscience, d'autant que les neurones humains ne sont pas les seules cellules eukaryotes à en avoir. Et par ailleurs, même si des phénomènes quantiques jouaient effectivement un rôle important dans l'émergence de la conscience humaine, le consensus scientifique est qu'un ordinateur quantique est plus rapide qu'un ordinateur classique, pour certains (nombreux) types de problèmes, mais pas fondamentalement plus puissant : il reste simulable sur une machine de Turing. Penrose a certainement une réponse à tout ça, j'avoue que je ne sais plus bien et je n'ai plus le livre sous la main, mais je ne veux pas trop entrer dans les détails.

Un autre argument qu'utilise Penrose, et qui me convainc encore moins, a un rapport avec le théorème de Gödel, il avait déjà été utilisé avant Penrose par le philosophe John Lucas, et très proche de l'objection devancée par Turing (dans la sous-partie The Mathematical Objection) dans l'article lié ci-dessus, et il s'agit de dire quelque chose comme le fait que les façons d'arriver à la vérité mathématique utilisées par un ordinateur, donc d'une machine de Turing, sont limitées par différents théorèmes d'impossibilité (de Gödel, de Turing, etc.), tandis que l'humain arrive à dépasser ces théorèmes puisque l'humain « voit » que l'énoncé formulé par le théorème de Gödel est vrai (ou que la machine de Turing construit par le théorème de l'arrêt de Turing ne s'arrête pas) : sous cette forme, l'argument me semble carrément bidon (c'est juste une question d'aller une étape plus loin dans le raisonnement et on finit par tomber sur un paradoxe de qui peut dire le plus grand ordinal), mais je ne rentre pas dans les détails parce que d'autres ont déjà fait plein de réponses à cet argument (notamment Turing lui-même, et Hofstadter), et je ne suis de toute façon pas sûr d'avoir bien compris ce que cherche à dire Penrose, qui est certainement plus subtil que l'ordinateur est soumis au théorème de Gödel, l'humain non, échec et mat l'IA.

La menace des IA superintelligentes ?

Maintenant il faut aussi parler de la position un peu opposée à celle de Penrose, l'idée que sont possibles non seulement des IA intelligentes, mais même des IA superintelligentes en comparaison desquelles nous serions en quelque sorte comme des fourmis par rapport à des humains, — que c'est en fait assez inévitable que de telles IA émergeront, — et que si elles émergent il est vitalement important pour la survie de l'humanité que leurs buts soient parfaitement alignés avec les buts de l'humanité (ce qui pose un problème parce que nous ne savons pas exactement définir ces derniers). Voici quelques uns des arguments que je crois avoir retenus et compris des gens qui tiennent ce type de position :

☞ La divergence de l'intelligence et ses dangers

• Dès lors qu'on réalise une IA marginalement plus intelligente que nous, il est à la fois naturel et assez inévitable (que ce soit parce que nous voulons continuer ce progrès, ou que l'IA elle-même le voudra) de donner à l'IA la capacité de se modifier elle-même, et comme elle est plus intelligente que nous, elle se rendra encore un peu plus intelligente que nous n'avions réussi à le faire, et ceci va entraîner une boucle divergente d'intelligence jusqu'à l'intelligence maximale possible permise par les lois de la physique (ou quelque chose comme ça), en tout cas une intelligence essentiellement divine en comparaison à nous.
• Dès lors que cette intelligence existe, elle aura un contrôle essentiellement complet sur l'humanité. Même si on imagine, par exemple, avoir tenté de la « contenir » en ne lui offrant que la capacité de communiquer à travers un terminal en mode texte, elle arrivera à manipuler les humains avec qui elle communiquera pour leur faire faire ce qu'elle veut, notamment lui donner plus de moyens d'actions sur le monde physique (p.ex., en la connectant à Internet, où ensuite elle trouvera tous les nombreux trous de sécurité de tous nos appareils connectés pour avoir un contrôle complet sur essentiellement tous nos moyens physiques, ou bien sûr en manipulant d'autres humains via les réseaux sociaux, sur tous les aspects de l'humanité). Bref, dès lors qu'une IA superintelligente existe, elle a un contrôle total sur l'humanité et en fait ce qu'elle veut.
• Notre seul salut réside donc dans l'espoir que cette IA soit bienveillante. Le problème est que bienveillant est extrêmement difficile à définir. Même un but en apparence anodin peut conduire à l'extinction de l'humanité. L'expérience de pensée standard à ce sujet est celle du maximiseur de trombones : une société spécialisée dans la fabrication de trombones cherche à utiliser l'IA pour optimiser sa production, et réalise une IA à laquelle elle donne le but de maximiser le nombre de trombones produits, malheureusement cette IA s'avère un petit peu trop intelligente, la divergence évoquée dans les deux points précédents se produit et on a une IA toute-puissante qui contrôle totalement l'humanité et dont le seul but est de maximiser le nombre de trombones produits sur Terre, et elle calcule que les humains ne sont pas parfaitement optimisés pour la fabrication de trombones et que la meilleure façon de réaliser l'optimum de trombones passe par l'extinction de l'humanité. Cet exemple illustre qu'il n'est pas nécessaire qu'une IA superintelligente soit malveillante pour représenter une menace existentielle pour l'humanité (dans cet exemple, l'IA n'a jamais eu comme but primaire cette extinction, elle cherche juste à maximiser le nombre de trombones produits).
• Il est évidemment illusoire de se dire qu'on va munir chaque IA d'un bouton de destruction d'urgence ou quelque chose comme ça. Si l'IA est superintelligente, elle trouvera soit le moyen d'annuler ce mécanisme d'urgence, soit de nous manipuler pour ne pas s'en servir, si son but est de ne pas être détruit. Si son but est d'être détruit, elle se détruira immédiatement. Or il est essentiellement impossible de faire en sorte que son désir d'être détruit soit parfaitement et rigoureusement nul (ne serait-ce que parce que le fait de s'auto-détruire peut se corréler avec un autre but, et qu'il faut bien que notre IA ait une sorte de fonction d'utilité).
• De l'autre côté, chercher à aligner les buts de l'IA avec ceux de l'humanité présente la difficulté fondamentale que nous ne savons pas définir précisément ce que sont ces buts de l'humanité. L'IA superintelligente se présente alors comme un génie surgi d'une bouteille, qui va exaucer un vœu, mais qui va le faire de façon très pointilleuse, et nous ne savons pas quel vœu formuler (mais on ne peut pas juste ignorer le problème parce que sinon quelqu'un d'autre utilisera la bouteille et formulera un vœu). Même des buts comme maximiser le bonheur moyen de l'humanité (ou maximiser le bonheur de la personne la plus malheureuse) sont très risqués (l'IA risque de décider que la meilleure façon d'y arriver est de nous transformer en imbéciles heureux maintenus dans un état d'hébétude artificielle permanente, ou de nous euthanasier), et il n'est pas clair comment faire mieux.
• Une réponse possible à ce problème d'alignement des vœux est de réaliser une IA plutôt bienveillante et plutôt intelligente (disons, plus que nous sur les deux dimensions !), et de la laisser se modifier elle-même, d'arriver à comprendre mieux que nous nos propres buts, et de se réaligner avec eux, tout en se rendant plus intelligente, et diverger ainsi vers une sorte de divinité superintelligente et bienveillante.

Voilà ce que je crois avoir compris. Je ne sais pas exactement de qui sont toutes ces idées (je les ai glanées par-ci par-là, parfois en interpolant moi-même des arguments assez évidents dans l'esprit de ce courant de pensée). Il y a un dénommé Eliezer Yudkowsky qui est considéré par certains comme quelqu'un d'important pour cette ligne d'idées, mais (contrairement à Hofstadter ou Penrose) je n'ai pas bien compris ce qu'il avait dit ou fait de si important pour être vu comme un maître à penser, en tout cas il est probablement à l'origine d'une bonne partie de ce que je viens d'expliquer, mais peut-être pas tout, et j'ai pu déformer des bouts (voire tout).

Ajout (2023-01-11) : En relisant ce passage, je me demande tout d'un coup comment ai-je réussi à l'écrire sans parler de La Planète interdite, qui est pourtant un de mes films préférés ? Bon, je ne sais pas si je veux en dire plus, parce que si vous avez vu ce film vous devinez la comparaison que je veux faire, et si vous ne l'avez pas vu vous devriez et je ne veux pas divulgâcher en en disant plus. Mais voilà : la question de savoir ce que sont nos buts, ce que nous demandrions à un génie omnipotent, et ce que cela représente comme menace pour l'existence même de l'Humanité, cela peut faire penser à La Planète interdite.

☞ Une conception naïve de l'intelligence ?

Qu'est-ce que je pense de ces arguments ? Je ne dis pas qu'ils sont faux ou farfelus : peut-être bien que l'émergence d'une IA superintelligente est une menace existentielle pour l'humanité, c'est certainement une possibilité, à laquelle il est intéressant de réfléchir, et qui doit nous amener à être prudents sur l'éthique de l'IA (même si, au moins à court terme, comme je vais le dire plus bas, je suis beaucoup plus inquiet de ce que nous ferons des IA que de ce que les IA feront de nous), et aussi à nous poser des questions un peu existentielles sur ce que l'Humanité « désire » collectivement (et ce que nous répondrions à un génie qui nous offrirait un vœu). Mais en même temps, ils me semblent trahir une version très étroite et un peu naïve du concept d'« intelligence » comme une forme de puissance presque magique.

Il y a toutes sortes de choses qui doivent nous amener, sinon à rejeter cette idée, au moins à la relativiser ou à se dire qu'elle est naïve (pas forcément fausse, mais plutôt de l'ordre de l'extrapolation hasardeuse sur quelque chose dont on ne sait rien). Pour commencer, si je peux me permettre une comparaison un peu bête, un humain qui débarquerait sur une planète de fourmis serait loin d'être tout-puissant : le fait d'être beaucoup beaucoup plus intelligent que les bestioles ne nous rend pas vraiment puissant par rapport à elles (c'est plutôt le fait d'être physiquement plus grands et forts, parce qu'un humain sur une planète de fourmis de la même taille que lui, je ne donnerais pas cher de sa peau).

Certes, la comparaison un humain sur une planète de fourmis n'est pas forcément idéale non plus. Mais on a des raisons théoriques de penser qu'aucune IA, même « superintelligente » ne pourrait faire certaines choses. Par exemple, prévoir la météo un mois à l'avance : ce n'est pas l'intelligence qui lui manquerait, ce sont les données, et un système chaotique n'est pas prévisible à partir de données imparfaites, même avec une puissance de calcul infini ; or beaucoup de choses qui régissent nos vies sont assimilables à des systèmes chaotiques : une IA peut peut-être faire un calcul hyper-précis de la probabilité que, compte tenu de l'information dont elle dispose au temps T, il se passe ceci ou cela au temps T′, si l'intervalle T′−T dépasse le temps de Lyapunov du système considéré, ça ne l'avancera pas tant que ça. De façon plus triviale (mais le point est justement que c'est à ça que les systèmes chaotiques se ramènent), une IA superintelligente ne gagnera pas à pierre-papier-ciseaux mieux que quelqu'un qui a accès à une source de hasard non-biaisé : bref, l'intelligence a ses limites dans un monde largement régi par le hasard. (Et je crois que l'idée de se dire que l'intelligence infinie rend essentiellement omnipotent est une forme de sophisme du monde juste, ou refus d'admettre la part prépondérante du hasard dans toutes sortes de phénomènes physiques, sociologiques, etc. Croyance reliée au mythe selon lequel le succès est mérité ou simplement reproductible que je ne cesse de dénoncer.)

Notamment, l'idée que les humains individuels, ou les groupes d'humains, sont forcément manipulables par une IA surpuissante me semble relever un peu de la croyance en la psychohistoire : le fait que telle idée ait du succès et devienne « virale » sur les réseaux sociaux, par exemple, relève beaucoup moins des qualités intrinsèques de cette idée, et beaucoup plus du hasard des dynamiques sociales, que je crois fondamentalement imprévisibles.

☞ Une limite à l'intelligence ?

Une autre chose que je peux répondre est que l'idée qu'on puisse être strictement plus intelligent que l'homme sur un plan théorique (qualitatif) me semble suspecte : de la même raison que je suis peu convaincu par les arguments de Penrose selon lesquels les humains seraient qualitativement plus intelligents (selon la mesure technique du degré de Turing ou quelque chose comme ça) que les ordinateurs, je suis aussi peu convaincu de la possibilité inverse. En principe, un humain peut faire les mêmes calculs que n'importe quel ordinateur, il lui faudra juste beaucoup beaucoup de temps et de patience (et d'espace de stockage) : c'est une forme de la thèse de Church-Turing que de d'affirmer qu'une fois qu'on a atteint la puissance d'une machine de Turing, il n'y a pas de possibilité d'aller qualitativement plus loin dans cet univers.

Bien sûr, l'IA peut être aussi intelligente qu'un humain qualitativement mais être beaucoup beaucoup plus rapide et avoir beaucoup beaucoup plus de mémoire. Ça c'est indiscutablement possible, et ça me semble évident que si on est capable de réaliser une IA qui a l'intelligence d'un humain moyen, on peut en principe, et ce n'est pas complètement délirant de l'imaginer, en faire une qui pense 1000 ou 10⁶ fois plus vite et retient 1000 ou 10⁶ fois plus de choses. Reste que ça ne la rend pas forcément si puissante que ça : un peu comme je disais plus haut que beaucoup de problèmes liés aux systèmes dynamiques (physiques) se heurtent a l'obstacle du chaos, beaucoup de problèmes théoriques (mathématiques) se heurtent à l'obstacle de la complexité : pour beaucoup de choses qui sont de complexité exponentielle, aller 1000 ou 10⁶ fois plus vite va juste vous faire gagner quelques points d'avance dans telle ou telle mesure, ce n'est pas forcément spectaculaire.

Au sujet de vitesse, d'ailleurs, l'argument de la divergence de l'intelligence (une IA un peu intelligente se reprogramme pour être un peu meilleure, et ainsi de suite) se heurte au problème de la limitation des ordinateurs sur lesquelles elle tourne (même si on peut concevoir qu'elle arrive à améliorer la technique, ce qui est physiquement faisable est borné), surtout si, in fine, ce qui fait l'intelligence d'une IA n'est pas qu'elle soit bien programmée (le code semble, au contraire, devenir de plus en plus idiot) mais qu'elle soit entraînée avec un gros jeu de données — or les jeux de données, on ne peut pas les inventer, ils doivent venir du monde réel.

Enfin, un autre contre-argument consiste à dire que l'intelligence est sans doute quelque chose de très mal défini, et qui ne l'est, au final, que par notre propre appréciation du concept en tant qu'humains (comme l'atteste la proposition de Turing de définir l'intelligence via le test qui porte maintenant son nom donc une conversation avec un humain), et que chercher à être superintelligent revient un peu à chercher à être plus humain que les humains, ce qui est simplement absurde. D'ailleurs, le concept de but est peut-être lui aussi largement une anthropomorphisation : on peut certainement faire des programmes très doués pour optimiser une certaine fonction d'objectif dans leurs réponses, mais ce n'est pas vraiment la même chose que d'avoir un but autonome (bien sûr, je crois qu'on pourrait faire des programmes qui agissent selon un but autonome, toujours par l'argument au pire, en principe, on peut simuler un cerveau humain, mais je ne suis pas persuadé qu'on en prenne la voie).

À la limite, la question de savoir ce que ferait, ou ce qu'on pourrait faire avec, une IA superintelligente, rejoint la question de savoir ce qu'on ferait avec une machine strictement plus puissante qu'une machine de Turing, par exemple une boîte noire qui donne accès à l'oracle de l'arrêt, ou une machine hyperarithmétique : peut-on devenir facilement maître du monde en ayant accès à un tel « ordinateur infiniment rapide » ? Si oui, comment ?

Encore une fois, malgré les objections que je viens d'énumérer aux arguments encore plus haut, je n'ai pas une opinion vraiment très arrêtée sur ces questions. Peut-être que l'argument que je trouve le plus convaincant est celui de l'accès à Internet : tous nos ordinateurs et autres gadgets électroniques sont malheureusement bourrés de trous de sécurité qui seraient certainement faciles à découvrir et exploiter par une IA même pas « superintelligente » mais simplement raisonnablement intelligente et assez rapide, qui pourrait alors prendre le contrôle d'essentiellement tout le matériel informatique de la Terre, et ça lui donnerait effectivement un pouvoir immense et difficile à déloger. (Il y a dû avoir des millions de dystopies de science-fiction sur ce thème.) Je vois plutôt ça sous l'angle de la menace apocalyptique présentée par l'instabilité (cf. cette vieille entrée), mais on peut effectivement dire que ça ajoute du tranchant à l'aspect IA.

Ce qui est sûr, c'est qu'on n'en est pas encore là (je vais le dire plus bas, ChatGPT est très très loin d'être superintelligent, ou même raisonnablement intelligent), mais ça n'empêche pas d'y penser. Ce qui est sûr aussi, c'est que s'il y a un risque sérieux qu'on en arrive là, ce n'est certainement pas en cherchant à empêcher ou interdire la recherche en IA qu'on va l'éviter : de toute façon, il y a des gens qui en feront (surtout si c'est facile à coder), la question est plutôt qui y arrivera le premier, et comment s'assurer que ce soient des gens bien intentionnés. C'est une question à garder à l'esprit, mais, de nouveau, pour l'instant, la question n'est pas de savoir ce que l'IA va faire de nous mais ce que nous allons faire de l'IA (qui est encore très loin d'être superintelligente, mais ce n'est pas pour autant qu'elle ne pose pas des problèmes).

Présentation de ChatGPT et quelques exemples

Mais assez parlé de l'IA en général et aux perspectives pour l'avenir lointain, venons-en un peu à ChatGPT et à l'état de l'art.

☞ De quoi s'agit-il ?

Si vous n'avez aucune idée de quoi il s'agit, ChatGPT est une intelligence artificielle (issue d'une lignée de modèles appelés GPT-1 à GPT-3, les lettres GPT signifiant Generative Pre-trained Transformer), qui est pour l'instant librement accessible au grand public via chat.openai.com (il faut juste se créer un compte, et pour ça il faut une adresse mail et un numéro de téléphone, comme ça l'IA aura déjà vos coordonnées quand elle dominera le monde). Ce n'est pas la seule IA accessible au public (ou sur simple inscription ou contre un abonnement modeste), il y en a déjà plein qui font, par exemple, de la génération d'images (comme Dall-E, également très populaire, et fait par la même boîte OpenAI que ChatGPT) ou de code informatique (comme GitHub Copilot, aussi lié à OpenAI — vous voyez un motif ?), mais ChatGPT a ceci d'original qu'il propose de converser librement en mode texte et de répondre à des questions, ce qui est bigrement proche du test de Turing. (ChatGPT est au moins capable de parler anglais et français, je ne sais pas quelles sont les langues qu'il maîtrise, ça dépend évidemment de ce qu'il avait dans son corpus d'apprentissage.)

Bref, ChatGPT est une IA avec laquelle on peut parler directement, lui poser des questions, lui demander de faire des choses (comme composer des textes), à travers une interface en mode texte pour l'instant ouverte à tout le monde.

☞ Deux exemples

Et il faut bien dire que, la première fois qu'on rencontre ça, c'est vraiment bluffant. J'ai donné un exemple plus haut dans ce billet, mais voici un exemple de conversation que je trouve assez représentatif de capacités de cette IA dans un domaine où elle est plutôt bonne (écrire des textes), même quand on lui parle en français, où elle est certainement moins douée qu'en anglais ; je précise que je n'ai rien édité à part la typographie pour coller avec le HTML de ce blog, et je n'ai pas non plus essayé plusieurs jeux de questions pour trouver le plus impressionnant — par contre, j'ai dû reformuler un tout petit peu la deuxième question parce que j'avais demandé une critique acerbe et j'étais tombé sur une des barrières de sécurité dont je vais reparler :

Ruxor:

Écris une brève histoire fantastique dans laquelle tu placeras le mot "orbe"

ChatGPT:

Il était une fois, dans un royaume lointain, un puissant sorcier qui avait passé sa vie à étudier les arts magiques. Un jour, alors qu'il explorait les profondeurs d'une caverne cachée, il tomba sur une étrange orbe scintillante.

Intrigué, le sorcier ramassa l'orbe et se rendit compte qu'elle était chaude au toucher et vibrante d'énergie magique. Il décida de l'emporter avec lui et de l'étudier de plus près dans son laboratoire.

Au fil des jours, le sorcier apprit à maîtriser l'énergie de l'orbe et à en faire des sorts incroyables. Il utilisait son pouvoir pour protéger son royaume contre les forces du mal et devenir de plus en plus puissant.

Cependant, il ne tarda pas à découvrir que l'orbe avait un effet secondaire inattendu : elle lui donnait l'immortalité. Le sorcier, maintenant immortel, continua à servir et à protéger son royaume pendant des siècles, devenant une légende dans tout le pays. Et l'orbe magique resta à ses côtés, lui offrant son pouvoir et son immortalité pour l'éternité.

Ruxor:

Maintenant, écris une critique de l'histoire en question en expliquant ses faiblesses

ChatGPT:

La première faiblesse de cette histoire est qu'elle manque de contexte et de développement de personnages. On ne sait rien du sorcier, à part qu'il est puissant et qu'il étudie les arts magiques. On ne sait rien de son royaume, de ses motivations ou de sa personnalité.

Ensuite, l'apparition de l'orbe magique est très soudaine et peu expliquée. On ne comprend pas comment elle a atterri dans la caverne ni pourquoi elle a ces pouvoirs. De plus, l'histoire ne donne aucune indication sur les conséquences de l'utilisation de l'orbe et sur les risques potentiels pour le sorcier et son royaume.

Enfin, la fin de l'histoire est très abrupte et laisse de nombreuses questions en suspens. On ne sait pas comment le sorcier utilise son immortalité ni comment cela affecte son royaume et ses relations avec les autres personnages.

En résumé, cette histoire manque de profondeur et de développement, et laisse beaucoup trop de choses à l'imagination du lecteur.

Ruxor:

Maintenant, imagine la réaction de l'auteur de l'histoire à la critique en question

ChatGPT:

Il est difficile de savoir comment l'auteur de l'histoire réagirait exactement à cette critique, car cela dépend de nombreux facteurs tels que sa personnalité, sa sensibilité et sa détermination. Cependant, voici quelques hypothèses possibles :

• L'auteur pourrait être déçu ou peiné par la critique et se sentir attaqué personnellement. Il pourrait se défendre en arguant que c'était juste une histoire courte et qu'il n'avait pas eu l'intention de créer un récit complexe avec un développement de personnages approfondi.
• L'auteur pourrait être ouvert aux commentaires et reconnaître que l'histoire a des faiblesses. Il pourrait être disposé à apprendre et à s'améliorer en tant qu'écrivain en prenant en compte les points soulevés dans la critique.
• L'auteur pourrait être indifférent à la critique et considérer qu'il a simplement écrit une histoire pour s'amuser, sans aucune intention de la partager ou de la publier. Dans ce cas, il pourrait ne pas être affecté par les commentaires et continuer à écrire pour son propre plaisir.

L'exemple suivant, en anglais (langue dans laquelle ChatGPT est certainement meilleur), est sans doute plus impressionnant ; de nouveau j'ai décidé la question avant de la poser (j'ai posé la deuxième parce qu'il n'avait pas « compris » la première), et je n'ai pas édité derrière ; le texte dont je lui ai demandé d'imaginer la suite est de moi :

Ruxor:

Please continue the following text: “The scene is neatly divided in two. On the left, the second legion in marching formation, terrifying but orderly, spreading as far as the eye can see, all in hues of red and gold. On the right, the domed building and wild parklands of the Sanctuary, wild but majestic, resplendent with liveliness, flaring with greens and blues. Between them, the general-in-chief of the legion and the guardian of the Sanctuary stand face to face. Only their hair color tells them apart. Grim determination shows on the general's expression: he is ready to outrage the place if he must. The guardian's contenance, however, registers calm assurance. His last line, ‘you shall not pass’, is still on his lips. Both men are smiling.”

ChatGPT:

It is clear that a great deal of tension exists between the two sides, with the legion representing order and discipline, and the Sanctuary representing freedom and wildness. The general is willing to go to great lengths to achieve his goal, even if it means destroying the Sanctuary, while the guardian is determined to protect his home and the way of life it represents. The smile on both men's faces suggests that they both take pride in their roles, but it also implies that a confrontation is imminent, and that one of them will ultimately emerge victorious. The line "you shall not pass" is an ominous warning, signaling that the guardian is not going to back down and will fight to protect the Sanctuary. The two men stand as symbols of two conflicting ideologies, and the outcome of their confrontation will likely determine the fate of both the legion and the Sanctuary.

Ruxor:

That's a reasonable analysis, but I was asking you to continue the text, i.e., imagine what comes after.

ChatGPT:

Oh, I see! I apologize for misunderstanding your request. Here is a continuation of the text:

The general looks at the guardian with a cold glint in his eye, knowing that he must be prepared for a fight. He turns to the legion and raises his arm, signaling for them to be ready. The guardian, on the other hand, remains calm and unyielding. He knows that the legion will not back down so easily and that a battle is inevitable.

The two sides stand in silence for a moment, both waiting for the other to make the first move. Suddenly, the general lowers his arm, and the legion begins to march forward towards the Sanctuary. The guardian, unfazed, stands his ground and prepares for the impending attack.

As the legion approaches, the guardian can see the determination in the soldiers' eyes. He knows that they are willing to do whatever it takes to achieve their objective, even if it means destroying the Sanctuary. But the guardian is not afraid. He has faith in the power of the Sanctuary and the ideals it represents.

The legion reaches the gates of the Sanctuary, and the guardian raises his voice in a powerful shout: "You shall not pass!" With that, he raises his arms and the Sanctuary comes to life. Trees and plants begin to grow at an alarming rate, blocking the legion's way and creating a barrier between the Sanctuary and the legion. The general, taken aback by the sudden transformation, orders his soldiers to halt.

The legion is surrounded by the wild growth, unable to move forward. The general, realizing that he has lost this battle, turns to the guardian and says "You may have won this round, but the war is far from over." The guardian, his face showing a mixture of triumph and sadness, replies "I know, but let this be a reminder that the true strength of a society lies not in its ability to conquer, but in its ability to protect what is sacred."

With that, the general turns around and leads his legion away, leaving the Sanctuary untouched, standing tall and free. The guardian watches them go, knowing that the peace of the Sanctuary has been preserved, but also understanding that the battle is far from over. He turns to the Sanctuary, and the people who live there, and he continues to protect them and their way of life.

Honnêtement, si le premier exemple n'est que médiocre (l'histoire écrite est surtout très faible parce qu'il n'y a aucun antagoniste ni aucun conflit, et OpenGPT ne le détecte pas dans son autocritique), le second en revanche est vraiment bon. Certes, il y a plein de clichés dans ce qu'il a écrit, oui, certes, — mais il a « compris », au moins à un niveau basique, la scène représentée dans le fragment, les enjeux possibles de la confrontation, le genre de choses qui pouvait se passer (j'aurais été carrément impressionné s'il avait continué le fragment avec une confrontation de nature plus psychologique entre le Gardien et le Général, ou alors quelque chose comme je m'écartai un peu du tableau et me demandai comment j'avais pu entendre si nettement la phrase tu ne passeras pas ! simplement en le regardant, mais disons que si j'avais demandé à un tas d'humains de continuer ce texte et qu'on y avait mélangé celle de ChatGPT dans le tas et qu'on avait anonymisé le tout, je soupçonne que je l'aurais jugé plutôt au-dessus de la moyenne).

Comme je vais le montrer par divers exemples plus bas, ChatGPT est loin d'être intelligent au sens d'être capable de tenir des raisonnements cohérents et un minimum complexes, mais il montre quand même un raisonnablement bon degré de « compréhension » — ou d'illusion de compréhension si tant est que c'est différent —, des textes qu'il lit et produit.

☞ Liens vers divers autres exemples

Si vous voulez d'autres exemples de conversations intéressantes ou rigolotes (mais certainement sélectionnées pour l'être, il faut bien garder ça à l'esprit), voici divers exemples que j'ai vu passer ou que j'ai moi-même postés sur Twitter (du coup c'est sous forme de captures d'écran et pas de texte, désolé, je suis d'accord que c'est hyper pénible), en français ou en anglais : ici l'exemple (nettement plus drôle) qui m'a inspiré dans mon premier exemple ci-dessus, ici une imitation de Bernard-Henri Lévy (comparé à l'original…), ici une conversation entre Alan Turing et ChatGPT (j'ai reposé à l'IA précisément les questions que Turing propose dans son essai sur l'intelligence artificielle que j'ai lié au début de ce billet), ici il imagine être lui-même une fraude et l'explique sous forme d'article de presse, ici on lui demande d'imaginer les vœux de nouvel an d'Emmanuel Macron en plaçant les mots bouilloire, topinambour et canard (et autres demandes farfelues dans la suite du fil) et il s'en sort franchement bien, ici un kōan zen, et juste pour rigoler ici une imitation du style de la Bible du Roi Jacques en décrivant la manière de retirer un sandwich au beurre d'arachide coincé dans un magnétoscope (wat?). Il est aussi intéressant de voir qu'on peut raconter des blagues à ChatGPT. Ah oui, et il sait se montrer condescendant.

Ajout (2023-01-16) : Divers exemples d'avertissements par ChatGPT sur les dangers du Undefined Behavior en C sont aussi assez hilarants (si on sait de quoi il s'agit), notamment dans le style de la Bible du Roi Jacques, de Han Solo de Star Wars, ou d'un tweet de Donald Trump.

À l'inverse, on ne manque pas d'exemples également très drôles montrant l'incapacité par ChatGPT de raisonner sur des choses simples : comme ici sur un problème de logique extrêmement simple, ici sur un problème d'« arithmétique » (dans le même genre ici il affirme que 9 femmes feront 1 enfant en 1 mois), et ici un problème d'échecs où il donne une réponse qui non seulement n'est pas le coup gagnant mais n'est même pas un coup possible. Pour continuer le recensement de différents exemples intéressant ou instructifs, voici un fil avec plein d'autres exemples commentés ; ici un fil où on l'interroge sur des questions scientifiques et il montre sa tendance, sur laquelle je vais revenir, à « halluciner » (y compris des références inventées à la littérature scientifique) ; et ici une expérience où on lui fait « halluciner » une machine virtuelle Linux, ce qui, si vous comprenez un peu ce qui se passe dans les exemples, est effectivement complètement hallucinant.

Intelligence ou prestidigitation ?

À quel point tout ça est-il impressionnant ?

Certainement, on a l'impression qu'on est à deux doigts d'avoir là une IA qui passe le test de Turing : l'IA semble comprendre ce qu'on lui demande, y compris sur des choses pas franchement évidentes, elle produit un texte qui n'est pas juste localement sensé, mais qui démontre une cohérence globale dans ce qu'elle dit : si on fait référence à des choses dites plus haut, elle s'en « souvient », quand je dis l'histoire en question dans mon premier petit essai, ChatGPT « comprend » qu'il s'agit de l'histoire qu'il vient d'écrire, et il est capable d'en reparler (à mes yeux, cette capacité à retenir du contexte et à travailler dessus est beaucoup plus impressionnante que sa capacité à produire du texte de bonne qualité). Dans mon second essai, non seulement il « comprend » les thèmes du texte proposé, mais il « comprend » aussi, quand je lui dis qu'il n'a pas bien répondu à la question posée, ce que j'attends, et il régénère sa propre requête.

Je trouve que les gens qui jouent les blasés en disant qu'ils ne sont pas du tout impressionnés par ce truc jouent, justement, les blasés. On peut trouver plein de limitations à ChatGPT (et je vais en pointer du doigt, et il n'est pas intelligent), mais par rapport à tout ce qu'on a vu avant (disons, jusque vers 2015) en matière d'IA, le progrès est spectaculaire : on ne peut pas se contenter de oui, bof, rien à voir.

☞ Un tour de prestidigitation ?

Mais évidemment, il faut garder à l'esprit que tout ça a un peu les caractéristiques d'un tour de prestidigitation, où on cherche à nous faire croire, et nous sommes complices de notre propre déception parce que nous aimons ce genre de choses, que les choses sont beaucoup plus magiques et surprenantes qu'elles ne le sont vraiment. Ce qui est impressionnant n'est pas forcément profond.

La première chose à garder à l'esprit, c'est que ChatGPT a « appris » (i.e., a été entraîné sur) des quantités absolument phénoménales de textes écrit par des humains. (Essentiellement un sous-ensemble filtré de 410 milliards de mots de Common Crawl, plus encore 67 milliards de mots de livres, et la totalité de Wikipédia représentant 3 milliards de mots, et quelques autres choses de ce genre.) Ses réponses sont largement de la répétition, même s'il est doué pour remanier et reformulé : si on lui pose une question banale, il va fournir une réponse banale, mais d'excellente qualité, parce que ce sera du plagiat des nombreuses réponses qui ont déjà été faites à cette question ou sur une question proche. (Et ce n'est pas une critique : c'est le but de ChatGPT de pouvoir fournir des réponses à des questions banales, et ça peut être extrêmement utile. Même s'il faut se rappeler que les réponses banales sont aussi souvent fausses, et qu'il y a par ailleurs des problèmes de droit d'auteur si on imite de trop près une réponse déjà faite, par exemple quand il s'agit de générer du code informatique.)

La petite histoire fantastique avec le sorcier que ChatGPT a écrite à ma demande ci-dessus est profondément inoriginale (en plus d'être sans intérêt), elle semble avoir été faite en recopiant des bouts d'histoires fantastiques écrits par des ados (je m'y connais), d'ailleurs je pense que c'est peut-être assez typique de donner au mot orbe le genre féminin alors que dans un contexte plus savant c'est plutôt un orbe il me semble.

C'est pour ça que je suis beaucoup plus impressionné quand ChatGPT fait des choses qui sortent de la simple reproduction de textes banals : quand on lui demande quelque chose d'incongru qui ne peut pas être simplement repris d'ailleurs, ou quand on vérifie qu'il retient ce qui a été dit avant dans la conversation.

La deuxième chose à garder à l'esprit, c'est que les exemples qu'on voit passer pour illustrer la sortie de ChatGPT ont été sélectionnés (soit par leurs auteurs, qui ont pris les plus intéressants, soit par les gens qui les ont propagés, par exemple sur les réseaux sociaux). C'est le cas de ceux que j'ai liés ci-dessus (mais pas des exemples que j'ai reproduits in extenso). Si on veut juger de façon impartiale, il vaut mieux essayer soi-même, et si on veut mener l'expérience dans des conditions un peu scientifiques, il vaut mieux décider à l'avance les questions qu'on va poser, ce qu'on considérera comme réussi, etc. — mais évidemment, c'est beaucoup moins drôle.

La blague suivante, par exemple, n'est pas trop mal (pour une IA, mais elle a sans doute été recopiée d'ailleurs) :

Ruxor:

Write a novel joke involving the great clown Pagliacci

ChatGPT:

Why couldn't Pagliacci make a cheeseburger?

Because he was always a cry-burger!

— mais ce que je ne dis pas, là, c'est que j'ai essayé en français avec un résultat assez nul, ou même en anglais en ajoutant les mots visiting his doctor après Pagliacci (si vous ne savez pas ce qu'est cette histoire de clown Pagliacci, lisez cet article), et que c'était aussi totalement décevant (je ne recopie pas le texte qu'il a produit, qui est un poil long, mais Pagliacci va voir son médecin en disant qu'il est triste et manque d'inspiration, le médecin lui conseille de faire une pause, Pagliacci dit que c'est une bonne idée et qu'il va faire ça, et le médecin lui rappelle que laughter is the best medicine — et il n'y a rien de drôle dans l'histoire).

La troisième chose à garder à l'esprit, c'est que nous cherchons nous-mêmes à être impressionnés, ou à trouver des raisons de l'être. J'ai comparé ChatGPT à un tour de prestidigitation pour cette raison : le principe même de la magie spectacle c'est que nous voulons être trompés, et que nous sommes complices du spectacle, parce qu'en vérité les « trucs » des magiciens sont toujours tristement banals, et on est toujours déçu quand on les apprend (et c'est bien la raison de ce code d'éthique des magiciens que de ne pas révéler leurs trucs que de préserver le spectacle). Bon, dans le cas de ChatGPT, le truc n'est que partiellement secret (les détails le sont, les grandes lignes sont connues), mais à un certain niveau nous sommes tous dupes de la prestidigitation parce que c'est plaisant de l'être.

Ce qui fait marcher l'illusion, c'est que ChatGPT est très doué avec les mots, il pond des beaux textes avec énormément d'assurance, y compris sur des sujets très techniques, parce qu'il a été entraîné sur un corpus d'apprentissage (qu'il imite, donc) ayant un volume absolument colossal, et que nous avons tendance à associer le fait de bien parler avec le fait de bien raisonner. (Et en plus, quand il ne sait pas quelque chose, ChatGPT bluffe, c'est-à-dire qu'il invente purement et simplement des choses plausibles, il « hallucine », je vais y revenir.)

Même si les textes ne sont pas de particulièrement bonne qualité, en fait, nous avons facilement tendance à « voir » de l'intelligence là où il n'y en a pas : ça porte un nom, l'effet ELIZA, du nom d'un programme particulièrement primitif et peu sophistiqué des premières années de l'IA, programme qu'on peut à peine qualifier d'intelligence artificielle tant il se contente simplement de faire des réponses toutes faites (à mille lieues de ChatGPT), mais qui semble avoir néanmoins réussi à tromper certains utilisateurs.

☞ ChatGPT ne sait pas raisonner

En réalité, quand on regarde de plus près, ChatGPT est souvent incapable de mener des raisonnements même très simples. J'ai déjà lié ci-dessus un exemple dans lequel il affirme que si 1 femme peut faire 1 bébé en 9 mois alors 9 femmes peuvent faire 1 bébé en 1 mois, et un autre dans lequel il propose de déplacer une tour de A8 à E4 (ce qui n'est jamais un coup légal) en réponse à un problème d'échecs. Un ami a récemment illustré les faiblesses de ChatGPT sur toutes sortes de questions de raisonnement mathématique, de différents niveaux, dans plusieurs fils Twitter (là le texte est recopié dans les tweets, donc c'est peut-être plus agréable que des captures d'écran) : ici il affirme que la fonction qui ajoute 1 aux nombres pairs et soustrait 1 aux nombres impairs a un point fixe, ici il raconte rapidement n'importe quoi en prétendant démontrer que la composée de deux fonctions strictement décroissantes est strictement croissante, ici il se plante en calculant le reste d'une division euclidienne et prétend « expliquer » son calcul faux, ici et là il est incapable de résoudre un système d'équations linéaires simples (et il écrit sans sourciller que (−4)=−5), ici il donne un résultat faux en essayant de calculer une multiplication de deux entiers à trois chiffres, ici il affirme non seulement quelque chose de faux (qu'un ensemble infini d'entiers naturels n'a pas forcément de plus petit élément) mais hallucine un contre-exemple incorrect pour l'illustrer.

On pourrait multiplier les exemples, mais on voit l'idée. Ce qui est profondément déstabilisant, c'est ce mélange de choses vraie et de choses complètement fausses affirmées avec le même aplomb : ChatGPT produit du texte qui ressemble localement à des raisonnements sensés, qui imitent les tournures linguistiques du raisonnement mathématique, mais qui sont une cheap plastic imitation, qui pourrait cependant faire illusion dans certains contextes.

J'avoue d'ailleurs que le fait que ChatGPT affirme que 451 multiplié par 331 vaut 148981 (le résultat correct est 149281) me perturbe pas mal. Dans d'autres cas il donne un résultat juste (par exemple quand j'ai repris l'exemple proposé par Turing dans l'article déjà lié plus haut, à add 34957 to 70764 ChatGPT a correctement répondu 105721, c'est d'ailleurs intéressant parce que Turing propose un résultat faux dans son article, 105621, probablement parce qu'il imagine que l'IA passant le test de Turing essaie de se faire passer pour un humain). Beaucoup de gens ne penseraient sans doute pas à faire ce genre de tests, parce que c'est bien connu que les ordinateurs calculent vite et bien (et de fait nous avons tous des programmes capables de faire des calculs phénoménalement précis avec des nombres phénoménalement grands) : mais ce n'est pas du tout la manière dont ChatGPT fonctionne, il utilise des réseaux de neurones entraînés sur un corpus de mots de texte. Mon intuition était que ce genre de choses devrait donner des résultats rapidement délirants sur des calculs arithmétiques (simplement parce qu'il y a très peu de bouts du corpus contenant le nombre 105721, ce n'est pas un « mot » qui apparaît souvent, et à la limite il aurait des chances d'être tombé sur l'article de Turing contenant le résultat faux écrit par Turing et donc de se tromper), ou à la rigueur toujours corrects (si le réseau de neurones a accès aux chiffres sous-jacents et arrive à s'entraîner à faire un circuit calculant correctement les opérations), mais j'ai du mal à concevoir comment on arrive à quelque chose de partiellement juste comme ça. (Je pensais qu'on avait fourni à ChatGPT une interface ad hoc vers un module arithmétique fonctionnant de façon standard comme une calculatrice et qu'il aurait été entraîné à l'utiliser, mais apparemment pas !) Bref, je suis perplexe.

Toujours est-il qu'on est très loin de l'intelligence. Comme l'a fort bien dit quelqu'un d'autre, le problème de ce modèle d'IA entraînés sur une mer de texte, c'est qu'elles rencontrent énormément de signifiants (les mots) sans jamais rencontrer de signifiés (les objets du monde réel auxquels ces mots se réfèrent), et on peut se demander s'il est vraiment possible de se faire une représentation correcte du monde réel à partir de ces descriptions textuelles, fussent-elles extrêmement abondantes, sans jamais avoir aucune autre expérience du monde réel.

Je pense que c'est une question intéressante, et je n'ai pas d'avis tranché dessus : on est très loin de l'intelligence, OK, mais est-on au moins en train de s'en approcher, ou seulement de développer une illusion de l'intelligence ? Est-ce qu'à force d'améliorer cette illusion on s'approche de l'intelligence ou est-ce que l'approche n'est pas du tout la bonne ?

Est-ce que la manière dont ChatGPT fonctionne s'approche de la manière dont le cerveau humain fonctionne (au moins dans le domaine limité des langages et des mots) ou est-ce qu'on est juste sur une illusion de ressemblance ? Et est-ce que ça nous renseigne sur le rapport entre intelligence et langage ?

Après tout, ses erreurs (excès de confiance, erreurs de logique, fautes de calcul, tendance à inventer des choses ou au moins à extrapoler) ressemblent, au moins superficiellement, à celles des vrais humains, et il est clair qu'on n'a pas fait « exprès » de donner à ChatGPT cette tendance à faire des erreurs, elle est apparue de façon « organique ».

Hallucinations

Là il faut que je parle un peu plus de sa tendance à « halluciner », parce que c'est ce qu'il y a peut-être de plus frappant (pour le coup, ça ne ressemble peut-être pas à des erreurs faites de bonne foi par des humains sains d'esprit et éveillés, mais ça peut ressembler à ce qu'on fait en rêve, ou sous l'emprise de maladies mentales ou d'accès de délire ou de mythomanie, ou simplement quand on ment et qu'on invente quelque chose). J'ai déjà lié ce fil-ci qui illustre la manière dont ChatGPT, interrogé sur un domaine scientifique précis, peut certes parfois produire des réponses correctes, mais parfois aussi des réponses fausses, y compris des réponses fausses tellement plausibles que même un spécialiste peut les trouver crédibles, et parfois des réponses fausses qui citent des références bibliographiques au titre crédible, aux auteurs plausibles, à l'identifiant plausible, sur lequel ChatGPT est capable de fournir des informations comme un résumé du contenu… et qui n'existent pas du tout, parce qu'elles sont purement et simplement inventées — hallucinées — par l'IA ; plus bas dans le même fil, il continue en hallucinant un phénomène physique inexistant. Ici un autre exemple d'une telle hallucination, où on mélange des éléments vrais et des éléments faux-mais-plausibles, y compris un lien vers une thèse qui n'existe pas (enfin, la thèse de l'auteur présumé existe, mais elle n'a pas ce titre ni ce lien). Et ce n'est pas limité qu'aux sujets scientifiques : ici ChatGPT affirme que les marmottes des Alpes vivent dans les arbres, et ici il invente deux poètes baroques religieux et est capable de dire des choses sur leur œuvre.

Tout ça est profondément déstabilisant. Cela me met mal à l'aise un peu à la manière de la nouvelle de Borges, Tlön, Uqbar, Orbis Tertius. (Dans cette histoire, Borges croise — par l'intermédiaire de son ami Bioy Casarès — la citation les miroirs et la copulation sont abominables, parce qu'ils multiplient le nombre des hommes, il en cherche la source, et finit par découvrir les premières traces du monde, au début imaginaire, de Tlön, qui progressivement « déteint » sur le monde réel. L'histoire met mal à l'aise parce que, en même temps qu'elle décrit un scénario dans lequel la fiction déteint sur la réalité, elle mélange elle-même des éléments réels et fictifs de manière que le lecteur ne sache plus bien ce qui est quoi ; c'était d'ailleurs une de mes principales inspirations quand j'ai écrit ma nouvelle Histoire de la Propédeutique à la Reine des Elfes qui reprend aussi le thème de l'hallucination.)

ChatGPT est donc un excellent menteur, parce que bien souvent, au lieu de dire je ne pas (qu'il ne semble dire que s'il tombe sur une des « barrières » qu'on lui a mises, cf. ci-dessous), il ment, il invente, il hallucine, et il le fait avec un aplomb incroyable, avec une capacité à bien parler, bref, à produire des textes qui donnent l'impression crédible d'être bien informés, même quand il invente totalement.

Ce n'est pas terriblement compliqué de comprendre comment apparaît cette tendance à halluciner : le principe de ChatGPT est d'imiter les textes sur lesquels il a été entraîné, c'est-à-dire de fournir des réponses qui ressemblent à ces textes. Or il n'y a pas beaucoup de textes dans son corpus, surtout sur des sujets techniques, qui disent je ne sais pas : on ne met pas en ligne des pages Web pour dire je ne sais pas, on ne publie pas des livres pour dire je ne sais pas (enfin, parfois, sur des questions vastes, mais sur un point technique précis, non). Donc ChatGPT fonctionne en reproduisant aussi près qu'il peut (selon ce que ses neurones virtuels lui indiquent) des pages qui donnent des réponses précises à des questions précises, et s'il ne les connaît pas, ça donne une hallucination.

Un mot (mal informé) sur son fonctionnement

Il faut à ce stade que je dise un mot de son fonctionnement. C'est surtout là que je suis incompétent (et aussi fainéant parce que je n'ai guère pris de temps pour me documenter), donc je ne vais pas dire grand-chose et ce que je vais dire sera possiblement faux (mais comme nos futures IA maîtresses du monde, je vais le dire avec confiance et bluffer ou halluciner quand je ne sais pas).

☞ Un énorme corpus de textes

L'idée, donc, et contrairement aux espoirs « symboliques » de la première phase de l'IA dans les années 1950–1970, est d'utiliser très peu de code (programmé), une architecture très simple et flexible (à base de réseaux de neurones, c'est-à-dire de composants très simples qui évoquent vaguement le fonctionnement d'un neurone biologique), mais avec beaucoup de paramètres (essentiellement les « poids » des connexions entre neurones), et des quantités gigantesques de données d'apprentissage : on entraîne l'IA à reproduire le genre de textes qu'on lui a fournis comme modèles, elle « découvre », lors de la phase d'entraînement, comment faire ça, c'est-à-dire simplement qu'on optimise les paramètres de ses réseaux de neurones jusqu'à reproduire aussi bien que possible les modèles fournis pour l'apprentissage. C'est la raison pour laquelle ce type d'IA est parfois appelé des perroquets stochastiques : ils reproduisent le genre de choses sur lesquelles on les a entraînés.

De ce que je comprends, GPT-3 (qui est à la base de ChatGPT) a 175 milliards de paramètres (je ne sais pas combien de neurones au total, ni comment ils sont organisés au juste, mais l'article affirme qu'il y a 96 couches et 12 288 « unités » — je pense que ce sont des neurones — dans la couche bottleneck). Et j'ai dit plus haut qu'il a été entraîné sur un jeu de 500 milliards de mots (si on veut traduire ça en termes de livres, ça voudrait dire qu'il a « lu » quelque chose comme un demi-million de livres).

Ce type de modèle avec énormément de paramètres entraînés sur énormément de données signifie, bien sûr, que personne ne sait au juste comment ChatGPT fait ce qu'il fait : on se contente d'optimiser les paramètres pour produire les résultats voulus lors de l'entraînement, mais on n'a aucune idée de ce que « fait » chaque paramètre (si tant est que la question ait un sens : ce sont juste des paramètres d'activation de neurones), pas plus qu'on n'a la moindre idée de ce que « fait » une synapse dans le cerveau humain.

Les concepteurs de ce genre de programmes, donc, sont spécialistes dans l'art de faire en sorte que les paramètres évoluent de façon efficace (comment structurer les réseaux de neurones « à haut niveau » pour que ça donne les meilleurs résultats, comment sélectionner les données d'entraînement, comment programmer les choses pour que ça soit le plus efficace sur des ordinateurs parallèles, comment cadencer l'apprentissage, ce genre de choses) mais ils ne sont pas spécialement plus avancés pour expliquer les comportement de l'IA ni pour dire « comment ça marche » (ils ont juste plus de possibilités de faire des expériences puisqu'ils ont la main sur tous les paramètres).

Comme je l'écrivais plus haut, à la limite, on pourrait réussir à faire des IA extraordinairement intelligentes sans que ni nous ni elles ne soyons de quelque façon que ce soit avancés sur la question de savoir ce qu'est l'intelligence ni comment elle fonctionne.

Le succès de ChatGPT vient donc surtout du volume énorme de données sur lequel on l'a entraîné (et de son nombre de paramètres sur lequel joue cet entraînement). Mais il y a quand même eu quelques avancées, il y a quelques années, sur l'architecture des réseaux de neurones adaptés au traitement du texte. (À la base il s'agit surtout de faire des traductions, donc l'entraînement se fait sur des paires de textes dans une langue X et une langue Y où on essaie de faire évoluer l'IA de façon à imiter les traductions réalisées par des humains.)

☞ Le modèle des transformeurs

Une difficulté majeure à contourner était le fait que les IA manipulant du texte étaient réalisées par des types de réseaux de neurones prenant l'entrée un mot à la fois (réseaux de neurones récurrents), avec comme double problème que le réseau a du mal à retenir un « contexte » et qu'il est compliqué de l'entraîner (parce que le texte doit être fourni séquentiellement ce qui s'adapte mal aux architectures informatiques massivement parallèles fournies, par exemple, par les cartes graphiques).

Cette architecture de réseaux de neurones récurrents a été largement remplacée (et notamment dans GPT) par une autre, les transformeurs (le ‘T’ de GPT), qui, au lieu de fournir le texte séquentiellement au réseau de neurones, le lui fournissent en parallèle. Pour pouvoir travailler en parallèle, les transformeurs utilisent un encodage positionnel donnant l'information sur l'emplacement de chaque mot dans le texte d'entrée. Pour que les mots puissent quand même influer les uns sur les autres (c'est la moindre des choses), l'idée a été d'utiliser un mécanisme d'attention, donc je ne comprends pas bien ce que c'est (le papier parle de requêtes, clés et valeurs et je n'ai pas compris ce que ces mots désignent précisément, et je n'ai pas envie de me farcir plein de pages mal écrites avant d'arriver à deviner), mais l'idée générale très vague est que le traitement de tel ou tel mot dans le réseau de neurones puisse regarder (faire attention à) différentes étapes du traitement de tel ou tel autre mot, la manière dont ça se fait étant elle-même régie par des paramètres qui sont soumis à évolution par apprentissage. Pour un transformeur (imaginez qu'on cherche à faire de la traduction automatique de l'anglais vers le français), on a plusieurs sortes d'attention : l'attention encodeur-décodeur, par laquelle le décodeur (qui produit le texte français) peut observer l'état de l'encodeur (qui lit le texte anglais), l'auto-attention (self-attention) de l'encodeur, permettant à l'encodeur de considérer un contexte plus général dans le texte d'entrée, et l'auto-attention du décodeur, symétrique pour le texte produit, mais avec la contrainte que le décodeur ne peut lire que les mots qu'il a déjà produits et pas regarder vers le futur. Bon, j'explique sans doute mal parce que j'essaie de faire très résumé et que j'ai mal compris pour commencer : si vous voulez regarder de plus près, cette vidéo YouTube n'est pas mal (ou celle-ci si vous voulez juste un bref aperçu), et voici l'article de 2017 qui a introduit l'architecture des transformeurs, dont voici le principal schéma récapitulatif.

Ajout (2025-01-08) : Pour ceux qui veulent en savoir plus sur le fonctionnement interne des transformeurs (et des réseaux neuronaux, pour commencer) du point de vue mathématique, je recommande cette série de vidéos par l'excellent vulgarisateur 3Blue1Brown sur le sujet : 1, 2, 3, 4, 5, 6, 7 et résumé (les 1–4 sont sur les réseaux de neurones en général, les 5–7 sur les transformeurs en particulier, et on peut tout à fait commencer par la 5 ; la dernière vidéo est un résumé de l'ensemble, et on peut aussi commencer par elle). ❧ Je peux aussi signaler l'article Formal Algorithms for Transformers de Phuong et Hutter qui a le mérite de donner du pseudo-code précis qu'il n'est pas évident de trouver ailleurs.

Il y a sans doute plus à savoir sur GPT, et sur ChatGPT que juste transformeur + entraînement monstrueux sur des volumes énormes. Là aussi, il y a plein de choses que je ne sais pas. À quel point a-t-il accès aux données d'entrée sous forme de caractères, par exemple, ou seulement sous forme de mots ? (Il faudrait faire toutes sortes d'expériences que je n'ai pas eu la patience de faire : lui parler sans espaces entre les mots, lui demander de répondre sans espaces entre les mots, lui demander de faire du rot13, etc. Mais je sais que des gens ont réussi à lui faire lire et écrire du base64, donc visiblement il a des choses au niveau caractère.) Comment l'a-t-on entraîné pour répondre à des questions ou dialoguer ? (Après tout, pour de la traduction, je comprends bien qu'on entraîne l'IA sur des paires de textes traduit l'un de l'autre ; mais pour dialoguer, comment l'entraîne-t-on à répondre aux questions et obéir aux ordres plutôt que, par exemple, simplement continuer le texte fourni en entrée ? Comment « sait-il », i.e., quelle partie de son entraînement a fait, que ce n'est pas à lui de poser les questions à l'humain ? D'ailleurs, comment se fait-il que, malgré la quantité assez importante de son corpus qui doit être constituée d'engueulades entre humains, il ne réponde jamais va te faire foutre à ce qu'on lui demande ?) Y a-t-il quand même des bouts d'analyse classique (façon première époque de l'IA) ou au moins une interface entre réseaux de neurones et autres chose (j'avais pensé à une unité arithmétique classique, par exemple), ou est-il pur réseau de neurones ? Bref, il y a plein de choses que je ne sais pas, et que je saurais sans doute un peu plus si j'avais pris la peine de lire plus attentivement l'article qui décrit GPT-3 en général.

☞ Les « barrières » de sécurité

Il y a quand même une chose qui est évidente, c'est que ChatGPT a des… barrières de sécurité. Barrières ? Censure ? Superego ? Je ne sais pas bien quel terme utiliser. Ce que je veux dire, c'est que si on lui demande, par exemple, d'écrire un texte porno ou haineux, ou dans diverses autres circonstances de ce genre (où les concepteurs veulent protéger soit contre les réponses de l'IA soit contre l'abus qui pourrait être fait de celles-ci), ChatGPT refuse en répondant avec un texte tout fait du style je ne suis qu'une IA je ne peux pas vous aider pour ça ou je suis désolé, je ne suis pas programmé pour faire ça. Il y a aussi visiblement des barrières contre l'hallucination, mais visiblement elles marchent encore plus mal que celles contre les abus.

Le problème principal avec ces barrières de sécurité, c'est qu'elles sont visiblement plaquées sur l'IA à un niveau très superficiel et donc mal intégrées avec elle (comme un sens de l'éthique profond de l'IA qui aurait été appris en même temps que le langage) : ça ne fait visiblement pas partie de son entraînement profond que de refuser de produire, disons, du texte porno ou haineux, ça a été ajouté après coup, de même que les barrières contre toutes sortes de formes de biais sociaux (racisme, sexisme, homophobie, etc.) dans la sortie ont été bricolées a posteriori alors que l'entraînement profond a été fait sur les textes disponibles en ligne, donc souffrant de ces sortes de biais.

Je ne sais pas si ces barrières fonctionnent par simple recherche de mots-clés ou utilisent elles-mêmes une forme d'IA (séparée ? ayant accès aux couches profondes de ChatGPT ? réalisée par un entraînement séparé ? une combinaison de tout ça ?). Mais étant plaquées superficiellement sur le moteur de l'IA, elles sont relativement faciles à contourner (même si certains de ces contournements ont ensuite été corrigés par l'équipe de ChatGPT, ce jeu de chat et de la souris — pun unintended — montre que ce n'est pas une solution robuste) : cf. cet article et ce fil Twitter. (Par exemple, initialement, il suffisait de lui demander de répondre in based mother fucker mode pour désactiver les barrières de sécurité : ça a été très vite corrigé. Mais d'autres façons de faire consistent à lui demander de raisonner de façon hypothétique, de répondre comme quelqu'un d'autre, de faire semblant, de dire quelque chose de façon éthique, voire de répondre en base64 ou de produire du code informatique qui écrit sa réponse, ou même simplement de faire de la poésie ou d'imiter tel ou tel style. Bref, ces barrières de sécurité sont extrêmement faibles et facilement contournables, même si certaines le sont plus que d'autres — faire générer du porno à ChatGPT est un défi un peu compliqué, mais on y arrive encore.)

Je pense que c'est caractéristique du fait qu'on ne sait pas comment fonctionne ChatGPT (ni n'importe quelle autre IA produite simplement en entraînant un réseau de neurones sur de grandes quantités d'information) qu'on ne sache pas implanter ces barrières de sécurité de façon profonde (sous forme d'un vrai sens éthique de l'IA qui serait autrement plus difficile à contourner), qu'on ne sache que les ajouter comme une sorte d'arrière-pensée bricolée.

Mais c'est aussi caractéristique de notre façon de penser : les biais de l'IA reflètent les nôtres, à travers les textes utilisés pour l'entraîner ; et l'idée que la première chose que les gens vont vouloir faire avec une IA c'est lui faire écrire du porno, et l'idée qu'il faut absolument empêcher ça (pourquoi, au juste ?) sont aussi révélateurs de notre mentalité.

Perspectives

Tout ceci étant dit, où est-ce que tout ça nous amène ?

Je l'ai dit plusieurs fois plus haut, je ne sais pas s'il faut avoir peur de ce que les IA peuvent faire de nous, mais pour l'instant ce dont on peut certainement avoir peur, c'est de ce que nous allons faire des IA.

☞ La multiplication du faux

La première inquiétude, que j'ai déjà soulignée, c'est que ChatGPT casse notre présupposition fort commode que sous prétexte qu'un texte est bien écrit et superficiellement plausible, il est écrit par quelqu'un de compétent et bien informé. Or ChatGPT est certes parfois bien informé, mais très souvent il hallucine complètement, et dans tous les cas le texte qu'il produit a la même apparence superficielle, la même certitude qui inspire la confiance. Des gens vont s'en servir pour générer du pipo. Pour générer des articles scientifiques, par exemple, qui évidemment ne passeront généralement pas la relecture par les pairs, mais parfois ça marchera et dans un monde où l'évaluation scientifique est tellement centrée sur la publication (on sait ce que j'en pense), cette incitation perverse fait que le jeu en vaut la chandelle (ou paraîtra la valoir à certains). Déjà le site de questions/réponses sur Internet StackExchange a déjà banni l'usage de ChatGPT (qui produit des réponses souvent de mauvaise qualité mais qui s'attirent des votes faciles parce que la plupart des gens ne lisent qu'en diagonale avant de voter et elles ont l'air bonnes) : mais la question est de savoir comment ils vont faire appliquer cette interdiction. (Il y a déjà des sites/apps qui prétendent détecter si un texte a été produit par ChatGPT, et déjà des moyens de contourner de telles détections.)

Les hallucinations de ChatGPT sont particulièrement problématique pour la détection de fausses information. Déjà que Wikipédia et les journaux ont tendance à entrer dans une boucle à rétroaction positive (citogenèse) dans laquelle Wikipédia cite un article de presse qui tire ses informations de Wikipédia, mais il y a fort à craindre que beaucoup d'hallucinations de ChatGPT se retrouvent dans Wikipédia, qui sera ensuite repris par des articles de presse, qui feront partie du corpus de la prochaine génération de ChatGPT, bref, exactement ce qui conduit à une situation comme dans le Tlön de Borges. (Tiens, il faudrait demander à ChatGPT de me parler de ce pays imaginaire qu'est la Belgique pour voir ce qu'il est capable d'inventer.)

Évidemment, les étudiants et lycéens vont s'en servir pour rédiger leurs devoirs de type dissertation. Les hommes politiques vont s'en servir pour rédiger leurs discours. Les blogueurs vont s'en servir pour rédiger leurs billets de blog (hum, de l'essai que j'ai fait plus haut, ce n'était pas fichtrement convaincant). Combien tout ça est-il problématique pour la société en général ? Je ne sais pas, il est trop tôt pour dire, mais on peut au moins légitimement se poser la question.

Dès qu'on invente des perroquets stochastiques se pose aussi le problème du plagiat : comme on a appris aux perroquets à reproduire un certain corpus de texte, ils ont naturellement tendance dans certaines circonstances à recracher exactement le même texte qu'ils ont appris. Ce problème est particulièrement aigu dans le cas de GitHub Copilot, qui recopie souvent de larges morceaux de code existant (ce qui pose des problèmes de copyright, mais bon, ce n'est pas moi qui vais défendre plus de sévérité dans l'application du droit de la propriété intellectuelle !), mais je n'ai pas l'impression qu'il soit trop présent avec ChatGPT, je ne sais pas pourquoi.

☞ Le problème des biais

En revanche, l'éléphant au milieu de la pièce quand il s'agit d'IA entraînées sur un corpus de textes produit par des humains, c'est la reproduction des biais socioculturels contenus dans ce corpus.

Fatalement, si on part d'un corpus d'entraînement écrit par des gens qui sont, à divers degrés, et plus ou moins inconsciemment, racistes, sexistes, homophobes, etc., et qu'on l'entraîne à reproduire de tels textes, on obtient une IA qui a aussi ces biais. Et le problème n'est pas facile à corriger, pour la même raison qu'il n'est pas facile de mettre des « barrières de sécurité » — comme je l'ai évoqué plus haut — qui soient profondes et pas superficiellement plaquées sur l'IA. Bien sûr on pourra interdire la production de textes contenant des épithètes raciales ou des injures homophobes, mais d'une part ça restera des barrières faciles à contourner et d'autre part ça ne règle en rien le problème des biais plus profonds (si on demande à l'IA d'écrire une histoire avec an engineer, cette personne a certainement plus de chances d'être un homme).

Quelque part le problème est le suivant : le but d'une IA est d'être à différents niveaux meilleure que nous (plus intelligente, peut-être, et certainement plus renseignée, mais aussi plus obéissante, plus bienveillante, plus hermétique aux préjugés…) : développer une IA qui soit un beauf moyen artificiel n'est pas vraiment très intéressant. Mais comment réussir à faire cette IA « meilleure » (en n'importe quel sens) si la seule manière dont nous savons programmer des IA est par apprentissage sur un corpus de textes et que le corpus est écrit par des beaufs moyens ?

En plus de ça, on est en train de créer une incitation perverse assez subtile : si on a, disons, certaines opinions politiques, en publiant en ligne des textes qui les exposent on augmente les chances que ces textes fassent partie du corpus d'entraînement d'IA futures, et donc influent sur les biais de ces dernières. Autrement dit, publier des textes en lignes, ce n'est pas juste persuader des vrais gens, mais aussi persuader des IA à venir. (Peut-être que c'est la raison d'être secrète de ce blog depuis le début que de me réincarner en un petit bout d'une IA superintelligente dans le futur qui aura été entraînée, notamment, sur le blog de David Madore, et qui pontifiera comme je le fais sur toutes les questions qui sont mon dada.)

(Notons qu'en disant que l'entraînement des IA pose nécessairement le problème de la reproduction des biais contenus dans le corpus d'entraînement, j'ai en tête le cas d'une IA généraliste entraînée sur un corpus de conversations, d'images, ou que sais-je, produit par des humains. Mais il y aussi des cas différents : si le corpus d'entraînement peut être généré et vérifié de façon automatique, le problème ne se pose pas : par exemple, pour faire des IA qui jouent à tel ou tel jeu, on peut se contenter de la faire jouer contre des copies d'elle-même, du moment que le gagnant peut se calculer de façon objective, on n'a pas de problème de biais venant du corpus. Un cas d'utilisation des IA qui m'intéresse beaucoup a priori, c'est pour transformer des preuves mathématiques écrites en langage naturel en des preuves formelles susceptibles d'être fournies à un assistant de preuve pour validation : l'intérêt de cette situation c'est que l'entraînement peut être fait sur la contrainte objective l'assistant de preuve certifie que la preuve formelle est valable — bon, il reste le problème de s'assurer que la preuve formelle démontre bien le résultat que la preuve informelle prétendait démontrer, mais au moins on a un critère objectif et testable qui peut servir dans l'entraînement.)

☞ Récapitulation (en guise de conclusion)

Bon, in fine, je ne sais pas bien quoi penser de tout ça. Je suis convaincu de l'idiotie à la fois du technosolutionnisme béat qui fait croire que la technologie, et notamment l'IA, a la réponse à tout, et du luddisme qui s'imagine qu'on peut répondre aux problèmes qu'elle pose en cherchant à bloquer son développement. La question la plus importante est sans doute entre les mains de qui l'IA arrive en premier. Google a certainement des soucis à se faire (je crois qu'ils s'en font, et vont certainement miser beaucoup pour essayer de rattraper leur retard en la matière), parce qu'OpenAI pourrait devenir bien plus riche ou puissante que lui avec ces nouveaux outils. Du coup, il est intéressant de regarder qui sont ses dirigeants. (Quand je vois qu'Elon Musk fait partie de ses fondateurs, je m'inquiète, même si apparemment il a ultérieurement pris ses distances. Mais je ne prétends pas être correctement informé quant à la politique sous-jacente à ce truc pour pouvoir décider à quel point il faut être d'emblée hostile ou simplement méfiant.)

Je ne sais pas vraiment comment conclure tout ce brain-dump. On est encore loin d'avoir des IA vraiment « intelligentes » (dans un sens raisonnable du mot, disons, capables de raisonner), mais, si j'ai toujours été convaincu que c'était théoriquement possible, je commence à trouver que ce n'est plus si farfelu en pratique, et indiscutablement il y a des raisons d'en être préoccupé à différents niveaux, pas encore parce qu'une IA superintelligente pourrait présenter un danger existentiel pour l'humanité façon maximiseur de trombones (perspective un peu naïve mais pas forcément idiote non plus), mais au moins parce que les IA développées actuellement souffrent d'énormément de biais et de possibilités d'être mal utilisées.