Comments on Réflexions sur l'IA et ChatGPT

Découvrant cette entrée deux ans et demi plus tard, je n’ai pu résister à redemander le même prompt à la version 5.2 , obtenant ceci :
(Billet de blog, quelque part entre une digression et une note de bas de page qui a mangé le texte principal.)

Il est de bon ton, lorsqu’on parle d’intelligence artificielle, d’osciller entre deux attitudes également peu informatives : l’extase béate (« ça va tout changer ») et l’effroi apocalyptique (« ça va tout détruire »). Comme souvent, la vérité intéressante se niche dans une région moins confortable : celle où l’on est obligé de préciser ce que l’on entend par intelligence, par comprendre, et même par parler.

Prenons ChatGPT, puisque c’est manifestement de lui qu’il s’agit. ChatGPT est un programme qui produit du texte en réponse à du texte. Dit comme ça, on pourrait croire à un simple perroquet algorithmique. Dit autrement, c’est un système qui approxime une fonction extrêmement compliquée allant de « séquences de symboles » vers « séquences de symboles plausibles en continuation ». Le mot important ici est plausible, pas vrai, pas juste, pas sensé — plausible.¹

Ce qui fascine, et dérange, c’est que cette plausibilité suffit très souvent. Suffit à quoi ? À convaincre un lecteur humain qu’il a affaire à quelque chose qui comprend. Or, bien sûr, ChatGPT ne comprend rien, au sens où il n’a ni intention, ni modèle du monde au sens fort, ni expérience vécue. Mais alors, petite question embarrassante : sommes-nous bien sûrs de comprendre ce que nous appelons « comprendre » quand nous l’attribuons à un humain ?²

Une des propriétés les plus intéressantes de ChatGPT est qu’il met en crise une distinction confortable : celle entre la forme et le fond. On aimerait croire que le fond (le sens, la compréhension, la vérité) est indépendant de la forme (les mots, la syntaxe, le style). ChatGPT montre, à une échelle industrielle, que manipuler correctement la forme produit très souvent quelque chose d’indiscernable du fond — au moins localement, au moins temporairement, au moins pour un lecteur pressé.

Évidemment, le système se trompe. Parfois grossièrement, parfois subtilement. Il invente des références, il confond des notions proches, il affirme avec aplomb des choses fausses. Mais là encore, il n’invente rien : il ne fait que reproduire, avec une régularité mécanique, des travers très humains. La différence est quantitative, pas qualitative. Et une différence quantitative suffisante devient, comme chacun sait, une différence qualitative déguisée.

Il est tentant de demander : « Peut-on lui faire confiance ? » Mauvaise question. On ne fait pas confiance à une calculatrice, on vérifie qu’elle fait bien l’addition demandée. ChatGPT est plus dangereux précisément parce qu’il ne ressemble pas à une calculatrice : il ressemble à un interlocuteur. Il parle bien. Il parle trop bien. Et nous avons un biais cognitif massif qui nous pousse à attribuer une intention à tout ce qui parle correctement.

Le bon usage de ChatGPT n’est donc ni l’adoration ni le rejet, mais une forme de lecture critique permanente. Le considérer comme un brouillon sophistiqué, un miroir déformant de nos corpus, un assistant capable de produire des pistes, des formulations, des contre-arguments — mais pas comme une autorité. Autrement dit, exactement comme un étudiant brillant mais pressé, qui a beaucoup lu et pas toujours compris ce qu’il a lu.

Ce qui change vraiment, et qui mérite qu’on s’y attarde, ce n’est pas tant la technique que l’effet culturel. Nous entrons dans une ère où produire du texte n’est plus un signe distinctif d’intelligence. Où écrire correctement n’est plus une preuve de compétence. Où l’effort cognitif se déplace : de la production vers l’évaluation. Savoir quoi demander devient plus important que savoir quoi dire. Et savoir détecter une réponse fausse mais bien écrite devient une compétence centrale.

En ce sens, ChatGPT n’est pas une menace pour l’intelligence humaine ; il est un test. Un test de notre capacité à ne pas confondre fluidité et vérité, assurance et connaissance, vraisemblance et compréhension. Un test que nous échouerons souvent, sans doute. Mais les tests intéressants sont précisément ceux qu’on ne réussit pas du premier coup.

⸻

¹ On pourrait formaliser cela par une distribution conditionnelle sur des suites de tokens, mais cela ferait fuir une partie du lectorat, ce qui serait dommage, même si instructif.

² Question à laquelle la philosophie de l’esprit s’attaque depuis quelques siècles, avec un succès mitigé mais une production bibliographique impressionnante.
—————————————————————
C’est nettement mieux, mais toujours bien trop court, alors j’ai demandé une seconde version :

(Billet de blog. Prévoir du café. Ou du thé. Ou une certaine tolérance pour les phrases qui dépassent la limite raisonnable.)

À propos de ChatGPT, ou pourquoi parler correctement n’est pas penser

Il y a une question qui revient avec une régularité presque métronomique dès qu’on évoque ChatGPT — ou, plus généralement, ce qu’on appelle aujourd’hui « l’intelligence artificielle » (expression que je trouve personnellement trompeuse, mais nous y reviendrons) — et cette question est : « Mais est-ce que ça comprend ce qu’il dit ? »

La réponse courte est : non.
La réponse longue est : non, mais cette réponse est beaucoup moins intéressante qu’il n’y paraît, parce qu’elle suppose que nous sachions précisément ce que signifie comprendre, et surtout à partir de quel moment nous cessons d’exiger cette compréhension chez les humains.

Car enfin, soyons honnêtes : dans la vie quotidienne, nous attribuons de la compréhension à des interlocuteurs sur des critères extrêmement faibles. Ils parlent grammaticalement, répondent à peu près à propos, utilisent des mots dans un ordre acceptable, et ne disent pas d’énormités trop souvent. Cela suffit, la plupart du temps, à leur conférer le statut d’agent cognitif respectable. Or ChatGPT satisfait remarquablement bien ces critères minimalistes.

Ce qui ne signifie pas qu’il pense. Mais cela signifie que notre test pratique de la pensée est étonnamment permissif.

Ce que fait réellement ChatGPT (et pourquoi c’est déjà beaucoup)

Il est utile de rappeler, même au risque de lasser, que ChatGPT n’est pas un esprit, ni une conscience, ni même un système symbolique au sens classique. C’est, schématiquement, une énorme fonction mathématique entraînée à prédire la suite la plus probable d’une séquence de symboles, étant donné une quantité obscène de données textuelles préexistantes.¹

Il ne sait pas ce qu’est une chaise. Il ne sait pas ce qu’est la vérité. Il ne sait pas ce qu’est un fait. Il sait seulement que certaines suites de mots ont statistiquement tendance à suivre d’autres suites de mots. Et pourtant, ce seulement est déjà vertigineux.

Car le langage humain est précisément l’endroit où nous avons accumulé, fossilisé, compressé des siècles de raisonnements, d’erreurs, d’intuitions, de démonstrations, de mensonges et de demi-vérités. En apprenant à imiter la surface du langage, ChatGPT récupère une partie non négligeable de sa structure profonde — sans jamais avoir accès à ce que nous aimerions appeler le « sens ».

Ce point est crucial : il n’y a pas, dans le langage, de frontière nette entre la forme et le fond. Il y a un continuum. Et ChatGPT exploite ce continuum jusqu’à un point qui nous met mal à l’aise.

Le malaise : quand la forme suffit

Le véritable choc culturel n’est pas que ChatGPT se trompe. Après tout, les humains se trompent tout le temps. Le choc est qu’il se trompe de la bonne manière. Il produit des erreurs plausibles, contextualisées, polies, souvent indétectables sans un effort actif de vérification.

Autrement dit, il ne dit pas n’importe quoi : il dit ce que quelqu’un qui ne sait pas vraiment dirait en essayant d’avoir l’air de savoir.

Ce qui, soit dit en passant, décrit une fraction non négligeable de la production intellectuelle humaine.

Cela force une question inconfortable : si un système sans compréhension peut produire un discours indiscernable de celui d’un être supposément intelligent, alors quelle part de notre propre discours repose réellement sur la compréhension ? Et quelle part repose sur des automatismes linguistiques, culturels et sociaux ?

ChatGPT comme miroir (et non comme esprit)

On parle beaucoup de ChatGPT comme d’un « outil », parfois comme d’un « danger », parfois comme d’un « assistant ». Mais la métaphore la plus juste est peut-être celle du miroir — un miroir très particulier, qui ne reflète pas les individus mais les corpus.

ChatGPT est une condensation statistique de ce que l’humanité a écrit, ou du moins de ce qu’elle a rendu accessible sous forme textuelle. Il ne crée pas ex nihilo : il recombine, extrapole, lisse. Et ce lissage est précisément ce qui le rend à la fois utile et trompeur.

Utile, parce qu’il permet de produire rapidement une synthèse, une reformulation, une exploration d’idées. Trompeur, parce qu’il efface les aspérités, les incertitudes, les conflits non résolus — tout ce qui fait justement la valeur épistémique d’un raisonnement honnête.

ChatGPT ne dit pas « je ne sais pas » spontanément. Il dit quelque chose. Toujours. Et c’est peut-être là son vice fondamental.

La question de la confiance (mal posée)

« Peut-on faire confiance à ChatGPT ? » est une question mal formée. On ne fait pas confiance à un moteur de recherche, pas plus qu’à une calculatrice. On les utilise, avec un certain protocole mental de vérification.

Le problème est que ChatGPT ne ressemble pas à un outil. Il ressemble à un interlocuteur. Il parle comme nous. Il utilise des transitions rhétoriques, des nuances, parfois même de l’humour. Et notre cerveau est extraordinairement mauvais pour résister à cette illusion.

Nous sommes programmés pour attribuer une intention, une compétence et une sincérité à ce qui s’exprime correctement. C’est un biais cognitif ancien, profond, et probablement impossible à désactiver complètement.

ChatGPT exploite ce biais sans le vouloir, simplement parce qu’il se situe exactement dans la zone où la parole devient socialement signifiante.

Une révolution silencieuse : la dévalorisation de l’écriture

L’effet le plus durable de ChatGPT ne sera peut-être ni économique ni technologique, mais culturel. Pendant des siècles, la capacité à produire du texte cohérent a été un marqueur fort de compétence intellectuelle. Écrire, c’était penser. Ou du moins, c’était le signe extérieur d’une pensée en cours.

Ce lien est désormais rompu.

Produire un texte correct, structuré, informatif n’est plus une compétence rare. Ce qui devient rare, en revanche, c’est la capacité à évaluer ce texte : à repérer les glissements, les approximations, les raisonnements circulaires, les fausses évidences.

Nous passons d’une culture de la production à une culture de la validation. Et ce déplacement est loin d’être anodin.

L’étudiant idéal… et profondément dangereux

Il est tentant de comparer ChatGPT à un étudiant extrêmement brillant, ayant tout lu, capable de reformuler n’importe quoi, mais n’ayant jamais vraiment fait l’expérience du monde. Cette métaphore est imparfaite, mais utile.

Comme cet étudiant, ChatGPT peut aider à explorer un sujet, à clarifier une question, à produire un premier jet. Comme lui, il ne doit jamais être cru sur parole. Et comme lui, il devient dangereux dès qu’on le confond avec une autorité.

La différence, bien sûr, est d’échelle. ChatGPT peut produire en quelques secondes ce qui aurait demandé des heures à un humain. Et à cette échelle, les erreurs ne sont plus anecdotiques : elles deviennent structurelles.

Ce que ChatGPT nous oblige à apprendre

ChatGPT ne nous apprend rien sur la machine. Il nous apprend beaucoup sur nous-mêmes. Sur notre rapport au langage. Sur notre propension à confondre aisance verbale et connaissance. Sur notre difficulté à accepter le doute explicite.

Il agit comme un révélateur : il rend visibles des failles cognitives que nous préférions ignorer tant qu’elles étaient masquées par l’effort humain.

En ce sens, ChatGPT n’est ni une intelligence, ni une menace existentielle. C’est un test permanent. Un test de vigilance intellectuelle. Et comme tous les bons tests, il ne se réussit pas par automatisme.

⸻

¹ On pourrait évidemment parler de réseaux neuronaux profonds, de transformeurs, d’auto-attention, et de fonctions de perte, mais cela n’ajouterait rien d’essentiel à l’argument — ce qui est généralement un bon critère pour décider de ne pas le faire.

⸻

(Fin du billet. Si tu es arrivé jusqu’ici, soit tu aimes vraiment ce genre de texte, soit tu as oublié de fermer l’onglet.)

Je m'excuse pour mon commentaire hâtif d'il y a 2 jours: je pensais être tranquille avec un préprint d'il y a 2,5 mois mais ayant plus fouillé en afterthought je me suis rendu compte que nous sommes déjà dans un autre monde… Des tas de gens ont fait des tas de choses bluffantes comme AutoGPT, tree of thoughts arxiv.org/abs/2305.10601, un explorateur du monde Minecraft qui écrit du code pour ce faire arxiv.org/abs/2305.16291, nvidia annonce des usines entièrement IA youtube.com/watch?v=L6rJA0z2Kag etc. À ma décharge, je pensais que ton blog en aurait parlé. Ton milieu a priori bien informé n'est-il pas en train de s'exciter à fond sur un changement qui me paraît bien plus disruptif que Trump en président ? Tu n'es pas en train d'angoisser que le monde change rapidement et imprévisiblement ? Ils parlent tous de réguler alors que toutes les boîtes veulent en interne les meilleures IAs possibles pour prendre la meilleure position possible contre la concurrence (productivité, recherche incrémentale, application des changements de paradigme etc.) et pour manipuler le mieux possible leurs clients humains par la publicité (+ les humains à gérer avec des caméras) alors j'ai l'impression de voir la civilisation foncer vers la prochaine singularité quelle qu'elle soit avec l'option IA en train de doubler l'option écroulement standard par pure bêtise.
Suggestion d'ajout à ton billet (ou ici, je suis preneur) que tes collègues doivent bien avoir si tu n'as pas déjà: source d'info peu bruitée pour suivre la révolution AI, préprints et résultats, merci d'avance :)

arxiv.org/abs/2303.12712 sur la version suivante GPT4 (qui fait mieux et est capable d'utiliser des outils externes en oracle) signale la limite que GPT ne sait que partir directement sur son idée pour rédiger sa réponse, sans possibilité de retravailler son premier jet. Cela me fait penser à une intuition spontanée, et comme GPT est capable de critiquer et de corriger, il y a l'idée évidente pour tenter de faire une réflexion d'utiliser un GPT en sous-système en boucle
sur lui-même qui utilise la réponse précédente comme espace de travail jusqu'à ce qu'il trouve acceptable sa réponse (Voici question + réponse + liste de problèmes, y a-t-il une meilleure réponse?); j'imagine que ça ne donne rien mais comme l'article ne mentionne pas cette idée je veux bien savoir comment ça rate.
L'article mentionne aussi le problème que personne ne sait faire un apprentissage incrémental pour intégrer les mises à jour du web (ne serait-ce que la date du jour courant). Je me demande si cela a un rapport avec ce qui me semble manquer pour avoir une véritable intelligence, à savoir une capacité à trouver des modèles plus petits qui prédisent les choses (l'idée qui nous frappe parce qu'elle semble coller avec beaucoup de choses), comme nous le faisons peut-être lorsque nous rêvons en ordonnant nos souvenirs récents. À défaut d'un rapport direct à l'expérience du monde, cela pourrait peut-être permettre de séparer le vrai du faux (la part régulière du faux étant des biais psychologiques et idéologiques).
Je retiens de ChatGPT que nous avons de la chance qu'OpenAI l'ait rendu public pour nous rendre compte de ce que peut faire l'IA au lieu de sous-estimer ce qui se passe chez Google, les Chinois etc.; mais il semble que tout le monde veuille maintenant la fermer, alors allons-nous être dans l'incertitude complète concernant ce que certains ont comme IA entre « aucun progrès majeur » et « ça y est, une IA a un modèle psychologique complet d'un humain et a catégorisé toute la planète d'après les empreintes web des gens et sait comment tout manipuler » ?

Je signale cette vidéo bien cachée sur le site du Collège de France, sur un sujet proche, par un ingénieur de OpenAI :

Sur les capacités de raisonnement mathématique des modèles de langage

https://www.college-de-france.fr/agenda/seminaire/la-philosophie-de-la-pratique-des-mathematiques/sur-les-capacites-de-raisonnement-mathematique-des-modeles-de-langage

Tout petit apport (je crois que ça n'a pas été fait par les précédents commentaires) : "unit" désigne bien un neurone !

@farniente non, entrainer le modèle n'a rien à voir avec alimenter une base.
Il faut une base pour entrainer le modèle, bien évidemment.
Mais un entrainement c'est prendre le modèle, lui montrer les données et le forcer à les apprendre (par exemple dans le cas d'un générateur d'images, lui faire reconstituer les images de la base à partir de bruit et de leur description, en minimisant une distance entre l'image générée et l'image à reconstruire).
Les modèles sont souvent beaucoup plus petit que les bases (par exemple Stable Diffusion, qui sait générer des images, a été entrainé sur une base de 5 milliards d'images, LAION5B, qui fait donc des centaines de téra-octets. Et le modèle ne fait que 1 milliards de paramètres (et tient donc dans un fichier de 4 giga-octets, vu que les paramètres sont de FP32).
En fait Stable Diffusion ne peut même pas se souvenir de 1 octet de chaque image qu'il a vu. Il doit se faire une représentation interne des images très simplifiée. Par exemple il va voire assez de photos de chats pour comprendre qu'un chat ça a des poils, des yeux, des oreilles, des moustaches (évidemment il ne leur donne pas ces noms). Et que les yeux peuvent être bleus ou verts ou je ne sais quoi.

Tu as sans doute repéré que Scott Aaronson a pris une sorte d'année sabbatique pour aller travailler à des questions dites d'alignement (comment construire des IA "bienveillantes") chez OpenAI, et qu'il publie régulièrement sur son blog (Shtetl-Optimized) des réflexions à ce sujet (contraints évidemment par son obligation de non-divulgation des derniers progrès techniques). Il y a pas mal d'informations utiles dans ces notes, et aussi dans les commentaires de ces lecteurs.

Les systèmes experts n'étaient qu'une longue liste de select/case. C'était le niveau zéro de la programmation. De plus, on s'est vite rendu compte que c'était impossible à maintenir et même à fabriquer correctement, car il fallait extraire et traduire "à la main" les connaissances des experts.

Les codes du deep learning ne sont pas "extrêmement simples". Ils sont simples une fois pondus, mais pas simples à concevoir. La preuve en est qu'on aurait jamais eu ces performances remarquables sans tout un lot "d'astuces" dans ChatGPT ou dans AlphaZero.

On critique le fait que ces softs trouvent une logique et l'applique dans une mer de données. Certes. Mais quel est le volume de données équivalent qu'un bébé humain aura vu disons avant d'arriver à produire un texte aussi propre que chatGPT? Combien de parties d'échecs un humain devrait-il jouer contre lui-même pour devenir grand maitre avec pour seule aide les règles du jeu ? Pas 10⁹ mais beaucoup.

On a essayé pendant des années de coder qqch permettant de trier des images ou de conduire une voiture sans arriver à grand-chose. Rien ne marchait avant l'arrivée du deep learning. C'est une vraie révolution et ce n'est pas moins noble que l'approche qui n'a pas marché durant des années.

@Natacha : En fait la puissance de l’informatique actuelle provient des ordinateurs qu’on arrive à construire qui ont des capacités de calcul, de stockage et de télécommunication prodigieuses qui surpassent largement les nôtre. Mais tout cela est construit par notre intelligence et un algorithme qui calcule, stocke et déplace des données est conçu par nous suivant nos besoins et nos problématiques théoriques et pratiques. Et on voit bien là les limites d’un programme qui implémente un algorithme il fera toujours la même chose ce qu’on lui aura spécifié de faire à chaque entrées qu’on lui donne.

Sur la question "who is david alexander madore"

David Alexander Madore is an American computer scientist and mathematician who is an assistant professor at the University of California, Santa Cruz. His research focuses on the theory of programming languages, type systems, and computer-aided verification. He is the author of two books, "A Practical Guide to Programming Languages" and "Type Theory and Formal Proof". He has also published numerous papers on topics such as type systems, theorem proving, formal verification, and programming language theory.

@Cigaes et gaumut :

merci beaucoup pour votre aide, et c'est effectivement à la vallée dérangeante de l'intelligence artificielle que je pensais.

Je remarque que comme dans <URL: https://instinctive.eu/weblog/0BD-memoire-assistee-par-ordinateur> quand je me gratte le fond de la tête pour retrouver quelque chose, c'est généralement qu'une hypothèse fondamentale est fausse, en l'occurrence le site sur lequel chercher. D'ailleurs je présente toutes mes excuses à notre hôte et à l'auteur d'A Piece of a Larger Me pour la confusion (je veux pas savoir lequel a le plus de raison de se sentir offensé).

Le problème de cette constatation, c'est que je ne vois pas quoi en faire : si je commence à remettre en question tout ce dont je suis à peu près sûre, il ne me reste plus aucun critère de recherche pour avancer.

@ooten :

Je suis probablement biaisée par mon travail sur des SAT-solvers, mais j'ai tendance à classer l'« intelligence » pratique et la puissance théorique d'une machine de Turing comme appartenant à des univers distincts et incomparables.

[En gros et à la hache pour le contexte, les problèmes SAT sont NP-complets, on ne peut pas les résoudre efficacement, sauf que les problèmes SAT qu'on rencontre en contexte industriels se résolvent très bien avec des bonnes heuristiques, et (que je sache) on ne sait pas trop ce qui fait qu'un problème SAT industriel est particulier.]

Le parallèle est que les problèmes que nous nous posons, nous autres humains, sont un petit sous-ensemble de tous les problèmes qui peuvent théoriquement exister. Or la puissance d'une machine de Turing est juste une limite qui ne recoupe peut-être même pas le domaine qui nous intéresse.

Quand on construit spécifiquement, je dirais même adversarialement, un problème qu'une machine de Turing ne peut pas résoudre, ben on tombe dessus ; mais en vrai j'imagine personne capable de prouver l'arrêt de n'importe quel programme.

Je ne serais même pas surprise si aucun esprit humain ne dépassait la puissance d'une machine de Turing.

Dans mon propos je vais écarter l'informatique quantique que je connais très mal qui est en plein développement et qui est compliquée et je ne parle que de l'informatique traditionnelle telle qu'utilisée quotidiennement par tout un chacun. L’IA fondamentalement sont des machines de Turing implémentées et équivalentes à des circuits électroniques digitaux booléen combinatoires et séquentiels, qui ont des états internes et qui ne comptent pas pour leurs entrées, agencés avec une certaine architecture, en gros il y a les programmes d’un côté et les données comme les entrées et les sorties des programmes de l’autre. Les entrées sont des mots composés de 0 et de 1, on obtient des mots du même type en sortie et comme le sont aussi les états internes. Elles sont aussi équivalentes à des programmes dans des langages de programmation suffisamment évolués et qui s’exécutent grâce à ces circuits et qui produisent des sorties quand ils se terminent ou ne plantent pas.
Je ne vois pas ce que l’IA ou les programmes auraient comme intelligence puisque pour toute entrée qu’on leur fournit ils vont nous retourner une sortie s’ils s’arrêtent à un moment donné et ne plantent pas, et elle sera toujours la même pour peu que leurs états internes ne changent pas. A part d’avoir la capaciter à produire des calculs arithmétiques et de manipuler (concaténer, extraire et déplacer de zones mémoires à d’autres qui sont des circuits séquentiels évoqués ci-dessus) des mots binaires pour en obtenir d’autres.

Il me semble que tu fais l’impasse sur ce qui a été pour moi le moment de bascule : l’arrivée des programmes de DeepMind (AlphaGo, AlphaZero, etc.) atteignant un niveau surhumain en construisant leur base de données (en jouant contre eux-mêmes en partant uniquement des règles du jeu), puis en « abstrayant » si bien ces données qu’ils arrivent par exemple à trouver aux échecs des sacrifices positionnels que les meilleurs programmes classiques (Stockfish,…) , malgré une puissance de calcul mille fois supérieure, ne voient pas. Une approche adversariale de GPT-3 (le confronter à un programme qui tente de le piéger au test de Turing), combinée à un accès direct à des programmes de contrôle (par exemple, pour l’arithmétique, en lui faisant contrôler ses résultats par une calculette jusqu’à ce qu’il invente les algorithmes) ne serait-elle pas envisageable ?

@Natacha

>Il me semble que c'est par ici (et je suis triste de ne plus retrouver où) que j'avais lu l'idée que pour interagir efficacement avec quelque chose, il faut pouvoir s'en faire un modèle mental […]

Tu parles peut-être de ceci : <URL: http://www.madore.org/cgi-bin/comment.pl/showcomments?href=http%3a%2f%2fwww.madore.org%2f%7edavid%2fweblog%2f2021-07.html%23d.2021-07-30.2690 >

@Natacha :

Peut-être penses-tu à l'article « la vallée dérangeante de l'intelligence artificielle » d'A piece of a larger me ?

<URL: https://piece-of-a-larger-me.github.io/la_vallee_derangeante_de_l_intelligence_artificielle.html >

En tout cas merci pour cette réponse, cette fois c'est toi qui mets en mots des réflexions que je sentais encore confusément. Et je partage ton impression sur la qualité des résultats de Google. C'en est arrivé au point où les premiers résultats d'une recherche sur deux mots précis peuvent ne pas contenir du tout l'un des mots. Je suis partagé dans mes soupçons, entre qu'il élargit la recherche à ce qu'il considère pertinent autour des mots de recherche et qu'il privilégie des résultats sponsorisés.

(Il y a quelques jours, j'avais besoin de faire une capture d'écran sur un mac. En cliquant un peu au hasard j'ai activé Siri, du coup je lui ai demandé : elle m'a répondu pour Android.)

Ce que j'ai lu concernant Google, c'est qu'ils disposent de système similaires (e.g. LaMDA), mais qu'ils sont assez frileux pour mettre des modèles aussi généraux face au grand public. Notamment, un risque c'est que le système génère des propos racistes ou autre, qu'il est difficile d'éliminer à grande échelle.

Sur comment ça fonctionne, je crois que les "secrets" de OpenAI sont plutôt sur tout ce qui permet de faire marcher ça en pratique, pas tant sur les modèles qui eux sont publiés.

> ChatGPT est au moins capable de parler anglais et français, je ne sais pas quelles sont les langues qu'il maîtrise

Une collègue Chinoise me disait qu'il parlait chinois sans problème.

> Google a certainement des soucis à se faire (je crois qu'ils s'en font, et vont certainement miser beaucoup pour essayer de rattraper leur retard en la matière)

Tu es sûr qu'ils ont du retard ? Ou c'est juste qu'ils n'ont pas rendu public ce qu'ils savent faire, car ils n'y ont pas d'intérêt particulier.

Par ailleurs, ce que je trouve inquiétant c'est que quelqu'un qui a une thèse en math et une culture poussée en informatique et qui y a passé un peu de temps n'arrive pas à trouver les infos pour se faire une idée précise de la façon dont ça fonctionne (à mon humble niveau, j'étais arrivé aux mêmes conclusions).

Est-ce une volonté de "Open" AI de ne pas révéler de secrets de fabrication ? Ou tout cela change tellement vite que personne ne prend le temps de documenter de façon vraiment intelligible comment ça fonctionne ?

Est-ce que ChatGPT peut inférer le calcul ? par exemple, effectuer la somme de deux nombres très éloignés de tout ce qu'il a pu observer dans ses données. Je suppose que non, mais d'un autre coté, c'est bien ce que font les humains. Enfin, probablement que l'arithmétique ou la logique est déjà pré-cablée dans le cerveau humain, et que ChatGPT est trop limité pour pouvoir le déduire. Est-ce qu'il y a des pistes de faire évoluer ChatGPT dans cette direction ou est-ce un saut qualitatif peut-être inatteignable ?

J'ai aussi l'impression que c'est là ou les "béats du progrès" comme Musk se trompent. Ils se disent "on y est presque", regardez, la voiture roule "presque" toute seule, ChatGPT est "presque" logique, mais le "presque" est peut-être justement ce qui nécessite une révolution scientifique.

Je serais curieux de connaitre le consensus des experts sur ces questions.

Explique-moi la relativité restreinte en vers, je me suis bien marré (joli, mais partiellement incorrect). Sinon je me marre en le piégeant sur "est-ce que quarante-douze est premier" ou "is three scores and nine a prime number".

Merci pour cet article. J'ai quelques remarques.
1) Vous parlez souvent d'"entraîner un réseau de neurones" mais en fait il s'agit simplement d'alimenter une base de données, non ?
2) J'ai regardé cette vidéo à propos de ChatGPT : https://www.youtube.com/watch?v=R2fjRbc9Sa0
L'idée c'est que ChatGPT n'est finalement qu'une saisie prédictive comme on en a sur nos téléphones, en beaucoup plus puissant. En gros c'est comme le genre de truc qu'on voit passer de temps en temps sur les RS : Tape "Moi ce que je préfère c'est" et laisse ton correcteur continuer.
Donc il n'y a aucune intelligence là-dedans, simplement une énorme DB de stats d'utilisation successive de mots qu'on utilise ensuite pour générer du texte qui a l'air cohérent.
Il y aussi sans doute d'autres couches comme vous l'évoquez, afin d'éviter de tenir des propos racistes, homophobes ou pornographiques.

Une question qui amène assez systématiquement ChatGPT à halluciner est "Énonce un théorème mathématique avec sa preuve" (ça marche aussie bien en français qu'en anglais) .
En général, l'énoncé est correct, mais la preuve est bourrée de faute plus ou moins grossières. J'ai eu droit :
- au théorème de Pythagore dont la preuve utilisait un carré "ACBC" ;
- a l'existence de la borne supérieure dans 𝐑. Là l'essentiel de la preuve consistait à démontrer une des hypothèses ;
- à une équation algébrique qui ressemblait (de mémoire) à "(n+1)³ = n³ + 3n² + 3n + 3" ;
- à une équation algébrique correcte (peut être (a+b)³ = a³ + 3a²b + 3ab² + b³) avec un commentaire du genre "ma preuve marche pour certaines valeurs de a et b, mais peut-être pas pour toute".

Sinon, ChatGPT "parle" le grec aussi bien que le français ou l'anglais, et je lui ai fait écrire des idioties qui avait l'air raisonnables en arabe, chinois, coréen, espagnol, japonais ou turc (mais je ne maîtrise pas assez ses langues pour en être certain).
Par contre, il a l'air de ne pas pouvoir utiliser des langues anciennes :
- j'ai essayé de lui faire sortir du chinois classique, mais tout ce qu'on obtient, ce sont des courtes citations de textes classiques, (avec une traduction erronée) ;
- je lui ai aussi demandé du grec ancien, mais j'ai obtenu du grec moderne avec des bribes de vocabulaire archaïque.
Je ne crois pas avoir essayé le latin.

Finalement, ce qui manque le plus à ChatGPT, c'est de la circonspection.

Moi aussi j'ai interrogé l'I.A Pierre Ménard qui m'a répondu : « la vérité, dont la mère est l'histoire, émule du temps, dépôt des actions, témoin du passé, exemple et connaissance du présent, avertissement de l'avenir » ça m'a durablement impressionné, on dirait du Jorge Luis Borgès !

Merci pour ce post très complet. Il manque seulement un aspect très important des chatGPT et consorts: leur empreinte carbone monumentale complètement à l'opposé de ce que la planète peut se permettre en ce moment…

Il m'arrive souvent de lire un billet de notre hôte et d'en sortir pleine de gratitude pour avoir mis en mots des intuitions diffuses que j'avais déjà ; je trouve intéressant le présent billet est une exception notable, mais je ne sais pas trop quoi en conclure.

J'aime beaucoup la phrase de ChatGPT « cette histoire manque de profondeur et de développement, et laisse beaucoup trop de choses à l'imagination du lecteur », car c'est exactement la description que je ferai de ChatGPT lui-même (c'est d'ailleurs le seul passage qui fait exception dans l'exception, où en le lisant j'ai trouvé que c'est une super formulation de mon ressenti).

Je crois que la principale différence entre l'esprit de ce texte et mon point de vue est que dans ma tête « IA » est l'acronyme de « deep learning », et j'approche ChatGPT comme un outil sans que le concept d'intelligence s'approche de mon champ mental. Quand ce billet a fait percuter ce concept avec mon expérience de ChatGPT, j'ai tout de suite repensé à cette citation d'Alain que j'aime beaucoup : « Il est difficile de juger de l'intelligence de quelqu'un qui a beaucoup lu, car la mémoire imite à merveille l'intelligence. »

Du coup je rejoins un des points forts de l'article, car c'est un outil inhabituel par le fait qu'il a été construit sans savoir à quoi il sert, et la question se pose encore.

Si quelqu'un a envie de jouer avec ChatGPT, j'aimerais bien qu'on me confirme la première limite que j'y ai trouvée toute seule : il ne semble pas avoir le concept de "capsize" pour un nœud (sens 3 dans <URL: https://en.wiktionary.org/wiki/capsize>). Il m'a d'abord halluciné une définition, et j'ai essayé diverses requêtes détournées, et c'est comme si ça n'existait pas du tout dans le modèle.

La principale crainte que j'ai avec ces « perroquets stochastiques » ou « artefacts génératifs » est que leur généralisation me rende insupportable l'interaction avec les machines.

Il me semble que c'est par ici (et je suis triste de ne plus retrouver où) que j'avais lu l'idée que pour interagir efficacement avec quelque chose, il faut pouvoir s'en faire un modèle mental ; suivant le principe de choisir ses propres que l'on va faire en fonction du résultat que l'on veut.

J'ai l'impression que ce qui séduit dans ChatGPT est qu'il propose « être humain » comme modèle, parce que c'est un modèle que tout le monde a naturellement et qu'il n'y a pas besoin d'apprendre. Ça me fait l'effet inverse, parce que j'ai l'habitude d'être déçue par les humains, et parce que j'attends des machines de m'augmenter moi-même les assimilant (ce qui suppose un couplage fort assuré par un modèle mental précis).

Dans mon cercle, une partie de l'enthousiasme envers ChatGPT est son efficacité en tant que remplaçant de Google sur les questions de techniques (comme écrire un script ou un fichier de conf). Après avoir essayé moi-même, je partage le sentiment, car même si ChatGPT sort souvent des trucs faux, il pointe très souvent la bonne direction. Donc avec du recul sur ses réponses, j'arrive plus vite au résultat final et avec plus d'édification personnelle au passage qu'en enchaînant les recherches DuckDuckGo ou Google.

Cependant mon enthousiasme est tempéré par le fait que j'y vois plus un échec de Google qu'une réussite de ChatGPT. Les résultats Google d'il y a dix ans étaient encore meilleurs que ça. Je ne sais pas exactement ce qui a changé depuis, si c'est un souci dans le moteur de recherche ou dans l'internet (le peak SEO ? la fin des blogs techniques ?) ou dans les deux, mais le constat est là.

Et parfois je me demande si ce n'est pas la qualité des résultats Google qui a chuté, mais plutôt la qualité de mon google-fu. Peut-être que c'est mon modèle mental de Google qui est aujourd'hui plus éloigné de la raéalité de Google que mon modèle mental humain est éloigné de la réalité de ChatGPT.

Évidemment, le fait d'être socialement inepte est probablement le signe de la mauvaise qualité de mon modèle mental pour les humains, je suis probablement dans une minorité pour qui google-il-y-a-dix-ans est plus accessible que ChatGPT.

Et tout ça rejoint quelque part ma principale source de scepticisme envers cette troisième phase de l'intelligence artificielle : on a complètement laissé tomber la compréhension humaine du phénomène qu'on cherche à outiller. Tu l'as bien relevé dans ton billet, mais je n'y ai pas vu la conséquence principale que j'en tire : construire un outil ne donne rien d'utile pour faire son successeur.

Je ne veux pas dénigrer le champ de l'ingénierie du deep learning, il y a de la vraie compétence dedans et l'expérience de ChatGPT a certainement donné des leçons pour faire un chatbot encore meilleur, mais ça restera un « cheval plus rapide ». On n'en a rien tiré sur l'essence de la production textuelle humaine, et on n'est pas plus avancé vers un correcteur de style (à mettre derrière le correcteur orthographique puis grammatical) qui n'utiliserait pas le deep learning.

YouChat est lui aussi un jouet amusant, qui a l'avantage de ne laquelle nécessiter d'inscription: https://you.com/search?q=who+are+you&tbm=youchat