Comments on Réflexions sur l'IA et ChatGPT

Je m'excuse pour mon commentaire hâtif d'il y a 2 jours: je pensais être tranquille avec un préprint d'il y a 2,5 mois mais ayant plus fouillé en afterthought je me suis rendu compte que nous sommes déjà dans un autre monde… Des tas de gens ont fait des tas de choses bluffantes comme AutoGPT, tree of thoughts arxiv.org/abs/2305.10601, un explorateur du monde Minecraft qui écrit du code pour ce faire arxiv.org/abs/2305.16291, nvidia annonce des usines entièrement IA youtube.com/watch?v=L6rJA0z2Kag etc. À ma décharge, je pensais que ton blog en aurait parlé. Ton milieu a priori bien informé n'est-il pas en train de s'exciter à fond sur un changement qui me paraît bien plus disruptif que Trump en président ? Tu n'es pas en train d'angoisser que le monde change rapidement et imprévisiblement ? Ils parlent tous de réguler alors que toutes les boîtes veulent en interne les meilleures IAs possibles pour prendre la meilleure position possible contre la concurrence (productivité, recherche incrémentale, application des changements de paradigme etc.) et pour manipuler le mieux possible leurs clients humains par la publicité (+ les humains à gérer avec des caméras) alors j'ai l'impression de voir la civilisation foncer vers la prochaine singularité quelle qu'elle soit avec l'option IA en train de doubler l'option écroulement standard par pure bêtise.
Suggestion d'ajout à ton billet (ou ici, je suis preneur) que tes collègues doivent bien avoir si tu n'as pas déjà: source d'info peu bruitée pour suivre la révolution AI, préprints et résultats, merci d'avance :)

arxiv.org/abs/2303.12712 sur la version suivante GPT4 (qui fait mieux et est capable d'utiliser des outils externes en oracle) signale la limite que GPT ne sait que partir directement sur son idée pour rédiger sa réponse, sans possibilité de retravailler son premier jet. Cela me fait penser à une intuition spontanée, et comme GPT est capable de critiquer et de corriger, il y a l'idée évidente pour tenter de faire une réflexion d'utiliser un GPT en sous-système en boucle
sur lui-même qui utilise la réponse précédente comme espace de travail jusqu'à ce qu'il trouve acceptable sa réponse (Voici question + réponse + liste de problèmes, y a-t-il une meilleure réponse?); j'imagine que ça ne donne rien mais comme l'article ne mentionne pas cette idée je veux bien savoir comment ça rate.
L'article mentionne aussi le problème que personne ne sait faire un apprentissage incrémental pour intégrer les mises à jour du web (ne serait-ce que la date du jour courant). Je me demande si cela a un rapport avec ce qui me semble manquer pour avoir une véritable intelligence, à savoir une capacité à trouver des modèles plus petits qui prédisent les choses (l'idée qui nous frappe parce qu'elle semble coller avec beaucoup de choses), comme nous le faisons peut-être lorsque nous rêvons en ordonnant nos souvenirs récents. À défaut d'un rapport direct à l'expérience du monde, cela pourrait peut-être permettre de séparer le vrai du faux (la part régulière du faux étant des biais psychologiques et idéologiques).
Je retiens de ChatGPT que nous avons de la chance qu'OpenAI l'ait rendu public pour nous rendre compte de ce que peut faire l'IA au lieu de sous-estimer ce qui se passe chez Google, les Chinois etc.; mais il semble que tout le monde veuille maintenant la fermer, alors allons-nous être dans l'incertitude complète concernant ce que certains ont comme IA entre « aucun progrès majeur » et « ça y est, une IA a un modèle psychologique complet d'un humain et a catégorisé toute la planète d'après les empreintes web des gens et sait comment tout manipuler » ?

Je signale cette vidéo bien cachée sur le site du Collège de France, sur un sujet proche, par un ingénieur de OpenAI :

Sur les capacités de raisonnement mathématique des modèles de langage

https://www.college-de-france.fr/agenda/seminaire/la-philosophie-de-la-pratique-des-mathematiques/sur-les-capacites-de-raisonnement-mathematique-des-modeles-de-langage

Tout petit apport (je crois que ça n'a pas été fait par les précédents commentaires) : "unit" désigne bien un neurone !

@farniente non, entrainer le modèle n'a rien à voir avec alimenter une base.
Il faut une base pour entrainer le modèle, bien évidemment.
Mais un entrainement c'est prendre le modèle, lui montrer les données et le forcer à les apprendre (par exemple dans le cas d'un générateur d'images, lui faire reconstituer les images de la base à partir de bruit et de leur description, en minimisant une distance entre l'image générée et l'image à reconstruire).
Les modèles sont souvent beaucoup plus petit que les bases (par exemple Stable Diffusion, qui sait générer des images, a été entrainé sur une base de 5 milliards d'images, LAION5B, qui fait donc des centaines de téra-octets. Et le modèle ne fait que 1 milliards de paramètres (et tient donc dans un fichier de 4 giga-octets, vu que les paramètres sont de FP32).
En fait Stable Diffusion ne peut même pas se souvenir de 1 octet de chaque image qu'il a vu. Il doit se faire une représentation interne des images très simplifiée. Par exemple il va voire assez de photos de chats pour comprendre qu'un chat ça a des poils, des yeux, des oreilles, des moustaches (évidemment il ne leur donne pas ces noms). Et que les yeux peuvent être bleus ou verts ou je ne sais quoi.

Tu as sans doute repéré que Scott Aaronson a pris une sorte d'année sabbatique pour aller travailler à des questions dites d'alignement (comment construire des IA "bienveillantes") chez OpenAI, et qu'il publie régulièrement sur son blog (Shtetl-Optimized) des réflexions à ce sujet (contraints évidemment par son obligation de non-divulgation des derniers progrès techniques). Il y a pas mal d'informations utiles dans ces notes, et aussi dans les commentaires de ces lecteurs.

Les systèmes experts n'étaient qu'une longue liste de select/case. C'était le niveau zéro de la programmation. De plus, on s'est vite rendu compte que c'était impossible à maintenir et même à fabriquer correctement, car il fallait extraire et traduire "à la main" les connaissances des experts.

Les codes du deep learning ne sont pas "extrêmement simples". Ils sont simples une fois pondus, mais pas simples à concevoir. La preuve en est qu'on aurait jamais eu ces performances remarquables sans tout un lot "d'astuces" dans ChatGPT ou dans AlphaZero.

On critique le fait que ces softs trouvent une logique et l'applique dans une mer de données. Certes. Mais quel est le volume de données équivalent qu'un bébé humain aura vu disons avant d'arriver à produire un texte aussi propre que chatGPT? Combien de parties d'échecs un humain devrait-il jouer contre lui-même pour devenir grand maitre avec pour seule aide les règles du jeu ? Pas 10⁹ mais beaucoup.

On a essayé pendant des années de coder qqch permettant de trier des images ou de conduire une voiture sans arriver à grand-chose. Rien ne marchait avant l'arrivée du deep learning. C'est une vraie révolution et ce n'est pas moins noble que l'approche qui n'a pas marché durant des années.

@Natacha : En fait la puissance de l’informatique actuelle provient des ordinateurs qu’on arrive à construire qui ont des capacités de calcul, de stockage et de télécommunication prodigieuses qui surpassent largement les nôtre. Mais tout cela est construit par notre intelligence et un algorithme qui calcule, stocke et déplace des données est conçu par nous suivant nos besoins et nos problématiques théoriques et pratiques. Et on voit bien là les limites d’un programme qui implémente un algorithme il fera toujours la même chose ce qu’on lui aura spécifié de faire à chaque entrées qu’on lui donne.

Sur la question "who is david alexander madore"

David Alexander Madore is an American computer scientist and mathematician who is an assistant professor at the University of California, Santa Cruz. His research focuses on the theory of programming languages, type systems, and computer-aided verification. He is the author of two books, "A Practical Guide to Programming Languages" and "Type Theory and Formal Proof". He has also published numerous papers on topics such as type systems, theorem proving, formal verification, and programming language theory.

@Cigaes et gaumut :

merci beaucoup pour votre aide, et c'est effectivement à la vallée dérangeante de l'intelligence artificielle que je pensais.

Je remarque que comme dans <URL: https://instinctive.eu/weblog/0BD-memoire-assistee-par-ordinateur> quand je me gratte le fond de la tête pour retrouver quelque chose, c'est généralement qu'une hypothèse fondamentale est fausse, en l'occurrence le site sur lequel chercher. D'ailleurs je présente toutes mes excuses à notre hôte et à l'auteur d'A Piece of a Larger Me pour la confusion (je veux pas savoir lequel a le plus de raison de se sentir offensé).

Le problème de cette constatation, c'est que je ne vois pas quoi en faire : si je commence à remettre en question tout ce dont je suis à peu près sûre, il ne me reste plus aucun critère de recherche pour avancer.

@ooten :

Je suis probablement biaisée par mon travail sur des SAT-solvers, mais j'ai tendance à classer l'« intelligence » pratique et la puissance théorique d'une machine de Turing comme appartenant à des univers distincts et incomparables.

[En gros et à la hache pour le contexte, les problèmes SAT sont NP-complets, on ne peut pas les résoudre efficacement, sauf que les problèmes SAT qu'on rencontre en contexte industriels se résolvent très bien avec des bonnes heuristiques, et (que je sache) on ne sait pas trop ce qui fait qu'un problème SAT industriel est particulier.]

Le parallèle est que les problèmes que nous nous posons, nous autres humains, sont un petit sous-ensemble de tous les problèmes qui peuvent théoriquement exister. Or la puissance d'une machine de Turing est juste une limite qui ne recoupe peut-être même pas le domaine qui nous intéresse.

Quand on construit spécifiquement, je dirais même adversarialement, un problème qu'une machine de Turing ne peut pas résoudre, ben on tombe dessus ; mais en vrai j'imagine personne capable de prouver l'arrêt de n'importe quel programme.

Je ne serais même pas surprise si aucun esprit humain ne dépassait la puissance d'une machine de Turing.

Dans mon propos je vais écarter l'informatique quantique que je connais très mal qui est en plein développement et qui est compliquée et je ne parle que de l'informatique traditionnelle telle qu'utilisée quotidiennement par tout un chacun. L’IA fondamentalement sont des machines de Turing implémentées et équivalentes à des circuits électroniques digitaux booléen combinatoires et séquentiels, qui ont des états internes et qui ne comptent pas pour leurs entrées, agencés avec une certaine architecture, en gros il y a les programmes d’un côté et les données comme les entrées et les sorties des programmes de l’autre. Les entrées sont des mots composés de 0 et de 1, on obtient des mots du même type en sortie et comme le sont aussi les états internes. Elles sont aussi équivalentes à des programmes dans des langages de programmation suffisamment évolués et qui s’exécutent grâce à ces circuits et qui produisent des sorties quand ils se terminent ou ne plantent pas.
Je ne vois pas ce que l’IA ou les programmes auraient comme intelligence puisque pour toute entrée qu’on leur fournit ils vont nous retourner une sortie s’ils s’arrêtent à un moment donné et ne plantent pas, et elle sera toujours la même pour peu que leurs états internes ne changent pas. A part d’avoir la capaciter à produire des calculs arithmétiques et de manipuler (concaténer, extraire et déplacer de zones mémoires à d’autres qui sont des circuits séquentiels évoqués ci-dessus) des mots binaires pour en obtenir d’autres.

Il me semble que tu fais l’impasse sur ce qui a été pour moi le moment de bascule : l’arrivée des programmes de DeepMind (AlphaGo, AlphaZero, etc.) atteignant un niveau surhumain en construisant leur base de données (en jouant contre eux-mêmes en partant uniquement des règles du jeu), puis en « abstrayant » si bien ces données qu’ils arrivent par exemple à trouver aux échecs des sacrifices positionnels que les meilleurs programmes classiques (Stockfish,…) , malgré une puissance de calcul mille fois supérieure, ne voient pas. Une approche adversariale de GPT-3 (le confronter à un programme qui tente de le piéger au test de Turing), combinée à un accès direct à des programmes de contrôle (par exemple, pour l’arithmétique, en lui faisant contrôler ses résultats par une calculette jusqu’à ce qu’il invente les algorithmes) ne serait-elle pas envisageable ?

@Natacha

>Il me semble que c'est par ici (et je suis triste de ne plus retrouver où) que j'avais lu l'idée que pour interagir efficacement avec quelque chose, il faut pouvoir s'en faire un modèle mental […]

Tu parles peut-être de ceci : <URL: http://www.madore.org/cgi-bin/comment.pl/showcomments?href=http%3a%2f%2fwww.madore.org%2f%7edavid%2fweblog%2f2021-07.html%23d.2021-07-30.2690 >

@Natacha :

Peut-être penses-tu à l'article « la vallée dérangeante de l'intelligence artificielle » d'A piece of a larger me ?

<URL: https://piece-of-a-larger-me.github.io/la_vallee_derangeante_de_l_intelligence_artificielle.html >

En tout cas merci pour cette réponse, cette fois c'est toi qui mets en mots des réflexions que je sentais encore confusément. Et je partage ton impression sur la qualité des résultats de Google. C'en est arrivé au point où les premiers résultats d'une recherche sur deux mots précis peuvent ne pas contenir du tout l'un des mots. Je suis partagé dans mes soupçons, entre qu'il élargit la recherche à ce qu'il considère pertinent autour des mots de recherche et qu'il privilégie des résultats sponsorisés.

(Il y a quelques jours, j'avais besoin de faire une capture d'écran sur un mac. En cliquant un peu au hasard j'ai activé Siri, du coup je lui ai demandé : elle m'a répondu pour Android.)

Ce que j'ai lu concernant Google, c'est qu'ils disposent de système similaires (e.g. LaMDA), mais qu'ils sont assez frileux pour mettre des modèles aussi généraux face au grand public. Notamment, un risque c'est que le système génère des propos racistes ou autre, qu'il est difficile d'éliminer à grande échelle.

Sur comment ça fonctionne, je crois que les "secrets" de OpenAI sont plutôt sur tout ce qui permet de faire marcher ça en pratique, pas tant sur les modèles qui eux sont publiés.

> ChatGPT est au moins capable de parler anglais et français, je ne sais pas quelles sont les langues qu'il maîtrise

Une collègue Chinoise me disait qu'il parlait chinois sans problème.

> Google a certainement des soucis à se faire (je crois qu'ils s'en font, et vont certainement miser beaucoup pour essayer de rattraper leur retard en la matière)

Tu es sûr qu'ils ont du retard ? Ou c'est juste qu'ils n'ont pas rendu public ce qu'ils savent faire, car ils n'y ont pas d'intérêt particulier.

Par ailleurs, ce que je trouve inquiétant c'est que quelqu'un qui a une thèse en math et une culture poussée en informatique et qui y a passé un peu de temps n'arrive pas à trouver les infos pour se faire une idée précise de la façon dont ça fonctionne (à mon humble niveau, j'étais arrivé aux mêmes conclusions).

Est-ce une volonté de "Open" AI de ne pas révéler de secrets de fabrication ? Ou tout cela change tellement vite que personne ne prend le temps de documenter de façon vraiment intelligible comment ça fonctionne ?

Est-ce que ChatGPT peut inférer le calcul ? par exemple, effectuer la somme de deux nombres très éloignés de tout ce qu'il a pu observer dans ses données. Je suppose que non, mais d'un autre coté, c'est bien ce que font les humains. Enfin, probablement que l'arithmétique ou la logique est déjà pré-cablée dans le cerveau humain, et que ChatGPT est trop limité pour pouvoir le déduire. Est-ce qu'il y a des pistes de faire évoluer ChatGPT dans cette direction ou est-ce un saut qualitatif peut-être inatteignable ?

J'ai aussi l'impression que c'est là ou les "béats du progrès" comme Musk se trompent. Ils se disent "on y est presque", regardez, la voiture roule "presque" toute seule, ChatGPT est "presque" logique, mais le "presque" est peut-être justement ce qui nécessite une révolution scientifique.

Je serais curieux de connaitre le consensus des experts sur ces questions.

Explique-moi la relativité restreinte en vers, je me suis bien marré (joli, mais partiellement incorrect). Sinon je me marre en le piégeant sur "est-ce que quarante-douze est premier" ou "is three scores and nine a prime number".

Merci pour cet article. J'ai quelques remarques.
1) Vous parlez souvent d'"entraîner un réseau de neurones" mais en fait il s'agit simplement d'alimenter une base de données, non ?
2) J'ai regardé cette vidéo à propos de ChatGPT : https://www.youtube.com/watch?v=R2fjRbc9Sa0
L'idée c'est que ChatGPT n'est finalement qu'une saisie prédictive comme on en a sur nos téléphones, en beaucoup plus puissant. En gros c'est comme le genre de truc qu'on voit passer de temps en temps sur les RS : Tape "Moi ce que je préfère c'est" et laisse ton correcteur continuer.
Donc il n'y a aucune intelligence là-dedans, simplement une énorme DB de stats d'utilisation successive de mots qu'on utilise ensuite pour générer du texte qui a l'air cohérent.
Il y aussi sans doute d'autres couches comme vous l'évoquez, afin d'éviter de tenir des propos racistes, homophobes ou pornographiques.

Une question qui amène assez systématiquement ChatGPT à halluciner est "Énonce un théorème mathématique avec sa preuve" (ça marche aussie bien en français qu'en anglais) .
En général, l'énoncé est correct, mais la preuve est bourrée de faute plus ou moins grossières. J'ai eu droit :
- au théorème de Pythagore dont la preuve utilisait un carré "ACBC" ;
- a l'existence de la borne supérieure dans 𝐑. Là l'essentiel de la preuve consistait à démontrer une des hypothèses ;
- à une équation algébrique qui ressemblait (de mémoire) à "(n+1)³ = n³ + 3n² + 3n + 3" ;
- à une équation algébrique correcte (peut être (a+b)³ = a³ + 3a²b + 3ab² + b³) avec un commentaire du genre "ma preuve marche pour certaines valeurs de a et b, mais peut-être pas pour toute".

Sinon, ChatGPT "parle" le grec aussi bien que le français ou l'anglais, et je lui ai fait écrire des idioties qui avait l'air raisonnables en arabe, chinois, coréen, espagnol, japonais ou turc (mais je ne maîtrise pas assez ses langues pour en être certain).
Par contre, il a l'air de ne pas pouvoir utiliser des langues anciennes :
- j'ai essayé de lui faire sortir du chinois classique, mais tout ce qu'on obtient, ce sont des courtes citations de textes classiques, (avec une traduction erronée) ;
- je lui ai aussi demandé du grec ancien, mais j'ai obtenu du grec moderne avec des bribes de vocabulaire archaïque.
Je ne crois pas avoir essayé le latin.

Finalement, ce qui manque le plus à ChatGPT, c'est de la circonspection.

Moi aussi j'ai interrogé l'I.A Pierre Ménard qui m'a répondu : « la vérité, dont la mère est l'histoire, émule du temps, dépôt des actions, témoin du passé, exemple et connaissance du présent, avertissement de l'avenir » ça m'a durablement impressionné, on dirait du Jorge Luis Borgès !

Merci pour ce post très complet. Il manque seulement un aspect très important des chatGPT et consorts: leur empreinte carbone monumentale complètement à l'opposé de ce que la planète peut se permettre en ce moment…

Il m'arrive souvent de lire un billet de notre hôte et d'en sortir pleine de gratitude pour avoir mis en mots des intuitions diffuses que j'avais déjà ; je trouve intéressant le présent billet est une exception notable, mais je ne sais pas trop quoi en conclure.

J'aime beaucoup la phrase de ChatGPT « cette histoire manque de profondeur et de développement, et laisse beaucoup trop de choses à l'imagination du lecteur », car c'est exactement la description que je ferai de ChatGPT lui-même (c'est d'ailleurs le seul passage qui fait exception dans l'exception, où en le lisant j'ai trouvé que c'est une super formulation de mon ressenti).

Je crois que la principale différence entre l'esprit de ce texte et mon point de vue est que dans ma tête « IA » est l'acronyme de « deep learning », et j'approche ChatGPT comme un outil sans que le concept d'intelligence s'approche de mon champ mental. Quand ce billet a fait percuter ce concept avec mon expérience de ChatGPT, j'ai tout de suite repensé à cette citation d'Alain que j'aime beaucoup : « Il est difficile de juger de l'intelligence de quelqu'un qui a beaucoup lu, car la mémoire imite à merveille l'intelligence. »

Du coup je rejoins un des points forts de l'article, car c'est un outil inhabituel par le fait qu'il a été construit sans savoir à quoi il sert, et la question se pose encore.

Si quelqu'un a envie de jouer avec ChatGPT, j'aimerais bien qu'on me confirme la première limite que j'y ai trouvée toute seule : il ne semble pas avoir le concept de "capsize" pour un nœud (sens 3 dans <URL: https://en.wiktionary.org/wiki/capsize>). Il m'a d'abord halluciné une définition, et j'ai essayé diverses requêtes détournées, et c'est comme si ça n'existait pas du tout dans le modèle.

La principale crainte que j'ai avec ces « perroquets stochastiques » ou « artefacts génératifs » est que leur généralisation me rende insupportable l'interaction avec les machines.

Il me semble que c'est par ici (et je suis triste de ne plus retrouver où) que j'avais lu l'idée que pour interagir efficacement avec quelque chose, il faut pouvoir s'en faire un modèle mental ; suivant le principe de choisir ses propres que l'on va faire en fonction du résultat que l'on veut.

J'ai l'impression que ce qui séduit dans ChatGPT est qu'il propose « être humain » comme modèle, parce que c'est un modèle que tout le monde a naturellement et qu'il n'y a pas besoin d'apprendre. Ça me fait l'effet inverse, parce que j'ai l'habitude d'être déçue par les humains, et parce que j'attends des machines de m'augmenter moi-même les assimilant (ce qui suppose un couplage fort assuré par un modèle mental précis).

Dans mon cercle, une partie de l'enthousiasme envers ChatGPT est son efficacité en tant que remplaçant de Google sur les questions de techniques (comme écrire un script ou un fichier de conf). Après avoir essayé moi-même, je partage le sentiment, car même si ChatGPT sort souvent des trucs faux, il pointe très souvent la bonne direction. Donc avec du recul sur ses réponses, j'arrive plus vite au résultat final et avec plus d'édification personnelle au passage qu'en enchaînant les recherches DuckDuckGo ou Google.

Cependant mon enthousiasme est tempéré par le fait que j'y vois plus un échec de Google qu'une réussite de ChatGPT. Les résultats Google d'il y a dix ans étaient encore meilleurs que ça. Je ne sais pas exactement ce qui a changé depuis, si c'est un souci dans le moteur de recherche ou dans l'internet (le peak SEO ? la fin des blogs techniques ?) ou dans les deux, mais le constat est là.

Et parfois je me demande si ce n'est pas la qualité des résultats Google qui a chuté, mais plutôt la qualité de mon google-fu. Peut-être que c'est mon modèle mental de Google qui est aujourd'hui plus éloigné de la raéalité de Google que mon modèle mental humain est éloigné de la réalité de ChatGPT.

Évidemment, le fait d'être socialement inepte est probablement le signe de la mauvaise qualité de mon modèle mental pour les humains, je suis probablement dans une minorité pour qui google-il-y-a-dix-ans est plus accessible que ChatGPT.

Et tout ça rejoint quelque part ma principale source de scepticisme envers cette troisième phase de l'intelligence artificielle : on a complètement laissé tomber la compréhension humaine du phénomène qu'on cherche à outiller. Tu l'as bien relevé dans ton billet, mais je n'y ai pas vu la conséquence principale que j'en tire : construire un outil ne donne rien d'utile pour faire son successeur.

Je ne veux pas dénigrer le champ de l'ingénierie du deep learning, il y a de la vraie compétence dedans et l'expérience de ChatGPT a certainement donné des leçons pour faire un chatbot encore meilleur, mais ça restera un « cheval plus rapide ». On n'en a rien tiré sur l'essence de la production textuelle humaine, et on n'est pas plus avancé vers un correcteur de style (à mettre derrière le correcteur orthographique puis grammatical) qui n'utiliserait pas le deep learning.

YouChat est lui aussi un jouet amusant, qui a l'avantage de ne laquelle nécessiter d'inscription: https://you.com/search?q=who+are+you&tbm=youchat