Il y a deux ans j'avais écrit ce
billet au sujet de ChatGPT dont la fièvre venait
d'emparer le monde en tant que première IA
conversationnelle disponible au grand public, et j'étais parti dans
des réflexions assez décousues portant à la fois sur l'histoire de la
recherche en IA, la question philosophique de si les
machines peuvent penser et des menaces que cela représente, et aussi
les limitations de l'état (alors) actuel de ChatGPT.
Mais j'avais notamment écrit : au moins à court terme […] je suis
beaucoup plus inquiet de ce que nous ferons des IA que de
ce que les IA feront de nous
. Deux ans après, le
soufflé des IA étant, je l'espère, un peu retombé (au
moins par rapport à certaines illusions qu'on pouvait avoir formées),
je voudrais tenter de nouvelles réflexions, tout aussi
décousues[#], mais portant
peut-être un peu plus sur l'usage que nous faisons des IA
que sur les IA elles-mêmes.
[#] Décousues parce que (un peu comme j'explique plus bas que les IA fonctionnent elles-mêmes) je n'ai décidé à l'avance ni de plan ni de fil directeur à ce billet, j'ai juste écrit les idées qui me venaient à l'esprit sur le thème général des IA. Aussi parce que (comme ça m'arrive souvent) son écriture s'est enlisée quand je me suis mis à en avoir marre.
Je précise que je ne parle ici essentiellement, sauf brève allusion occasionnelle, que des IA textuelles, et pas des autres sortes (notamment celles qui produisent ou manipulent des images, mais il y a évidemment encore d'autres usages des réseaux de neurones).
Et encore une fois, il faut que je préface tout ce qui suit en disant que je ne suis pas particulièrement expert. J'ai quelques idées sur la manière dont les IA, au moins celles génératrices de texte, fonctionnent (disons que je saurais, en principe, en écrire une simple), j'ai lu une poignée d'articles de recherche[#2] sur des questions diverses autour de leur fonctionnement, je suis assurément capable de les comprendre (ce n'est pas comme si c'était compliqué), j'ai discuté avec des gens qui sont vraiment experts du sujet (et/ou qui l'enseignent), mais je ne peux pas me dire plus compétent que ça.
[#2] Assez pour
remarquer une très nette tendance à la dégradation scientifique suite
au hype autour du thème IA
:
comme la covid l'avait déjà
montrée, quand tout le monde veut publier sur le même sujet, ça
donne de la bouillie scientifique, et il n'y a pas besoin d'être
expert du domaine pour remarquer qu'il y a plein de publis qui sont de
la merde produite par des gens qui veulent mettre de l'IA
partout.
Je ne compte donc pas expliquer comment, mathématiquement ou informatiquement, les IA actuelles fonctionnent. Si vous voulez des explications à ce sujet, pour faire le service minimal je peux me contenter de recopier ici un ajout que j'avais fait au billet d'il y a deux ans, avec quelques liens intéressants :
Pour ceux qui veulent en savoir plus sur le fonctionnement interne des transformeurs (et des réseaux neuronaux, pour commencer) du point de vue mathématique, je recommande cette série de vidéos par l'excellent vulgarisateur 3Blue1Brown sur le sujet : 1, 2, 3, 4, 5, 6, 7 et résumé (les 1–4 sont sur les réseaux de neurones en général, les 5–7 sur les transformeurs en particulier, et on peut tout à fait commencer par la 5 ; la dernière vidéo est un résumé de l'ensemble, et on peut aussi commencer par elle). ❧ Je peux aussi signaler l'article
Formal Algorithms for Transformersde Phuong et Hutter qui a le mérite de donner du pseudo-code précis qu'il n'est pas évident de trouver ailleurs.[Autres liens :] cette vidéo YouTube n'est pas mal (ou celle-ci si vous voulez juste un bref aperçu), et voici l'article de 2017 qui a introduit l'architecture des transformeurs, dont voici le principal schéma récapitulatif.
❦
☞ L'IA servie à toutes les sauces vs. le Jihad butlérien
Je dis plus haut que le soufflé est un peu retombé, ou en tout cas,
je voudrais le croire. Comme d'habitude, quand une technologie semble
trop belle pour être vraie, c'est que c'est le cas. On commence à y
voir un peu plus clair dans les choses pour lesquelles
l'IA (dans son état actuel) peut être utile, et
finalement elles ne sont pas si nombreuses que ça : le caractère
extrêmement impressionnant de ChatGPT en 2023 s'est avéré
être surtout un tour de prestidigitation, et si je n'irais pas jusqu'à
dire que ça ne sert à rien, ça ne sert pas à grand-chose. La
meilleure preuve est l'insistance avec laquelle on essaie de nous
vendre de l'IA dans tout, à nous les enfoncer dans la
gorge : si elles étaient vraiment utiles, il n'y aurait pas tellement
besoin de nous supplier d'utiliser un produit gratuit. (Elon Musk,
par exemple, a mis des boutons Grok
partout dans Twitter, parce
qu'il a vraiment envie qu'on s'en serve. Et s'il a tellement envie
qu'on s'en serve, c'est que c'est surtout lui que ça
sert[#3].)
[#3] Comme le dit un adage célèbre au sujet du capitalisme : quand c'est gratuit, c'est que c'est vous qui êtes le produit.
Mais a contrario, les luddites naturolâtres qui essaient de mener contre tout usage de l'IA une sorte de croisade rappelant le « Jihad butlérien » de Dune sont à peu près aussi pénibles que les techbros qui veulent en mettre partout. Même s'il y a indiscutablement un débat sérieux à avoir sur, par exemple, la consommation énergétique des IA ou l'impact sur les métiers artistiques des IA génératrices d'images, les deux camps[#4] pèchent par une importance exagérée donnée à une technologie qui est, finalement, dans son état actuel, surtout assez médiocre et limitée.
[#4] Comme j'aime bien rappeler, souvent dans un débat enflammé entre deux « camps » opposés, en fait les deux camps sont des alliés objectifs parce que même s'ils ont des positions opposées (ou qui prétendent l'être…) sur le fond d'une question, ils ont la même position sur la méta-question de savoir si cette question est importante pour la société, et chaque camp nourrit l'autre en insistant sur cette importance. L'exemple le plus frappant, c'est que les sécuritaristes qui veulent imposer de la surveillance policière partout au prétexte de notre sécurité sont les alliés des terroristes qui leur fournissent le prétexte dont ils tirent leur pouvoir. Mais il y a plein d'autres exemples : on peut appliquer cette analyse à beaucoup de guerres civiles (où les deux camps vivent surtout de leur capacité à… diviser la population en deux camps), pendant la pandémie de covid les cinglés du zéro covid étaient les alliés des cinglés complotistes antivax, et ainsi de suite. Je pense que dans beaucoup de cas s'agissant d'une technologie émergente et d'importance largement surfaite, notamment pour ce qui est des IA, le conflit de façade entre les technosolutionnistes qui veulent mettre cette technologie partout et les luddistes qui veulent la voir disparaître de la face de la Terre, est en réalité une alliance dans l'intérêt exagéré porté à cette question.
☞ A-t-on fait des progrès en IA depuis 1950 ?
Je n'irais pas tout à fait jusqu'à dire qu'il n'y a eu aucun progrès en intelligence artificielle depuis le texte fondateur de Turing en 1950, ou même depuis 2006 quand j'ai écrit ce vieux billet, voire depuis 2023. On a maintenant, disons, des trucs qui font bien illusion. Mais je ne sais pas si ces progrès techniques aient été accompagnés du moindre progrès théorique. Je dirais que le principal progrès que nous ayons fait c'est que nous nous sommes rendu compte que nous n'avions aucune p🤔tain d'idée de ce que la discipline cherche à faire, de ce que c'est que l'intelligence, et encore moins de comment elle fonctionne.
☞ En fait, le test de Turing est une mauvaise définition de l'intelligence
Turing avait
proposé un test
(qui porte maintenant son nom) pour détecter de façon pragmatique si
une machine pense : en gros, est-ce qu'elle arrive à se faire passer
pour un humain dans un jeu d'imitation. Le but de ce critère était de
s'affranchir de considérations philosophiques vaseuses sur ce
que penser
veut dire ; à la place, on a un but concret :
réussir à passer ce test. (Pour être bien clair, j'étais moi-même
persuadé, jusque vers 2023, que le fait de passer le test de Turing
était une définition satisfaisante de l'intelligence.) Je ne sais pas
dans quelle mesure on y arrive maintenant (il y a toutes sortes de
variations[#5] dans ce que
signifie passer le test de Turing
), mais clairement on peut
dire qu'il y a eu un progrès dans cette direction. Malheureusement,
je suis maintenant aussi persuadé que le test n'était finalement pas
une bonne définition de l'intelligence : c'est juste
une cheap
plastic imitation de l'intelligence, et ça ne nous avance ni
de façon théorique ni de façon pratique pour comprendre ce que c'est
que l'intelligence ou comment elle fonctionne.
[#5] Notamment : est-ce que l'examinateur est un expert en intelligence artificielle ou est-ce que c'est l'homme de la rue ? Et comment a été choisi le candidat humain ?
En fait, quand on y pense, ç'aurait dû être évident que c'était de
l'anthropomorphisme assez naïf d'identifier « intelligence » à des
compétences en matière de langage. Il est évident que des animaux
sont au moins modérément intelligents sans forcément avoir de grandes
capacités de communication, et certainement de communication en
langage humain. Il y a d'ailleurs aussi des humains qui, pour toutes
sortes de raisons (p.ex., parce qu'ils sont neuroatypiques) ne
passeraient pas un test de Turing, et ne sont pas forcément moins
intelligents que vous ou moi (enfin, vous je ne sais pas, mais moi
certainement). C'est d'ailleurs sans doute une preuve non seulement
d'anthropomorphisme mais d'une culture humaine particulière qui
identifie le fait de bien penser au fait de bien écrire ou de bien
parler. (Mes lecteurs habitués à déceler la vacuité de ma pensée sous
mes tournures ampoulées ne se laisseront pas avoir par un subterfuge
aussi grossier. 
)
Alors oui, on peut m'accuser de faire
un sophisme du
vrai Écossais : maintenant que nous avons des machines qui passent
plus ou moins le test de Turing, je prétends que, finalement, ce
n'était pas une bonne définition de l'intelligence. Mais le test de
Turing n'était pas censé être une définition de l'intelligence, juste
un critère proche et plus facile à tester. (Turing
écrit : Instead of attempting such a definition I
shall replace the question by another, which is closely related to it
and is expressed in relatively unambiguous words.
) Ce n'est pas
spécialement inhabituel, quand on est face à un concept qu'on ne sait
pas définir proprement[#6], de
tenter des définitions empiriques ou approximatives, quitte à les
rejeter ou les améliorer plus tard. Or clairement,
les IA actuelles ne sont pas intelligentes en un sens
raisonnable du terme[#7], et je
ne suis même pas persuadé qu'elles aient fait le moindre progrès dans
cette direction, en tout cas pas vers une intelligence
« générale ».
[#6] Un autre exemple serait celui de la vie. Pour ma part, j'aime bien la définition avancée par Jacques Monod dans le Le Hasard et la Nécessité, qui propose les trois propriétés suivantes pour définir la vie : la téléonomie — c'est-à-dire l'organisation suivant l'apparence d'un projet ou d'un but comme caractéristique émergente —, la morphogenèse autonome que constitue la création de structures internes, et l'invariance reproductive sur laquelle peut se construire le mécanisme darwinien d'évolution par mutations aléatoires et sélection des plus aptes. Mais je n'exclus nullement que la découverte d'une forme de vie extra-terrestre qui ne répondrait pas aux critères qu'on aurait adoptés et qui serait quand même « évidemment vivante », ou au contraire, d'une forme de non-vie qui répondrait aux critères, obligerait à repenser la définition. Même en mathématiques, il peut arriver qu'on découvre qu'une définition est « fausse » (quand elle est vérifiée par quelque chose qu'on ne voulait « évidemment pas » mettre sous la définition, ou inversement).
[#7] Un indice dans ce
sens est qu'on a tenté de les rendre intelligentes en leur ajoutant la
capacité de produire une sorte de flux de tokens interne (au lieu que
l'IA réponde directement à la question, elle produit une
sorte de « réflexion interne » qu'elle utilise pour générer sa
réponse ; c'est ce que fait ChatGPT quand on active le
mode Reason
, ou bien Grok avec le
mode Think
, et je suppose qu'ils sont plein à
avoir ça ; Grok laisse d'ailleurs visualiser ce flux de réflexion
interne, et il faut reconnaître que c'est rigolo à voir). C'est une
piste raisonnable vu qu'il est évidemment absurde de suggérer qu'on
peut répondre intelligemment à n'importe quelle question en utilisant
un temps de calcul constant par mot, comme le fait le modèle
de base. Sauf qu'en fait l'amélioration apportée par ce gadget est
vraiment marginale : si on n'est pas intelligent en générant un mot,
on ne le devient pas magiquement en en générant
plein in imo capite.
☞ Peut-être que le mot d'intelligence
n'a pas de sens
Maintenant il faut surtout reconnaître qu'on n'a aucune idée de ce qu'est l'intelligence (ou l'intelligence « générale »), et on en a encore moins idée maintenant qu'en 1950 (enfin, on se rend mieux compte qu'on n'en a aucune idée). Peut-être simplement qu'il faut accepter que c'est un mot qui ne veut juste rien dire : il essaie de regrouper sous un même chapeau la capacité à résoudre des problèmes qui n'ont aucun rapport les uns avec les autres, capacité de résolution qui s'avère être un peu corrélée chez les humains, mais c'est peut-être une spécificité du développement du cerveau humain, voire une spécificité de notre culture[#8], sans que ces choses aient rien à voir entre elles. L'idée qu'il y ait une sorte d'Heuristique Ultime (l'intelligence générale) qui résout n'importe quelle sorte de problèmes est peut-être fondamentalement naïve, une illusion basée sur nos propres capacités. Je ne sais pas. Mais en tout cas, maintenant qu'on a des trucs inintelligents qui imitent assez bien l'intelligence, on sait que c'est plus compliqué que ce qu'on croyait.
[#8] Ça peut être aussi bête que : les gens qui ont du temps à perdre à s'entraîner à résoudre le problème X ont aussi du temps à perdre à s'entraîner à résoudre le problème Y. Manifestement ça ne dit pas grand-chose sur une corrélation profonde entre la résolution de ces deux problèmes.
C'est un peu con, de se rendre compte qu'on est en train d'essayer
de faire un truc (atteindre l'intelligence générale
) qui n'a
peut-être même pas de sens. L'intelligence artificielle, c'est un peu
comme si on avait toute une branche de la science qui prétendait
essayer de donner une âme aux ordinateurs parce que personne ne
s'était vraiment préoccupé de savoir ce que ça signifie, au juste,
une âme
, ni si ça existe vraiment.
☞ On n'a aucune idée de pourquoi et comment nos IA fonctionnent
Mais l'autre déception, c'est que même dans la mesure où on admet
que les IA actuelles sont quand même intelligentes, et
dans la mesure où on admet qu'elles servent à quelque chose, on ne
comprend pas pour autant comment elles fonctionnent ! Ce sont juste
des gigantesques tableaux de nombres (les poids
), fabriqués par
un processus d'entraînement à partir de quantités énormes de texte, le
processus d'entraînement tendant à faire évoluer les poids de manière
à favoriser la reproduction du texte d'entraînement,
mais in fine on n'a aucune idée de pourquoi ça
fonctionne. L'intelligence (ou la part
d'intelligence qu'ont nos IA) est un phénomène
émergent, mais même en le voyant se produire nous ne comprenons pas
pour autant comment il se produit.
Pour le coup, ce n'est pas si surprenant. Depuis tout petit (je l'ai dit dans ce bout de mon précédent billet sur l'IA) je suis persuadé que la façon viable d'imiter l'intelligence humaine est d'imiter le fonctionnement du cerveau humain mais que ça risque de ne pas nous éclairer quant à la manière dont il « fait sa magie ». On peut parfaitement imaginer qu'avec un ordinateur assez puissant on arrive à simuler un cerveau jusqu'au niveau du moindre atome, ce qui le rend certainement aussi intelligent (whatever that means), et pour autant qu'on ne comprenne absolument pas comment les choses se passent (et par exemple ça ne nous aiderait pas à soigner une maladie mentale).
Mais bon, le but de ce billet n'est pas de partir dans des questions philosophiques mais de parler un peu d'usage des IA.
☞ Les IA génèrent du texte plausible
Il est cependant bon, pour utiliser en pratique les IA
génératrices de texte dont nous disposons actuellement, de se rappeler
qu'elles ne réfléchissent pas, elles génèrent du texte
plausible selon une définition certes très complexe de
plausibilité, qu'elles ont acquise lors d'un processus d'apprentissage
basé sur des montagnes de texte préexistant. Il y a diverses
sophistications, par exemple quand on active le mode réflexion
,
elles génèrent plus de texte (enfin, plus de tokens) « dans leur
tête » avant de donner leur réponse, mais ça reste fondamentalement de
la prévision de texte.
☞ Elles sont prisonnières du texte
En particulier, il faut évidemment se rappeler qu'une IA textuelle n'a aucune expérience du monde physique que ce qui est écrit dans des textes qu'elle a appris. Elle « sait » que les pommes tombent parce que c'est écrit dans des livres, elle « sait » même que les poires tombent aussi, même si aucun texte n'en parle directement, parce que ses capacités d'imitation sont assez sophistiquées pour généraliser d'une chose à l'autre (l'ontologie qu'elles ont inférées par la digestion de leur corpus ne met certainement pas les poires très loin des pommes). Mais en aucun cas elle n'a vu de pomme ni de poire tomber. Ce n'est pas, là, une limitation de leur intelligence mais juste de leur acquisition du monde.
Par ailleurs, il faut aussi se rappeler que le choix de telle ou telle langue naturelle pour interroger l'IA n'est absolument pas neutre dans les capacités de celles-ci (que ce soit pour sa capacité à raisonner ou sa connaissance des faits) : je ne serais pas du tout étonné que plein de modèles donnent des réponses de qualité différente selon qu'on les interroge en anglais, en français ou en swahili. (Peut-être même que si on veut une réponse dans une langue un peu rare on obtiendra un meilleur résultat en lui demandant d'abord de traduire la question en anglais, puis d'y répondre en anglais, puis de retraduire la réponse dans la langue désirée. Mais bien sûr ce serait peut-être le contraire pour une question portant sur des points culturels un peu fins dans la culture associée à la langue un peu rare.) En tout cas, le choix de la langue n'est pas anodin : on peut discuter de la validité de l'hypothèse de Sapir-Whorf s'agissant des humains, mais s'agissant d'une IA qui n'a aucune connaissance directe du monde à part à travers du texte, cette hypothèse est, au minimum, beaucoup plus crédible.
Une autre conséquence de leur fonctionnement par prédiction de texte est, par exemple, que si une erreur ou limitation de raisonnement est très commune dans les textes d'apprentissage de l'IA, elle va certainement tendre à la reproduire. Cela pourrait aussi être que le mode de raisonnement est souvent valable mais ne l'est pas dans un cas particulier. À titre d'exemple, j'ai demandé à Grok de réfléchir sur un problème de logique intuitionniste et il utilisait tout le temps (dans son flux de pensée interne, que Grok montre) des modes de raisonnement valables classiquement mais non valables en logique intuitionniste, parce qu'il n'a pas de conscience globale de quelque chose comme « attention, je suis en logique intuitionniste, il faut que je fasse attention aux modes de raisonnement que je m'autorise ». C'est aussi le genre de phénomène qui explique sans doute que si on demande à une IA de résoudre une énigme qui ressemble superficiellement à une énigme classique mais dont la réponse est, en fait, beaucoup plus bête, elle va souvent se jeter sur la solution de l'énigme classique.
(Et bien sûr, ce n'est pas en imitant du texte écrit par des humains qu'on va réussir à fabriquer une intelligence sur-humaine, sauf bien sûr en ce qu'elle pourrait peut-être être plus rapide.)
☞ Elles n'ont aucune notion de réflexion globale
Il faut bien se rendre compte qu'une IA n'a
aucune stratégie globale dans sa réponse, ni même de mémoire
globale : même si on peut pallier le problème en lui faisant
générer un flux de pensée interne, chaque mot (enfin,
chaque token, mais peu importe la différence) est
généré en fonction des l'historique de la conversation jusqu'à ce
point, mais il n'y a aucune notion de « vision d'ensemble » de ce
qu'elle veut dire. On peut d'ailleurs modifier un bout de la réponse
de l'IA et lui faire générer la suite, elle ne va jamais
se dire eh, ça ne va pas, ce n'est pas moi qui ai écrit
ça !
.
Du coup, peut-être qu'une façon intéressante de se représenter mentalement le fonctionnement[#9] des IA textuelles est de tenter le jeu suivant : un groupe de gens un peu nombreux va tenter de répondre à une question, ou de produire un texte, mais chacun n'écrit (ou ne dit) qu'un seul mot à la fois, en passant ensuite la main à la personne suivante pour le mot suivant, et en s'interdisant toute communication autrement que par ce moyen (et sans avoir non plus droit à aucune concertation préalable).
[#9] C'est peut-être aussi un argument pour défendre ou comprendre la thèse qu'on peut produire du texte intelligible sans être doté de « conscience », car quel que soit le sens exact de ce mot, je pense qu'un groupe d'humains jouant à ce jeu n'en est pas doté (autre que les consciences individuelles des membres du groupe), alors que le groupe va sans doute arriver à produire des réponses intelligentes à plein de questions.
Ajoutons que chaque mot dispose du même degré de « réflexion » pour être produit. On déduit de ce mode de fonctionnement un certain nombre de préceptes assez évidents pour utiliser les IA textuelles : par exemple, qu'il ne faut pas leur demander une réponse en un seul mot (elles ne peuvent pas réfléchir pour le produire, sauf si on a activé le mode réflexion), et qu'il vaut mieux leur demander d'expliquer avant de conclure que le contraire (parce que si on leur demande la conclusion en premier suivie de sa justification, ça les oblige à fixer d'abord la conclusion et ensuite trouver une justification, qui ne peut pas servir à trouver la conclusion).
L'IA n'a, bien sûr, aucune idée de la manière dont elle raisonne, puisque ce n'est pas dans les textes de son corpus d'entraînement. Donc si on lui demande une justification, celle-ci sera ex post facto, ce ne sera en aucun cas un reflet des processus internes qui ont conduit à telle ou telle réponse (mais comme je viens de le dire, on peut rendre ce problème moins grave en lui demandant de dire les raisons en premier).
Ajoutons que les IA textuelles n'ont pas vraiment de mémoire « consultable » fiable. Si je demande à une IA de traiter un texte un peu long, c'est un peu comme si je m'adressais à un humain en lui lisant tout le texte et en lui demandant ensuite de travailler dessus, mais sans lui en donner une copie écrite auquel il puisse se référer. Bon, les IA ont une mémoire à court terme (c'est plus ou moins leur « attention ») typiquement plus fiable que les humains, mais elles peuvent parfaitement introduire des hallucinations même dans le simple fait de reproduire un texte.
À titre d'exemple, si on dit à une IA voici un
tableau de données ; transforme-le de telle ou telle manière
, il
ne faut surtout pas compter sur le fait qu'elles vont le faire sans
introduire des modifications subtiles lors du
processus[#10]. Ce n'est pas
parce que la tâche est triviale qu'elles vont forcément bien s'en
tirer.
[#10] Ce billet est d'ailleurs inspiré par la mésaventure d'un copain qui a fait exactement ça (demander à une IA de produire un fichier CSV à partir d'un texte HTML) et qui s'est rendu compte qu'elle avait modifié plein de choses, parfois de façon subtile, au passage.
☞ Tout est plausible, donc il faut tout vérifier
Et bien sûr, nous savons maintenant tous que
les IA ont fortement tendance à halluciner. C'est normal
quand on se dit que leur fonctionnement fondamental est d'imiter
du texte pour produire une sortie
plausible. Plausible, voilà le mot-clé :
pas vrai, mais plausible. Et une fois que l'IA
a généré le bout de phrase la réponse à votre question est
,
elle ne peut que continuer de façon aussi plausible que possible, elle
ne peut pas revenir en arrière pour dire euh, en fait, je ne sais
pas
, parce que ce genre de formulation n'est pas dans son corpus
d'entraînement. (En revanche, elle peut se corriger si lui
demande est-tu bien sûr de toi ?
, donc poser ce genre de
question n'est pas forcément inutile.)
Cette tendance à halluciner tout en produisant du texte
toujours plausible fait qu'il faut toujours vérifier
ce qu'affirme une IA : ça devrait être une
évidence, mais on ne saurait la répéter assez. Et vérifier
ne
signifie pas se contenter de regarder si ça a l'air plausible :
plausible ce le sera presque par définition, mais ça ne veut pas pour
autant dire que c'est vrai. L'IA peut avoir raison dans
les grandes lignes mais halluciner les détails. Ou le contraire. Ou
halluciner les deux. Et elle va avoir d'autant plus tendance à
halluciner que les choses sont difficiles à vérifier (parce que,
justement, ce n'est pas dans son corpus), donc on ne peut pas se
dire elle a eu raison sur tout le reste, donc ça c'est sans doute
juste
.
Donc, oui, il faut toujours tout vérifier. Et oui, c'est usant.
☞ Les pénibles qui font des réponses par IA
C'est d'ailleurs une des choses qui
m'agacent[#11] avec les fans
des IA. Régulièrement, je pose une question sur les
réseaux sociaux, et quelqu'un me répond j'ai demandé à
DeepGrouïk 4o-mini “Limerick” et il m'a répondu <truc>
.
Merci, gars[#12],
mais je suis au courant de l'existence de modèles
d'IA, et si je veux une réponse d'IA je peux
la demander moi-même. Si vous voulez faire une réponse
utile, il faut me dire quelque chose qui finit par et j'ai
soigneusement vérifié point par point sa réponse et j'ai pu me
convaincre qu'elle était correcte
. Recopier la sortie
d'une IA textuelle n'a aucune valeur ajoutée : la valeur
ajoutée est dans la vérification soigneuse par un humain. Si
vous ne voulez pas faire ce boulot, n'utilisez pas d'IA,
ou utilisez-en une à vos risques et périls, mais ne me donnez pas une
réponse non vérifiée en me laissant faire ce qui est le vrai
boulot, c'est-à-dire pas le copier-coller du texte mais la
vérification soigneuse derrière.
[#11] C'est
particulièrement agaçant s'agissant d'une question de maths. Si vous
ne comprenez même pas la question, vous ne pourrez pas vérifier la
réponse, alors arrêtez de la poser à une IA en me
demandant est-ce que c'est bon ?
! Ça ne m'intéresse pas.
Demandez peut-être plutôt à l'IA de vous aider à
comprendre la question, ce sera au moins potentiellement utile pour
vous. (Par exemple, s'agissant de l'énigme posée à la fin
de ce billet, il y a divers humains
qui ont proposé des réponses intéressantes, et quelqu'un qui a juste
copié-collé la réponse d'une IA — heureusement en étant
honnête sur ce point. Je me demande vraiment à quoi bon.)
[#12] Sans vouloir faire de la sociologie à deux balles, les gens qui abusent des IA comme ça sont presque tous des hommes, et je suis tenté de l'expliquer par le fait que les femmes ont appris à se méfier des hommes qui leur expliquent d'un air très assuré des choses qui sont en fait parfois complètement fausses.
Si les gens qui disent honnêtement j'ai demandé à
telle IA et elle m'a répondu ceci
sont pénibles,
c'est évidemment encore pire quand ils ne sont pas honnêtes. Le site
MathOverflow (qui sert à échanger questions et réponses entre
mathématiciens professionnels) reçoit régulièrement des réponses
postées par des gens qui se sont imaginé qu'ils pouvaient, sans rien y
connaître ni rien y comprendre, poser une question de recherche de
maths à une IA, et obtenir une réponse intelligente.
Divulgâchis : il n'en est rien. Mais les réponses en question sont
particulièrement nuisibles parce qu'elles sont superficiellement
sensées et il faut les lire avec un certain soin pour se rendre
compte que c'est, en fait, du pipotage complet. (Or même sur un site
de ce genre, beaucoup de gens n'ont pas envie de systématiquement lire
toutes les preuves avec un soin méticuleux : on le fait quand on a un
intérêt particulier pour la question, mais s'il s'agit de juste glaner
un peu de culture mathématique en passant, on aimerait bien pouvoir
faire confiance en la validité des réponses.) On finit par apprendre
à reconnaître les réponses faites par IA, et les effacer,
grâce aux tics de langage des IA (et heureusement les
gens qui se livrent à ce petit jeu ne sont généralement pas assez
subtils pour tenter de maquiller ces tics), et on est évidemment plus
soupçonneux face à un compte qui n'a jamais rien posté avant, mais ces
gens font perdre un temps précieux à la recherche en postant ces
conneries.
☞ L'importance de la responsabilité
Mais d'une certaine manière, cette tendances des IA à halluciner ou à se comporter de façon bizarre à des moments imprévisibles peut peut-être aussi nous protéger, dans une certaine mesure, ou du moins pourrait servir à nous protéger, contre leur déploiement intempestif.
Si une entreprise décide d'utiliser une IA, disons, comme service client, alors il est important que le droit soit parfaitement clair : tout ce que dira cette IA engagera juridiquement l'entreprise. Il y a eu un cas célèbre en 2022 où un chatbot sur le site de Air Canada a donné de fausses informations à un passager, Air Canada a tenté de prétendre que le chatbot était sa propre entité légale et responsable à son propre titre, et les tribunaux ont — heureusement — rejeté cet argument et considéré que la compagnie ne pouvait pas défausser sa responsabilité sur une IA et était engagée par ce qu'elle avait choisi de mettre sur son propre site Web. J'espère que cette affaire a donné des sueurs froides à d'autres tentés de faire le même genre de choses.
(Malheureusement ça ne nous sauvera pas dans les circonstances où la décision est inattaquable, ou inattaquable en pratique, par exemple si des décisions administratives sont déléguées à des IA contre lesquelles il n'existe guère de recours et pas de compensation contre une décision abusive. Et il n'est pas dit que les IA soient moins biaisées ou plus justes que des humains si elles doivent prendre ce genre de décisions ; bon, il n'est pas non plus dit qu'elles soient forcément plus biaisées ou plus injustes non plus. Mais en tout cas, ce n'est pas la panacée.)
Il y a un transparent assez célèbre d'une présentation d'IBM en 1979[#13] qui dit :
A computer can never be held accountable.
Therefore a computer must never make a management decision.
Il y a sans doute beaucoup à méditer là-dedans. En tout cas, il faut se rappeler que c'est aussi ça la raison pour laquelle on veut avoir affaire à des humains à toutes sortes de niveaux : ce n'est pas juste que les humains sont plus compétents (ce qui est pour l'instant le cas, au moins en général), c'est aussi que les humains peuvent être tenus pour responsables, ce qui n'est pas le cas pour une IA.
[#13] L'origine exacte de ce transparent est obscure. Apparemment c'était un document de formation interne d'IBM de cette époque, que quelqu'un a retrouvé en 2017 parmi les papiers de son père, mais malheureusement ses affaires ont été inondées en 2019 et avec ça la chance d'en savoir plus.
☞ Les IA ont quand même quelques usages
Bon, tout ça peut donner l'impression que j'affirme que les IA ne servent absolument à rien dans leur état actuel. Ce n'est pas le cas : elles ont leurs usages (modestes) une fois qu'on comprend leurs limitations. Tout l'enjeu est justement de savoir reconnaître là où elles peuvent servir et là où il sera inutile (ou dangereux) de s'en servir.
Je conseille d'aborder l'usage d'une IA selon la mentalité suivante : imaginons que je vais poser la question à un oracle qui, avec une certaine probabilité (inconnue[#14], mais de l'ordre de 50%) va confier la réponse à un bon génie bien intentionné qui cherche véritablement à m'aider, et, sinon, va la confier à un démon malveillant qui cherche à m'induire en erreur en faisant une réponse subtilement fausse. (Et évidemment, le mauvais démon va tenter de se faire passer pour le bon génie, et donc envelopper sa réponse dans tous les atours d'une réponse utile.) Est-ce qu'un tel oracle est complètement inutile ?
[#14] Et bien sûr, si on pose des questions successives, ces probabilités ne sont pas indépendantes. Le bon génie va parfois passer la main au mauvais démon sans qu'on le sache ; le mauvais démon n'a de chances de passer la main au bon génie en gros que si on change complètement de sujet.
Non ! On peut quand même en faire un usage. Par exemple, si je cherche une aiguille dans une botte de foin, je peux demander à l'oracle de suggérer où chercher : si je tombe sur le bon génie, ça m'aidera à trouver l'aiguille, et si je tombe sur le mauvais démon, au pire il me fera perdre un peu de temps à chercher au mauvais endroit, mais dans la mesure où je suis capable de m'apercevoir assez vite que l'aiguille n'est pas à l'endroit indiqué, je ne perds que le temps de vérifier, et dans l'ensemble c'est quand même un gain si la probabilité de tomber sur le bon génie n'est pas trop faible.
Voici donc une catégorie de problèmes où les IA sont utiles : si je cherche à trouver quelque chose pour quoi une réponse correcte est facile à vérifier et une réponse incorrecte apparaîtra forcément comme telle, mais l'espace des possibles est trop grand pour que je puisse faire une recherche exhaustive. (On peut apparenter ça à la définition théorique des problèmes NP-complets.) Si l'IA fournit une réponse juste, tant mieux, si elle fournit une réponse fausse, on le saura vite, et ça vaut toujours la peine d'essayer.
Un exemple concret de choses pour lesquelles ça a pu me servir, en maths, c'est pour essayer de retrouver un théorème dont je n'étais pas bien sûr (normalement j'utilise directement Google pour rechercher par des mots-clés, mais les mots-clés ne sont pas toujours évidents à trouver, justement) : soit l'IA est capable de me citer un article vérifiable qui dit ce que je veux, et je suis content, soit elle admet son ignorance ou bien hallucine, et ce n'est pas grave.
Un autre exemple de cas d'utilisation des IA est quand je ne sais pas bien utiliser un programme ou langage, et que j'ai la flemme d'apprendre : par exemple quand je cherche à faire un truc avec LaTeX (le langage épouvantable qui sert à mettre en forme des articles scientifiques) ou TikZ (le moteur graphique qui sert avec ce langage) : globalement parlant je ne comprends rien au mécanisme de sélection des polices de LaTeX ou aux directives TikZ, et la doc est épouvantable, donc avant les IA j'essayais juste des choses au hasard ; maintenant j'essaie toujours au hasard, mais en commençant par demander quelques suggestions à une IA, et souvent ça marche mieux que le pur hasard. (Et parfois l'IA est même capable un peu d'expliquer ce qui se passe, ce qui remplace l'inexistence de la doc.) Même les hallucinations de l'IA peuvent parfois donner des idées sur d'autres choses à essayer, d'ailleurs.
Les IA peuvent aussi être utiles simplement en ce
qu'elles sont une oreille attentive. Il y a une pratique courante en
informatique,
le rubber
ducky debugging
, où on cherche à trouver un bug ou analyser un
problème informatique, en l'expliquant à un canard en plastique : le
fait de se forcer à expliquer les choses aide parfois à les résoudre
même si on parle, en fait, à un simple canard en plastique (qui ne va
pas fournir de réponse utile). Les IA conversationnelles
peuvent avantageusement remplacer le canard en plastique : même si
leurs suggestions sont assez idiotes ou inutiles, le simple fait de
leur expliquer le problème, et le réconfort psychologique d'avoir une
oreille attentive, peuvent aider à résoudre les problèmes. Il y a
ainsi pas mal de problèmes informatiques que j'ai réglés grâce à
ChatGPT : ce n'est pas tant que ChatGPT a
fourni la bonne solution (il est généralement assez nul), mais il m'a
posé des questions utiles ou proposé des tests pour m'aider à y voir
clair, il m'a un peu accéléré l'écriture de petits bouts de fichiers
de config ou m'a fourni des explications généralement justes (mais pas
toujours ! et j'en étais conscient) sur la manière dont telle et telle
pièce du puzzle s'imbriquaient, et surtout, il a été une oreille
attentive qui m'a aidé à réfléchir.
Dans le genre « aiguille dans une botte de foin », les IA sont aussi utiles quand il s'agit de retrouver quelque chose qu'on a sur le bout de la langue : du genre, je cherche le titre d'un film ou d'un roman où il se passe telle ou telle chose. L'IA va faire des suggestions, certaines seront certainement fausses, mais ce n'est pas grave, si la bonne réponse est dans la liste, ça va immédiatement faire tilt dans ma tête, donc peu importent les hallucinations.
☞ L'écriture de texte
Mais bon, le domaine où elles sont certainement les plus utiles, c'est pour l'écriture de texte, et c'est normal, c'est pour ça qu'elles ont été faites.
Par exemple, ça peut être : je cherche un mot ou une tournure pour dire ceci ou cela ; je cherche une traduction idiomatique de ceci ou cela. Bien sûr, il est indispensable de connaître la langue (ou alors il faut être conscient et accepter le risque de recevoir une réponse hallucinée, même si la probabilité est nettement plus faible dans ce cadre-là). Mais ça peut aussi être : j'ai envie de faire telle réponse, mais je voudrais la faire de façon plus diplomatique — réécris-moi ça de façon plus polie. (Autre exemple, en écrivant une lettre de recommandation : je veux dire ceci, mais de façon plus positive, sans que ce soit non plus carrément dithyrambique.) Les IA sont vraiment bonnes pour ça. Encore une fois, il ne faut pas recopier directement leur sortie, il faut plutôt s'en servir comme source d'inspiration pour des tournures auxquelles on n'aurait pas pensé, mais cette source d'inspiration est souvent vraiment utile. C'est un peu comme un dictionnaire des synonymes, mais un dictionnaire qui soit spécifique à chaque phrase et à chaque situation.
Pour donner un autre exemple concret d'utilisation : j'ai récemment
écrit un
programme capable de résoudre une certaine classe de questions de
logique (savoir si une formule de logique propositionnelle
intuitionniste est vérifiée dans
un cadre
de Kripke). Je n'ai certainement pas écrit le programme
par IA. En revanche, une fois le programme écrit et
minimalement commenté par mes soins,
j'ai demandé
à ChatGPT de me pondre un fichier README
standardisé en markdown pour documenter son utilisation. Je l'ai
retravaillé derrière, mais c'était véritablement utile parce que je ne
connais pas bien les conventions habituelles sur ce genre de fichiers,
donc autant suivre ce que ChatGPT produit, qui a des
chances de suivre des usages standards puisqu'il s'agit, justement,
d'imiter les docs typiques des programmes typiques. En tout cas,
c'était raisonnablement clair et bien écrit. En plus de ça, il m'a
proposé (à ma demande) des points véritablement pertinents
d'amélioration de la doc.
Mais même dans ce cas, je souligne qu'il faut tout relire.
Les commentaires de mon programme que j'ai fournis à
ChatGPT disaient que l'option -q servait
à suppress all output
, et dans le
fichier README produit, ChatGPT a transformé
ça en suppress most output
(probablement parce
que c'est ce que presque tout le monde écrit). Ce n'était pas un gros
changement, mais ça doit rappeler qu'il peut glisser des petites
erreurs à n'importe quel endroit. (Il avait aussi retiré l'espace que
j'avais mise après le point d'exclamation dans #!
/usr/local/bin/perl -w — là aussi, c'est sans grande
importance, mais ça rappelle qu'il peut introduire des erreurs
n'importe où et n'importe comment.)
J'en profite pour dire un mot sur la manière de poser les questions
aux IA, d'ailleurs : il semble qu'on obtienne
généralement de meilleurs résultats en donnant les
informations d'abord, et la question ensuite. Par exemple,
si on va demander de résumer, traduire ou reformuler un texte, il vaut
mieux écrire quelque chose comme : Contexte : [éléments importants
pour comprendre le texte]. Le texte suivant a été écrit par [source,
auteur, date] : [texte]. Peux-tu me le résumer [ou autre
requête] ?
Pour d'autres questions, ça pourrait
être : Contexte : [éléments importants à savoir]. J'essaie de
faire [tel but général]. Peux-tu me dire comment faire [tel but
immédiat] ?
De même, pour mon usage le plus fréquent des IA qui
est de relire un texte important, je formule généralement la requête
ainsi : [Informations minimales à mon sujet.] J'ai rédigé la
lettre suivante à [tel destinataire] pour [tel but] : [texte de la
lettre]. Peux-tu proposer des améliorations ou remaniements à ce
texte ?
(Et ensuite je regarde au cas par cas ce que propose
l'IA, je tiens compte de certains de ces conseils et j'en
ignore d'autres.)
❦
☞ Les dangers de la propriété intellectuelle
Bon, je comptais continuer ce texte en disant un mot sur les coûts des IA (économique, énergétique, environnemental, social), mais ce billet, et d'ailleurs le sujet en général, commencent à me fatiguer[#15], alors je laisse ça de côté, surtout que ça n'a pas vraiment de rapport avec ce qui précède. Mais disons quand même un mot sur la propriété intellectuelle.
[#15] Et aussi parce que j'avais décidé de publier ce billet en avril, et que nous sommes le 30 avril, donc il faut bien que j'arrête de le traîner comme un boulet.
Surtout dans le contexte des IA génératrices d'images, mais aussi dans une moindre mesure dans celui du texte, le copyright est envisagé comme arme par les artistes qui veulent se protéger contre la réutilisation de leurs œuvres. La problématique est complexe et mériterait un autre billet, mais disons au moins qu'il faut distinguer deux ou trois questions différentes : y a-t-il infraction au copyright lors de l'entraînement des IA (si celui-ci est fait sur des œuvres sans l'accord de leur auteur ou ayant-droit) ? y a-t-il infraction lors de la distribution des poids d'une IA ainsi entraînée ? et y a-t-il infraction lors de la mise au service d'une telle IA ? Ça m'agace beaucoup que ces questions soient mélangées alors qu'elles sont bien distinctes. Mais il faut aussi bien distinguer (la guillotine de Hume vous dit bonjour) la question de savoir de savoir si telle ou telle chose est une infraction au droit de la propriété intellectuelle tel qu'il existe ou celle de savoir si cette chose devrait en être une (ou si, par exemple, le droit de la propriété intellectuelle devrait évoluer, soit parce qu'il est déjà inadapté[#16] à l'ère de l'information, soit parce qu'il le serait devenu à cause de l'importance des IA).
[#16] Divulgâchis :
oui, n'importe quelle personne qui n'est pas au solde d'un lobby
rentier tel que celui des maisons d'éditions de tel ou tel domaine
culturel reconnaîtra que le droit de la propriété intellectuelle dans
son état actuel est profondément archaïque et inadapté en 2025. Un
exemple parmi d'autres est celui du monde scientifique où les
chercheurs de tous domaines s'échangent sous le manteau (via des sites
Web comme Library Genesis ou Sci-Hub) des
livres et articles nécessaires à leur travail de recherche : le fait
que ces sites soient certainement complètement illégaux (et maintenus
par
une rebelle
communiste kazakhe qui mériterait de recevoir toutes sortes de
récompenses au lieu d'être poursuivie) et en même temps absolument
indispensables à la science témoigne de la déconnexion complète du
droit à la réalité du temps. Tout ceci n'est pas nouveau, mais prend
un tour nouveau avec l'entraînement des IA vu que
celles-ci font abondamment usage de ces dépôts illégaux de textes
scientifiques, et ont fait que des gens en ont découvert l'existence.
(Concrètement : Library Genesis et Sci-Hub
ont acquis chez certaines personnes la mauvaise réputation de ce
qui sert à entraîner des IA
, et c'est vraiment voir
les choses par le petit bout de la lorgnette.)
Disons juste une chose sur cette question complexe : quoi qu'on pense des IA, essayer de lutter contre elle en utilisant le copyright comme arme est comme introduire des chats en Australie pour lutter contre les lapins qu'on y a introduits auparavant : maintenant on a deux problèmes.
C'est même pire que ça, parce que non seulement le copyright ne va rien faire pour empêcher tous les problèmes causés par les IA, mais il va même les empirer : les IA à disposition du public vont recevoir des filtres bricolés pour empêcher qu'elles reproduisent des œuvres copyrightées, mais ça va surtout interdire qu'on diffuse les poids de ces IA (permettant de les faire tourner ou de modifier leur entraînement en local) : donc l'effet va surtout être de tuer les IA open source (ou ouvertes à divers titres) au bénéfice des IA plus fermées.
Et côté entraînement, le problème qui est en train d'arriver à cause des IA, mais que l'utilisation du copyright comme arme ne peut qu'exacerber, c'est que la disposition de textes écrites par des humains est en train de devenir une ressource précieuse[#17] dans une course à l'armement et qu'il faut donc garder jalousement. Ce n'est pas vraiment un problème causé par les IA mais par la course aux IA, l'espèce de bulle spéculative qui s'est créée pour proposer la meilleure ou la plus efficace, et ce marché concurrentiel fait que chaque acteur essaie en même temps de mettre la main sur tout ce qu'il peut[#18] et de priver les autres des ressources pour construire la sienne. (En clair, ce qui fait du mal n'est pas l'entraînement des IA mais le fait de vouloir empêcher d'autres IA d'être entraînées sur tel ou tel corpus.)
[#17] J'avais vu quelque part la comparaison des textes écrits entièrement par des humains (notamment ceux écrits avant la disponibilité abondante des IA génératrices) avec le low-background steel, c'est-à-dire l'acier forgé avant les premiers essais nucléaires (qui ont très légèrement contaminé tout l'acier produit à partir de cette date), lequel a acquis, pour certains usages, une grande valeur (à tel point qu'on va récupérer sous la mer l'acier de bateaux sombrés avant la seconde guerre mondiale pour récupérer leur acier non contaminé — l'article Wikipédia et la recherche de l'expression vous en diront plus).
[#18] Le plus évident étant la privatisation de l'accès à un réseau social jusque là ouvertement disponible. Par exemple, je suis persuadé que la principale raison pour laquelle Elon Musk a fermé l'accès par API gratuite à Twitter, c'est pour pouvoir vendre l'accès à des grandes quantités de texte utiles notamment — mais pas uniquement — pour entraîner des IA et/ou prédire des comportements sociaux. Il y a eu un deal du genre entre Reddit et Google, assurant l'exclusivité à ce dernier de l'accès aux textes écrits par Reddit. Je suis effrayé à l'idée que MathOverflow, dont je dépends beaucoup dans mon travail, se retrouve d'accès beaucoup plus difficile parce que je ne sais quel accord voudra empêcher que je ne sais quelle IA l'utilise pour son entraînement.
J'aime faire la comparaison suivante : c'est comme si tout d'un coup on se rendait compte que les feuilles des arbres pouvaient avoir une grande valeur, et que tout le monde se précipitait pour en prendre le plus possible et ne pas en laisser aux autres. On imagine le désastre écologique que ça causerait. La course aux IA nous précipite dans cette direction, et le copyright ne peut servir que d'arme supplémentaire à la privatisation des pages Web.
La liberté de l'accès à l'information était un fondement essentiel du Web : si la concurrence à l'entraînement des IA, en rendant gratuitement précieux ce qui était un commun, crée des barrières là où il n'y en avait pas, c'est un dégât collatéral bien plus grave que toutes les questions de consommation d'énergie ; et l'invocation du démon de la propriété intellectuelle, loin de détruire les IA, ne va qu'empirer ce problème. J'arrêterai ce billet sur cette inquiétude.