☞ Remarques générales
Ceci est encore un billet que j'écris à reculons, l'IA
étant devenue un de ces sujets sur lesquels il est impossible d'ouvrir
la bouche sans attirer une horde de pénibles qui ne sont pas
intéressés par votre point de vue mais vous expliquer le leur,
typiquement soit que ça va amener l'humanité à un paradis
post-singularité
(immanentizer
l'eschaton
), soit qu'il faut immoler dans le feu tous les
ordinateurs qui font tourner une IA voire tous les gens
qui s'en servent. Et si on ne tient pas une de ces deux positions
mais quelque chose qu'on pourrait qualifier de plus
nuancé[#], on aura affaire aux
deux sortes de pénibles à la fois, ce qui est deux fois plus pénible,
et ça décourage pas mal d'en parler, surtout si on ne sait pas bien
soi-même ce qu'on doit en penser (ce qui résume assez bien mon état
d'esprit).
[#] J'ai quelque part dans mon fichier TOBLOG de parler du sophisme du centrisme (qui consiste à croire ou à faire croire que si on est à mi-chemin entre deux opinions extrêmes on a forcément raison), et du méta-sophisme du centrisme (dont on parle moins, et qui consiste à accuser n'importe quelle opinion nuancée de sophisme du centrisme pour la discréditer), et de comment ces deux sophismes entretiennent la pauvreté du discours et la polarisation de toutes sortes d'opinions vaguement politiques.
Déjà, pour la terminologie, il faut rappeler (comme le fait Natacha
dans un billet que je lie juste en-dessous), parler
d'IA
souvent un mauvais point de départ, parce que
c'est surtout un buzzword et qu'il y a très peu de rapport
entre les choses qu'on met sous ce terme, à part faire le buzz et/ou
cristalliser le mécontentement : si on parle des IA
génératrices de texte il vaut mieux utiliser le terme
de LLM (Large Language Model), un
peu moins fourre-tout, pour la technologie actuelle. (Je vais donc
essayer de dire IA
quand je parle du domaine en
général, par exemple des compagnies d'IA,
et LLM
quand je parle des modèles textuels. Mais
je ne promets pas d'arriver à maintenir cette distinction de façon
complètement cohérente.)
Pour le contexte général, j'ai déjà écrit des
choses ici avec lesquelles je
continue à être d'accord[#2] ;
et je suis aussi globalement tout à fait d'accord avec ce que Natacha
écrit
dans ce
billet et avec ce que Matoo écrit
dans celui-ci.
On peut me qualifier d'IA-critique
parce que je
pense que, globalement, ces technologies apportent et vont continuer à
apporter à l'humanité un bénéfice net fortement négatif ; j'ajoute que
c'est plutôt la faute des gens et des compagnies qui sont derrière (et
lesquels en tireront, eux, un bénéfice fortement positif au détriment
de nous tous) que des techniques elles-mêmes ; mais en même temps, je
ne pense pas que cette critique autorise n'importe quelle mauvaise
foi[#3], ni d'essayer de
culpabiliser les utilisateurs
individuels[#4], ni de
prétendre, par exemple, que comme les IA peuvent
halluciner n'importe quoi (ce qui est vrai), elles ne peuvent jamais
servir à rien (ce qui est juste faux, et tellement déconnecté de la
réalité que ça rend toute critique inaudible ensuite).
[#2] Occasion comme une autre pour rappeler que j'ai le droit de changer d'avis sur tout sujet, à tout moment, et sans prévenir qui que ce soit : donc un billet de blog écrit à l'instant T ne reflète que mon opinion à l'instant T (et même à l'instant T je ne considère pas qu'ils m'engagent à quoi que ce soit).
[#3] Comme celle consistant à confondre les IA textuelles (LLM) et les IA génératrices d'images ou vidéos (diffusion stable) et d'appliquer aux unes des arguments qui ne valent que pour l'autre. Ou d'utiliser des chiffres bidon ou des comparaisons complètement dénuées de sens sur la consommation d'énergie. Ou de se découvrir une soudaine passion pour la propriété intellectuelle et les sites fermés juste parce que ce sont des armes commodes contre les IA.
[#4] Pour être bien clair : on peut tout à fait pointer du doigt les gens qui manquent à leurs responsabilités (par exemple reproduisent une hallucination d'IA sans avoir rien vérifié, ou transmettent des informations confidentielles à un LLM et donc à la boîte qui le fait tourner), mais le problème n'est pas spécifiquement l'usage de l'IA : il faut séparer le reproche d'avoir utilisé une IA de celui d'avoir manqué à ses devoirs (comme celui de vérification). Ceci est à plus forte raison le cas pour un utilisateur institutionnel. Mais pour l'utilisateur lambda d'un LLM pour son usage personnel, je pense que culpabiliser n'a aucun sens : il faut plutôt éduquer pour faire comprendre les risques, les limites, les problèmes, etc. Le problème n'est pas d'utiliser une IA, c'est d'avoir la paresse d'essayer de comprendre ce qu'elle a répondu, de l'analyser de façon critique, de se rappeler qu'elle peut halluciner sur tout et à n'importe quel sujet (mais que ça ne la rend pas forcément inutile pour autant) ; le problème quand on copie-colle une sortie d'IA, ce n'est pas l'IA, c'est le copier-coller.
Full disclosure, donc : j'utilise moi-même
occasionnellement des IA (mais je n'ai pas payé
d'abonnement, donc essentiellement les versions gratuites) ; et je les
ai trouvé utiles pour certaines
tâches[#5][#6].
Pour l'instant, pour la réflexion mathématique, je les ai trouvées
totalement inutiles à part comme une sorte de moteur de recherche
amélioré (je sais qu'il y a un argument standard qui
dit X, est-ce que tu peux me retrouver l'argument, la
référence ou le mot-clé ?
).
[#5] Principalement
trois types de tâches : relire un texte que j'ai écrit (au
minimum pour trouver les fautes de frappe ; beaucoup de remarques sont
complètement connes, mais on peut juste les
ignorer), retrouver quelque chose à quoi je pense et que j'ai
sur le bout de la langue ou sur quoi je n'ai que de vagues indices (la
réponse sera souvent hallucinée, mais ce n'est pas grave, si le bon
truc est trouvé on peut vérifier), et expliquer comment faire
certaines choses, surtout en informatique (où on a affaire à des docs
complètement pourries que je n'ai pas envie de passer des heures à
lire, donc je demande à un LLM comment je fais
<truc> ?
, il me produit une ligne de commande, et je vérifie
ensuite en lisant juste la partie de la doc qui concerne le bout de
ligne de commande qu'il a produit), mais j'ai aussi, par exemple,
récemment demandé à ChatGPT de m'expliquer et me
décortiquer la structure
d'une
phrase de Thucydide que mes connaissances limitées du grec ancien
ne suffisaient pas à me permettre de comprendre même avec la
traduction.
[#6] Je précise que je ne fais ni écrire ni relire mes billets de ce blog par des IA. Les faire écrire par des LLM serait complètement stupide parce que leur fonction même est de m'aider à structurer ma pensée, donc ça défeaterait le purpose comme on dit. Je suis éventuellement parfois tenté de les faire relire (cf. la note précédente), au moins pour m'éviter des fautes embarrassantes, mais en général quand j'ai fini de rédiger j'en ai tellement marre que je ne veux plus rien avoir à faire avec le billet, et certainement pas ajouter une étape supplémentaire de relecture et de prise en compte des suggestions de l'IA (et de décision desquelles prendre en compte). Et pour ce qui est des fautes de frappe dont mes billets sont truffés, j'ai de toute manière des petits lutins (humains, probablement) qui viennent me les signaler dans les commentaires. Bref, 100% des conneries du présent billet sont le résultat de ma stupidité naturelle, garanties sans aucune assistance d'hallucination de LLM.
Assez parlé de l'IA en général, ce n'est pas mon sujet du jour. Je veux parler spécifiquement de la situation vis-à-vis des mathématiques.
☞ Pourquoi c'est difficile à évaluer
Mais si j'ai rappelé le contexte général, et notamment la polarisation des opinions autour de l'IA en général, c'est parce qu'il faut que je souligne le phénomène suivant : notre position politique sur l'IA va forcément influencer fortement notre jugement sur les capacités des IA. C'est impossible de nier que nous soyons tous largement de mauvaise foi à ce sujet : si on pense que le développement des IA est nuisible à la société. (Cf. ce post qui montre un graphique dont les données sont tirées de cet article sur le jugement porté sur des poèmes écrits par des LLM et par des vrais poètes humains : ce qui m'intéresse ici n'est pas tant le fait que les volontaires préfèrent les poèmes écrits par des IA à ceux écrits par des humains ; c'est surtout que, quel que soit la nature de l'auteur, si on leur dit que c'est écrit par une IA ils aiment significativement moins. Ou, de façon moins significative mais amusante, ce post qui montre des réactions face à un vrai tableau de Monet de gens à qui on a dit que c'est une production d'IA, et qui expliquent toutes sortes de raisons pour lesquelles le tableau est très mauvais.)
Ce n'est pas pour rien qu'on teste les médicaments à l'aveugle, et même en double aveugle, et dans le cadre d'un protocole scientifique précis où on a décidé à l'avance ce qu'on devait tester et où on doit signaler les résultats négatifs. Et aussi, on doit signaler qui a payé pour l'étude, et ainsi de suite. C'est la base de la recherche d'impartialité dans la méthode scientifique.
Or quand on cherche à évaluer le niveau des LLM actuels en maths… on a des résultats assez différents selon la manière dont on s'y prend. Un premier problème est que nous n'avons, pour commencer, aucun moyen scientifique de mesurer la difficulté d'une question de maths. Un deuxième est que nous n'avons pas non plus vraiment de moyen de mesurer le succès. Et un troisième est que nous n'avons pas vraiment idée de quels sont les paramètres qui vont jouer.
☞ Les LLM producteurs de preuves bidon
Comme je l'ai dit plus haut, j'ai occasionnellement demandé à
des LLM ce qu'ils pensaient de telle ou telle question de
maths : pour l'instant, les seules situations que j'aie
personnellement rencontrées où ils m'ont répondu quelque chose
d'utile, c'est par une référence directe à la littérature (en
gros : oui, il y a un théorème bien connu qui dit
ceci-cela
[#7]) ; donc comme
une sorte de moteur de recherche pour toute la littérature
mathématique. Mais quand j'ai présenté un vrai problème non-évident
sur lequel chercher, j'ai toujours eu une réponse très assurée,
superficiellement plausible, et en fait complètement bidon. (Pour
donner juste un exemple avec un exercice de
calculabilité, voici
une conversation avec la version gratuite de ChatGPT en
mode réflexion, où il commence par me faire une réponse complètement
bidon utilisant un classical recursion-theoretic
fact
qui est tout simplement faux et stupide, puis je lui demande
s'il est sûr, et il a passé plein de temps à réfléchir juste pour
trouver sa faute.)
[#7] Bien sûr, je vérifie ensuite que le théorème dit bien ceci-cela, parce que le modèle peut parfaitement halluciner, mais à ce niveau-là ce n'est pas grave parce que ça se vérifie facilement.
Et visiblement je ne suis pas le seul dans cette situation, parce que MathOverflow reçoit plein de réponses générées par LLM qui semblent superficiellement plausibles quand on ne va pas vérifier très attentivement ligne à ligne, et qui contiennent, en fait, des erreurs fondamentales. (Pour l'instant, c'est l'effet le plus visible par moi de l'IA sur les maths.)
![[Magnolias en fleurs devant un bâtiment style fin XIXe]](../images/2025-03-22-magnolias-ecole-estienne-small.jpg)
![[Pommiers en fleurs dans une rue à Paris]](../images/2025-03-25-pommiers-en-fleurs-small.jpg)
![[Buisson de prunelliers en fleurs (blanches)]](../images/2026-03-04-prunellier-a-chevreloup-small.jpg)
![[Pruniers-cerises en fleurs (blanches)]](../images/2026-03-04-pruniers-cerise-a-chevreloup-small.jpg)
![[Cerisier du Japon en fleurs (blanches), avec des gens devant en train de l'admirer]](../images/2025-03-27-shirotae-jardin-des-plantes-small.jpg)
![[Cerisiers du Japon en fleurs (blanches) le long d'une route]](../images/2025-03-29-cerisiers-route-de-damiette-small.jpg)
![[Cerisiers du Japon en fleurs (blanches) sur un parking]](../images/2025-03-29-cerisiers-parking-de-courcelles-small.jpg)
![[Cerisiers du Japon en fleurs (roses) dans un parc, avec des gens dessous en train de pique-niquer]](../images/2025-04-12-hanami-parc-de-sceaux-small.jpg)
![[Tableau des particules élémentaires]](../images/particules.png)