Peut-être que certains se demandent pourquoi je passe plein de
temps à parler d'un sujet complètement frivole,
la forme des apostrophes, et pas à
parler d'une question quand même plus sérieuse, et qui me touche quand
même beaucoup plus, à savoir la destruction des
maths[#] par
les LLM (je vais expliquer dans un instant en quoi je
parle de destruction). Si je n'en ai pas parlé, c'est parce que c'est
vraiment déprimant : mais à un moment, il faut bien en dire quelque
chose. Bon, j'ai déjà consacré un
billet et un autre sur le sujet
il y a quelques mois, mais au rythme où vont les choses, il y a
quelques mois
, c'est un peu l'équivalent du néolithique, et
manifestement mes inquiétudes étaient très en-deçà du coche, et
d'ailleurs pas exactement les bonnes.
[#] Je l'ai déjà dit
dans un billet passé, mais il va de soi que quand je parle de la
destruction des mathématiques
, j'entends ici ce mot comme
métonymie pour la recherche mathématique, l'activité humaine
consistant à explorer et comprendre le monde mathématique. Le monde
mathématique lui-même, évidemment, (du moins si on a une conception
philosophique platonicienne), préexiste à l'humanité voire à
l'univers, et n'est pas susceptible de changement, encore moins d'être
victime de destruction. Ce qui peut être détruit, c'est notre accès
(collectif) à ce monde.
Il faudrait, pour compléter le présent billet, que je collecte ici des liens vers les réflexions que j'ai déjà écrites sur les réseaux sociaux (essentiellement Bluesky). Mais là j'avoue que je sature, donc je vais publier ce billet sans ces liens, quitte à les ajouter éventuellement plus tard en éditant le présent paragraphe.
Si vous n'avez pas suivi ce qui se passe, c'est normal parce que ça devient vraiment difficile tant les annonces s'enchaînent. Disons pour résumer la situation que OpenAI (la compagnie de ChatGPT) et Anthropic (celle de Claude) sont en train de se mener une guerre qui prend essentiellement la forme de la stérilisation de domaines entiers des maths à l'arme thermonucléaire pour pouvoir afficher comme trophées des conjectures dont elles ont eu la tête. (Il va de soi que ce ne sont pas les maths qui les intéressent, c'est juste que c'est sur ce terrain que ces deux grosses boîtes[#2] ont décidé de se faire la guerre, ou peut-être que je devrais plutôt dire le concours de bites, avec l'assistant de preuve Lean pour arbitre, et peu importent les ravages que ça cause à la science.)
[#2] J'écris boîtes
ici : les deux
sont, en fait, des public benefit corporations,
ce qui est censé vouloir dire que leur mission n'est pas exclusivement
le profit financier, mais d'avoir aussi une forme d'intérêt public
parmi leurs buts. Quand on voit la rapacité et l'absence totale
d'éthique que trahit leur traitement des mathématiques, qu'on peut
supposer représentatif de leurs actions en général, on peut
légitimement conclure que ce statut légal est une farce.
Leur guerre sur le terrain mathématique a vraiment commencé le quand OpenAI a annoncé la résolution du unit distance problem d'Erdős (mais ça j'en ai déjà parlé dans ce billet). Anthropic, par la voix de son employé Levent Alpöge, a répliqué le avec un contre-exemple en un tweet à la conjecture jacobienne. Le , OpenAI a annoncé la solution à dix problèmes importants d'un coup. Le , Anthropic a prouvé que 2/3 des zéros de la fonction ζ sont sur l'axe critique, et le Levent Alpöge (qui, je répète, bosse chez eux) a annoncé l'existence d'une structure complexe sur S⁶ (en publiant 100 pages de slop pondu par Claude). Ah, et le , OpenAI a amélioré à ≤186 la borne sur la limite inf des différences entre nombres premiers consécutifs (le fameux problèmes des nombres premiers jumeaux conjecture que cette limite inf vaut 2). Ajout : je peux mentionner aussi, , la formalisation par Anthropic de la preuve du Grand Théorème de Fermat (théorème de Fermat-Wiles) : là ce n'est pas un résultat nouveau, c'est une formalisation d'une preuve vieille de trente ans, mais on pensait que cette formalisation prendrait des années.
Sans doute pourrais-je essayer de mettre ces résultats en contexte, mais à ce stade ça n'a plus de sens ni d'intérêt : c'est devenu une course aux trophées où on n'apprend rien, on ne comprend rien, on empile les résultats qui il y a peu auraient été considérés comme majeurs et qui n'intéressent maintenant plus personne. (Alpöge, notamment, pousse la désinvolture méprisante au point de ne rien expliquer des résultats qu'il annonce, il les balance juste au détour d'un tweet : zéro contexte, zéro explication méthodologique, zéro travail humain.)
Pour la première annonce majeure, celle du unit distance problem en mai, même s'ils n'ont publié aucun des détails qu'on aurait légitimement été en droit de réclamer sur le temps de calcul, le nombre de problèmes attaqués, etc., OpenAI a au moins publié le prompt et une version abrégée de la chain of thought du modèle, et fait un minimum d'effort scientifique pour mettre le résultat en contexte en le confiant en avant-première à un groupe de mathématiciens qui l'ont réécrit (dé-slopifié) et accompagné de commentaires. Mais avec la prolifération des annonces et la course au spectaculaire, même ce minimum syndical est passé à la trappe. Alpöge pour Anthropic est celui qui en fait le moins, mais OpenAI fait à peine plus.
À ce stade, on n'est plus dans une approche scientifique : on ne sait rien sur la méthodologie utilisée pour trouver ces preuves (matériel et méthodes, prompts, temps, argent…), et absolument tous les standards habituels des maths ou de la science (dans la manière d'écrire, annoncer, communiquer ou publier, ou simplement la déontologie de travail, les relations aux collègues, les remerciements, la citation des travaux antérieurs) sont tombés dans les toilettes. On est juste dans une course aux annonces de conjectures dont ils ont eu la tête, chaque annonce étant accompagnée d'un certificat Lean[#2b] pour montrer que la preuve est correcte, et d'un PDF de slop censé passer pour un papier scientifique expliquant la preuve.
[#2b] Ajout
() : J'aurais peut-être dû expliquer ce qu'est
un certificat Lean
. Les preuves mathématiques sont normalement
écrites en langage naturel (anglais) et utilisent parfois des
arguments informels, des raccourcis, etc., qui les rendent plus
lisibles quand on veut comprendre la logique générale mais plus
difficiles à vérifier, et surtout, plus difficiles à vérifier
automatiquement. Une preuve formelle, c'est un objet
mathématique ou informatique qui, au contraire, entre dans les
moindres détails de la preuve, dans un langage complètement mécanique,
et dont la vérification peut être confiée à un programme purement
automatique (lequel n'a rien à voir avec une IA). Comme
je l'explique dans un
bout d'un précédent billet sur
le sujet, Lean est un outil informatique dans lequel on peut exprimer
des preuves mathématiques de façon formelle, et qui permet alors de la
vérifier (de façon complètement automatisée, et en principe fiable).
On peut demander à un LLM d'écrire directement une preuve
en Lean, ou de convertir une preuve naturelle en Lean. Le problème
avec Lean, c'est que s'il permet la vérification formelle (c'est bien
le principe), donc garantit, sauf bug du logiciel lui-même (ce
qui peut
arriver !) que le théorème annoncé est bien un théorème, la preuve
est à peu près totalement illisible pour un humain. (A
contrario, ce n'est pas parce qu'une preuve est écrite en langage
naturelle qu'elle est automatiquement lisible, et le slop dont je
parle l'illustre assez bien.)
Ce n'est pas de la science, c'est du concours de bite, et la science en souffre terriblement : ce n'est pas juste qu'elle ne progresse pas, elle est mise en péril.
Mais David,
va-t-on
objecter[#3], même si on
convient que l'attitude de ces boîtes est détestable, comment le fait
de démontrer un résultat mathématique, fût-ce mal, pourrait-il mettre
en péril les mathématiques ? Et pourquoi le fait que
les IA résolvent plein de questions est-il plus néfaste
que quand des humains le font ?
[#3] Je le sais parce qu'on me l'a dit N fois sur les réseaux sociaux, donc à force de me fatiguer à réexpliquer la même chose je sais ce qu'il faut que j'explique.
L'explication, c'est que le progrès de la science est (normalement) construit sur un équilibre dynamique délicat entre questions (intéressantes) et réponses : résoudre une question clôt cette question, mais apporte généralement de nouvelles questions intéressantes pour compenser. Et surtout — et c'est là le point important que les gens ne comprennent pas bien — ces nouvelles questions intéressantes ne sont pas apportées par la solution du problème, mais par la démarche consistant à essayer de le résoudre — et notamment, le fait d'être coincé, d'essayer diverses pistes, d'échouer, bref, l'exploration du monde mathématique qui est la vraie démarche intellectuelle importante dans les maths. La résolution de problèmes n'est pas le but, ou en tout cas n'est pas le but principal : le but principal est la compréhension qui vient de cet équilibre entre questions et réponses. Résoudre les problèmes à tour de bras par IA dans une course aux trophées ne participe pas à cette activité de création de questions. Et, si, il y a un vrai danger que les questions intéressantes (mais en même temps susceptibles d'être résolues) se tarissent[#4], parce que c'est une frontière extrêmement étroite à naviguer entre les questions idiotes car triviales et les questions impossibles à résoudre qu'on mine en navigant cet espace.
[#4] Si vous ne me croyez pas quand je le dis depuis un moment, peut-être croirez-vous quand c'est Terence Tao qui s'est mis à le dire.
Les questions emblématiques mises en avant par la communauté mathématique, telles les problèmes du millénaire, l'ont été non pas pour la valeur intrinsèque que leur réponse apporterait, mais pour l'espoir que les tentatives pour les résoudre motiveraient une activité de recherche féconde. Le fait que la résolution soit faite non seulement par IA, mais surtout par des IA interrogées par des gens qui n'ont même pas réfléchi à ces problèmes avant[#5], clôt ces questions et tue l'activité de recherche qui pouvait exister autour, sans ouvrir les nouvelles questions que la résolution humaine « normale » était attendue apporter.
[#5] Enfin, on a bien sûr le droit de se mettre à réfléchir sur un domaine sur lequel on n'avait pas travaillé : mais il faut un certain temps pour en acquérir la culture pour avoir du recul par rapport à ce que l'IA dira, et ce temps est incompatible avec la course aux trophées.
Soyons clairs : ces nouveaux résultats ne sont en rien un cadeau à la communauté mathématique. Ils ne nous apprennent rien, juste un bit d'information (la conjecture machin est vraie ou fausse), certifié par une preuve sans intérêt. Ce n'est pas des maths, c'est de l'interrogation d'oracles. Pire : ce n'est pas juste que ces résultats ne font pas progresser les maths, ils les font régresser, en détruisant toutes les opportunités qu'un problème ouvert est censé apporter à la recherche, à la compréhension humaine, et à la découverte de nouvelles questions intéressantes.
Hier ()[#6], OpenAI a annoncé la solution (négative) du problème de la régularité des équations de Navier-Stokes, un des sept « problèmes du millénaire » dont la résolution, il y a quelques mois, aurait été un titre de gloire incroyable. Mais là, on peut dire qu'ils ont réussi à rendre ça complètement sans intérêt.
[#6] Quand j'ai commencé à écrire ce billet, je parlais de cette annonce au futur parce qu'elle n'avait pas encore eu lieu (mais tout le monde savait qu'elle aurait lieu). J'espère avoir corrigé les temps des verbes, mais ceci doit expliquer s'il reste des tournures bizarres.
En plus, il y a tout un psychodrame autour du fait qu'ils ont peut-être volé l'idée à Tristan Buckmaster et Levent Alpöge (toujours lui) qui travaillaient dessus, aussi avec des IA (dont, justement, ChatGPT, qui aurait pu fuiter les conversations à sa compagnie parente). Je n'en sais rien : ça ne m'intéresse plus, et ça ne devrait intéresser personne. (Pour être bien clair, je n'ai aucun mal à croire qu'OpenAI se comporte comme des voleurs — ce dont Buckmaster ne veut pas les accuser publiquement probablement par peur d'un procès, mais qu'on lit quand même entre les lignes. Ils ont visiblement zéro éthique, et de toute façon je partirais du principe général qu'ils entraînent leurs modèles[#7] avec les conversations qu'on a avec ChatGPT. Mais comme je l'ai dit ci-dessus, Alpöge a lui-même participé à la destruction active des maths par le slop IA, alors s'il vient se plaindre d'être victime de voleurs en bossant pour des voleurs dans la course à être les premiers à mettre la main sur un trophée qu'il a lui-même contribué à vider de tout sens, je vais sortir un très très très petit violon pour le plaindre.)
[#7] Ceci devrait inciter n'importe qui a des données qu'il considère comme sensibles ou confidentielles à ne jamais les fournir à ChatGPT, bien sûr. Maintenant, une autre conversation intéressante à avoir, c'est peut-être : par quels moyens pourrait-on arriver à avoir des modèles aussi bons que les modèles « frontières » du moment, mais ouverts, et qu'on fasse tourner en local pour que les conversations restent secrètes ? Discussion intéressante, mais ce n'est pas dans ce billet l'endroit d'en parler.
Et, entendons-nous bien : OpenAI et Anthropic ne sont
pas les seuls à balancer du slop mathématique. Plein de
mathématiciens professionnels ou amateurs se sont mis à soumettre à
tour de bras des questions diverses aux LLM, qui sont
maintenant très forts pour résoudre des problèmes de maths, et ils ont
ajouté leurs propres torrents de merde à ceux produits par ces deux
grosses boîtes (même si ce sont des résultats moins emblématiques
parce que ce sont les gros parrains qui visent les gros trophées). Je
ne prétends pas ici que tout usage des LLM en maths est
illégitime ou ne produit que du slop, je vais en dire un mot plus bas,
mais ce que font OpenAI et Anthropic, et ce que font
beaucoup d'autres mathématiciens, y compris universitaires, en est
incontestablement. Si on prend juste un modèle et qu'on lui
dit résous-moi telle question
sans avoir réfléchi soi-même à la
question avant, la réponse sera peut-être techniquement correcte (et
même certifiée en Lean), mais ce sera définitionnellement du slop.
Donc voilà : les maths sont maintenant noyées sous du slop d'IA. C'est un slop très particulier, parce qu'il vient presque toujours avec une formalisation en Lean[#8], donc entendons-nous bien : ce sont des preuves formellement correctes qui démontrent (ou souvent, réfutent) effectivement des conjectures souvent anciennes et très respectables. Mais en même temps, c'est quand même de la bouillie : ça ne nous apprend rien, c'est de la merde illisible et indigeste, qui a la seule propriété de fermer le problème posé sans apporter aucune des vertus qu'on aimerait d'un article de maths (susciter de nouvelles questions, apporter un point de vue nouveau, développer des outils, ouvrir des perspectives, enrichir notre compréhension du monde mathématique ; au contraire, ça tue l'espoir de faire tout ça).
[#8] Sur ce point, j'avais donc tort dans mon billet de mai : je disais surtout craindre la prolifération des preuves fausses (et je voyais la formalisation en Lean comme un remède mais un remède partiel parce que je pensais que beaucoup de choses seraient trop complexes pour être formalisées en Lean) ; or il s'avère qu'on peut formaliser bien plus que ce que je pensais, ce qui est sans doute une bonne nouvelle, mais la mauvaise est que, en fait, même du slop formellement certifié reste du slop.
Si vous n'êtes pas mathématicien, imaginez les mauvaises images produites par les IA génératrices d'images qu'on voit partout jusqu'à la nausée : ben c'est pareil mais ce sont des preuves mathématiques correctes, qui résolvent de vrais problèmes, de façon formellement correcte mais quand même profondément merdique. Parfois le slop est légèrement retravaillé par des humains derrière pour le rendre un peu moins merdique, au moins sur sa forme : rarement avec le soin qui serait nécessaire[#9] pour qu'il cesse d'être du slop.
[#9] Que doit-on faire, selon moi, pour utiliser un LLM pour résoudre une question de maths (ou d'autre chose, d'ailleurs) sans produire du slop, et sans atrophier son propre cerveau ? Je n'ai pas de réponse parfaite, mais je peux proposer des pistes. D'abord, il faut avoir réfléchi à la question soi-même, connaître le contexte mathématique, les travaux antérieurs, etc. (Un LLM peut aider à trouver des choses, ou à les résumer ou à les expliquer, mais on ne peut pas se dispenser de se plonger soi-même dans la littérature.) Il faut au moins faire un effort honnête et sérieux pour résoudre la question avec son propre cerveau. Éventuellement discuter avec l'IA pour trouver des pistes de réflexion si on est bloqué. Si on finit par tout confier au LLM en mode autonome, il faut au moins faire l'effort, ensuite, de comprendre la preuve, de se l'approprier, de se demander ce qu'on a raté dans la phase exploratoire, de se familiariser tellement avec la preuve qu'on pourrait la retrouver soi-même, et finalement la réécrire comme on sent qu'elle a envie d'être racontée. Après tout ça, ce ne sera plus du slop, et ce sera selon moi un usage légitime de l'IA en maths. (L'équivalent artistique serait sans doute un dessinateur qui, parce qu'il a du mal à visualiser quelque chose, ferait rendre une scène par une IA pour imaginer ce qu'il veut voir avant de la redessiner à sa façon.) Toutes ces opérations prennent du temps, mais si on n'est pas prêt à les consacrer au problème, c'est reconnaître qu'il n'a pas vraiment d'intérêt, et clairement les mathématiciens d'OpenAI (si tant est qu'ils soient mathématiciens, en fait ; en tout cas ils ne signent pas de leur nom) n'ont pas le temps en question.
Mais ce n'est pas juste le fait que ce soit du slop qui provoque le
dégoût devant toutes ces annonces mathématiques : c'est aussi
la vitesse à laquelle cette bouillie se déverse dans cette
course effrénée au coup de comm'. Aujourd'hui, donc, on a une
« solution » du problème de Navier-Stokes, il y a
déjà des
rumeurs que les conjectures de Hodge et de Birch et
Swinnerton-Dyer pourraient avoir été « résolues » ou être en passe de
l'être, et j'imagine que dans quelques semaines on aura la « réponse »
au problème de Galois inverse, ou à la conjecture de Schanuel, ou au
problème des nombres premiers jumeaux, ou à l'hypothèse de Riemann, ou
à P≠NP, ou que sais-je encore, ou peut-être tout ça à la fois, mais ce
sera pareil, une réponse qui n'apporte rien. C'est tellement
désolant, parce que les maths sont (étaient
?) une discipline
où on aimait avoir le droit de prendre son temps, laisser la solution
des problèmes mûrir longuement, rédiger des articles soignés où chaque
ligne (et pour les maniaques, la forme de chaque apostrophe) sont
longuement pesées. (Je ne dis pas que c'était forcément une bonne
chose : attendre un an ou deux voire plus pour qu'un article soit
publié, c'est un vrai souci pour les jeunes chercheurs. Et je ne
prétend certainement pas que chaque mathématicien mettait un soin
infini à ses articles : mais au moins c'était possible. En
tout cas on prenait au sérieux la devise festina
lente : on aimait laisser l'agitation et l'empressement à d'autres
disciplines comme l'informatique ou la physique.) Là tout est emporté
par les torrents de merde qui se déversent à un rythme absolument
affolant[#10] jusqu'à ce que
plus rien n'ait de sens.
[#10] Ce n'est pas juste le torrent de slop qui est affolant dans son débit, d'ailleurs : c'est aussi le torrent de commentaire et métacommentaire autour de ce slop, parce que tout le monde doit en parler. Je commence à en avoir marre, notamment, que les médaillés Fields, qui ne sont représentatifs de rien du tout et certainement pas des ~99.95% de mathématiciens qui n'ont pas de médaille Fields, se croient autorisés à parler au nom de la communauté mathématique. (Quelle que soit leur position, « pro » ou « anti » IA, ou plus nuancé entre les deux, ce n'est pas l'enjeu : en parlant tout le temps, comme ça, ils rendent inaudibles les gens qui ont une carrière moins établie, et qui ont certainement plus à perdre dans la destruction des maths par les IA, comme les doctorants. Même si je suis content de voir Terence Tao sembler évoluer vers une position un peu moins béate vis-à-vis des LLM, même s'il dit maintenant pas mal de choses que je disais déjà, et même si sa culture incroyable rend ses commentaires très éclairés, j'aimerais quand même qu'il apprenne à la fermer un peu, parce que si lui-même dit des choses globalement intéressantes, son fan-club amplificateur est excessivement pénible et rend tout autre son de cloche difficile à entendre.) ❧ Et évidemment, dans l'autre oreille, sur certains réseaux, on a en plus le droit à tout le discours haineux vis-à-vis du monde universitaire qui ressort, accusant les mathématiciens d'être jaloux des IA qui sont maintenant plus fortes qu'eux, d'être des parasites qu'on va enfin pouvoir virer, d'avoir voulu empêcher l'accès au savoir(?) ou de vouloir garder leurs privilèges(???). (Non, tout ça n'est pas très cohérent.) C'est peu dire que l'atmosphère est irrespirable.
Et ce slop n'est pas juste écœurant et scientifiquement vide, il contribue à stériliser la discipline dans son ensemble. Les effets se font à toutes sortes de niveaux. D'abord, évidemment, les gens qui travaillaient directement sur les questions sur lesquelles les AI bros ont jeté leurs bombes à merde ont vu leur travail en cours, parfois leur carrière, anéantis. (Ça peut bien sûr aussi arriver de se faire griller la priorité par un collègue humain, mais normalement en maths on essaye de ne pas travailler sur un domaine où on sait qu'un collègue travaille déjà : c'est peu dire qu'OpenAI et Anthropic ne se préoccupent pas de ce genre de règles de politesse dans leur course aux annonces.) Le slop a aussi totalement dévasté le mécanisme même de publication mathématique (parce qu'une partie de ce slop est dirigée vers les revues, qui sont submergées). Et à plus long terme, ça attaque le vivier possible de la discipline : qui voudrait encore devenir mathématicien maintenant, si ça consiste essentiellement à poser des questions à un LLM et essayer de trier dans la merde qu'il pond ? Et d'ailleurs, comment recruter des mathématiciens[#11] si la publication est devenue impossible et si l'évaluation l'est aussi parce qu'on ne sait plus comment faire faire une thèse ?
[#11] Autre préoccupation : à partir de maintenant, si vous n'utilisez pas l'IA, une partie de la communauté mathématique va vous prendre pour un luddite incompétent ; et si vous utilisez l'IA, ou même seulement s'il y a un soupçon que vous en ayez fait usage, une partie (différente) de la communauté mathématique va vouloir vous crucifier. Il est d'ailleurs parfaitement possible que vous receviez les deux reproches à la fois. Bon courage pour décider à quel camp vous rallier. (Cf. aussi la note #15 plus bas.)
Encore une source de tracas réside dans l'inégalité des accès aux IA : les mathématiciens qui travaillent avec l'IA (que ce soit pour pondre du slop ou pour le faire avec plus d'honnêteté) ont besoin d'un accès à des modèles d'IA. Certains employeurs fournissent à leurs employés l'accès aux meilleurs modèles. En France, on a Mistral, qui est une merde complète pour ce qui est de faire des maths (il est plus mauvais que même la version gratuite de ChatGPT), et visiblement il n'y a aucune volonté de développer un modèle (français ou européen) public ouvert de bonne qualité. Des gens trouvent quand même des moyens d'accéder à de meilleurs modèles en empruntant l'accès de proches (par exemple qui y ont accès par leur propre boulot). Certains y vont de leur poche : à raison de ~200€/mois pour l'accès à un modèle de bonne qualité, ça représente une somme importante pour un universitaire mal payé comme c'est le cas ici, et à plus forte raison pour un doctorant. Mais de toute façon, il est anormal que les gens se retrouvent à payer pour leurs outils de travail. La situation actuelle est chaotique et extrêmement inégalitaire à tous les niveaux.
Autre chose : les LLM sont incapables de citer correctement les sources des idées qu'ils utilisent (à titre d'exemple, la première version mise en ligne par OpenAI de la solution du problème de Navier-Stokes ne citait pas les travaux de Córdoba et Martínez-Zoroa qui sont pourtant à l'origine d'idées essentielles de la construction ; quelqu'un a dû remarquer parce que le texte a été édité pour ajouter la citation correcte, mais c'est emblématique de la façon dont ça se passe) ; et parfois on a des raisons de les soupçonner de vol d'idées[#12][#13], soit parce que des documents étaient malencontreusement en ligne, soit par l'entraînement des modèles sur les prompts que d'autres gens auraient utilisés (je fais un petit tour dans ce fil Bluesky). Ce n'est pas qu'un souci pour la réputation ou la carrière des personnes dont les contributions sont ainsi passées sous silence : c'est aussi un problème scientifique si on ne peut pas retracer l'origine des idées ; si on cite les travaux antérieurs, ce n'est pas juste pour faire plaisir aux auteurs qu'on cite, c'est aussi pour que le lecteur puisse se documenter à ce sujet. Donc les résultats produits par IA contribuent aussi à détruire les mathématiques sur le plan de la généalogie des idées.
[#12] Pour être bien
clair : il n'y a pas de copyright sur les idées (et il faut bien
distinguer la notion d'infraction de copyright — qui concerne
essentiellement les mots — de celle de plagiat — qui concerne les
idées) ; et je reconnais tout à fait que retrouver la paternité
est parfois difficile. Réutiliser
les idées de quelqu'un sans le citer n'est pas automatiquement une
infraction (le mot vol
est utilisé de façon figurée ici). Dans
certains contextes, ça peut être légitime (par exemple quand on
raconte une blague, on n'a pas d'obligation à citer la source de la
blague). Mais dans un contexte scientifique, c'est une faute
déontologique de commettre du plagiat ou de la réutilisation délibérée
d'idées sans identifier et citer leur provenance.
[#13] S'il y a vraiment influence des conversations avec ChatGPT sur sa capacité à résoudre un problème de même nature n'est pas franchement clair, mais selon moi il suffit qu'il y ait eu possibilité d'influence pour que ce soit objectable. Cf. ma conversation avec Daniel Litt autour d'ici sur Bluesky.
De façon encore plus profonde, le malheur causé par ce déluge de résultats produits par IA est lié à la construction de la science elle-même. La résolution de problèmes n'a jamais été le véritable intérêt des maths (même si on s'en est parfois auto-persuadé à tort, je l'ai déjà dit au cours de ce billet) ; mais les problèmes à résoudre étaient une façon de motiver la recherche. En fait, comme je l'ai dit plus haut, un problème à résoudre est surtout une façon de susciter des interrogations et une démarche de recherche qui aboutit à une compréhension humaine, laquelle est le véritable produit fini des maths dont la démonstration n'est que la surface apparente. En produisant la démonstration sans la démarche humaine de recherche, l'IA empêche la naissance de cette compréhension. Et une fois que le problème est formellement « résolu », plus personne ne va travailler sérieusement dessus, donc cette recherche ne naîtra plus[#14].
[#14] Par exemple, qui va continuer à travailler à essayer de montrer l'existence d'une structure complexe sur S⁶ maintenant qu'il y a déjà une preuve formelle de son existence ? Et à plus forte raison, qui va essayer de le faire sans se laisser influencer par le slop qui a été pondu par l'IA ? Du coup, en quelque sorte, ça nous a définitivement fermé la porte à l'espoir de vraiment comprendre s'il existe une structure complexe sur S⁶, ou en tout cas, pourquoi. Maintenant, sur ce cas, je sais qu'il y a quelqu'un qui a tenté de déslopifier le slop, ce qui est une démarche extrêmement importante, mais ça reste des idées guidées par le slop donc sans toutes les idées qui auraient pu naître de la recherche infructueuse ; et par ailleurs, même si on convient que ce texte est bon, je ne sais pas s'il aura le retentissement qu'il aurait eu s'il accompagnait l'annonce d'un résultat aussi important. (Je veux dire, dans ce cas on devrait peut-être dire que c'est Philip Engel qui le premier a démontré — correctement et proprement — qu'il existe une structure complexe sur S⁶, mais je parie qu'on ne va pas faire ça.)
Bref, si on me demande d'expliquer en quoi l'accumulation de réponses à des problèmes anciens ne constitue pas une avancée des mathématiques et constitue même, selon moi, une nette régression, l'explication est, en fait, exactement la même que si des élèves de maths vont demander à des LLM de résoudre tous leurs exercices et qu'on s'étonne que ça n'améliore pas leur niveau en maths. Certains de mes collègues semblent croire que le fait d'avoir un poste de professeur les rend magiquement immunisés contre le problème qu'ils voient de leurs propres yeux chez leurs élèves, et je ne sais pas si c'est le résultat d'une certitude de leur propre supériorité ou une forme de presbytie, mais c'est vraiment naïf de s'imaginer que « l'étudiant veut juste avoir son diplôme donc il fait résoudre son devoir par un LLM » n'a pas son correspondant « le chercheur veut juste publier un papier donc il fait prouver son théorème par un LLM ». Le problème se pose d'ailleurs aussi bien au niveau individuel qu'au niveau collectif (la communauté mathématique dans son ensemble a besoin de réfléchir à des questions pour développer sa compréhension partagée des maths).
Pour être bien clair, je ne suis pas, ni ici ni à aucun point dans ce billet, en train de prétendre que les LLM n'ont aucun usage légitime en maths ou ailleurs, ni qu'il ne faut jamais s'en servir, ni que tous les articles de maths ayant utilisé un LLM sont automatiquement du slop (ni que l'IA est le Mal Absolu[#15][#16][#17]). Je ne pense pas tout ça. Mais trouver comment s'en servir pour enrichir et pas pour abêtir sa propre intelligence, pour faire progresser sa compréhension et pas produire du slop, est quelque chose de très difficile, qu'on n'a pas encore vraiment compris (j'ai donné quelques pistes dans la note #9 plus haut). En tout état de cause, ce que je vois passer en ce moment suggère que les gens qui en font un mauvais usage sont, sinon plus nombreux, du moins incomparablement plus visibles que ceux qui en font un usage intelligent. Et plus les IA deviennent intelligentes plus il devient difficile de s'en servir intelligemment, car plus grande est la tentative de les laisser « tout faire ». En tout cas, ce qui est sûr, c'est que la course aux trophées ne peut que produire de la merde : si quelqu'un qui n'a jamais travaillé sur un domaine apporte tout d'un coup la solution d'un des problèmes les plus emblématiques de ce domaine sans rien avoir appris de l'état de l'art, c'est forcément du slop, parce qu'il ne peut pas avoir eu le temps de comprendre ce que son oracle lui crachait.
[#15] Full disclosure,
donc : il m'arrive d'utiliser ChatGPT, et aussi
l'IA de Google, que je trouve effectivement utile pour
faire certains types de recherches Web que je n'arrive pas à mener
moi-même. À ce stade, les seules questions mathématiques que j'ai
posées à des IA sont du type la réponse à <truc>
est certainement bien connue, peux-tu me la retrouver dans la
littérature ?
, y a-t-il un nom standard pour la notion
suivante ?
ou peux-tu vérifier soigneusement l'argument
suivant ?
, mais je ne suis pas prêt à m'engager à ne pas boire
plus d'eau de la fontaine maudite. Or il y a des gens que je sens à
deux doigts de lancer un jihad butlérien qui, même s'il ne finit pas
en détruisons tous les ordinateurs
, pourrait très bien finir en
ce que des comités de recrutement soient remplis de gens prêts à
crucifier un candidat pour le moindre indice qu'un bout du travail du
candidat ait été assisté par IA. (Ce n'est pas une
expérience de pensée aléatoire : j'ai vu le genre de vendetta que les
milieux artistiques sont prêts à lancer contre un artiste qui est
soupçonné — éventuellement à tort — d'avoir fait appel à
une IA à un certain point dans son processus créatif, et
je ne pense pas que le milieu mathématique soit exempt de ce genre de
mentalité vindicative, surtout en ce moment.)
[#16] Je pense certainement qu'OpenAI et Anthropic sont des bandes de connards illuminés et rapaces qui font un mal fou à l'humanité (et les autres boîtes ne valent pas mieux, je précise, elles sont juste moins puissantes), mais j'essaie de séparer ce que je pense de l'IA (la technologie) de ce que je pense de ces boîtes d'IA propriétaire. Maintenant, je suis assez vieux pour me rappeler le moment où Microsoft Windows dominait totalement le marché du PC, et donc je me rappelle comment on faisait pour détester Microsoft sans forcément détester les ordinateurs, et aussi que ce n'était pas forcément une bonne stratégie de culpabiliser les gens qui avaient bien du mal à ne pas utiliser Microsoft Windows. Je suis résolument favorable au développement d'IA libres, dont j'aimerais qu'elles soient à OpenAI et Anthropic ce que Linux a été à Microsoft Windows (mais je précise que les modèles vaguement ouverts développés par les Chinois en distillant les modèles américains — même si je rigole un peu de voir les arnaqueurs arnaqués — sont très loin du compte à divers titres). Mais tout ça est une conversation qui n'a pas sa place dans ce billet.
[#17] Il y a une autre
conversation à avoir autour de leur impact écologique. Je trouve
cette conversation légitime, même s'il me semble que cet impact est
employé comme un très mauvais argument par les
« anti-IA » (surtout qu'il y a des arguments tellement
meilleurs sur l'effet sur la société, sur l'économie, sur l'emploi,
sur le rapport à la réalité, etc., que je ne comprends pas cette
obsession pour précisément l'argument énergétique ou écologique).
Oui, l'impact agrégé est plutôt important (même si certains chiffres
sont gonflés par le fait qu'ils tiennent compte de la puissance
installée des datacenters et pas la puissance réellement consommée,
et/ou parce qu'ils mettent dans le même sac toute l'informatique, dont
l'IA n'est quand même pas la totalité) ; mais ceci ne
vient pas du fait que chaque usage de l'IA
consomme beaucoup (en tout cas si on se tient à la génération de texte
par des LLM, en excluant les images et surtout les
vidéos) mais du fait que certains acteurs en font un usage
complètement délirant. (Et quand on voit que certaines
boîtes encouragent leurs employés à utiliser un maximum de
tokens, ce n'est pas très surprenant : c'est surtout cette culture
insensée qu'il faut changer.) Mais si on trouve acceptable de,
disons, consommer 5000 W·h d'électricité par jour pour faire
l'aller-retour au bureau en voiture électrique (les transports en
commun doivent faire un ordre de grandeur comparable soit dit en
passant, même si c'est moins évident de décider comment on attribue
leur consommation) et complètement scandaleux d'utiliser, disons,
50 W·h par jour pour des requêtes ChatGPT, je pense que
l'argument de la consommation n'est plus dans le domaine du rationnel.
En tout cas, si on veut faire baisser l'impact énergétique des maths,
c'est plutôt les confs qu'il faut réfléchir à supprimer ! Bref, je ne
dis pas que la discussion est idiote, mais on a vraiment l'impression
que certains ont sauté sur l'argument énergétique au nom du
principe quand je n'aime pas quelque chose, n'importe quoi qui
critique cette chose est bon à prendre
qui, in fine,
affaiblit nettement leur position.
Voilà : tout ça me donne vraiment la
nausée. Le monde mathématique est à
l'agonie, et ne sait absolument pas comment réagir face à la
merde qui lui tombe dessus. Certains de mes collègues sont dans le
déni (souvent parce que l'IA n'a pas fait de contribution
majeure dans leur sous-sous-sous-domaine et qu'ils ne voient pas plus
loin que le bout de leur nez), beaucoup sont en colère, certains sont
dans le marchandage (on va se partager les rôles,
les IA vont faire ceci et les humains vont faire
cela
), moi j'ai progressé vers la phase de dépression, mais je ne
sais pas si qui que ce soit a réussi à
déverrouiller la
phase d'acceptation.
❦
Mais je voudrais juste finir par une petite anecdote, une digression, oserais-je dire une parabole.
Le , devant le
congrès de la société des scientifiques et médecins allemands à
Königsberg, le grand mathématicien David Hilbert a fait une allocution
restée célèbre, qui a même été diffusée à la radio
(la transcription
est ici,
l'enregistrement
là), dans laquelle il oppose au
slogan Ignoramus
et ignorabimus de du Bois-Reymond la réponse
suivante : Wir müssen wissen, wir werden wissen!
Le programme
(ou
plutôt, le
problème) proposé par Hilbert, dit de manière extrêmement
simplifiée, était le suivant : développer un système axiomatique
capable de formaliser les mathématiques, s'assurer que ce système est
à la fois cohérent (exempt de contradictions) et complet (que tout
énoncé peut être démontré ou réfuté), et, idéalement, automatiser le
processus de résolution des problèmes en se basant sur ce système, de
manière à pouvoir obtenir mécaniquement la solution de n'importe
quelle question mathématique.
Je raconte souvent ça pour ajouter que Gödel et Turing sont passés derrière pour anéantir les espoirs de Hilbert : d'une part, nous apprend Gödel, la vérité mathématique n'est pas simplement réductible à la démontrabilité dans un système d'axiomes raisonnablement utilisable (tout système formel calculablement axiomatisable, cohérent et contenant l'arithmétique contient des énoncés indécidables ; d'ailleurs, la cohérence du système lui-même n'est pas démontrable dans le système), et d'autre part, nous apprend Turing, même si on limite nos exigences d'automatisation à la démontrabilité, celle-ci n'est pas possible non plus. Bref, tous les aspects du programme de Hilbert tombent en quelque sorte à l'eau.
Mais je raconte ça un peu comme une mauvaise chose : oh non, on
ne peut pas formaliser et automatiser les mathématiques, qu'est-ce que
c'est triste, et qu'est-ce que ce Gödel et ce Turing nous embêtent
avec leurs théorèmes
.
L'ironie, donc, c'est que, même si évidemment ce qui est
mathématiquement impossible reste mathématiquement impossible, quelque
chose qui y ressemble bigrement est en train de se produire : des
ordinateurs nous donnent de façon complètement automatisée la
« réponse » à des problèmes très difficiles, et cette réponse est
complètement formalisée, et même si évidemment ils sont très très loin
d'avoir la réponse à tout (de toute façon, Hilbert devait bien se
douter qu'une question comme quelle est la 10↑(10↑(10↑1000))-ième
décimale de π ?
n'aurait jamais de réponse en pratique, fût-elle
en principe accessible au calcul mécanique), on est quand même en
train de se rapprocher du rêve de Hilbert.
Et là, comme quelqu'un qui a fait un vœu auprès d'un génie malfaisant, de se rendre compte que ce qu'on a demandé n'est pas du tout, en fait, ce qu'on voulait.
Je me demande si Hilbert avait envisagé l'idée, non pas que son rêve était impossible, mais que son rêve conduisait en fait à la destruction des mathématiques en tant qu'activité humaine. Je me demande ce que Hilbert aurait pensé de la situation actuelle.