Peut-être que certains se demandent pourquoi je passe plein de
temps à parler d'un sujet complètement frivole,
la forme des apostrophes, et pas à
parler d'une question quand même plus sérieuse, et qui me touche quand
même beaucoup plus, à savoir la destruction des
maths[#] par
les LLM (je vais expliquer dans un instant en quoi je
parle de destruction). Si je n'en ai pas parlé, c'est parce que c'est
vraiment déprimant : mais à un moment, il faut bien en dire quelque
chose. Bon, j'ai déjà consacré un
billet et un autre sur le sujet
il y a quelques mois, mais au rythme où vont les choses, il y a
quelques mois
, c'est un peu l'équivalent du néolithique, et
manifestement mes inquiétudes étaient très en-deçà du coche, et
d'ailleurs pas exactement les bonnes.
[#] Je l'ai déjà dit
dans un billet passé, mais il va de soi que quand je parle de la
destruction des mathématiques
, j'entends ici ce mot comme
métonymie pour la recherche mathématique, l'activité humaine
consistant à explorer et comprendre le monde mathématique. Le monde
mathématique lui-même, évidemment, (du moins si on a une conception
philosophique platonicienne), préexiste à l'humanité voire à
l'univers, et n'est pas susceptible de changement, encore moins d'être
victime de destruction. Ce qui peut être détruit, c'est notre accès
(collectif) à ce monde.
Il faudrait, pour compléter le présent billet, que je collecte ici des liens vers les réflexions que j'ai déjà écrites sur les réseaux sociaux (essentiellement Bluesky). Mais là j'avoue que je sature, donc je vais publier ce billet sans ces liens, quitte à les ajouter éventuellement plus tard en éditant le présent paragraphe.
Als Gregor Samsa eines Morgens
aus unruhigen Träumen erwachte, fand er die Mathematik in einen
ungeheueren Haufen Lean-zertifizierten KI-Mülls
verwandelt.
Si vous n'avez pas suivi ce qui se passe, c'est normal parce que ça devient vraiment difficile tant les annonces s'enchaînent. Disons pour résumer la situation que OpenAI (la compagnie de ChatGPT) et Anthropic (celle de Claude) sont en train de se mener une guerre qui prend essentiellement la forme de la stérilisation de domaines entiers des maths à l'arme thermonucléaire pour pouvoir afficher comme trophées des conjectures dont elles ont eu la tête. (Il va de soi que ce ne sont pas les maths qui les intéressent, c'est juste que c'est sur ce terrain que ces deux grosses boîtes[#2] ont décidé de se faire la guerre, ou peut-être que je devrais plutôt dire le concours de bites, avec l'assistant de preuve Lean pour arbitre, et peu importent les ravages que ça cause à la science.)
[#2] J'écris boîtes
ici : les deux
sont, en fait, des public benefit corporations,
ce qui est censé vouloir dire que leur mission n'est pas exclusivement
le profit financier, mais d'avoir aussi une forme d'intérêt public
parmi leurs buts. Quand on voit la rapacité et l'absence totale
d'éthique que trahit leur traitement des mathématiques, qu'on peut
supposer représentatif de leurs actions en général, on peut
légitimement conclure que ce statut légal est une farce.
Leur guerre sur le terrain mathématique a vraiment commencé le quand OpenAI a annoncé la résolution du unit distance problem d'Erdős (mais ça j'en ai déjà parlé dans ce billet). Anthropic, par la voix de son employé Levent Alpöge, a répliqué le avec un contre-exemple en un tweet à la conjecture jacobienne. Le , OpenAI a annoncé la solution à dix problèmes importants d'un coup. Le , Anthropic a prouvé que 2/3 des zéros de la fonction ζ sont sur l'axe critique, et le Levent Alpöge (qui, je répète, bosse chez eux) a annoncé l'existence d'une structure complexe sur S⁶ (en publiant 100 pages de slop pondu par Claude). Ah, et le , OpenAI a amélioré à ≤186 la borne sur la limite inf des différences entre nombres premiers consécutifs (le fameux problèmes des nombres premiers jumeaux conjecture que cette limite inf vaut 2). Ajout : je peux mentionner aussi, , la formalisation par Anthropic de la preuve du Grand Théorème de Fermat (théorème de Fermat-Wiles) : là ce n'est pas un résultat nouveau, c'est une formalisation d'une preuve vieille de trente ans, mais on pensait que cette formalisation prendrait des années.
Sans doute pourrais-je essayer de mettre ces résultats en contexte, mais à ce stade ça n'a plus de sens ni d'intérêt : c'est devenu une course aux trophées où on n'apprend rien, on ne comprend rien, on empile les résultats qui il y a peu auraient été considérés comme majeurs et qui n'intéressent maintenant plus personne. (Alpöge, notamment, pousse la désinvolture méprisante au point de ne rien expliquer des résultats qu'il annonce, il les balance juste au détour d'un tweet : zéro contexte, zéro explication méthodologique, zéro travail humain.)
Pour la première annonce majeure, celle du unit distance problem en mai, même s'ils n'ont publié aucun des détails qu'on aurait légitimement été en droit de réclamer sur le temps de calcul, le nombre de problèmes attaqués, etc., OpenAI a au moins publié le prompt et une version abrégée de la chain of thought du modèle, et fait un minimum d'effort scientifique pour mettre le résultat en contexte en le confiant en avant-première à un groupe de mathématiciens qui l'ont réécrit (dé-slopifié) et accompagné de commentaires. Mais avec la prolifération des annonces et la course au spectaculaire, même ce minimum syndical est passé à la trappe. Alpöge pour Anthropic est celui qui en fait le moins, mais OpenAI fait à peine plus.
À ce stade, on n'est plus dans une approche scientifique : on ne sait rien sur la méthodologie utilisée pour trouver ces preuves (matériel et méthodes, prompts, temps, argent…), et absolument tous les standards habituels des maths ou de la science (dans la manière d'écrire, annoncer, communiquer ou publier, ou simplement la déontologie de travail, les relations aux collègues, les remerciements, la citation des travaux antérieurs) sont tombés dans les toilettes. On est juste dans une course aux annonces de conjectures dont ils ont eu la tête, chaque annonce étant accompagnée d'un certificat Lean[#2b] pour montrer que la preuve est correcte, et d'un PDF de slop censé passer pour un papier scientifique expliquant la preuve.
[#2b] Ajout
() : J'aurais peut-être dû expliquer ce qu'est
un certificat Lean
. Les preuves mathématiques sont normalement
écrites en langage naturel (anglais) et utilisent parfois des
arguments informels, des raccourcis, etc., qui les rendent plus
lisibles quand on veut comprendre la logique générale mais plus
difficiles à vérifier, et surtout, plus difficiles à vérifier
automatiquement. Une preuve formelle, c'est un objet
mathématique ou informatique qui, au contraire, entre dans les
moindres détails de la preuve, dans un langage complètement mécanique,
et dont la vérification peut être confiée à un programme purement
automatique (lequel n'a rien à voir avec une IA). Comme
je l'explique dans un
bout d'un précédent billet sur
le sujet, Lean est un outil informatique dans lequel on peut exprimer
des preuves mathématiques de façon formelle, et qui permet alors de la
vérifier (de façon complètement automatisée, et en principe fiable).
On peut demander à un LLM d'écrire directement une preuve
en Lean, ou de convertir une preuve naturelle en Lean. Le problème
avec Lean, c'est que s'il permet la vérification formelle (c'est bien
le principe), donc garantit, sauf bug du logiciel lui-même (ce
qui peut
arriver !) que le théorème annoncé est bien un théorème, la preuve
est à peu près totalement illisible pour un humain. (A
contrario, ce n'est pas parce qu'une preuve est écrite en langage
naturelle qu'elle est automatiquement lisible, et le slop dont je
parle l'illustre assez bien.)
Ce n'est pas de la science, c'est du concours de bite, et la science en souffre terriblement : ce n'est pas juste qu'elle ne progresse pas, elle est mise en péril.
Mais David,
va-t-on
objecter[#3], même si on
convient que l'attitude de ces boîtes est détestable, comment le fait
de démontrer un résultat mathématique, fût-ce mal, pourrait-il mettre
en péril les mathématiques ? Et pourquoi le fait que
les IA résolvent plein de questions est-il plus néfaste
que quand des humains le font ?
[#3] Je le sais parce qu'on me l'a dit N fois sur les réseaux sociaux, donc à force de me fatiguer à réexpliquer la même chose je sais ce qu'il faut que j'explique.
L'explication, c'est que le progrès de la science est (normalement) construit sur un équilibre dynamique délicat entre questions (intéressantes) et réponses : résoudre une question clôt cette question, mais apporte généralement de nouvelles questions intéressantes pour compenser. Et surtout — et c'est là le point important que les gens ne comprennent pas bien — ces nouvelles questions intéressantes ne sont pas apportées par la solution du problème, mais par la démarche consistant à essayer de le résoudre — et notamment, le fait d'être coincé, d'essayer diverses pistes, d'échouer, bref, l'exploration du monde mathématique qui est la vraie démarche intellectuelle importante dans les maths. La résolution de problèmes n'est pas le but, ou en tout cas n'est pas le but principal : le but principal est la compréhension qui vient de cet équilibre entre questions et réponses. Résoudre les problèmes à tour de bras par IA dans une course aux trophées ne participe pas à cette activité de création de questions. Et, si, il y a un vrai danger que les questions intéressantes (mais en même temps susceptibles d'être résolues) se tarissent[#4], parce que c'est une frontière extrêmement étroite à naviguer entre les questions idiotes car triviales et les questions impossibles à résoudre qu'on mine en navigant cet espace.
[#4] Si vous ne me croyez pas quand je le dis depuis un moment, peut-être croirez-vous quand c'est Terence Tao qui s'est mis à le dire.
Les questions emblématiques mises en avant par la communauté mathématique, telles les problèmes du millénaire, l'ont été non pas pour la valeur intrinsèque que leur réponse apporterait, mais pour l'espoir que les tentatives pour les résoudre motiveraient une activité de recherche féconde. Le fait que la résolution soit faite non seulement par IA, mais surtout par des IA interrogées par des gens qui n'ont même pas réfléchi à ces problèmes avant[#5], clôt ces questions et tue l'activité de recherche qui pouvait exister autour, sans ouvrir les nouvelles questions que la résolution humaine « normale » était attendue apporter.
[#5] Enfin, on a bien sûr le droit de se mettre à réfléchir sur un domaine sur lequel on n'avait pas travaillé : mais il faut un certain temps pour en acquérir la culture pour avoir du recul par rapport à ce que l'IA dira, et ce temps est incompatible avec la course aux trophées.
Soyons clairs : ces nouveaux résultats ne sont en rien un cadeau à la communauté mathématique. Ils ne nous apprennent rien, juste un bit d'information (la conjecture machin est vraie ou fausse), certifié par une preuve sans intérêt. Ce n'est pas des maths, c'est de l'interrogation d'oracles. Pire : ce n'est pas juste que ces résultats ne font pas progresser les maths, ils les font régresser, en détruisant toutes les opportunités qu'un problème ouvert est censé apporter à la recherche, à la compréhension humaine, et à la découverte de nouvelles questions intéressantes.