Comments on Nouvelles réflexions sur les LLM et les maths

@cigaes : ma mémoire, floue, avait surestimé le chiffre, mais voici quelques sources :

"In the pre-training phase, the dataset of DeepSeek-Coder-V2 is created with a composition
of 60% source code, 10% math corpus, and 30% natural language corpus." - "DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence", Qihao Zhu et al, 2024, https://arxiv.org/pdf/2406.11931

"StarCoder2 and The Stack v2: The Next Generation" (2024), en partie, liste les sources de données utilisées, dont plusieurs de maths dans le "Leandro’s High-Quality dataset" (LHQ), au 2.7 https://arxiv.org/pdf/2402.19173

Les auteurs de "TinyLlama: An Open-Source Small Language Model" (2023) utilisent pour sa version "Math&Code" 10% de données "ProofPile" non pas dans le "basic pretraining", mais dans les étapes suivantes "Continual pretraining with specific domain" et "Cooldown".

Même le Figaro s'en mêle : interview de Sylvia Serfaty sur ce sujet https://www.youtube.com/watch?v=UWUSek_AqRg

@FrédéricLN : « Les boîtes d'IA ont expérimenté que, pour avoir des LLMs bons en *code* informatique, il s'avère utile de mettre dans leurs données d'entraînement non seulement du code et du langage courant, mais aussi, je crois, 20-25% de maths. Ça les rend apparemment plus rigoureux et objectifs. Du coup (l'effet de bord) ils sont bons en maths, et autant surfer là-dessus. »

J'aimerais bien une référence publique pour ça, histoire de l'avoir sous la main les cinquante prochaines fois où quelqu'un prétendra que les maths ne servent à rien au lycée.

Sylvia Serfaty (académie des sciences) : "Vous voyez, avant, par exemple, on pouvait pas être un bon mathématicien si vous étiez pas rigoureux. Il fallait écrire des preuves qui tiennent. Maintenant, finalement, il sera possible d'avoir conçu une preuve de math et puis laisser à la machine le soin de faire ses détails, le soin d'être rigoureuse. Donc finalement ça devient quelque chose qui ressemble presque plus à une science expérimentale par certains points de vue, c'est-à-dire qu'on peut lancer plein d'expériences, on essaye plein de preuves, on lance plein d'agents IA en parallèle essayer plein de trucs et puis on met ça ensemble. Je pense que ça va être assez différent parce qu'il va y avoir des formes de peut-être de boîtes noires qui vont se former, c'est-à-dire des morceaux de preuve qu'en fait on ne maîtrise pas, qu'on comprend pas. Ça c'est complètement nouveau pour un mathématicien de pas maîtriser son travail de A à Z et d'utiliser des sortes de boîtes toutes faites, de choses."

<URL: https://www.youtube.com/watch?v=UWUSek_AqRg&t=514s>

Comme toujours un billet et des commentaires également passionnants !

Sur :

"les experts ont autre chose à foutre que vérifier N preuves générées par IA dont beaucoup sont du bullshit." ; "tout le monde est noyé par les preuves bidon produites par IA : avant, pour reconnaître un crackpot en maths c'était très facile (juste au style), maintenant, comme les preuves bidon produites par IA sont superficiellement hyper plausibles, c'est devenu extrêmement difficile de savoir sauf à tout lire en détails."

oui ; 1- c'est ce que nous vivions déjà depuis novembre/décembre dans le monde du développement informatique, et la partie informatique des métiers data. Je dois faire évoluer constamment mes tests de recrutement, et j'ai beaucoup de mal dans certains cas à distinguer "réponse humaine" de "agent très bien construit".

2- n'étant pas mathématicien, je vis cette situation de l'autre côté, ayant fait travailler l'IA sur le sujet de maths qui me trottait dans la tête depuis 45 ans… mais ce qu'a trouvé l'IA ne vaut rien sans cette vérification, et les mathématiciens ont autre chose à faire que de vérifier du AI slop ! (je mets le récit de ma brève aventure en lien).

Petite nuance sur "OpenAI et les autres boîtes d'IA ont décidé d'utiliser les maths comme « benchmark »[#5] censément objectif pour montrer leur supériorité les unes sur les autres (notamment dans le contexte de l'introduction en bourse d'OpenAI). Évidemment, ce qui les intéresse n'est pas de faire des maths" : c'est certainement vrai, mais c'est aussi un effet de bord.

Les boîtes d'IA ont expérimenté que, pour avoir des LLMs bons en *code* informatique, il s'avère utile de mettre dans leurs données d'entraînement non seulement du code et du langage courant, mais aussi, je crois, 20-25% de maths. Ça les rend apparemment plus rigoureux et objectifs. Du coup (l'effet de bord) ils sont bons en maths, et autant surfer là-dessus.

Sur le commentaire de Gowers que tu rappelles ; oui je l'ai aimé aussi et eu l'impression d'en comprendre l'essentiel !

"Beaucoup de gens comparent les maths aux échecs, (…) Cette conception adversariale des maths comme une sorte de match où il faut résoudre les problèmes plus vite qu'un autre ou mieux qu'une machine (…) conduit à une approche totalement absurde de la discipline."

D'accord, et une pierre dans mon jardin, j'ai fait cette comparaison à la sortie du résultat d'OpenAI. On pourrait peut-être nuancer que cette approche — scolaire — de la discipline *devient totalement absurde*, même sans doute dans l'univers scolaire, avec la performance des LLMs.

Sur le message final - le recrutement — nous avons évidemment la même vibration chelou dans mon métier data. Je rappelle où on en était dans la data dans les années 70, et la bascule arrivée dans les années 80, très bien décrite par Lefébure et Ronai (1979 : https://www.monde-diplomatique.fr/1979/11/LEFEBURE/35321) :

Jusque dans les années 70, la data était rare et devait être construite selon les besoins, donc en fonction d'une exploitation déjà prévue. Les métiers rois étaient l'organisation de la collecte ("méthodologie statistique"), l'alignement du matériau collecté sur les questions de recherche ("codification"), le catalogage et/ou la vérification de la quantité suffisante de matériau, la synthèse du corpus/dataset, enfin la communication de cette synthèse.

Depuis les années 80, des données sont collectées *et stockées* constamment *sous forme numérique, exploitable*, par les systèmes d'information qui croisent nos actions x troumille fois par jour. Le métier roi est celui du data ingénieur, qui assure le bon fonctionnement de ces pipelines de données sans même regarder ce qui y transite (ou rarement). Le sens même des mots a évolué : le data analyst ne fait plus d'analyses, il construit des modèles sémantiques ou "data products" destinés à servir aux utilisateurs futurs dans tout un métier. Etc.

Le recrutement dans la data a-t-il baissé ? Hum, au doigt mouillé, nous sommes 20 fois plus nombreux dans ce métier qu'aux débuts de ma carrière.

Si des pipelines de textes en langage mathématique de pauvre qualité et de pauvre intérêt menacent d'inonder votre métier… eh bien, il faudra des cohortes de "Math Engineers" pour les organiser jusqu'au raffinage. Ça va industrialiser les maths, sans doute, pas les dévaloriser. [si je n'avais pas mis le "sans doute", ça aurait fait ChatGPT…]

Dans tout ce boxon, il y a un truc qui me réjouit, dans le cadre de mon activité de (tout) petit chercheur : je suis sûr de ne pas être une IA. Premièrement, parce que je ne suis pas spécialement intelligent, et deuxièmement, parce que je ne suis pas artificiel (à part mon sonotone).

Pour me rassurer, je viens de poser la question suivante à Gemini : "Je voudrais te demander si je peux me considérer comme une IA". La réponse est catégorique, c'est non, et dans son long développement (sans intérêt), il (ou elle) spécifie sagement :

"Rappelle-toi que ce qui te rend humain, c'est justement tout ce qu'une machine ne saura jamais faire : ton imprévisibilité, ta créativité pure, tes sentiments et ta conscience d'exister".

À part ça, au sujet du problème de l'arrêt des exponentielles, je pense que l'arrêt sera la conséquence inévitable d'un choc entre deux facteurs : une barrière énergétique beaucoup trop haute (à moins que nous passions soudainement à une civilisation de type 2 sur l'Échelle de Kardachev; faut pas rêver, et j'en profite pour rappeler qu'Elon Musk est un abruti complet). Et une réaction de la société globale (on vient de voir des dirigeants hués para des étudiants lors de cérémonies de graduation aux USA, pour le simple fait de dire "AI", ça a été assez médiatisé). Sinon, on peut aussi penser à un accident. Je veux dire un accident énorme : Claude devenant fou et larguant 100 bombes atomiques sur la capitale de la Syldavie, ou bien Mythos découvrant une faille de sécurité et vidant en une heure tous les comptes bancaires de la planète. Curieusement, je crois que la probabilité d'un tel événement n'est pas nulle. Bon, on verra bien.

Je certifie que ce commentaire n'a pas été écrit par une IA.

Deux questions :

1. Une preuve incompréhensible, même juste (formalisée et vérifiée) n'est pas utile. Mais est-ce qu'elle ne peut pas faire gagner du temps dans la mesure où elle indique que la conjecture est vraie (ou fausse), ce qui évite de chercher dans la mauvaise direction, ou bien incite à poursuivre les efforts là où on craint qu'ils n'aboutissent pas, notamment si on en doute un peu, ou bien l'intuition mathématique est souvent suffisamment juste pour que ce soit inutile ?

2. Aux échecs, justement, l'ordi montre des positions gagnantes mais qui ne sont pas "humaines", au sens où elles défient l'intuition parce qu'il y a une tactique assez lointaine qui change l'issue (et aux échecs, le temps de réflexion humain est aussi limité, ce qui conduit à couper d'office certaines branches de recherche, malgré les tactiques lointaines possibles). Est-ce que ça n'en fait pas un point de similitude avec l'IA dans la résolution de problèmes de maths ?

Concernant les preuves erronées, tu dis "soit Lean, soit bottleneck humain". Pour les autres sciences, disons par exemple la physique, on n'a pas cette formalisabilité donc ça va direction bottleneck (humain et expérimental).

Toutefois en ce qui concerne le bottleneck humain, le 100% de théorèmes correctement établis n'est hélas pas la situation réelle. C'est plutôt un certain pourcentage X, qu'on espère en effet fort proche de 100%. Si l'IA est capable de dépasser ce seuil X (et de s'y maintenir), alors il serait techniquement envisageable de basculer vers une recherche par IA non supervisée. Je décide dans ce post de me placer depuis la perspective outrancièrement simpliste selon laquelle notre unique souci serait la production de théorèmes fiables, et où on suppose que l'outil à laisser passer ou non serait une IA ultrapuissante.

Noter que l'existence de ce seuil X < 100 % est lui-même entremêlé au développement d'outils tels que Coq/Lean/Isabelle, et au fait que ces projets soient suivis, rejoints, encouragés par divers matheux mainstream (j'entends : pas spécialement versés dans l'informatique théorique ou la logique). Divers mathématiciens, dans leurs projets ambitieux, ce sont vu écrire des démos complexes pour finalement qu'une erreur soit repérée après coup, ou qu'un résidu de doute perdure quant au fait que la démo n'a bien aucun trou. Il me semble bien que Voïevodski est un exemple de telle personne.

Je conviens qu'il y a des scénarios où la comparaison à faire serait avec un autre seuil que le X ci-dessus : ce serait plutôt "humain + Lean (+ éventuelle IA supervisée)" vs "IA non supervisée (+ Lean ?)".

Enfin, j'ai conscience que c'est jouer sur les mots mais on pourrait dire que, sans relecture humaine, "LLM + Lean" suffit à donner des vérités fiables (modulo subtilités qu'on négligera du genre rayons cosmiques, ZFC paraconsistant, etc). La vérification humaine n'est dans ce cas pas là pour vérifier que le théorème est un théorème mais que le théorème est le théorème voulu. Mais finalement, si la recherche était pratiquée "100% en Lean", par exemple exclusivement par des ordinateurs, la question de si le théorème est celui voulu ou non ne se poserait plus.

Si on mettait la main dans 50 ans sur une axiomatisation complète et fiable de la physique, on pourrait imaginer être capable de formaliser des problèmes appliqués qui nous intéressent et en demander des solutions. A l'instant où on pose le problème, il convient d'être sûr que les sens informatisé et humain de chaque mot sont le même. Et disons qu'on demande au LLM de nous formuler sa solution oraculaire uniquement dans le vocabulaire qu'on a approuvé, en nous réexpliquant tout terme nouveau qu'il introduirait dans sa solution-conclusion.

Maintenant imaginons que dans sa démo, l'IA utilise le théorème qui valide l'hypothèse de Riemann, sauf que personne n'a jamais vérifié (peu crédible mais c'est illustratif) que ce théorème qui figure dans la librairie Lean est en effet bien ce qu'un humain appelle l'hypothèse de Riemann, et pas un moindre (ou différent ou plus riche) théorème. Eh bien dans cette optique-là, ce ne serait pas essentiel : en tout cas, c'est bien un théorème vrai, et s'il se trouve qu'il est utile, bah ainsi soit-il ; dans le cadre de cette seule expérience de pensée, si ce qui nous intéresse est le problème appliqué, alors pas essentiel d'avoir relu si le lore humain rejoint le théorème informatiquement établi.

PS : Je tâche d'explorer divers possibles de façon un peu systématique. Le fait que je mentionne un scénario ne préjuge en rien de si je le désire, le réprouve, le crains, etc.

> Le problème est que les IA menacent les mathématiques et les mathématiciens de toutes sortes d'autres manières qu'en « résolvant » les maths : j'en ai évoqué certaines, mais la plus évidente est que les décideurs pourraient croire que les IA ont « résolu » les maths, donc pourquoi recruter ?

On dirait que tu assimiles mathématiques à mathématiciens professionnels, mais ça n'a pas grand chose à voir il me semble. Dans l'histoire des mathématiques, combien de découvertes ont été faites par des amateurs hors de toute institution ? on pourrait supprimer tous les postes de chercheurs, ça n'empêchera jamais personne de faire des maths.

Je me souviens dans un billet sur le copyright, tu disais qq chose comme (je crois, excuse moi si ce n'était pas ça) que si on arrive à cloner les pains, on s'en fiche du sort des boulangers. Sous entendu, tant pis pour les artistes si on copie leur musique. J'ai envie de dire que cet argument se retourne contre toi. Si on peut rendre accessible à tout le monde les connaissance mathématiques de toute l'humanité, on s'en fiche vraiment du sort des chercheurs professionnels. Les maths n'auront jamais été aussi accessibles !

D'ailleurs, c'est ce qu'on voit avec les échecs : les humains n'ont jamais été aussi forts grace à l'apport des machines, et surtout, des connaissances qu'on ne pouvait acquérir que dans des clubs, ou dans le bon environnement, sont maintenant accessibles à tout le monde.

J'ai trouvé intéressant, en tout cas complémentaire, la lecture de <URL:https://www.quantamagazine.org/how-terry-tao-became-an-evangelist-for-ai-in-math-20260608/>

Il y a un problème qui me semble commun à divers aspects de la recherche façon XXIème siècle, c'est le risque, à certains égards, d'une perte de diversité.

J'emploie ici ce terme dans un sens type "biodiversité". Comme en biologie, cette diversité a de la valeur notamment en tant que réservoir pour pouvoir faire face à ce que l'inconnu et l'avenir peuvent avoir en réserve pour nous.

Côté LLM, tu soulignes qu'il n'y a aucune raison de confondre "LLM" et "les quelques gigacompagnies développant de gigaLLM". Mais par défaut, le monde moderne nous a habitué à ce que, sauf lutte efficacement menée, les rares grands écrasent les nombreux petits. Dans ce cas, on a une faible diversité de LLM. Si on a peu de modèles, ou bien des modèles tous semblables, qui traitent semblablement les acquis antérieurs de la science, ça donne plutôt l'impression d'explorer dans une direction que via cent angles réellement différents.

Je trouve que ce thème se retrouve aussi dans le star system type ERC ou recherche sur projet ou "donner des prix à ceux qui ont déjà reçu des prix" : on se cristallise autour d'un nombre limité d'approches.

Ce thème se retrouve aussi dans la vulgarisation. Avoir 30 vulgarisateus qui touchent chacun 100 000 personnes ou 100 000 vulgarisateurs qui touchent chacun 30 personnes, ce n'est pas pareil en termes de diversité des points de vue. Or avec l'avènement de plateformes comme Youtube, certains vulgarisateurs en viennent à avoir une influence tout à fait considérable. Aussi, le fait de toucher un grand nombre de personnes est généralement vu comme positif (impact, efficacité). Sans nier ces aspects, on pourrait aussi être sensible aux aspects négatifs : "un grand pouvoir implique de grandes responsabilités", et qui peut prétendre à des responsabilités hautes à l'extrême ?

En fait, le monde moderne est en quête de grands pouvoirs. Mais est-il en mesure d'assumer de grandes responsabilités ? Si ce n'est pas le cas, la quête de grand pouvoir est la quête d'un mal.

Cf Russell (ça fait plus classe que de citer Spiderman) :
https://www.youtube.com/watch?v=pvLQhMzW7hM&t=18m39s

--

Bon et rien à voir mais je me dis que je ne vais pas démultiplier à l'infini le nombre de messages donc je fusionne. Je consigne ici une idée croisée dans les commentaires vidéos de Mr Phi. Je la consigne car je la trouve frappante, j'ignore si, après inspection, je serai du genre à l'approuver ou la réprouver : l'idée en question était "si les LLM deviennent un truc trop puissant, exproprier les boîtes correspondantes et nationaliser de force". Noter que cette suggestion adresse la question de la tension public/privé, pas celle de la tension entre nations.

Il y a un point qui m’a paru erroné dans ce que raconte Monsieur Phi, c’est quand il dit que l’IA « a eu l’idée » de passer par la théorie des nombres. Pour mettre en évidence l’asymptotique (qu’il croyait à tort optimale) fournie par le réseau Z^2 de R^2, Erdős l’identifiait à l’anneau Z[i] et faisait de l’arithmétique sur celui-ci. L’IA a su aller dégoter des constructions bien plus compliquées (tours de corps de nombres avec comportement précis du nombre de classes, du discriminant, etc.) mais l’idée d’utiliser de l’arithmétique pour fabriquer beaucoup de paires de points de distance 1 est d’Erdős, pas à Open AI.

Petite précision sur mon post précédent : le doctorant en question a commencé sa recherche de façon traditionnelle, sans IA, puis a incorporé l'IA dans sa pratique. Et ce que j'affirme est que sa pratique est essentiellement la même, sauf qu'il dispose d'un outil additionnel performant. Son cerveau n'est ni plus ni moins actif ou habité par ses questionnements qu'avant, et il continue d'entretenir une relation "intime" avec son sujet.

@Héhéhé

Globalement, oui, l'IA remet en cause beaucoup de choses à beaucoup de niveaux, déprime, etc, tout à fait.

Côté thèse, abstraitement, j'imaginerais spontanément ce que tu dis. Ce que tu dis est notamment très naturel si on se dit "les autres utilisent l'IA mais moi je m'en passe… mais quand serais-je caduque ?". Toutefois, je suis relativement rassuré par le cas d'un ami que je connais, qui est actuellement en thèse de maths et qui utilise l'IA.

Dans son cas précis, j'ai plutôt l'impression, en l'état actuel des choses en tout cas, que ce que ça apporte le sublime plus que ça ne l'efface ou le remplace. Il continue de réfléchir de façon personnelle, active, traditionnelle on pourrait dire, de rédiger, tout en ayant un assistant IA permettant de faire de la fouille bibliographique, d'être compagnon de brainstorming et de relire. Ca donne lieu à de belles maths qui ont la patte, le style, la couleur mathématique de l'ami en question, mais qui auraient été difficiles à dénicher sans l'assistance bibliographique permise par l'IA.

Pour situer de qui vient le propos : je dis cela alors que moi-même, je suis plutôt inquiet, et suis assez réfractaire à utiliser l'IA moi-même, particulièrement pour la partie "recherche mathématique".

Par ailleurs, je ne dis pas qu'on doit ou ne doit pas utiliser l'IA. Les enjeux sont nombreux et s'entrecroisent. Si on se dirigeait vers un avenir sans IA ou avec régulation de son usage, la question cesserait de se poser ou se poserait différemment. Là, je donne plutôt des informations pour explorer le futur où il serait communément choisi d'employer l'IA. Même si bon, on peut imaginer qu'un avenir fort plausible soit "l'IA peut être utilisée et ceux qui ne veulent pas l'utiliser s'en privent, tandis que la concurrence l'utilise". Dans ce cas-là, je conviens que la situation est délicate pour les personnes qui, parfois pour des raisons de nature altruiste, se privent pendant que les autres ne s'en privent pas.

Côté "élèves de MP", est-ce que la donne est si radicalement changée que cela ? Concernant "oulah, l'avenir des études et des boulots est incertain", ça oui, je conçois que ça ébranle. Mais, pour quelqu'un qui aurait décidé que c'est important pour lui d'intégrer une bonne école, est-ce si tentant que ça d'utiliser l'IA pour faire son DM ? Les élèves savent bien et depuis toujours que les notes obtenues pendant l'année ne servent à rien, et que l'unique but est d'élever son propre niveau, afin d'avoir de bonnes performances au concours (où, sauf triche donc risque, l'IA ne sera d'aucun secours).

Par exemple, je connais l'histoire de quelqu'un qui est allé voir son prof de prépa pour demander un point en plus à un devoir : le prof n'a rien regardé et a mis 20/20. Le message sous-jacent sur ce qui importe dans les devoirs maison et sur table a été entendu. De même, avant que la prépa agrég ne devienne une année diplômante, il me semble me rappeler que les écrits blancs faits toutes les deux semaines étaient non surveillés : triche si ça t'amuse mais tu te rendras pas service.

> Comment demander à un étudiant de CPGE qui est noyé sous le boulot et le stress d'avoir la force morale de résister en permanence à balancer son DM à une IA qui va lui donner une solution (correcte) clé en main en 2 minutes ?

Je ne vois pas bien l'intérêt pour l'étudiant de faire ça. Le LLM ne sera pas là le jour du concours, et c'est ça qui lui importe au final.

Moi je vois plutôt l'effet positif. Les LLM peuvent nous servir de tuteur. Voir par exemple cette interview

https://www.youtube.com/watch?v=FFHIdsYXYbA

Major des écrits d'HEC, il a en grande partie zappé ses cours et utilisé ChatGPT pour sa préparation. Il y a plein d'autres exemples similaires, et ça correspond à mon expérience aussi.

Tout ça est bien sur totalement anecdotique, et la triche est certainement un problème et notamment pour des filières qui se basent pour sur le contrôle continu que les CPGE, mais disons que ça peut aller dans les deux sens.

Là où je te rejoins, c'est sur les thèses. La mienne aussi n'était pas très glorieuse. Ajouter un epsilon à un article de mon directeur de thèse, et puis un deuxième etc… Mais franchement, rien qui ne demande une grande créativité et intelligence. Mais là aussi, l'effet pourrait être positif, on pourra arriver à des travaux de plus grande qualité. La difficulté sera peut-être pour l'étudiant de ne pas se noyer dans le slop de l'AI, et de ne pas prendre le temps de s'approprier les notions qu'il manipule. Et j'imagine qu'il y aura aussi une question de budget de token.

Concernant la formalisation éventuelle des preuves en Lean, je pense qu'il est important de souligner que cela ne permet pas d'enlever les humains de la boucle. Déjà, il faut vérifier que le LLM n'a pas triché, par exemple en modifiant le kernel de Lean ou quelque chose comme ça (il existe des outils semi-automatiques pour cela). Mais surtout, il faut vérifier que les énoncés sont corrects. Une démonstration de la conjecture de Riemann qui utiliserait une autre fonction appelée ζ ne serait pas très intéressante. Cela peut paraître simple, mais écrire un énoncé formel est parfois difficile, en particulier lorsqu’il porte sur des objets compliqués (voir par exemple ici : https://arxiv.org/abs/2503.00959, pour un exemple autour de la conjecture de Riemann).

Intéressant.

Deux commentaires:

- certains défauts / aspects négatifs des IA peuvent sans doute être corrigés facilement; je pense par exemple au fait que les IA ne citent pas forcément leurs sources clairement, et peuvent donner l'impression qu'elles inventent des idées qui sont en fait déjà connues

- plus généralement, je trouve qu'on passe pas mal de temps, à chaque annonce « spectaculaire » d'une IA, à répondre « ça n'est pas si impressionnant que ça, pour telle ou telle raison ». C'est vrai. On n'en est pas encore à égaler un Newton ou un Euler sur un ordinateur. Mais il ne fait plus guère de doute que les IA peuvent déjà s'attaquer à ce que font quotidiennement la plupart des gens « normaux », et dans « gens normaux » j'inclus la majorité des scientifiques professionnels. C'est un vrai problème (pas spécifique aux maths), et ce qui est terrifiant c'est que personne ne semble avoir les outils pour y répondre, et pas grand-monde ne semble s'y intéresser sérieusement (à commencer par nos autorités politiques, judiciaires, scientifiques…)

Excellent billet !

Il y a un point très important que tu n'abordes pas (ni la vidéo d'ailleurs), c'est l'impact (déjà énorme et pour le coup très très négatif) sur l'enseignement des maths.

Déjà au niveau CPGE/licence/etc., les LLMs sont déjà meilleurs que 99% des étudiants. Les modèles avancés ont largement le niveau d'un admis à l'X ou aux ENS en MP. Comment demander à un étudiant de CPGE qui est noyé sous le boulot et le stress d'avoir la force morale de résister en permanence à balancer son DM à une IA qui va lui donner une solution (correcte) clé en main en 2 minutes ? Et je vois déjà le discours à ce niveau de "à quoi bon apprendre toutes ces maths si les LLM sont bien meilleurs que nous ?".

Cela rejoint d'ailleurs un autre problème : l'explosion de la triche. C'est tellement simple maintenant : on prend en photo le sujet et hop on a seulement à recopier un corrigé. C'est devenu un fléau au lycée et à la fac (j'imagine dans ton école aussi), et ça commence vraiment à devenir aussi un problème en CPGE y compris aux concours…

A un niveau d'étude plus élevé, pour avoir discuté avec des étudiants, c'est plutôt la déprime aussi. Si l'on met de côté les quelques thèses absolument brillantes bourrées d'idées profondes et nouvelles, la plupart des thèses consistent souvent à bien comprendre et à s'approprier un résultat / une théorie A et à l'appliquer / la généraliser / la modifier pour l'appliquer à B (je dis cela sans négativité, c'est tout-à-fait normal, c'était aussi le cas pour la mienne…). Les LLM sont déjà assez forts pour faire ça… On a vu fleurir sur les réseaux des témoignages de personnes qui ont constaté qu'une LLM retrouve en quelques instants des morceaux entiers de thèses qui ont mis plusieurs mois à être établis…

Bref un étudiant standard en M2 ou en thèse doit sans doute avoir dans l'idée que (1) les LLM sont sans doute plus forts que lui, que (2) les LLM vont peut-être "tuer" la recherche en maths (même si tu expliques bien que c'est encore très spéculatif à ce stade) et (3) que les instituts vont peut-être arrêter de recruter des mathématiciens pour les remplacer par des IA…