Comments on Nouvelles réflexions sur les LLM et les maths

Petite précision sur mon post précédent : le doctorant en question a commencé sa recherche de façon traditionnelle, sans IA, puis a incorporé l'IA dans sa pratique. Et ce que j'affirme est que sa pratique est essentiellement la même, sauf qu'il dispose d'un outil additionnel performant. Son cerveau n'est ni plus ni moins actif ou habité par ses questionnements qu'avant, et il continue d'entretenir une relation "intime" avec son sujet.

@Héhéhé

Globalement, oui, l'IA remet en cause beaucoup de choses à beaucoup de niveaux, déprime, etc, tout à fait.

Côté thèse, abstraitement, j'imaginerais spontanément ce que tu dis. Ce que tu dis est notamment très naturel si on se dit "les autres utilisent l'IA mais moi je m'en passe… mais quand serais-je caduque ?". Toutefois, je suis relativement rassuré par le cas d'un ami que je connais, qui est actuellement en thèse de maths et qui utilise l'IA.

Dans son cas précis, j'ai plutôt l'impression, en l'état actuel des choses en tout cas, que ce que ça apporte le sublime plus que ça ne l'efface ou le remplace. Il continue de réfléchir de façon personnelle, active, traditionnelle on pourrait dire, de rédiger, tout en ayant un assistant IA permettant de faire de la fouille bibliographique, d'être compagnon de brainstorming et de relire. Ca donne lieu à de belles maths qui ont la patte, le style, la couleur mathématique de l'ami en question, mais qui auraient été difficiles à dénicher sans l'assistance bibliographique permise par l'IA.

Pour situer de qui vient le propos : je dis cela alors que moi-même, je suis plutôt inquiet, et suis assez réfractaire à utiliser l'IA moi-même, particulièrement pour la partie "recherche mathématique".

Par ailleurs, je ne dis pas qu'on doit ou ne doit pas utiliser l'IA. Les enjeux sont nombreux et s'entrecroisent. Si on se dirigeait vers un avenir sans IA ou avec régulation de son usage, la question cesserait de se poser ou se poserait différemment. Là, je donne plutôt des informations pour explorer le futur où il serait communément choisi d'employer l'IA. Même si bon, on peut imaginer qu'un avenir fort plausible soit "l'IA peut être utilisée et ceux qui ne veulent pas l'utiliser s'en privent, tandis que la concurrence l'utilise". Dans ce cas-là, je conviens que la situation est délicate pour les personnes qui, parfois pour des raisons de nature altruiste, se privent pendant que les autres ne s'en privent pas.

Côté "élèves de MP", est-ce que la donne est si radicalement changée que cela ? Concernant "oulah, l'avenir des études et des boulots est incertain", ça oui, je conçois que ça ébranle. Mais, pour quelqu'un qui aurait décidé que c'est important pour lui d'intégrer une bonne école, est-ce si tentant que ça d'utiliser l'IA pour faire son DM ? Les élèves savent bien et depuis toujours que les notes obtenues pendant l'année ne servent à rien, et que l'unique but est d'élever son propre niveau, afin d'avoir de bonnes performances au concours (où, sauf triche donc risque, l'IA ne sera d'aucun secours).

Par exemple, je connais l'histoire de quelqu'un qui est allé voir son prof de prépa pour demander un point en plus à un devoir : le prof n'a rien regardé et a mis 20/20. Le message sous-jacent sur ce qui importe dans les devoirs maison et sur table a été entendu. De même, avant que la prépa agrég ne devienne une année diplômante, il me semble me rappeler que les écrits blancs faits toutes les deux semaines étaient non surveillés : triche si ça t'amuse mais tu te rendras pas service.

> Comment demander à un étudiant de CPGE qui est noyé sous le boulot et le stress d'avoir la force morale de résister en permanence à balancer son DM à une IA qui va lui donner une solution (correcte) clé en main en 2 minutes ?

Je ne vois pas bien l'intérêt pour l'étudiant de faire ça. Le LLM ne sera pas là le jour du concours, et c'est ça qui lui importe au final.

Moi je vois plutôt l'effet positif. Les LLM peuvent nous servir de tuteur. Voir par exemple cette interview

https://www.youtube.com/watch?v=FFHIdsYXYbA

Major des écrits d'HEC, il a en grande partie zappé ses cours et utilisé ChatGPT pour sa préparation. Il y a plein d'autres exemples similaires, et ça correspond à mon expérience aussi.

Tout ça est bien sur totalement anecdotique, et la triche est certainement un problème et notamment pour des filières qui se basent pour sur le contrôle continu que les CPGE, mais disons que ça peut aller dans les deux sens.

Là où je te rejoins, c'est sur les thèses. La mienne aussi n'était pas très glorieuse. Ajouter un epsilon à un article de mon directeur de thèse, et puis un deuxième etc… Mais franchement, rien qui ne demande une grande créativité et intelligence. Mais là aussi, l'effet pourrait être positif, on pourra arriver à des travaux de plus grande qualité. La difficulté sera peut-être pour l'étudiant de ne pas se noyer dans le slop de l'AI, et de ne pas prendre le temps de s'approprier les notions qu'il manipule. Et j'imagine qu'il y aura aussi une question de budget de token.

Concernant la formalisation éventuelle des preuves en Lean, je pense qu'il est important de souligner que cela ne permet pas d'enlever les humains de la boucle. Déjà, il faut vérifier que le LLM n'a pas triché, par exemple en modifiant le kernel de Lean ou quelque chose comme ça (il existe des outils semi-automatiques pour cela). Mais surtout, il faut vérifier que les énoncés sont corrects. Une démonstration de la conjecture de Riemann qui utiliserait une autre fonction appelée ζ ne serait pas très intéressante. Cela peut paraître simple, mais écrire un énoncé formel est parfois difficile, en particulier lorsqu’il porte sur des objets compliqués (voir par exemple ici : https://arxiv.org/abs/2503.00959, pour un exemple autour de la conjecture de Riemann).

Intéressant.

Deux commentaires:

- certains défauts / aspects négatifs des IA peuvent sans doute être corrigés facilement; je pense par exemple au fait que les IA ne citent pas forcément leurs sources clairement, et peuvent donner l'impression qu'elles inventent des idées qui sont en fait déjà connues

- plus généralement, je trouve qu'on passe pas mal de temps, à chaque annonce « spectaculaire » d'une IA, à répondre « ça n'est pas si impressionnant que ça, pour telle ou telle raison ». C'est vrai. On n'en est pas encore à égaler un Newton ou un Euler sur un ordinateur. Mais il ne fait plus guère de doute que les IA peuvent déjà s'attaquer à ce que font quotidiennement la plupart des gens « normaux », et dans « gens normaux » j'inclus la majorité des scientifiques professionnels. C'est un vrai problème (pas spécifique aux maths), et ce qui est terrifiant c'est que personne ne semble avoir les outils pour y répondre, et pas grand-monde ne semble s'y intéresser sérieusement (à commencer par nos autorités politiques, judiciaires, scientifiques…)

Excellent billet !

Il y a un point très important que tu n'abordes pas (ni la vidéo d'ailleurs), c'est l'impact (déjà énorme et pour le coup très très négatif) sur l'enseignement des maths.

Déjà au niveau CPGE/licence/etc., les LLMs sont déjà meilleurs que 99% des étudiants. Les modèles avancés ont largement le niveau d'un admis à l'X ou aux ENS en MP. Comment demander à un étudiant de CPGE qui est noyé sous le boulot et le stress d'avoir la force morale de résister en permanence à balancer son DM à une IA qui va lui donner une solution (correcte) clé en main en 2 minutes ? Et je vois déjà le discours à ce niveau de "à quoi bon apprendre toutes ces maths si les LLM sont bien meilleurs que nous ?".

Cela rejoint d'ailleurs un autre problème : l'explosion de la triche. C'est tellement simple maintenant : on prend en photo le sujet et hop on a seulement à recopier un corrigé. C'est devenu un fléau au lycée et à la fac (j'imagine dans ton école aussi), et ça commence vraiment à devenir aussi un problème en CPGE y compris aux concours…

A un niveau d'étude plus élevé, pour avoir discuté avec des étudiants, c'est plutôt la déprime aussi. Si l'on met de côté les quelques thèses absolument brillantes bourrées d'idées profondes et nouvelles, la plupart des thèses consistent souvent à bien comprendre et à s'approprier un résultat / une théorie A et à l'appliquer / la généraliser / la modifier pour l'appliquer à B (je dis cela sans négativité, c'est tout-à-fait normal, c'était aussi le cas pour la mienne…). Les LLM sont déjà assez forts pour faire ça… On a vu fleurir sur les réseaux des témoignages de personnes qui ont constaté qu'une LLM retrouve en quelques instants des morceaux entiers de thèses qui ont mis plusieurs mois à être établis…

Bref un étudiant standard en M2 ou en thèse doit sans doute avoir dans l'idée que (1) les LLM sont sans doute plus forts que lui, que (2) les LLM vont peut-être "tuer" la recherche en maths (même si tu expliques bien que c'est encore très spéculatif à ce stade) et (3) que les instituts vont peut-être arrêter de recruter des mathématiciens pour les remplacer par des IA…