David Madore's WebLog: Dans quel but… ? Et dans quelle direction… ?

En guise d'introduction

Une des nombreuses malédictions que l'arrivée de l'IA nous apporte et à laquelle nous ne sommes pas du tout préparés, c'est de faire voler en éclats des consensus tacites construits autour du but non clairement défini derrière telle ou telle activité humaine. Un exemple caricaturalement simplifié mais que j'espère éclairant pour montrer le genre de choses dont je veux parler : quand le premier produit anabolisant est arrivé dans le monde du sport, il a dû révéler les différences jusqu'alors pas si évidentes entre les gens qui voyaient le but du sport comme produire des corps plus musclés et ceux qui le voyaient comme produire des corps plus sains ; et on peut donc imaginer un débat animé entre ceux qui pensent que le dopage améliore le sport et ceux qui pensent qu'il le détruit. Des buts raisonnablement bien alignés tant qu'ils restaient assez lointains révèlent ce que je vais appeler ici une parallaxe quand on s'en approche trop. Cette différence de buts nécessite un débat des parties prenantes (ou, en fait, de toute la société) pour résoudre la parallaxe : dans le cas du sport, le consensus a fini par se former en faveur du second but (la santé), et même ainsi, ce consensus est fragile et pas forcément très cohérent (la contradiction entre les buts de compétition et d'équité trahit un défaut d'alignement qui subsiste), mais il a le mérite d'exister ; néanmoins, ce débat prend du temps, notamment parce que l'humanité n'a pas à sa disposition les moyens de gouvernance pour prendre des décisions sur ce genre de questions, et même pas vraiment pour en discuter.

Le problème de l'alignement des IA c'est notamment que nous ne savons pas nous-mêmes ce que nous voulons en faire parce que nous n'avons pas de réponse assez précise à des questions aussi basiques que pourquoi nous faisons telle ou telle chose (de la science, de l'art, avoir un métier…). Nous avons chacun pu construire notre propre réponse à ces questions (pourquoi cherchons-nous ? pourquoi créons-nous ?), et les différences entre nos réponses individuelles n'étaient pas très importantes tant qu'elles nous conduisaient vaguement dans la même direction. Mais s'il s'agit de décider quelles tâches confier aux ordinateurs, quelle part de notre agentivité leur abandonner, des différences de vision qui pouvaient sembler sans importance éclatent sous forme de désaccords sur l'usage de la technologie.

L'accusation de luddisme est souvent proférée par ceux dont les buts impliquent l'usage maximaliste de la technologie contre ceux qui préfèrent en imaginer un usage plus modéré. En réponse à cette accusation, je propose d'imaginer une œuvre d'art absurde que j'appellerai la Machine à poésie idéale : elle se compose de deux ordinateurs puissants faisant chacun tourner un LLM dernier cri : l'un, le poète idéal, compose en permanence de la poésie, laquelle est imprimée sur des papiers qui sont transmis par des robots à l'autre ordinateur, le lecteur idéal (souffrant d'une insomnie idéale), qui les scanne, les lit, et donne son avis (ou simplement met à jour son état interne), puis les papiers sont détruits. Le visiteur ne peut pas lire les poèmes produits (ou peut-être seulement en apercevoir quelques bribes au passage), il voit juste les papiers passer du poète idéal au lecteur idéal, et peut-être quelques voyants s'afficher côté lecteur idéal qui reflètent la satisfaction de cette IA-là d'avoir lu ces poèmes certainement magnifiques que l'autre IA a produits pour elle.

Je pense que tout le monde comprend l'absurdité de la construction. Mais le désaccord portera sans doute sur quelle partie porte la plus grande part d'absurdité : si les IA sont déjà meilleures que nous pour produire de la poésie que nous apprécions, faut-il crier luddite ! si on refuse l'idée de faire générer de la poésie par ordinateur (par exemple au motif qu'un chef-d'œuvre est un dialogue entre humains) ? en continuant par là, faut-il crier luddite ! si on pense que c'est idiot de faire aussi lire les poèmes par une IA selon l'argument qu'elle sera aussi meilleure que nous pour les apprécier ?

Je vais notamment discuter plus bas du cas consistant à remplacer les poèmes par des théorèmes mathématiques, mais la question se pose plus généralement pour toutes les productions humaines.

On peut jouer le jeu du gamin qui pose de façon répétée la question pourquoi ? (ici, dans quel but ?) quand on lui dit quelque chose, la répète sur la réponse, et ainsi de suite. Quel est le but final de la poésie ou des mathématiques, par exemple ? Quel est le but final de mettre de l'IA partout ? Et quelle est, en fait, la direction que nous voudrions idéalement donner à la société humaine si nous avions des moyens illimités ?

Si les IA deviennent meilleures que nous en tout, que nous reste-t-il à faire ? Est-ce du luddisme de refuser l'idée qu'une IA apprécie la vie à notre place ?

J'ai déjà expliqué précédemment (en réponse à un commentaire sur ce billet, cf. aussi ici) que je n'utilise pas d'IA pour écrire mes billets de blog[#] (éventuellement je leur fais chercher les fautes de frappe et de grammaire, pour épargner ce travail à mes petits elfes)[#2] : ce n'est pas que j'en suis fier, je ne suis même pas sûr à ce stade qu'une IA ne serait pas déjà capable de répondre à la tâche écris un billet de blog sur l'IA dans le style de David “Gro-Tsen” Madore de façon qui plairait plus à mes lecteurs (voire, à moi-même) que ce que je peux faire, mais ça reviendrait à faire un footing matinal en voiture : peut-être que c'est plus efficace pour quelque chose, mais — dans quel but ? Mon but à moi, quand j'écris un billet de blog, c'est de mettre de l'ordre dans mes pensées[#3], c'est un peu ma propre chain of thought que je publie ; je m'en fous de savoir si une IA peut faire un tel texte mieux que moi, moi ce qui m'intéresse c'est l'état de mon cerveau et de mes pensées. (Mais peut-être que mon lecteur a des intérêts divergents.) Est-ce du luddisme de penser ça ?

[#] Les propos délayés, les plans inutilement structurés, et l'usage des tirets d'incise, tout ça est 100% humain dans mes billets de blog, et vous pouvez consulter les archives pour vous convaincre que ce n'est pas nouveau (et même aller vérifier sur l'Internet Archive que ces archives sont bien authentiques et que j'écrivais comme ça avant que les LLM soient disponibles). En fait, c'est plutôt le contraire : comme les LLM actuels sont nourris des textes trouvés en ligne et que mon blog est assez volumineux sur plein de sujets, c'est moi qui suis en (petite) partie responsable de ces particularités des LLM et pas le contraire : remerciez-moi (ou maudissez-moi) pour la manière dont ChatGPT vous parle.

[#2] Pour le présent billet, j'ai essentiellement utilisé Google Gemini pour retrouver le nom d'une nouvelle d'Asimov que j'avais lue il y a longtemps et dont je me rappelais juste vaguement l'intrigue (mentionnée dans la note #30). Une fois que j'ai eu fini, j'ai utilisé ChatGPT (version gratuite) pour une relecture orthographique et grammaticale. Le reste du contenu et des âneries de ce billet vient de mes petites cellules grises.

[#3] Et, bien sûr, affronter la calamité : écrire dans mon blog m'a permis de tenir le coup pendant la pandémie (et, des témoignages que j'ai reçus, sa lecture a aussi aidé d'autres personnes), donc j'espère quelque chose d'analogue devant une catastrophe de nature certes différente, mais néanmoins émotionnellement bien éprouvante. (La grande différence entre la pandémie et l'IA, cependant, est qu'il y avait une perspective de retour à la normale à la première, alors que l'IA a détruit la notion même de la normalité d'avant elle.)

Bref, dans ce qui suit je veux d'abord parler du cas particulier des maths, puis — parce que je pense que les maths sont un bon exemple de ce qui va arriver de façon plus large — généraliser le propos à l'ensemble des activités humaines. Mais avant ça, il faut que j'évoque deux postulats que je vais faire pour la suite, et dont le sens est en quelque sorte d'examiner le futur le plus favorable possible aux bienfaits des IA (celui dans lequel tout se passe « bien », de façon à me demander si c'est vraiment si « bien »).

Deux postulats rhétoriques

Je parle de postulat rhétorique pour dire que je pars d'une hypothèse pour les besoins de la discussion en cours parce que ce qui m'intéresse est les conséquences de cette hypothèse, donc sans la discuter, mais sans non plus admettre que j'y croie vraiment en-dehors de la présente discussion (et ça ne veut pas non plus dire que je n'y crois pas : je veux dire que je ne prends pas position sur la valeur de vérité de ces postulats, mais, pour le présent billet de blog, j'admets qu'ils sont vrais pour examiner leurs conséquences). Enfin, je vais quand même les discuter un peu, mais, encore une fois, ce n'est pas le but du présent billet de savoir s'ils sont vrais ou pas, mais d'explorer leurs conséquences.

(En me relisant, je me dis que j'aurais peut-être dû utiliser un autre terme, comme concession pour les besoins de la discussion qui ne suggère pas que j'adhère à la vérité de ces affirmations, mais à ce stade de l'écriture de ce billet je n'ai plus envie de changer, donc va pour postulat rhétorique.)

Bref, voici le premier :

Postulat rhétorique nº1 : Les IA vont devenir extrêmement compétentes dans toutes les tâches et tous les domaines (et notamment, meilleures que les humains selon toute métrique où meilleur a un sens). Je mets aussi sous ce postulat le fait qu'elles soient largement disponibles et à faible coût.

Encore une fois, je n'affirme pas que je crois que ce postulat est vrai (mais je n'affirme pas non plus que je crois qu'il est faux[#4]) : dans un domaine comme la résolution des problèmes mathématiques, les LLM sont devenus extrêmement bons extrêmement vite en bonne partie parce qu'il y a un oracle clair (en l'espèce, la certification formelle des preuves par Lean) qui permet de dire si la production est correcte ou pas, ce qui permet un entraînement très rapide ; sur d'autres tâches (comme citer proprement leurs sources), ils restent épouvantablement mauvais. On peut toujours se réfugier dans le confort de croire que les IA resteront mauvaises pour telle ou telle tâche, donc laisseront aux humains ce rôle-là (en maths, par exemple : expliquer les choses, poser des questions, construire des théories, faire des définitions, appliquer les résultats — je vais y revenir). Mais d'une part c'est possiblement là une combinaison entre déni et marchandage d'espérer ça ; et d'autre part, ce n'est de toute façon pas acceptable[#5], si les ordinateurs sont là pour nous servir, de laisser dicter notre rôle d'humains par une sorte de reliquat que nous laisserait l'incompétence des IA (i.e., définir ce que nous faisons par ce que les ordinateurs ne peuvent pas faire plutôt que définir ce que les ordinateurs font par ce que nous ne voulons pas faire). Faisons donc le postulat (qu'on peut qualifier de pire cas possible ou de meilleur cas possible, justement ce n'est pas évident à juger) que les IA deviennent meilleures que nous en tout.

[#4] S'il y a une chose que j'ai apprise de la pandémie de covid-19, c'est que les courbes à croissance initialement exponentielle finissent par s'arrêter (et ressembler à une fonction logistique), mais que prédire le point où elles s'arrêteront est extrêmement difficile (et n'a probablement aucun rapport avec la vitesse de croissance initiale). Donc même si je peux imaginer plein de raisons pour lesquelles la croissance des capacités des IA s'arrêtera (raisons méthodologiques, technologiques, économiques ou politiques) — et si on pense que le bénéfice net sur le bonheur de l'humanité est négatif et en croissance exponentielle il faut certainement l'espérer —, je me garderai bien de faire des prédictions à ce sujet. Mais le postulat rhétorique nº1 est que le point d'arrêt est bien au-delà de nos compétences individuelles dans essentiellement n'importe quel domaine.

[#5] Insérer ici ce dessin de Twonks (que je suis étonné de voir que je n'ai pas encore cité sur ce blog alors que c'est une représentation tellement parfaite de la transformation que nous vivons) représentant un robot prenant plaisir à peindre un tableau pendant qu'un humain derrière est en train de passer l'aspirateur. Si on admet de laisser les activités humaines dictées par les lacunes de l'IA, voilà exactement où on en arrive. Mon postulat rhétorique selon lequel il n'y a pas de lacune de l'IA est destiné à écarter ce genre de possibilité de réponse facile mais désagréable et obliger à chercher plus loin.

Postulat rhétorique nº2 : Les IA vont rester globalement bienveillantes, à notre service et sous notre contrôle, et notamment ne pas menacer notre existence (ni de façon autonome ni sous l'effet de notre propre malveillance les uns envers les autres).

Là non plus je ne prétends pas prendre position sur la vérité de cet énoncé. C'est une question intéressante (et pour le moins préoccupante) de savoir dans quelle mesure les IA risquent de tous nous tuer (voir notamment par ici pour une discussion sur cette question), et c'est une question aussi très intéressante au niveau méta (voir par ici) de pourquoi les plus enthousiastes de l'IA sont souvent les plus convaincus[#6][#7] qu'elle risque de tous nous tuer, et comment ces gens arrivent à résoudre la contradiction éthique de travailler pour développer une technologie qui promet de détruire l'humanité. Mais ce n'est pas ce dont je veux parler ici. Je fais donc le postulat rhétorique que ce genre de risque existentiel ne se pose pas : mon but est d'expliquer que même en l'absence d'un risque que tout le monde considérera comme négatif, le paradis des uns sera l'enfer des autres.

[#6] Pour les patrons des boîtes de tech, c'est probablement largement un argument publicitaire (une façon de dire que l'IA est une technologie tellement hors normes qu'elle menace l'existence même de l'humanité, ça fait très disruptif ; ça permet aussi de prétendre qu'ils prennent le problème au sérieux tout en faisant peur sur les modèles ouverts). Mais il n'y a pas de doute que certains le croient sincèrement, le cas le plus extrême étant Eliezer Yudkowsky, qui a fondé un culte pro-IA avant que ce soit cool, et qui est aussi le plus fermement convaincu qu'elles vont tous nous tuer. (Bon, son cas semble s'expliquer par l'idée qu'une IA du futur lui a parlé dans la tête pour lui dire que s'il n'était pas pro-IA elle allait lui faire subir des souffrances infinies.)

[#7] Je ne nie pas la possibilité théorique qu'une IA superintelligente détruise l'humanité de façon autonome (même sans hostilité expresse, juste par un problème d'alignement). Mais dans l'immédiat, je pense que si l'IA devait conduire à un quasi omnicide, le plus probable me semble être qu'un milliardaire patron de la tech (donc, forcément, un psychopathe) se rende compte que comme les IA et la robotique peuvent remplacer tous ses serviteurs humains il n'a plus besoin de 99.9999% de la population humaine (donc que le souhait kill all the poor devienne réalisable). Une variante serait le scénario envisagé dans La Planète interdite (je n'en dis pas plus pour ne pas divulgâcher). Quoi qu'il en soit, mon postulat nº2 suppose aussi écartés ce genre de scénarios.

La situation des maths

Regardons maintenant de plus près le cas des mathématiques : je le prends pas seulement parce que c'est ce que j'observe (et subis) le plus directement, mais aussi parce qu'avec le cas de la programmation (développement informatique) et des arts graphiques (génération d'images) c'est un des domaines où l'IA a eu le plus d'impact jusqu'à présent, et il doit servir de modèle pour comprendre comment le problème d'alignement des buts (entre ceux de la discipline et, sinon des IA elles-mêmes, du moins ceux des boîtes d'IA) peut avoir des effets catastrophiques sans pour autant remettre en cause le postulat rhétorique nº2. Mais je ne veux pas non plus redire ce que j'ai déjà dit.

Avant de continuer il faut que je précise le périmètre du terme de mathématicien que je vais utiliser, parce qu'il y a des gens qui, sans doute parce qu'ils projettent leurs propres complexes, m'ont accusé de parler spécifiquement des mathématiciens professionnels, alors même que j'ai très souvent dénoncé l'idée que la compétence pour une tâche dût se mesurer au fait qu'on la fasse de façon rémunérée. Donc, pour être bien clair : un mathématicien, selon mon usage du terme, est n'importe quelle personne qui comprend et étend notre compréhension des mathématiques, peu importe que cette activité soit exercée par un universitaire sur un poste permanent, dans le cadre d'un doctorat ou post-doctorat, par un retraité émérite, ou un amateur passionné[#8] ou pour n'importe quelle autre raison — ce qui fait qu'on est mathématicien est qu'on comprend les maths, qu'on les fait comprendre aux autres, qu'on progresse dans cette compréhension et qu'on fait progresser les autres. Aucun diplôme universitaire n'est indispensable pour être mathématicien, pas plus qu'il n'est strictement nécessaire d'être l'auteur d'une publication dans une revue à comité de lecture, même si ce sont autant d'indices favorables significatifs. Naturellement, les mathématiciens professionnels (doctorants et post-doctorants rémunérés compris), simplement parce qu'ils ont le plus de temps à y consacrer, sont les plus nombreux (encore que les émérites[#9] sont sans doute aussi très importants), et ils définissent généralement la frontière de la connaissance humaine du domaine. Mais bien sûr, les chercheurs d'autres domaines adjacents sont aussi mathématiciens dans la mesure où ils exercent leur activité de recherche sur les mathématiques. Et la communauté mathématique est constituée de l'ensemble des mathématiciens, quels que soient leur statut, leurs titres ou leurs grades.

[#8] Il y a de nombreux exemples sur MathOverflow (enfin, il y avait tant que MathOverflow n'avait pas été tué par l'IA) d'amateurs faisant progresser la recherche de façon substantielle. Pour ne donner qu'un exemple vaguement connu, l'auteur de science-fiction Greg Egan, qui n'est pas un universitaire, est, selon ma définition, incontestablement un mathématicien (cf. par exemple les remerciements de ce papier, ou encore ce travail d'exposition).

[#9] Rappelons qu'un émérite, dans le milieu universitaire, est un retraité qui continue à exercer — à titre bénévole, donc — une partie de l'activité pour laquelle il était payé, et généralement avec un statut lui donnant accès aux locaux ou aux moyens informatiques, éventuellement le droit d'encadrer des thèses. L'existence même de ce statut est le signe que la profession ne s'exerce pas que pour la rémunération reçue, et doit inciter à s'interroger sur les motivations qui poussent les universitaires à choisir leur carrière.

Maintenant, le problème fondamental est que personne n'a de réponse claire et autorisée à la question pourquoi fait-on des maths ? (dans quel but et à quoi bon ?). Il y a plein de réponses possibles, entre parce que nous sommes curieux, parce que c'est rigolo comme des sortes de puzzles à résoudre, parce que c'est beau, pour mieux comprendre le monde, pour toucher de plus près la vérité, pour inspirer le reste de la science, pour trouver des applications, pour former le cerveau de ceux qui les étudient[#10], pour l'honneur de l'esprit humain, parce que nous n'arriverions pas à ne pas en faire ou que sais-je encore ; et les raisons du mathématicien individuel, les raisons de la communauté mathématique et les raisons de la société qui finance la recherche en maths n'ont pas de raison d'être les mêmes[#11]. Dans ces conditions, il n'est pas étonnant que les réactions face à l'arrivée de l'IA dans la discipline aient été, pour dire les choses poliment, très variées.

[#10] Dans cette vidéo, Grant “3Blue1Brown” Sanderson appuie beaucoup le point que l'enseignement des maths sert à développer des compétences de résolution de problèmes (ou de compréhension du monde) qui sont utiles ailleurs qu'en maths. Je suis tout à fait d'accord, mais d'une part il ne répond pas vraiment à l'objection et si les IA font qu'on n'a plus besoin de ces compétences chez les humains ?, et d'autre part si je pense que c'est certainement important que des gens comprennent, disons, l'algèbre linéaire, c'est un peu étirer l'argument au-delà de son point de rupture de défendre la recherche de sujets comme le programme de Langlands pour pouvoir enseigner l'algèbre linéaire à des étudiants. On n'ira donc pas si loin avec ça. (Éventuellement ça a presque plus de sens de dire on a besoin de motiver des gens à devenir enseignants, et les laisser s'amuser une partie du temps à faire de la recherche est une façon de les motiver.)

[#11] Soit dit en passant : il doit y avoir un nom à l'erreur de logique consistant à croire que le but de la personne qui pratique une activité est (ou — ce qui est une erreur subtilement différente — devrait obligatoirement être) le même que le but de l'autorité qui l'a instaurée. L'exemple que j'aime bien donner est l'erreur consistant à passer de la vie est un truc inventé par les gènes pour se reproduire (ce qui, quoique immensément simplifié, est globalement sensé) à mon but dans ma vie doit être de me reproduire (ce qui est juste complètement con).

J'ai décrit dans l'introduction l'expérience de pensée (ou le concept d'œuvre d'art) d'une machine à poésie idéale qui utilise l'IA pour générer des poèmes et pour les lire (et apprécier) elle-même, sans aucune intervention humaine. Il est évident de transposer cet exemple aux mathématiques : on peut concevoir (et on peut d'ores et déjà réaliser, moyennant quelques sous, et c'est d'ailleurs plus ou moins ce qu'a fait OpenAI) une machine qui « produit » des maths de façon autonome, et il n'y a qu'à pousser un cran plus loin pour qu'elle les « consomme » aussi, par exemple elle pourrait constituer tout un corpus de théorèmes sans aucune intervention humaine. L'expérience a-t-elle un quelconque intérêt ?

Certains enthousiastes de l'IA, notamment, s'émerveillent des capacités de l'IA à dépasser les humains en imaginant qu'on en arrive à faire produire par IA des démonstrations, voire des énoncés, totalement incompréhensibles pour le cerveau humain (et conformément à mon postulat rhétorique nº1, je vais tenir cette idée pour possible), et manifestement ceux qui décrivent ça voient ça comme une sorte d'exploit et pas comme un concept artistique de futilité absurde. Certes : je peux aussi concevoir ma machine à poésie idéale comme générant des poèmes en neuralese[#12] de sorte qu'aucun humain ne pourra jamais en apprécier la sublime beauté, et, euh… quel était le but de l'opération, au juste ?

[#12] Le mot neuralese fait référence aux vecteurs de sortie d'un LLM non discrétisés par la tokenisation, donc en quelque sorte ses pensées brutes non transformées en mots : voyez cette vidéo pour une vulgarisation à ce sujet.

Mais si on admet que tout ça est absurde, la question se pose quand même : d'accord, mais comment faire pour que ça ne devienne pas absurde ? Quel doit être le but des mathématiques ?

La situation actuelle (en octobre 2026) est que les IA sont très fortes pour résoudre des problèmes, mais terriblement mauvaises pour expliquer leurs solutions (même avec les moyens essentiellement illimités d'OpenAI). Elles pondent vraiment de la merde absolue : des textes qui superficiellement ont l'air très bien écrits mais qui, dès qu'on essaie vraiment de comprendre un peu, sont de la bouillie — des points évidents sont expliqués en détails laborieux, alors que des points subtils sont passés sous silence, des idées tirées de la littérature sont présentées sans contexte ni citation ce qui rend incompréhensible l'idée utilisée, des termes sont employés de façon créative, des analogies présentées ne tiennent pas debout, on ne sait pas bien ce qui est informel et ce qui ne l'est pas, etc. (Généralement, le résultat prouvé est quand même correct, et parfois il est formalisé en Lean donc on a une certaine confiance dans ce fait, mais la preuve formalisée en Lean ne coïncide pas forcément avec celle écrite en anglais ; mais parfois il y a des erreurs de débutant qui côtoient des raisonnements extrêmement subtils.)

Dans ces conditions, on peut évidemment être tenté de dire que le travail des mathématiciens est de fouiller dans cette bouillie[#13] pour en retenir ce qui mérite d'être retenu, et le présenter de façon correcte. Néanmoins, comme je l'ai dit dans l'introduction, c'est une sorte de combinaison entre déni et marchandage que de vouloir procéder à un partage de rôles : aux IA la preuve des résultats techniques, et aux mathématiciens la rédaction, la recherche de preuves compréhensibles, ou encore la construction de théories, la quête de définitions fécondes, bref, toutes les choses pour lesquelles les IA sont actuellement très mauvaises (elles savent très efficacement résoudre des questions formellement bien posées, mais sont assez nulles pour les autres aspects du travail de mathématicien — mais rien ne dit qu'elles le restent). Du moins, c'est du déni si on parie que les IA vont rester nulles dans tout ça ; et c'est du marchandage si ce partage des rôles est subi (i.e., on laisse aux mathématiciens le travail que les IA ne savent pas faire) plutôt que choisi (i.e., les mathématiciens choisissent les tâches qu'ils ont envie de faire et rappellent que ce sont aux IA de s'adapter puisque ce sont elles les outils à notre service).

[#13] Il faut voir, aussi, qui décide par qui ce travail doit être fait et comment on le valorise, parce que fouiller dans la merde qu'a pondue une IA n'est pas quelque chose de terriblement motivant et parce qu'il n'y a actuellement aucun mécanisme prévu pour encourager la réexposition de résultats dont la preuve a été trouvée par un autre. Encore une fois, je trouve ça épatant qu'on prétende vouloir ordonner aux humains de s'adapter aux outils informatiques qu'on leur fournit plutôt que le contraire.

Mais conformément à mon postulat rhétorique nº1, je pars ici du principe que les IA deviennent bonnes dans toutes les tâches pour lesquelles elles sont actuellement (au moment où j'écris) mauvaises, à commencer par expliquer leurs raisonnements (mais aussi : poser des questions, construire des théories, faire des définitions, appliquer les résultats, etc.). Et je suppose même que la puissance de travail des IA est assez importante pour que les humains n'aient pas à arbitrer entre l'usage de cette puissance dans telle ou telle direction. Que reste-t-il alors aux humains à faire ?

Il reste au moins une tâche que les IA ne peuvent assurément pas faire à notre place, c'est comprendre pour nous[#14] : maintenir vivante une compréhension humaine du monde mathématique. (Comme je l'ai dit à plusieurs reprises, pour moi, faire des maths, c'est comprendre et faire comprendre le monde mathématique.) Donc on peut proposer l'idée que les mathématiciens humains aient juste pour rôle d'apprendre les maths qu'ils demandent aux IA de leur apprendre, et de discuter ensemble de ce qu'ils trouvent intéressant là-dedans. Quelqu'un proposait la métaphore de collectionneurs de papillons : les IA trouvent de beaux résultats mathématiques, et les mathématiciens ont pour tâche de les comprendre et de les admirer (cette tâche ne pouvant pas être confiée aux IA elles-mêmes sous peine de tomber dans la machine futile que j'évoquais plus haut). Pour autant, est-ce bien satisfaisant ?

[#14] Comme Euclide est réputé avoir dit au roi Ptolémée I^er, il n'y a pas de route royale vers la géométrie : on peut avoir une IA qui vous aide à comprendre, mais elle ne peut pas faire le travail de comprendre à votre place. ❧ Bon, bien sûr, il n'est pas logiquement impossible que les LLM deviennent tellement forts qu'ils soient capables de produire un texte de quelques pages, facilement et agréablement lisible, disons, par ma maman en quelques dizaines de minutes, et au bout de la lecture duquel on saurait tout sur, disons, la cohomologie étale et la preuve des conjectures de Weil, et ensuite capable de faire des maths à ce niveau-là. Je ne suis pas capable de prouver qu'un tel texte n'existe pas, après tout : rien ne dit que les maths doivent être dures, peut-être que c'est juste une limitation de nos propres capacités d'exposition et pas de nos capacités de compréhension comme on tend à le croire. Ce serait une hypothèse intéressante à envisager, mais que je sache, même Yudkowsky qui a tendance à traiter l'intelligence comme un super-pouvoir magique, n'a pas exploré des possibilités comme « en fait, la superintelligence est contagieuse et l'IA superintelligente réussit à rendre les humains aussi intelligents qu'elle ».

D'abord, je ne suis pas sûr qu'on arrive à convaincre la société de payer des gens pour le travail contemplatif de comprendre les résultats mathématiques que des IA auraient produits pour eux. (Comme je vais le dire dans la partie suivante, ce point est vraiment l'enjeu central de la transformation de l'IA sur nos sociétés.) Le problème est que comprendre, disons, la cohomologie étale, ça demande un certain effort (très difficile à faire sans s'y mettre à plein temps), et que s'il n'y a pas de mécanisme incitatif pour ça, eh bien personne ne fera cet effort, et si plus personne ne comprend le sujet, disons, eh bien il n'y aura personne pour demander à des IA de résoudre des questions sur la cohomologie étale (ou alors elles le font de façon autonome, mais on retombe sur la machine futile évoquée plus haut) : bref comment éviter que la culture se perde ?

Mais bon, admettons (postulons rhétoriquement) qu'on arrive quand même à motiver le financement de postes de mathématiciens pour juste contempler et comprendre les maths que les IA produisent : est-ce pour autant ce que les mathématiciens veulent comme avenir ?

L'effet de parallaxe que j'évoque, entre les buts des mathématiciens, et l'idée que d'autres pans de la société se font de ce que devraient être les buts des mathématiciens, est devenu particulièrement apparent cet été. Il est difficile de se faire un avis d'ensemble[#15] de ce que pense la communauté mathématique, mais l'ambiance générale est tout de même extrêmement critique, non seulement vis-à-vis de l'attitude des compagnies d'IA comme OpenAI et Anthropic, mais plus généralement très méfiante vis-à-vis de l'utilisation effrénée de ce nouvel outil. A contrario, les non mathématiciens (même s'il est, là aussi, très difficile de constituer un avis représentatif) ont été prompts à qualifier les mathématiciens de luddites, refusant de voir le progrès là où il est[#16], refusant l'offrande qui leur est faite de 700+ nouveaux résultats spectaculaires. (Ce mème sur Reddit — évidemment généré avec IA — est représentatif de la critique, vraiment pas subtile, des mathématiciens comme des luddites et/ou des gardiens de leurs privilèges et de l'ordre établi.)

[#15] Je compte essayer de faire un sondage pour me faire une idée plus précise que quelques témoignages épars, mais en attendant je dois faire avec mon impression des déclarations publiques, de mes discussions avec mes collègues, des commentaires sur MathOverflow, des posts sur Proofs & Prompts, sur les réseaux sociaux, etc. Ce sondage donne une idée de ce que pensent les jeunes/futurs/potentiels mathématiciens, et il n'en résulte pas une impression de profond bonheur.

[#16] À propos de l'accusation de luddisme (mais aussi des vrais luddites historiques), je renvoie à cette analyse fort intéressante de l'action des boîtes d'IA comme une privatisation de ce qui était jusqu'à présent une propriété commune.

Encore une fois, c'est assez frappant qu'on veuille dicter aux gens censés se servir d'un outil le niveau de satisfaction qu'ils devraient avoir dans cet outil, surtout si la critique vient de gens qui ne vont pas se servir de cet outil pour faire de la recherche en maths. Ce qui fait qu'un outil est bon pour une tâche, c'est que les gens qui accomplissent cette tâche en sont satisfaits. Si les pilotes de chasse me disent que le nouvel avion de chasse qu'on leur offre avec plein de trucs automatisés est mauvais, je crois par défaut que les pilotes de chasse, i.e., ceux qui vont utiliser cet outil, ont raison, et en tout cas je vais avoir la modestie de ne pas me penser plus compétent qu'eux sur un sujet dont j'ignore tout. Mais apparemment tout le monde sur Internet se croit compétent pour pouvoir parler de l'usage que les mathématiciens devraient avoir de l'IA.

Maintenant, c'est indéniable que la communauté fait preuve d'un certain conservatisme. Ce n'est pas, contrairement à ce que certains aiment croire, par une sorte d'orgueil blessé de sentir les machines devenir plus puissantes qu'eux : de toute façon, nous avions tous (ou, au moins, tous sauf Offer Gabber, Will Sawin et Terence Tao) l'habitude de côtoyer des collègues incroyablement meilleurs que nous pour la résolution de problèmes que la pratique de la recherche mathématique rend forcément modeste ; le fait que l'injustice de l'inégalité dans la répartition des compétences soit remplacée par l'injustice de l'inégalité dans l'accès aux modèles d'IA n'est pas exactement transformationnelle. Ce qui est vrai, en revanche, c'est que c'est extrêmement désagréable de se retrouver privé du plaisir de chercher sur une question par plein de petits cons (j'inclus les compagnies d'IA[#17]) qui viennent mettre la question dans un modèle et vous fourrer la réponse sous le nez. Ce n'est pas difficile de comprendre la colère des mathématiciens à ce niveau-là : réfléchir à un problème de maths est, au moins tant qu'on progresse, comme lire un roman policier, alors si des gens viennent mettre sous votre nez le nom du meurtrier, non, vous n'êtes pas forcément content. Donc, oui, le plaisir de chercher (et le droit de prendre son temps à le faire) faisait partie des bénéfices du métier : qu'est-ce que vous proposez pour le remplacer, au juste ?

[#17] Le compte Twitter parodique Endings FourHundredAndNinetySeven (remarquez la subtile « erreur » de dénombrement, qui fait référence à ça) enfonce le clou en imaginant que la division cinématographique d'OpenAI aurait annoncé la fin de 500 films, apportant avec elle une nouvelle ère d'abondance de cinéma (où on n'aurait pas besoin de voir le film pour connaître la fin).

Il y a d'ailleurs une différence fort intéressante de réaction entre les mathématiciens universitaires, qui ont réagi de façon plutôt négative[#18] à l'arrivée de l'IA même quand leur poste individuel n'était pas impacté, et les programmeurs professionnels qui, du moins tant que leur emploi était assuré, ont vu d'un bien meilleur œil l'arrivée d'outils les déchargeant des parties les plus pénibles de leur travail. Je pense que ce n'est pas sans lien avec le fait qu'il existe une notion d'éméritat dans le milieu universitaire mais qu'essentiellement personne ne continue à bosser bénévolement comme programmeur professionnel[#19] une fois passé l'âge de la retraite. En plus clair : quand on a un travail qu'on aime, on n'a pas forcément envie de le voir remplacé par un robot même si on a l'assurance de garder le poste.

[#18] Apparemment les gens d'OpenAI ont été très surpris par cette réaction pourtant éminemment prévisible. De ce que je comprends, ils s'attendaient à être considérés et acclamés comme des héros de la science ou quelque chose comme ça. C'est un peu dommage d'être aussi stupidement naïf pour une compagnie censée vendre… <checks notes> …de l'intelligence.

[#19] En revanche, comme programmeur bénévole dans un projet communautaire auquel on tient, ça ça arrive… et là aussi, ce n'est pas sans rapport avec le fait que cette catégorie de programmeurs semble avoir accueilli avec le moins d'enthousiasme les outils d'IA.

Ça peut sembler un peu trivial comme raison (OK, faire des maths est amusant comme résoudre des puzzles, mais allez-vous vraiment défendre votre plaisir à faire des puzzles face aux progrès de la connaissance humaine ?), mais en fait le problème va plus loin : chercher à résoudre un problème est la manière dont on apprend les maths, donc si on est privé de cette possibilité, on est privé de la manière de faire progresser sa propre compréhension[#20][#21].

[#20] Pourquoi ne peut-on pas juste ignorer l'IA et résoudre le problème par soi-même ? (Ou faire appel à l'IA quand, et seulement quand, on est bloqué, de manière à progresser à son propre rythme ?) Eh bien certes, l'outil permet ça en théorie, mais quand l'outil est mis entre les mains de gens qui ont envie de maximiser le nombre de problèmes qu'ils résolvent, eh bien ça crée une course à l'utilisation irréfléchie (parce que celui qui prend le temps de réfléchir est forcément en désavantage par rapport à celui qui se précipite). Imaginez que vous organisiez un examen de la façon suivante : primo, tous les étudiants ont accès à la correction des questions, et secundo, seul le premier à apporter la réponse reçoit une bonne note — vous imaginez bien ce qui va se passer, et, indication, ce ne sont pas ceux qui prennent le temps de réfléchir pour comprendre par eux-mêmes sans lire la correction qui vont avoir une bonne note. Je suis d'accord que c'est plus le secundo qui est stupide ici dans cette hypothèse, mais pour l'instant personne n'a été capable de proposer une façon de désinciter les collègues à résoudre les problèmes aussi vite qu'ils le peuvent pour pouvoir prétendre être les premiers à l'avoir fait, et c'est même exactement ce qu'OpenAI a illustré avec leur propre pile de merde.

[#21] Une fois qu'on vous a mis une solution sous le nez, c'est quasiment impossible de l'oublier. Il m'est arrivé plus d'une fois de chercher à résoudre un problème de maths dont j'avais, par le passé, trouvé la solution puis oublié celle-ci : je n'étais pas capable de penser au problème avec un regard frais, ma pensée était toujours parasitée par le souvenir de la solution passée.

Ce qui est fascinant, en fait, est la déferlante de haine (et de schadenfreude) vis-à-vis du milieu universitaire que l'arrivée de l'IA a fait ressortir. Il faudrait faire une psychanalyse de tout ce que ça révèle (et ce que révèle l'usage fréquent du mot gatekeeping) sur les gens qui se sont sentis exclus ou ont raté un examen universitaire ou je ne sais quoi. Mais j'ai vu deux attitudes apparaître régulièrement. La plus hostile : quelque chose comme les mathématiciens sont des parasites de la société qui préservent leur position par des titres cooptés, mais maintenant ils vont perdre tous ces privilèges. Parce que, bien sûr, les mathématiciens sont connus pour leur richesse et leur train de vie extravagant : heureusement que des gens de condition modeste comme Sam Altman ou Elon Musk, qui ont les intérêts des prolétaires à cœur, viennent mettre fin à cette injustice sociale. Avec un peu de sarcasme en moins, cette réaction est intéressante parce qu'elle trahit la supposition implicite que quand un travail est automatisable par IA il doit cesser d'exister en tant que travail rémunéré — vu qu'il serait inacceptable que des gens soient payés à ne rien faire — qui est plus qu'un petit peu problématique si l'IA est destinée à remplacer tous les métiers, mais je vais y revenir dans la partie suivante de ce billet. La deuxième attitude, un peu moins hostile : quelque chose comme maintenant que j'ai un abonnement DeepGrouïk 9 “Limerick” qui résout les problèmes de maths bien mieux que les mathématiciens professionnels, je peux me considérer comme tel. C'est un peu comme s'acheter une voiture et se dire[#22] qu'on est maintenant un coureur de marathon d'élite parce que la voiture fait le marathon en bien moins qu'une heure.

[#22] Encore une fois, je ne vais certainement pas me plaindre que des gens s'intéressent aux maths et veuillent en faire. Ni même qu'on leur retire des barrières qui les empêchaient d'en faire. Mais s'imaginer qu'on puisse se dispenser de comprendre, ce qui est bien la partie difficile des mathématiques, c'est croire avoir trouvé une route royale vers la géométrie.

Cette seconde attitude est peut-être moins hostile, mais ceux qui la tiennent sont venus en masse tenter de prendre place sur les outils de travail des mathématiciens, par exemple en déposant des papiers générés par IA sur l'arXiv, ou en répondant à plein de questions sur MathOverflow. Et ces outils sont en train de mourir par la faute de ces gens (et donc, de l'IA).

Je ne sais pas ce que ces gens qui mettent dans une IA des questions de recherche et postent la réponse sans faire l'effort de comprendre plus que superficiellement ni l'une ni l'autre s'imaginent avoir comme valeur ajoutée. Ils s'imaginent peut-être être les seuls à avoir accès à DeepGrouïk 9 ? Ils s'imaginent que personne n'a eu l'idée de lui poser des questions de maths ? Ils font peut-être partie des gens qui commandent une pizza en ligne et sont très fiers de la pizza qu'ils ont « faite » ? En tout cas j'ai préparé un panneau spécialement à leur intention.

Ils n'ont pas l'air de comprendre que l'arrivée de l'IA, loin de neutraliser la distinction entre mathématiciens amateurs et accrédités, est en train de la rendre plus impérieuse : auparavant c'était possible pour un mathématicien amateur de se faire un nom en résolvant un problème difficile, et c'est arrivé ; maintenant, résoudre un problème n'a plus aucune valeur, donc la seule façon d'être pris au sérieux est de montrer sa compréhension du sujet, et la seule façon de faire ça est de passer un examen (surveillé) ou d'avoir un titre universitaire. L'IA n'abolit pas le gatekeeping, elle le justifie et le rend indispensable.

L'autre comparaison que j'ai souvent vu proposer, surtout de la part de gens qui ne sont pas des mathématiciens, et que je dois mentionner ne serait-ce que pour dire que je trouve qu'elle n'a pas beaucoup de sens, c'est avec les échecs : ça fait longtemps que les ordinateurs sont bien meilleurs que les humains aux échecs, mais ça n'empêche pas les gens de jouer aux échecs, au contraire le jeu ne s'en porte que mieux dit-on en gros. Je trouve cette comparaison franchement stupide, d'abord parce que les échecs sont un jeu adversarial alors que les maths sont censées être une science coopérative — les mathématiciens sont censés être alliés pour comprendre le monde, pas adversaires pour savoir qui est le meilleur, et malheureusement tout le monde n'a pas reçu le mémo, et c'est encore pire depuis que l'IA a tout transformé en course effrénée au résultat, alors si la proposition est de rendre les maths encore plus compétitives, c'est vraiment une solution pourrie. Pour aller plus loin, le principe des échecs entre humains est justement que les humains entrent en compétition pour savoir qui est le meilleur sans assistance d'ordinateur : pour les maths, le but n'est pas de se passer complètement d'IA (en tout cas ce n'est pas le but que je propose), et certainement pas de savoir qui est le meilleur humain sans IA, le but est d'éviter tous les effets destructifs de l'IA qu'on voit pour le moment, et savoir s'il y a quelque chose à sauver.

Au-delà des maths

Au-delà des mathématiques, la question à laquelle personne dans le monde de l'IA ne semble avoir la moindre piste de réponse, et c'est quand même un peu un problème, c'est : quelle est la place pour les êtres humains, et quel est leur rôle, dans le monde que vous êtes en train de construire ? Je rappelle que je parle sous les hypothèses des postulats rhétoriques nº1 (qui suppose que les IA sont capables de faire toutes les tâches humaines, y compris grâce à la robotique les tâches manuelles[#23]) et nº2 (qui suppose que les humains existent encore, et ont gardé le contrôle de leur monde, donc il faut bien leur trouver une place).

[#23] Cf. ici si on s'imagine que les métiers manuels ont une chance d'échapper à la vague de l'IA.

Évidemment, on peut tenter de se réfugier dans des solutions de type « déni et marchandage » : dire que les humains, par exemple, ont besoin de contact humain, donc que certains métiers vont forcément subsister, comme celui de garde d'enfants (on n'est quand même pas trop près de confier des bébés à des robots), psychothérapeute, coach sportif, travailleur du sexe, dirigeant politique (je vais y revenir) ou que sais-je encore. Bon, ce sont peut-être les derniers métiers qui subiront l'automatisation, mais vu qu'il y a déjà des gens qui prennent ChatGPT comme confident et d'autres qui ne sont pas très loin de faire élever leurs enfants par une IA, je n'y mettrais pas ma main à couper. Et de toute façon, je ne sais pas si on a vraiment envie d'imaginer une société dans laquelle les seuls métiers qui restent sont garde d'enfants, psychothérapeute, coach sportif, travailleur du sexe et quelques trucs du style[#24].

[#24] Prêtre catholique ? Clairement, une IA ne peut pas accomplir le miracle de la transsubstantiation, donc voilà la solution : tous devenir prêtres catholiques. C'est le métier de l'avenir.

Les AI-bros ont deux réactions possibles à ce problème. La première est de nous promettre qu'il y aura dans l'avenir des métiers qu'on ne peut pas encore imaginer actuellement (un peu comme la révolution industrielle a créé de nouveaux métiers) : le problème est qu'à part rentier car actionnaire d'une boîte qui vend des cartes graphiques on ne voit pas la couleur de ces nouveaux métiers, et ça va même assez à l'encontre de mon postulat nº1 — la spécificité de l'IA par rapport à toutes les techniques développées avant est qu'elle est censée être universelle et remplacer tous les métiers, pas vraiment en créer. La deuxième réaction face au problème est de dire, en fait ce n'est pas grave, on va tous se tourner les pouces et être payés à ne rien faire par une sorte de revenu universel[#25]. Économiquement, peut-être que ça pourrait marcher[#26] (si on trouve moyen de faire payer les boîtes d'IA pour le revenu universel en question, transformant en quelque sorte la monnaie en un mécanisme d'attribution du temps de calcul d'IA), mais ça passe complètement à côté du vrai problème, qui est qu'en fait les IA ne détruisent pas que les métiers, elles détruisent les fonctions.

[#25] Je précise que rien de ce que je raconte ici ne doit être compris comme une critique contre le concept de revenu universel (au contraire, j'y suis très favorable), ni contre l'idée de ne pas centrer nos vies autour du métier que nous exerçons (idée que je ne cesse de répéter).

[#26] Je veux dire que peut-être que ça peut tenir économiquement. Le fait qu'on arrive politiquement à mettre une telle chose en place me semble absolument invraisemblable, mais ce n'est pas mon propos.

Admettons, donc, et on pourrait appeler ça le postulat rhétorique nº3 (mais comme je vais le dire, ma suspension d'incrédulité a vraiment beaucoup de mal à ce point), que le problème économique et plus généralement sociétal soit réglé : tout le monde a accès (pas forcément de façon strictement équitable mais du moins vaguement raisonnable) aux bénéfices des postulats nº1&2 ; disons que tout le monde reçoit un revenu universel qui lui permet d'accéder à tous les services rendus par l'IA, on n'a plus besoin de faire travailler des humains parce que les IA font tout pour nous, de produire des théorèmes à passer l'aspirateur, et même garder les enfants et écrire de la poésie. Et nous pouvons faire absolument ce que nous voulons du temps libéré (y compris produire des théorèmes, écrire de la poésie, jouer aux échecs contre des humains ou des ordinateurs, jouer à des jeux vidéo, baiser, ou même passer l'aspirateur si ça nous chante). Imaginons même encore que tout ceci se fasse de façon globalement pacifique et sans destruction d'autres ressources. Ce monde est-il pour autant utopique ?

Même avec toutes ces concessions, je ne pense pas. Je peux presque me passer d'argument et renvoyer au film Wall·E et sa représentation des humains comme devenus incapables de faire autre chose que se déplacer sur des petits transporteurs en sirotant du soda — même si c'est plus l'aspect intellectuel que physique qui me préoccupe. Mais en fait, ce n'est pas tellement un problème de type « déclin de nos facultés parce que le monde devient trop facile » qui m'intéresse qu'une perte d'agentivité[#27] : même si nous réussissons à ne pas nous transformer en idiots[#28] en utilisant l'IA à tout propos, si l'IA est vraiment meilleure que nous en tout (cf. postulat nº1), la ligne d'action utilitariste va simplement consister à toujours suivre son conseil. Liberté formelle de ne pas suivre ce qu'elle dit, illusion de contrôle dessus, mais en fait une perte totale de ce qui constitue la valeur de la liberté, c'est-à-dire la réalité du choix[#29][#30].

[#27] Dans le cas des maths, j'ai parlé ci-dessus du collectionneur de papillons pour décrire le rôle du mathématicien qui se contente d'admirer les théorèmes magnifiques que l'IA produit pour lui (parce que selon le postulat nº1 elle serait devenue meilleure en tout : non seulement trouver des preuves, mais aussi les expliquer, trouver les questions à poser, définir les concepts, élaborer les théories, chercher les applications).

[#28] Et en fait, à ce sujet-là, je suis prudemment optimiste : Wikipédia et Google ne nous ont pas vraiment rendus incultes et ignorants en rendant toute la culture et le savoir plus facilement accessibles (ils n'ont même pas vraiment fait disparaître la valorisation sociale du fait d'être cultivé), donc il est permis d'espérer que l'accès à des IA intelligentes non seulement ne nous rende pas forcément stupides (parce que nous n'aurions pas à nous servir de nos cerveaux), voire, nous aide à garder une intelligence fonctionnelle. Du moins si on arrive à apprendre à s'en servir, justement, intelligemment.

[#29] Je dois peut-être faire la comparaison, qui ne manque pas de piquant, avec l'effet que produit sur moi l'idée du libre arbitre dans les religions abrahamiques (et surtout le christianisme) : l'homme est formellement libre de suivre la voie de Dieu ou de s'en écarter — mais ce choix est un choix illusoire, puisque l'un est celui qui apporte la récompense et l'autre la punition (vous êtes libres de désobéir au Grand Leader, mais sachez que le faire vous mènera en prison).

[#30] Il faut que j'évoque ici une nouvelle fort intéressante d'Asimov, intitulée The Greatest Asset (publiée dans le recueil Buy Jupiter). Elle a été écrite en réaction à la citation suivante de J. B. Priestley (Thoughts in the Wilderness, 1957), sur laquelle il y a certainement à méditer : Between midnight and dawn, when sleep will not come and all the old wounds begin to ache, I often have a nightmare vision of a future world in which there are billions of people, all numbered and registered, with not a gleam of genius anywhere, not an original mind, a rich personality, on the whole packed globe. Asimov (qui avait d'abord écrit une autre nouvelle tendant à valider la citation et que les éditeurs qui avaient demandé la nouvelle ont prié de chercher plutôt à la réfuter) imagine un scénario (attention, divulgâchis !) dans lequel les ordinateurs sont plus compétents que les humains pour prendre des décisions, et un homme politique (le secrétaire-général de l'Écologie) prend une décision, celle d'autoriser une expérience écologique, en contradiction avec la recommandation de l'ordinateur. Non pas parce qu'il pense que l'ordinateur a tort — en fait, il est convaincu que l'expérience sera un échec — mais parce qu'il veut préserver quelque chose de bien plus important que l'écologie : Man's greatest asset is the unsettled mind. I haven't overruled the computer for the sake of our ecology. We only need that to live. I overruled it to save a valuable mind and keep it at work, an unsettled mind. We need that for man to be man — which is more important than merely to live.

Je ne suis certainement pas en train de prétendre que l'humain a besoin d'adversité et qu'il faut qu'il garde la vie dure pour ne pas se ramollir. Mais je suis en train de prétendre qu'il a besoin de donner un sens à sa vie, et pour ça, comme nous sommes des animaux sociaux, de se rendre utile à la société[#31][#32]. Mais pour se sentir utile, il faut faire quelque chose qui ne peut pas facilement être accompli autrement. Nous avons le désir d'être producteurs d'utilité et pas juste consommateurs de celle-ci[#33]. C'est pour ça que, même si on admet que ce soit politiquement et économiquement faisable, je pense par exemple que les mathématiciens n'ont pas envie de se contenter d'une fonction consistant à lire des maths produites par des IA et en admirer la beauté. Mais quelle fonction utile peut-on avoir dans un monde où les IA font tout mieux que nous ?

[#31] Exercice (à faire sans utiliser une IA !) : trouver ici une note à écrire à la place de celle-ci et incluant la phrase (chez l'homme,) l'existence précède l'essence.

[#32] Encore une fois, ce pour quoi on se sent utile n'est pas forcément ce pour quoi on reçoit un salaire : tant mieux si c'est le cas, mais il y a mille et une façons de se rendre utile sans que ce soit son métier (notamment par toutes sortes de formes de bénévolat, mais aussi par ses études, par l'art, etc.). Je répète : pour moi le danger des IA (enfin, celui parmi leurs nombreux dangers dont je parle ici) n'est pas tant de supprimer des emplois — cet aspect purement économique peut se résoudre et j'ai fait le postulat qu'on y arrive — mais de supprimer une possibilité de se rendre utile.

[#33] Si je reviens à la machine à poésie idéale que j'ai évoquée plus haut, la réponse naïve qui consiste à dire que c'est idiot de faire lire la poésie par une machine alors que ça a un sens de la lui faire écrire est, justement, peut-être bien naïve. Peut-être même que c'est moins absurde pour l'humain d'écrire de la poésie en demandant à la machine de la lire. En tout cas, ça me semble plus intéressant d'imaginer de la poésie écrite (par des humains) pour des IA que de la poésie écrite par des IA (pour des humains). ❧ Ah tiens, justement !

Je peux imaginer une version alternative du film The Matrix, inspiré par les expériences de John B. Calhoun sur les utopies pour rats : au lieu que les machines utilisent les humains comme (attention divulgâchis) source d'énergie dans le film des Wachowski, elles auraient vraiment une volonté bienveillante vis-à-vis de l'humanité, mais n'arriveraient pas à produire l'utopie qu'elles cherchent à réaliser sans que les gens tombent dans le désespoir[#34] de la perte de sens.

[#34] Bon, bien sûr, les machines superintelligentes peuvent aussi trouver les mécanismes neurologiques de ce désespoir et des mécanismes chimiques pour les annuler. Mais là aussi : quel est le but ? Est-ce que nous voulons vraiment devenir artificiellement heureux ?

Pour être bien clair, non seulement je ne crois pas que cet avenir soit utopique, je ne crois pas non plus une seule seconde qu'il ait des chances de se produire ; à force d'accumuler les postulats rhétoriques (1, 2 et 3) ci-dessus, d'ignorer toutes sortes d'externalités (comme l'utilisation des IA pour nous faire la guerre[#35] les uns aux autres de toutes les manières possibles, le transfert phénoménal de pouvoir des prolétaires vers les riches[#36], l'injustice générationnelle associée à cette transformation ou encore le coût énergétique de tout ça), on arrive à quelque chose de totalement invraisemblable[#37] à mes yeux.

[#35] J'inclus dans guerre non seulement la guerre au sens strict (militaire) mais aussi toutes les formes de tromperie, de manipulation et de dissimulation, ou même le marketing.

[#36] Un thème que je me dis qu'il faudrait explorer plus loin est le parallèle entre le pouvoir que l'arrivée de l'IA met entre les mains des riches (au minimum capables de se payer un accès aux meilleurs modèles, ou surtout, actionnaires des boîtes d'IA) au détriment des pauvres (dont le moyen de subsistance est menacé) et l'impact socioéconomique sur les populations de citoyens Romains plébéiens/prolétaires provoqué par l'arrivée de main d'œuvre esclave apportée par les conquêtes notamment de la fin de la République, et le lien avec la fin de ce régime. (Ça changerait un peu des comparaisons avec la révolution industrielle que tout le monde fait mais qui ne sont pas forcément les seules pertinentes.)

[#37] Il faut une naïveté quand même bien forcée pour s'imaginer qu'une technologie dont les aspects négatifs, jusqu'à présent, contribuent à rendre la vie plus merdique pour essentiellement tout le monde dans essentiellement tous les domaines, va devenir source de grands bienfaits si on la pousse assez fort, parce que les aspects bénéfiques vont tout d'un coup rattraper les aspects néfastes.

Le futur un peu plus réaliste que j'imagine (parce qu'il est clairement la direction que nous prenons pour l'instant) est un monde à la Brazil (je parle du film de Terry Gilliam) où le rôle qui continue à échoir aux humains est de prendre la responsabilité pour des choses que les IA feront et qui échapperont de plus en plus à notre contrôle et compréhension réels. Devoir les manager (voire les micro-manager), non pas parce qu'on ferait ça de façon plus efficace (le postulat rhétorique nº1 prédit le contraire) mais parce que nous (les humains) servirions à nous faire punir ou du moins reprocher quand les IA sur lesquelles nous aurions théoriquement un contrôle feraient quelque chose de mal. Voire, aller en prison quand les IA auront fait une grosse connerie : parce que ça n'a pas de sens de mettre une IA en prison, donc peut-être que c'est le dernier rôle qui nous restera dans la société, celui de bouc émissaire quand les choses tournent mal. Là aussi, on peut se demander : est-ce vraiment ce que nous voulons ?

En guise de conclusion

Ayant évoqué divers scénarios ou perspectives dont, même en concédant rhétoriquement ce qu'il peut y avoir de plus favorable aux caractères bénéfiques des IA (postulats nº1, 2 et 3) j'ai bien du mal à en dégager qui soient globalement souhaitables, on peut et on doit aussi se demander : qui choisit vers lequel de ces scénarios nous nous dirigeons ? qui parle au nom de l'Humanité ? et selon quelle légitimité ?

Ne sachant pas comment conclure ce billet, je vais citer le dernier paragraphe du livre Cosmos de Carl Sagan (livre dont j'ai déjà raconté l'influence qu'il avait eue sur moi), et qui me semble relativement pertinent :

For we are the local embodiment of a Cosmos grown to self-awareness. We have begun to contemplate our origins: starstuff pondering the stars; organized assemblages of ten billion billion billion atoms considering the evolution of atoms; tracing the long journey by which, here at least, consciousness arose. Our loyalties are to the species and the planet. We speak for Earth. Our obligation to survive is owed not just to ourselves but also to that Cosmos, ancient and vast, from which we spring.