David Madore's WebLog: Méfions-nous de la modélisation « mathématique » des épidémies

Je vois passer de plus en plus de gens qui expliquent qu'une modélisation épidémiologique produite par Imperial College ou une étude de l'INSERM montre que ceci-cela. Je voudrais attirer l'attention sur l'extrême prudence avec laquelle il faut lire les résultats de toutes les modélisations épidémiologiques, et rappeler les limites de l'exercice. Prudence dont ne font d'ailleurs pas toujours preuve les gens qui annoncent ces résultats : mon but n'est certainement pas de traiter les épidémiologistes de charlatans, mais de souligner que :

• nous ne disposons d'aucune sorte de modèle capable de prédire l'avenir avec un quelconque degré de fiabilité (à la fois par manque de données à mettre en entrée de ces modèles et par difficulté intrinsèque dans la modélisation), seulement de montrer quelques unes des possibilités qualitatives, et
• ce n'est pas pour autant que ces modèles ne servent à rien, simplement il ne faut pas les utiliser comme des boules de cristal.

Bref, mon message principal en tant que mathématicien est que les épidémiologistes ne sont pas Hari Seldon, et que tout le monde doit avoir ce fait en tête (eux-mêmes comme ceux qui lisent leurs rapports). Ce qui ne veut pas dire qu'ils n'ont pas de messages importants à faire passer, ni que les modèles mathématiques n'ont rien à nous dire, ils sont très importants pour naviguer entre les possibles, mais il faut apprendre à faire preuve de la même prudence épistémologique que vis-à-vis de l'utilisation des mathématiques en économie ou en sociologie, et pour l'instant ce n'est pas gagné.

Cette entrée de blog est une version développée (et traduite en français) de ce fil Twitter [lien Twitter direct]. Il peut être utile de commencer par lire ce que j'ai écrit dans cette entrée-ci (qui est elle-même un développement+traduction de ce fil Twitter [lien Twitter direct]) où j'attire l'attention sur l'importance des effets des structures sociales locales qu'aucun modèle épidémiologique ne prend sérieusement en compte (voire, du tout).

❦

Bref, je voudrais expliquer pourquoi l'utilisation de modèles pour simuler les épidémies ne marche tout simplement pas quand il s'agit de prédire l'avenir (et pourquoi ça ne signifie pas que ces modèles sont inutiles). Et aussi pourquoi le nombre de reproduction (dont tout le monde s'est mis à parler) est une quantité très problématique.

Quand une épidémie commence, on voit une croissance exponentielle bien prévisible. Ce qu'on voudrait que nos modèles nous disent, c'est quand et comment cette croissance exponentielle va ralentir puis s'arrêter, combien de personnes seront infectées, et combien mourront. Désolé, mais ça ne marchera pas.

Bien sûr que nous avons un modèle simpl(ist)e qui décrit une épidémie simple avec une contagiosité constante dans une population homogène avec mélange parfait entre individus. Ce modèle s'appelle SIR et il est la base de la base en épidémiologie : j'en ai parlé sous l'angle mathématique dans cette entrée de blog, puis j'ai parlé d'une variante (où le rétablissement se fait en temps constant) dans celle-ci, et j'ai écrit une note plus technique comparant les deux variantes.

Et bien sûr SIR vient avec toutes sortes de variantes plus sophistiquées, comme SEIR qui ajoute une période d'incubation, ou des variantes compartimentées par âge, géographie, etc. Et on peut crée des modèles stochastiques (basés sur des simulations d'un grand nombre d'individus plutôt que des équations différentielles). Mais dans toutes ces variantes, on a un certain nombre de problèmes fondamentaux, soit dans les modèles et ce qu'ils prennent en compte, soit dans les données qu'on peut leur fournir en entrée.

D'abord, il y a les inconnues sur le plan médical. J'en parle dans l'entrée précédente, mais rappelons quelques zones d'ombre. On ne sait toujours pas la chose la plus importante, à savoir combien il y a réellement de cas de Covid-19, et combien d'asymptomatiques. Des tests sont en train d'être fait, des tests aléatoires apparaissent timidement, mais pour l'instant les résultats vont dans tous les sens, semblent se contredire de façon impressionnante, et suggèrent donc surtout qu'il y a beaucoup plus d'inconnues qu'on ne le pensait. Et bien sûr, le nombre de cas étant inconnu (et, dans une moindre mesure, le nombre de décès l'est aussi), le taux de létalité l'est également. Des estimations varient de 0.1% à plus de 5%, ce qui donne une idée de l'étendue de notre ignorance ! En fait, le taux de létalité dépend sans doute de toutes sortes de facteurs (médicaux comme le mode de transmission ou la dose contaminante, et bien sûr démographiques, sociologiques, économiques). Les choses ne sont pas franchement meilleures du côté de la contagiosité ou du nombre de reproduction (je vais revenir sur le nombre de reproduction).

(Les difficultés que je viens de décrire sont assez bien exposées ici par FiveThirtyEight et ici sous forme de bande dessinée par Zach Weinersmith. Mais elles sont loin d'être toute l'histoire, et c'est aussi le reste que je veux souligner ici.)

Maintenant, ce que SIR nous dit, c'est quelque chose comme l'épidémie a une croissance exponentielle jusqu'à ce qu'il y ait une immunité significative qui la ralentit, et alors elle fait un pic. Si on ne sait pas combien de cas on a en vrai, on ne connaît pas le degré d'immunité, donc le modèle ne nous dit pas grand-chose.

Alors on pense peut-être mais justement, je vais peut-être pouvoir lire le niveau d'immunité depuis la courbe des cas passés et la manière dont elle s'infléchit. Mais non : d'une part, la courbe est beaucoup trop bruitée pour qu'on puisse lire autre chose qu'une vitesse de croissance exponentielle grossière (et même ça, on la lit mal) ; et d'autre part, la croissance exponentielle peut ralentir pour des tas de raisons différentes non gérées par le modèle, comme des mesures extérieures (confinement) ou un changement de comportement spontané par exemple sous l'effet de la peur (je vais y revenir).

Et ce n'est toujours pas la fin de l'histoire. Je veux encore expliquer que même si les gens ne changeaient pas du tout leurs habitudes (ce qui élimine les inconnues comportementales) et même si on connaissait exactement le nombre d'infections et le taux de létalité (ce qui élimine les inconnues médicales), il y aurait encore trop d'inconnues à cause des effets sociaux. Détaillons, parce que ça c'est une catégorie de problèmes dont on ne parle pas assez parce que trop de gens n'ont que SIR dans la tête.

Encore une fois, j'ai parlé de ces aspects dans une entrée passée (qui est elle-même un développement+traduction de ce fil Twitter [lien Twitter direct]), où j'ai expliqué pourquoi ces effets sociaux peuvent (en principe !) dramatiquement diminuer le taux d'attaque, mais je veux présenter les choses ici sous un angle différent en insistant sur la manière dont ils rendent les prévisions essentiellement impossibles.

Notamment, quand on parle du nombre de reproduction d'une épidémie, c'est un nombre synthétique, tellement synthétique qu'il en devient presque dénué de sens : l'épidémie progresse dans différentes sous-populations avec des dynamiques différentes, en gros selon des exponentielles. Mais dans une somme d'exponentielles, on ne voit que l'exponentielle qui a la croissance la plus rapide, les autres sont perdues dans le bruit de celle-ci. Donc quand on dit qu'on observe un nombre de reproduction de 3 (disons), ce que ça veut vraiment dire, c'est que au sein de la sous-population qui subit la croissance la plus rapide de l'épidémie le nombre de reproduction a cette valeur : ça ne nous dit essentiellement rien sur la taille de cette sous-population ou la valeur du nombre de reproduction dans d'autres sous-populations, et on ne peut pas lire ces informations sur les statistiques de nombres de cas.

Donc à moins d'avoir accès à des données géographiques et socio-économiques extrêmement fines sur les personnes infectées (ce que nous n'avons pas, on a à peine quelques informations sur l'âge et le sexe), on n'a simplement aucun moyen de savoir comment l'épidémie se propage différemment dans différentes sous-populations et, du coup, comment elle évoluera à l'avenir. (Tout ceci n'a rien à voir avec les inconnues d'ordre médical évoquées plus haut.)

Et ces problèmes d'imprédictibilité sont encore accentué par le fait que, évidemment, les gens modifient leurs comportements en réponse aux informations qu'ils entendent (et leur peur de l'épidémie) et pas juste en fonction de ce que les autorités leur ordonnent (confinement par exemple). Donc si on voit la croissance exponentielle ralentir, il est essentiellement impossible de savoir si c'est parce qu'une sous-population commence à devenir significativement immunisée, ou simplement parce que les gens changent leurs comportements, ou une combinaison de ça.

Et inutile de dire qu'il n'y a aucune modélisation satisfaisante de comment les gens réagissent à une épidémie et changent leurs comportements, ou quels effets ces changements auront sur la contagiosité de l'épidémie.

Dois-je rappeler que, s'agissant du Covid-19, on ne sait même pas comment, dans quelles circonstances, et chez qui la plupart des infections se produisent ? (Contacts directs de personne à personne, contaminations par les surfaces, contaminations par l'air, contaminations par les aliments…) Donc même si on avait une mesure fiable de combien de la réduction des contacts professionnels, ou amicaux, ou dans les transports, on ne saurait pas pour autant en déduire l'effet sur la contagiosité.

Bref, pour résumer, essayer de prédire une épidémie avec des modèles est un peu comme essayer de prédire la météo deux semaines à l'avance en utilisant juste la mesure de la température dans quelques grandes villes. Ah, et les thermomètres ne sont même pas calibrés de la même manière ! (Parce que, bien sûr, différents pays ou états ont des manières complètement différentes de tester, de mesurer le nombre de cas et le nombre de décès, et de publier leurs statistiques ; et la documentation de ces informations est confuse. Quel chaos !)

Si un modèle est trop simple, il rate des choses essentielles et donnera des résultats faux. Alors bien sûr on peut essayer de construire un modèle hautement sophistiqué qui tiendra compte de tout : mettre un zillion de paramètres différents pour tenir compte des sous-populations géographiques et socio-économiques, des réactions comportementales à l'épidémie, des complexités médicales (comme la gravité des cas et des variations de contagiosité qui vont avec), de la prise en charge hospitalière, de la publication des statistiques, des échanges internationaux et des cas importés, bref, la totale.

Mais au final on se retrouve à modéliser toute la société, et il y a une raison pour laquelle la psycho-histoire n'existe pas : quand il a trop de paramètres, un modèle devient inutilisable pour faire des prévisions : on peut l'ajuster à n'importe quelle observation en réglant les paramètres. (Grosso modo, un modèle ne doit pas avoir plus de quantité d'information dans ses paramètres qu'il n'y en a dans les observations qu'on lui soumettra. Or, s'agissant de l'épidémie, les observations sont tellement bruitées qu'elles ont très peu d'information vraiment utile.)

❦

Tout ceci ne signifie pas que les modèles sont inutiles : ils sont inutiles pour faire des prévisions de ce qui va se produire ; mais ils sont utiles pour comprendre les sortes de phénomènes qui peuvent se produire. Même si on n'a que des observations pourries de thermomètres pourris, on peut théoriser toutes sortes de choses intéressantes sur la météo (comme ce qu'est un anticyclone et comment il aura tendance à se comporter). Par exemple, j'ai expliqué à travers des modèles-jouets liés ci-dessus que les effets sociaux peuvent diminuer le taux d'attaque et un rétablissement en temps constant aura tendance à rendre le pic épidémique plus haut et serré (par rapport au modèle SIR) : ce sont des effets généraux, je ne peux pas prédire par combien (surtout pour le premier), mais ces effets sont importants à noter et à comprendre.

Mais tous ceux qui font tourner des simulations épidémiques sur ordinateur, aussi sophistiqués que soient leurs modèles (voire d'autant plus que leurs modèles sont sophistiqués et ont plein de paramètres) devraient faire preuve de la plus extrême modestie en mettant en avant les prévisions de leurs modèles comme des indications de ce qui va se passer. Et ce même s'ils ont eu raison par le passé : après tout, le modèle trivial qui prédit une croissance exponentielle illimitée sera correct jusqu'à un certain point où tout d'un coup il cesse de l'être — toute la difficulté est de prédire ce point, et on ne peut peut-être pas faire mieux qu'une vague intuition.

De même, toute personne utilisant le terme nombre de reproduction devrait garder à l'esprit qu'il est à peu près aussi informatif que la température moyenne sur l'ensemble de la Terre quand on parle de météo : on ne sait pas pour quelle sous-population on le mesure, ni ce qui l'influence. (Et aussi, je n'en peux plus de tous ces gens qui affirment sans nuance que le seuil d'immunité grégaire est autour de 60%–70% sur la base d'un nombre de reproduction de 3 et du modèle SIR homogène complètement faux.)

❦

Maintenant, ce qui m'inquiète surtout avec tout ça, c'est que les hommes politiques risquent d'écouter les épidémiologistes qui parlent le plus haut et fort des qualités de leur modèle, et/ou ceux qui ont une réputation de grands pontes (ce sont souvent les mêmes), comme les hommes politiques ont tendance à écouter les infectiologues qui parlent le plus haut et fort des qualités de leur remède miracle préféré et/ou ont une réputation de grands pontes. Or les gens les moins modestes ne sont pas forcément les plus compétents.

Je pense, comme je l'ai suggéré en introduction, qu'il est assez pertinent de comparer l'épidémiologie à l'économie ou à la sociologie (qui ne sont d'ailleurs pas si éloignées) plutôt que, disons, à la climatologie comme je l'ai peut-être malheureusement suggéré dans ce qui précède (comparaison qui a du sens pour d'autres raisons) : il s'agit de modéliser des phénomènes humains profondément complexes dont certains aspects, mais pas tous, se laissent bien mettre en équations. Les modèles mathématiques ont tout à fait leur place dans toutes ces disciplines, il ne faut pas en avoir peur ni les refuser par principe : mais il faut être bien conscient de leurs limites, à la fois leurs limites intrinsèques, leurs limites dues aux limitations des données et observations qu'on peut leur fournir en entrées, et leurs limites dues aux présupposés de ceux qui les développent ou appliquent.

Sur ce dernier point, je veux souligner qu'il existe des économistes plus ou moins à gauche ou à droite sur le spectre politique, et ils ont tendance à trouver des modèles qui confortent leurs opinions politiques préexistantes. (Bien sûr, on peut espérer que la causation ait lieu plutôt dans l'autre sens, que leurs opinions politiques découlent de ce que leurs modèles leur disent, mais qui y croit.) Ce n'est pas forcément damnant, mais ça doit justement nous aider à nous rappeler la limite de ces modèles. Je pense qu'il en va de même des épidémiologistes : qu'il en existe des confiniens et des immunitaristes et que leurs modèles vont, comme par hasard, montrer surtout les avantages des stratégies de type ① contenir ou ② mitiger. Encore une fois, ce n'est pas forcément damnant, il faut juste se rappeler que le modèle n'est pas la vérité révélée mais incorpore une bonne partie des présupposés de ceux qui l'ont développé.

Mais la différence avec l'économie ou la sociologie est que nous avons collectivement appris (du grand public aux politiques, en passant par les chercheurs eux-mêmes), au moins dans une certaine mesure, à évaluer avec prudence ce que disent les économistes et sociologues et à nous rappeler qu'ils peuvent être orientés politiquement : alors que, s'agissant de l'épidémiologie, notre capacité à mettre en doute et en perspective n'est sans doute pas bien développée — nous sommes, si j'ose dire, immunologiquement naïfs vis-à-vis des préjugés et autres limitations des modèles des épidémiologistes autant que nous le sommes vis-à-vis du nouveau virus. Nous n'avons aucune habitude du fait que l'épidémiologie occupe un terrain aussi exposé médiatiquement, — ces gens sont des médecins ou des mathématiciens, professions entourées d'un certain préjugé de respectabilité ou de fiabilité, ils ont des méthodes qui ont l'air sérieuses (des équations différentielles ! des statistiques bayesiennes !), — du coup, nous avons tendance à leur faire confiance : ce qui n'est pas injustifié, heureusement, mais cette confiance peut dépasser la précaution que toutes ces prévisions demandent. Et la même chose vaut pour les épidémiologistes eux-mêmes, portés tout d'un coup sur le devant de la scène mondiale, et qui doivent à la fois livrer des prévisions que tout le monde leur réclame anxieusement, et se montrer meilleurs qu'une armée de charlatans amateurs qui réclament l'attention sur leurs innombrables variations autour de SIR : même s'ils ont développé une certaine réserve vis-à-vis de leurs propres résultats et de ceux des autres, les journalistes seront loin d'avoir cette même réserve. Le cocktail est épistémologiquement explosif.

❦

Regardons un petit exemple pour illustrer les difficultés que je signale : le dernier rapport du laboratoire EPIcx de l'INSERM concernant l'Île-de-France. Pas que ce rapport soit plus problématique que les autres, mais il se trouve que tout le monde m'en parle en ce moment, alors je vais utiliser cet exemple.

Sur quoi se basent-ils donc ? Essentiellement un modèle SEIR (dans une variante stochastique) avec trois compartiments (sous-populations) par tranches d'âge (enfants, adultes, seniors), et une typologie assez complexe des stades de la maladie (période d'incubation, période présymptomatique mais infectieuse, période symptomatique) et des niveaux de symptômes (asymptomatiques, pauci-symptomatiques, moyennement symptomatiques, nécessitant une hospitalisation, nécessitant réanimation…), avec une modélisation assez fine du processus hospitalier. L'aspect médical de la simulation est donc assez raffiné — ce qui ne l'empêche pas de buter contre le problème que j'ai déjà mainte fois signalé qu'on ne sait toujours pas grand-chose sur la proportion de malades et de symptomatiques ! et qu'il leur faut donc choisir leurs chiffres parmi plein d'études contradictoires. L'aspect sociologique, lui, est complètement ignoré : de ce que je comprends, chacune des populations (enfants, adultes, seniors) est traitée comme complètement homogène et toute la sociologie est ramenée à des matrices de mélange entre ces populations selon les mesures de distanciation appliquées (et qui sont évaluées comme ils le peuvent). Aucune sorte de modélisation de la taille des familles n'est effectuée, par exemple (la contamination intra-familiale est simplement une composante de la contamination en général, comme si les contacts familiaux avaient lieu aléatoirement au sein d'une population homogène ; pourtant, la taille des ménages c'est au moins quelque chose sur quoi on a des données), aucune distinction entre travailleurs et télétravailleurs, aucune catégorisation selon l'usage des transports en commun, aucune catégorisation selon le nombre de contacts sociaux dont j'ai souligné l'importance, etc. Je n'arrive même pas à savoir s'ils ont fait une modélisation géographique. Il n'est même pas très clair, à la lecture du rapport, à partir de quoi ils estiment que le confinement réduit les contacts de 80%, j'ai l'impression qu'il s'agit d'une estimation à vue d'œil sur la croissance des cas (mais ce qui ignore le fait qu'une composante de la réduction de la croissance est liée à des mesures de distanciation spontanée de la population). Bref, énormément de limitations.

Ce qui n'est pas, encore une fois, un reproche grave — ni même un reproche tout court. Comme je l'ai dit plus haut, il est tout simplement impossible de faire un modèle complet. C'est normal.

Mais cela doit nous rappeler que les choix des phénomènes modélisés (ici, tout ce qui est médical est rendu avec une certaine finesse, ce qui est sociologique ne l'est pas du tout), et dans une certaine mesure les choix des paramètres parmi des estimations contradictoires, dépend des présupposés des modélisateurs. Donc en aucun cas les conclusions de leur modèle ne peuvent être considérées comme des prédictions, seulement des possibilités. (Ce qui ne m'empêche pas d'y croire globalement !) Le problème n'est pas dans les limitations du modèle, le problème est dans le langage utilisé dans la formulation des conclusions, qui ne fait pas preuve de la prudence séant à ce niveau d'incertitude (p.ex., intensive forms of social distancing are required présuppose à la fois que leurs estimations sont correctes et qu'on ait décidé de ne pas viser une immunité collective). Et si les auteurs du rapport sont certainement au courant des limitations de leur modèle, il aurait été de bon ton de les développer, parce que je ne pense pas que beaucoup de lecteurs fassent spontanément l'analyse que je viens d'expliquer dans les paragraphes précédents.

❦

Il y a un autre problème qu'il faut que je discute (parce qu'il est en rapport, sinon avec ce que j'ai dit ci-dessus, au moins avec l'honnêteté de l'épidémiologie en tant que discipline), à la fois concernant le rapport de l'équipe de l'INSERM que contre celui d'Imperial College que j'avais évoqué ici. Disons que j'ai un reproche conditionnel à faire : je ne sais pas s'il faut le faire, j'espère que ce n'est pas le cas, mais si c'est le cas il est très grave à mes yeux.

Le problème est que je ne vois pas où est le code source de leur modélisation (je veux dire, le programme qui a servi à la calculer, et les données fournies en entrée). Je veux être prudent, donc, parce qu'il est possible (probable ?) que j'aie simplement mal regardé, et si on me signale qu'il fallait juste chercher à tel endroit, je me contente de dire ce n'était franchement pas très clairement indiqué ! (les mots source code ou équivalents devraient apparaître dans le rapport, il devrait y avoir un lien clair depuis la page web du labo, etc.).

En revanche si le code source n'est pas du tout rendu public, alors je dis franchement : cette attitude est indigne de chercheurs ou de scientifiques. En effet, le propre de la démarche scientifique est d'être reproductible : la sortie d'une modélisation n'a aucune valeur si on ne fournit pas les moyens de refaire cette modélisation (c'est-à-dire à la fois le programme utilisé pour la modélisation, et toutes les données qui lui ont été fournies en entrées). C'est bien de fournir une vague description du modèle utilisé (le nombre de compartiments de la population, les constantes de mélange, etc.) et de tracer quelques courbes que le modèle a produit en sortie, mais ça ne suffit en aucune manière (ne serait-ce que parce qu'il y a toujours des choses qui seront peu claires sur la description, par exemple quelle est la distribution de probabilité sur le temps de rétablissement ? j'ai montré que ça avait beaucoup d'importance).

Si tout un chacun ne peut pas faire tourner lui-même la simulation, jouer avec les paramètres et explorer ce que leur variation a pour effet, le modèle n'a pas de valeur scientifique et je considère qu'aucun journal ne devrait accepter de le publier. J'espère donc que j'ai simplement mal regardé et que le code source est disponible sur un GitHub que je n'ai pas vu. (En tout cas, j'attire l'attention sur le fait que dans la modélisation des effets sociaux que j'ai écrite il y a quelque temps, et dont je rappelle qu'elle ne prétend pas faire la moindre prédiction mais uniquement montrer des tendances, j'ai bien fourni le code source utilisé pour mes simulations.)