David Madore's WebLog: Sur les biais systématiques des épidémiologistes

[Index of all entries / Index de toutes les entréesLatest entries / Dernières entréesXML (RSS 1.0) • Recent comments / Commentaires récents]

↓Entry #2667 [older| permalink|newer] / ↓Entrée #2667 [précédente| permalien|suivante] ↓

(dimanche)

Sur les biais systématiques des épidémiologistes

Puisque visiblement mes tentatives pour parler d'autre chose que de covid n'intéressent pas grand-monde, je remets une pièce dans la machine. Je voudrais dire un mot sur les biais systématiques que commettent, selon moi, les épidémiologistes dans leurs analyses, et le problème qu'il y a à n'écouter qu'eux.

J'avais déjà évoqué ici une comparaison entre épidémiologistes et économistes pour parler des biais des uns et des autres, et de la manière dont la société a appris avec les économistes, mais pas encore avec les épidémiologistes, à se méfier au moins un minimum de ces biais et de ne pas prendre pour argent comptant tout ce qu'ils disent. Mais je veux revenir un peu sur l'orientation de ces biais : il y a bien sûr des économistes plutôt biaisés à droite et d'autres plus biaisés à gauche, mais il y a tout de même une tendance générale, et il y aussi une tendance analogue chez les épidémiologistes : c'est cette tendance qui m'intéresse ici, ainsi que ses origines.

Le problème qui se pose à la fois aux épidémiologistes et aux économistes, c'est que les humains sont complexes, leurs réactions sont complexes, et qu'on ne sait pas bien prévoir leurs comportements, même en bloc (je suis désolé, ma théorie de la psychohistoire est encore en développement). Le problème, c'est donc que les modèles sont très limités, et on doit s'en tenir à des choses très simple. Et le problème dans le problème, c'est que ces modèles simplistes entraînent non seulement des erreurs, mais des erreurs systématiques. Et que ces erreurs systématiques vont (sans que ce soit forcément volontaire) dans le sens de ce qui arrange les tenants de la discipline, ce qui donne naissance à des biais disciplinaires. Je vais m'expliquer.

L'état de l'art en épidémiologie, c'est à peine mieux que on a une croissance exponentielle, on va donc extrapoler cette croissance exponentielle. Très bien, mais toute croissance exponentielle finit par s'arrêter, et toute la difficulté est de prédire quand. Et ça, les épidémiologistes sont complètement incapables de le faire. C'est normal : c'est terriblement compliqué !

(Noter que ce n'est pas idiot en soi, d'extrapoler une croissance exponentielle. Une anecdote que j'aime bien — certainement apocryphe car toutes les bonnes anecdotes le sont — au sujet d'Euler, veut que Catherine II lui ait demandé comment prédire la météo, et qu'il ait répondu prédisez pour demain le même temps qu'aujourd'hui : ce n'est pas idiot, la Russie a un climat continental, et avec une heuristique aussi triviale on doit avoir raison neuf fois sur dix. Et avec les moyens de l'époque on pouvait sans doute difficilement faire mieux. Euler était loin d'être un con. Mais le problème est que si on applique cette heuristique de façon répétée un jour de beau temps, on va prévoir des mois de beau temps, et finalement une terrible sécheresse, or l'heuristique qui localement marche bien échoue totalement quand on l'applique au long cours.)

Alors bien sûr, même les modèles épidémiologiques les plus idiots prédisent quelque chose d'un peu moins stupide qu'une exponentielle illimitée. Mais ils modélisent tellement peu de phénomènes sociaux qu'ils prédisent un arrêt de cette exponentielle dans des conditions essentiellement inatteignables, si bien que si on les prend tels quels c'est en gros l'apocalypse. (Le modèle SIR, pour une épidémie avec R₀=2.5, il prédit que 89% de la population va être infectée ; et pour une épidémie comme la rougeole avec R₀=15 il prédit que 99.99997% de la population sera infectée. Dans la comparaison météorologique du paragraphe précédent, c'est essentiellement imaginer que le temps ne cessera d'être beau qu'une fois que touts les sols seront desséchés.)

Spécifiquement, il y a au moins deux sortes de phénomènes que les épidémiologistes, de ce que j'en ai vu, ignorent systématiquement : en gros, le fait que le nombre de reproduction n'est constant ni dans le temps ni dans l'espace ou la société. À savoir :

  • Le changement de comportement de la population, et pas uniquement sous l'effet de directives venues d'en haut :

    Tous les modèles épidémiologiques que j'ai vu passer font en effet essentiellement cette hypothèse : on a un nombre de reproduction « basique », ce nombre de reproduction doit rester valable sauf si on fait quelque chose comme un confinement ou sauf si l'immunité s'accumule assez pour le faire baisser (ça c'est la partie SIR). Autrement dit, les gens ne changent pas spontanément leurs comportements même pendant une pandémie.

    Or non seulement c'est complètement stupide a priori d'imaginer qu'une population qui entend parler de covid du matin au soir dans les médias va garder les mêmes comportements qu'en mars à moins qu'on lui ordonne de rester chez eux ou de porter un masque ou je ne sais quoi, mais c'est contredit par plein d'observations.

    [Ce qui suit est un développement de ce point, on peut sauter jusqu'au point suivant si on n'est pas intéressé par ce développement.]

    L'exemple le plus frappant de cette hypothèse poussée jusqu'à l'absurde est un papier que l'équipe de Neil Ferguson à Imperial College avait réussi à faire paraître début juin dans Nature, Estimating the non-pharmaceutical interventions on covid-19 in Europe. Ce papier cherche à évaluer l'efficacité des interventions non-pharmaceutiques (NPI : un terme, complètement ridicule au demeurant, pour désigner les mesures anti-covid comme fermeture des écoles, confinements, etc.) de différents pays européens. Le principe de leur modèle est le suivant : ils postulent que les seuls effets sur la contagiosité de la maladie sont ces NPI et que chacune a un effet constant (i.e., les comportements des gens sont tout le temps les mêmes sauf quand on prend une mesure et alors ils changent brutalement), et ils essaient de fitter ces constantes en regardant la courbe des décès de chaque pays du pool. Conclusion de l'article : les confinements ont un effet énorme, toutes les autres interventions n'en ont quasiment pas (et du coup, ils prédisent un nombre gigantesque de morts en l'absence de confinement). Le biais systématique introduit est dû au fait que comme les confinements sont la mesure de dernier recours, toute l'évolution de l'épidémie non expliquée par autre chose se retrouve poussée sous le parapluie du confinement, qui apparaît donc comme spectaculairement efficace. Il y a un seul pays qui n'a pas pris de mesure de confinement, c'est la Suède : le modèle aurait donc dû permettre d'en rendre compte, parce qu'il aurait complètement échoué à prédire la situation suédoise, mais ils s'en tirent en ayant introduit un country-specific random effect (j'aurais envie d'appeler ça un Finagle factor) qui, dans le cas de la Suède, prend une valeur gigantesque. Tout ça est à la limite de la malfaçon scientifique. (D'autant plus que si j'en crois ceci, ils ont utilisé un modèle différent pour les États-Unis qui, appliqué aux données européennes, prédit, lui, que les confinements n'ont eu aucun effet : il est difficile de croire que l'équipe en question n'était pas au courant de cette contradiction entre leurs deux modèles.) [Ajout () : ce billet de Philippe Lemoine explique très en détail ce pourquoi l'article en question est une imposture intellectuelle, et je souscris tout à fait à cette analyse.] Mais bon, assez parlé de ce lamentable papier et revenons au problème général.

    (Il y a un autre papier sorti plus récemment aussi dans Nature, qui essaie de refaire la modélisation de façon un peu plus sérieuse. Je n'ai pas encore eu le temps de le regarder : ça a l'air plus sophistiqué, mais tellement que je me demande si ce n'est pas une façon de dissimuler tout ce qu'on veut dans un modèle qui fait tout même le café. Et j'ai peur qu'ils partent eux aussi sur la même hypothèse que le comportement des gens ne change que sous l'effet des interventions gouvernementales.)

    Il y a toutes sortes de raisons de croire que cette hypothèse les gens ne changent pas de comportement sauf sous l'effet de directives venues d'en haut est fausse dans les faits :

    • les résultats incohérents des modèles de l'équipe d'Imperial College, signalés ci-dessus,
    • le fait que le nombre de reproduction en France a beaucoup baissé avant même la mise en place du premier confinement (j'ai déjà dû montrer cette version archivée de la page de epiforecasts.io sur la France qui montre une baisse significative avant le 16 mars),
    • le fait que le nombre de reproduction est resté bas entre les deux vagues épidémiques (en France, et plus largement en Europe), mais a commencé à remonter vers la mi-juillet, ce qui ne semble pas entièrement explicable par des mesures prises d'en haut,
    • les données des métropoles françaises pendant cette seconde vague (voir par exemple ce graphique) qui montrent un déclin des cas trop tôt pour être dû au reconfinement (voire au couvre-feu si on considère les eaux usées en Île-de-France, graphique ici),
    • le fait, lié, que les prédictions françaises pour la seconde vague étaient excessivement pessimistes (on est en-dessous des prédictions les plus optimistes ; et certainement bien en-dessous des 9000 personnes en réanimation annoncées quoi qu'on fasse pour la mi-novembre par Emmanuel Macron lors de son intervention télévisée), et que l'explication la plus évidente est que les gens ne se sont pas comportés comme prévu,
    • le fait que la Croatie, n'ait pris essentiellement aucune mesure depuis la fin de la première vague, et ne soit déjà plus du tout en croissance exponentielle, idem en Arménie (difficile de trouver des informations claires sur les mesures qui ont été prises) avec un reflux des cas,
    • les explications d'Anders Tegnell qui explique la seconde vague en Suède par le fait que les Suédois se seraient confinés d'eux-mêmes pendant la première,
    • et bien sûr, le fait que c'est l'explication, que je sache, standard au phénomène des vagues multiples des épidémies (les gens modifient leur comportement, on atteint l'immunité de groupe pour ce comportement modifié, mais les changements de comportement ne durent pas longtemps, donc l'épidémie revient).

    Aucune de ces observations n'est conclusive en elle-même, mais prises toutes ensemble elles suggèrent fortement que cette hypothèse de comportements constants est à jeter — d'autant plus qu'elle est suspecte a priori et je n'ai vu passer aucune raison d'y croire à part c'est ce qui arrange nos modèles.

    Il est possible que les changements de comportement ne jouent que très peu, mais il est aussi possible qu'ils jouent énormément, et ce n'est pas une démarche scientifique sérieuse que de postuler que ces effets sont négligeables juste parce qu'on sait mal les modéliser, surtout quand ceci conduit à un biais systématiquement dans le même sens (j'y reviens).

  • Les effets d'hétérogénéité au sein de la population :

    J'ai déjà écrit à ce sujet, mais je peux le redire autrement pour plus de clarté : le modèle SIR suppose une population complètement homogène et un mélange parfait (n'importe qui a la même probabilité d'infecter n'importe qui d'autre). Or toute violation de ces hypothèses, ce que je regroupe sous le terme général d'hétérogénéité, va avoir tendance à faire baisser le seuil d'immunité grégaire (et le taux d'attaque). Ceci s'applique notamment :

    [Comme pour le point précédent qui suit est un développement de ce point, on peut sauter jusqu'au point suivant si on n'est pas intéressé par ce développement.]

    • Aux disparités géographiques (entre régions ou entre villes et campagnes, par exemple) : c'est sans doute la forme d'hétérogénéité la plus simple à comprendre : si les régions urbaines sont des lieux plus propices à la contagion épidémique, elles vont connaître un nombre de reproduction plus élevé, et elles vont être touchées en premier par l'épidémie ; quand on mesure le nombre de reproduction, qui est une sorte de moyenne selon les cas, on va mesurer celle de ces régions à haute reproduction, parce que c'est elles qui comptent le plus de cas (une somme d'exponentielles est dominée par l'exponentielle de plus forte croissance) ; mais ceci contribue à faire des prédictions excessivement pessimistes sur l'ensemble du pays, qui n'est pas constitué uniquement de zones à haute reproduction (par exemple, pour atteindre l'immunité grégaire dans le pays tout entier, il faut l'atteindre avec le taux attendu dans ces zones à haute reproduction, mais avec un taux plus faible dans les autres zones, ce qui fait que la prédiction faite naïvement sur la base du nombre de reproduction observé — celui des zones initialement les plus touchées — est pessimiste). Exemple simple : si R=2.5 dans les zones urbaines et R=1.5 dans les zones rurales, on va initialement mesurer R=2.5, mais l'immunité grégaire n'exigera d'immuniser que 1 − 1/2.5 = 60% de la population urbaine et 1 − 1/1.5 = 33% de la population rurale, ce qui fait beaucoup moins que 60% de l'ensemble.
    • Aux disparités socio-économiques : essentiellement le même phénomène peut se produire que celui décrit ci-dessus, mais avec des catégories socio-économiques plutôt que géographiques, pour peu qu'il n'y ait pas un excellent mélange entre catégories. La subtilité ici, c'est que ceci risque d'être beaucoup plus difficile à lire et à détecter que les disparités géographiques, faute de données bien renseignées.
    • Aux différences sociales individuelles : c'est ce que j'expliquais dans la vieille entrée liée ci-dessus, et je l'ai modélisé beaucoup plus précisément ici : les gens ayant beaucoup de contacts sociaux vont être touchés en premier par l'épidémie (justement parce qu'ils ont beaucoup de contacts), et quand ils seront immuns, ils contribueront de façon disproportionnée à freiner la progression de l'épidémie (parce qu'on aura retiré du graphe beaucoup de contacts possiblement infectieux), ce qui fait que l'immunité collective peut être atteinte beaucoup plus tôt.
    • Aux différences médicales individuelles, par exemple une différence de susceptibilité (voir ce fil Twitter, et ses suites ici et ). Bon, là ce n'est pas un effet uniquement social (la variation de susceptibilité peut être d'origine médicale ; mais elle peut aussi être d'origine sociale), mais c'est néanmoins un effet d'hétérogénéité, donc je le range dans la même catégorie.

    (En revanche, il faut souligner que les événements superpropagateurs ne sont pas une forme d'hétérogénéité susceptible de diminuer l'attaque de l'épidémie s'il s'avère qu'ils sont distribués aléatoirement et que rien ne permet de les prédire ; de façon générale, les variations d'infectiosité n'ont pas d'impact à ce niveau sauf, par exemple, si elles sont corrélées à des variations de susceptibilité. Je ne les inclus donc pas dans ma liste. De même, les variations de taux de létalité, par exemple selon l'âge, sont certainement importantes pour prédire des nombres de morts, mais pas vraiment pour le niveau d'attaque de l'épidémie.)

    On ne sait pas à quel point ces effets sont importants. (Puisque, justement, on n'a pas atteint d'immunité collective. Ou plutôt, les endroits où on l'a probablement atteinte, comme des bateaux ou des zones très densément peuplées, sont aussi des endroits où l'hétérogénéité est basse et le nombre de reproduction probablement élevé, comme l'atteste le fait qu'ils ont atteint l'immunité collective en premier, ce qui ne permet pas de tirer de conclusion sérieuse.) Il est possible qu'ils ne jouent que très peu, mais il est aussi possible qu'ils jouent énormément, et, de nouveau, ce n'est pas une démarche scientifique sérieuse que de postuler que ces effets sont négligeables juste parce qu'on sait mal les modéliser, surtout quand ceci conduit à un biais systématiquement dans le même sens.

Il est possible qu'il y ait d'autres catégories d'effets du même genre que les deux que je viens de détailler. L'idée générale, en tout cas, est qu'on sait très mal modéliser les phénomènes humains, mais aussi, que les modèles simplistes qui les ignorent ont un biais systématique dans le sens pessimiste (pour le premier point : parce que les gens, s'ils modifient leur comportement spontanément pendant une épidémie, vont plutôt le faire de façon à avoir moins de contacts ; et pour le second : parce que, comme je l'ai expliqué, toutes les formes d'hétérogénéité tendent à diminuer l'attaque de l'épidémie).

Bien sûr, certains modèles tiennent quand même partiellement compte de certains de ces effets (les disparités entre régions géographiques, notamment, sont les plus souvent modélisées, ainsi que les disparités selon l'âge, mais ce sont les moins susceptibles d'avoir un effet favorable sur l'épidémie). Mais ce n'est qu'occasionnellement le cas, et pour un tout petit nombre des phénomènes que je viens de lister (et jamais, il me semble, pour la réaction spontanée des gens à l'épidémie).

Bref, on travaille le plus souvent sous des hypothèses telles que : les gens ignorent complètement le fait qu'une pandémie leur tombe dessus sauf s'ils reçoivent des consignes spécifiques, ils sont tous dans la même catégorie sociale et fréquentent autant de monde, ils sont tous également susceptibles aux virus respiratoires, etc. On me permettra d'être un chouïa sceptique quant à l'applicabilité réelle de telles hypothèses.

Globalement parlant, si on extrapole une exponentielle ou si on prend un modèle à peine moins trivial comme SIR, on fait des prédictions qui sont non seulement fausses, mais essentiellement toujours fausses dans le même sens (trop pessimistes). Le fait qu'il soit difficile de prévoir l'ampleur de ces erreurs, ou, du coup, de faire mieux, n'est pas une raison pour oublier le fait que ces erreurs sont là.

Donc on a une situation où la même catégorie de gens, les épidémiologistes, qui :

  • ignorent complètement les phénomènes sociaux parce que c'est trop compliqué donc on fait des modèles sans,
  • aboutissent à des prédictions qui sont donc toujours biaisées dans le même sens (= surestimer les effets de la pandémie), donc conduisent à des politiques qui sont elles aussi biaisées toujours dans le même sens (= surréagir),
  • et comme par hasard, c'est le sens qui arrange le plus ces gens, dont le boulot est justement de s'intéresser aux aspects médicaux de la pandémie au détriment de tout ce dont ils ne sont pas spécialistes (les conséquences psychologiques, sociales, économiques, etc.).

Pour qu'il n'y ait pas d'ambiguïté, je ne vois pas du tout ça comme un complot des épidémiologistes : c'est juste une tendance naturelle que nous avons tous de donner plus d'importance aux choses qui nous concernent, aux choses que nous comprenons bien, aux choses sur lesquelles nous avons prises, aux choses pour lesquelles nous sommes compétents ou formés. Il est normal que les médecins s'intéressent particulièrement à la médecine, et les épidémiologistes à l'épidémiologie, et qu'ils aient un regard biaisé vers les questions centrales de ces disciplines (garder les gens en bonne santé) par rapport à des questions plus vastes de société.

La faute, si faute il y a, est donc plutôt à rejeter vers ceux qui écoutent trop les épidémiologistes (en se disant, c'est normal, il y a une épidémie, il faut écouter les épidémiologistes) alors que toute crise de ce type doit faire intervenir toutes sortes d'autres spécialistes (psychologues, sociologues, économistes, juristes, philosophes, etc.).

Le problème est qu'on permet aux épidémiologistes d'émettre un jugement comme il faut confiner les Français et qu'on les écoute en considérant que c'est de leur domaine de spécialité, au lieu de leur dire pas plus haut que la chaussure ! vu qu'ils ne sont pas plus fondés que le quidam lambda à juger les conséquences de leur proposition dans tous les autres domaines pertinents. (La composition du conseil scientifique rassemblé par le gouvernement français pour l'éclairer pendant cette épidémie est absolument hallucinante : il n'y a qu'une malheureuse anthropologue et un malheureux sociologue face à plein de médecins — et même pas un psychiatre parmi les médecins.)

Tout ce que je viens de me dire est, il me semble, extrêmement analogue à ce qu'on peut constater avec les économistes. Eux aussi ont tendance, je crois, à ignorer toutes sortes de réalités sociales complexes parce qu'ils ne savent pas les modéliser, et donc réduire des phénomènes difficiles à des indicateurs qu'ils comprennent (le PIB, par exemple), et du coup à faire des prédictions ou à formuler des avis, qui sont biaisés de façon systématique.

Et associé à ce biais épistémologique est associé un biais politique : dans le cas des économistes, sur un axe qui irait de la droite libérale à la gauche socialiste, il me semble qu'il y a un biais assez net (par rapport à la population en général) en direction de la droite (alors que chez les sociologues, ce biais va plutôt vers la gauche, je crois, pour des raisons symétriques). Il n'est pas surprenant que les épidémiologistes soient, de façon analogue, biaisés dans le sens confinementiste. Bien sûr, il existe des économistes marqués à gauche, comme il existe quelques épidémiologistes qui tranchent avec le discours général de cette spécialité (Sunetra Gupta est devenue la plus visible, mais il y en a d'autres). Encore une fois, ça ne signifie pas qu'on ne doit pas écouter les économistes ou les épidémiologistes : il faut simplement se rappeler que leur spécialité entraîne souvent un biais : les économistes vont sans doute vous encourager à diminuer la voilure de l'État et les épidémiologistes à contenir les épidémies — il n'y a pas de vérité en la matière, juste un arbitrage à faire.

Mais ce qui me frappe particulièrement est que l'analyse que je viens de faire est bien connue s'agissant des économistes, notamment de certains gauchistes qui sont les premiers à dénoncer les biais systématiques des économistes (par exemple, à une certaine époque, en faveur des politiques d'austérité) ne semblent pas voir qu'exactement le même phénomène se produit pour les épidémiologistes. Exactement comme je n'arrive pas à comprendre que des gauchistes (souvent les mêmes) qui sont les premiers à dénoncer les atteintes insupportables que la lutte contre la criminalité fait peser sur nos libertés individuelles et nos vies privées ne voient pas que la question (devrions-nous sacrifier une liberté essentielle à une sécurité temporaire ?) est exactement analogue dans la lutte contre la pandémie.

(L'ironie supplémentaire, c'est que les tables sont largement inversées : grosso modo, c'est maintenant souvent la droite libérale, celle qui a normalement tendance à applaudir les économistes, qui dit qu'on a trop de mesures confinementistes, et c'est la droite réac — voire l'extrême-droite complotiste —, celle qui a normalement tendance à applaudir les politiques sécuritaires, qui dit qu'on en fait trop pour la sécurité contre l'épidémie. Donc en fait quasiment tout le monde est de mauvaise foi dans l'affaire.)

J'ai certainement mes propres biais, mais j'espère au moins être cohérent d'une discipline à l'autre : je me méfie des biais des épidémiologistes autant que de ceux des économistes, de même que je m'inquiète des politiques sécuritaires autant dans le domaine de la santé que de la lutte contre la criminalité.

↑Entry #2667 [older| permalink|newer] / ↑Entrée #2667 [précédente| permalien|suivante] ↑

[Index of all entries / Index de toutes les entréesLatest entries / Dernières entréesXML (RSS 1.0) • Recent comments / Commentaires récents]