Régulièrement, quand une élection tourne de manière différente de
ce que les sondages annonçaient — ou plutôt, de ce qu'une lecture très
naïve des sondages semblait permettre de conclure — on entend des
hommes politiques, aussi bien du camp des gagnants (i.e., ceux qui ont
fait mieux que ce que les sondages semblaient annoncer) que du camp
des perdants (i.e., ceux qui ont fait moins bien) dire quelque chose
comme : Le premier perdant dans cette élection, ce sont les
instituts de sondages !
— ou encore : S'il y a une principale
chose à retenir, c'est qu'il ne faut pas faire confiance aux
sondages.
Je pense que le message à comprendre entre les lignes
est quelque chose comme, chez les uns, un infâme complot a cherché
à nous faire croire que nous ne pouvions pas gagner (sans doute pour
décourager nos électeurs de voter pour nous), et ce complot a été
déjoué
, et chez les autres, un infâme complot a cherché à nous
faire croire que nous ne pouvions pas perdre (sans doute pour
démotiver nos électeurs à venir voter), et ce complot a
malheureusement réussi à nous coûter la victoire
. Ce n'est jamais
aussi clair, bien sûr, mais la petite musique est là quelque part.
Plus exactement, il semble y avoir une double affirmation chez à peu près tout le monde politique : (1) les sondages n'ont aucune valeur scientifique, ils sont tout faux, ils se trompent tout le temps, et, plus subtilement, (2) les sondages nuisent à la démocratie parce que l'impression de prédestination qu'ils procurent influence les électeurs dans leur choix, et gâche l'authenticité de leur vote, voire, corrompt une forme d'idéal démocratique qui devrait être celui où les électeurs font leur choix chacun sans tenir compte de ce qu'ils savent des choix des autres. Les petits partis, par exemple, aiment bien prétendre qu'ils restent petits parce que les sondages montrent qu'ils sont petits donc les électeurs ne veulent pas voter pour eux (de peur que leur voix soit essentiellement « perdue »), donc ils déclarent aux sondeurs ne pas vouloir voter pour eux, et le cercle vicieux se boucle.
Et je suis le premier à dire que ces effets boule de neige existent et jouent un rôle gigantesque dans notre société (d'autant plus qu'elle est « connectée ») et dans le fait que toute forme de succès soit auto-entretenu. Donc dénoncer ce problème me semble légitime. Mais le mettre sur le dos des sondages ? C'est oublier qu'il y a toutes sortes d'autres manières dont les opinions des uns se répercutent positivement sur les opinions des autres : des conversations entre amis aux messages viraux sur les réseaux sociaux en passant par la caisse amplificatrice du tri des journalistes, et aussi, les élections elles-mêmes (lors de l'élection N+1, on prendra d'autant plus au sérieux un parti ou un candidat qui a fait un score honorable à l'élection N). Les sondages sont un engrenage dans cette boucle de rétroaction positive, mais ils n'en sont qu'un parmi d'autres.
Il y a un autre problème qu'il me semble tout à
fait légitime de critiquer (mais qui n'est pas vraiment mon propos
ici), c'est quand on oublie que l'opinion publique n'existe pas
tant qu'on ne la mesure pas : c'est une sorte de phénomène
quantique, en ce sens que sur l'immense majorité des questions,
l'immense majorité des gens n'a aucun avis simplement parce
qu'ils ne se sont pas posé la question. Or faire une mesure — poser
une question — c'est créer une opinion, et ce n'est en rien une
opération neutre. D'autant que la manière dont la question est
tournée a une influence gigantesque sur la réponse que les
gens donneront, et que le résultat entrera dans la boucle de
rétroaction de la société dans son ensemble. Ce qui doit nous
intéresser ultimement est l'avis que donnerait la société après un
débat et une réflexion sereins (voir ce que
je racontais sur les referenda), ce
qui n'est certainement pas ce que mesure un sondage. Mais bon, je me
limite ici aux sondages sur un vote à venir, ce qui assure au moins
que (1) le sondage ne crée pas la question ou le débat, et (2) on peut
penser que la question est formulée de façon raisonnablement neutre
(comment comptez-vous voter à l'élection du
<tant> ?
).
Bref, quand j'entends des gens les décrier, j'ai l'impression d'avoir affaire à quelqu'un qui a consulté son thermomètre avant de sortir pour choisir comment s'habiller, sans tenir compte du fait que le thermomètre était peut-être en plein soleil, ou qu'il y avait plein de vent, ou que la nuit allait tomber, ou je ne sais quoi du genre, et qui a trop chaud ou trop froid, et qui passe sa mauvaise humeur sur ce satané instrument de mesure et en vient presque à dire que la thermodynamique est une affaire de charlatans. Mon bon Monsieur, une mesure est une mesure : votre interprétation de cette mesure en est une autre ! Et si vous vous fiez aveuglément à cette interprétation, c'est peut-être ça votre problème, sans qu'il soit pertinent de vous plaindre de la mesure elle-même.
Le problème principal, c'est que souvent une lecture correcte des
sondages devrait être on ne peut rien conclure, tout est trop
incertain
. Mais les gens veulent quand même une prévision,
n'importe quelle prévision, ils lisent ce qu'ils peuvent, ou ce
qu'ils veulent, en dépit du bon sens, et ils s'énervent contre les
sondages quand cette lecture est idiote.
Le plus évident, c'est quand on dit que Machin monte ou que Bidule baisse dans les sondages, quand Machin gagne un point ou que Bidule en perd un. C'est vraiment ne rien comprendre au concept d'une mesure bruitée : à chaque fois qu'on va refaire le sondage, il y a une nouvelle erreur de mesure (et, pour compliquer les choses, il y a à la fois une erreur aléatoire qui diffère à chaque mesure et une erreur systématique qui reste grosso modo la même d'une fois sur l'autre), et cette erreur est sans doute très largement supérieure à la variation de l'opinion « réelle » dans le temps. Donc lire une hausse ou une baisse dans le résultat de quelques sondages successifs est une inanité : c'est pourtant ce que font joyeusement les journalistes. Tout aussi évidente comme erreur est le fait de conclure que Machin a de l'avance ou que Bidule a du retard sur la base de quelques sondages qui montrent pourtant un écart très faible.
Prenons quelques exemples. La récente élection présidentielle
américaine, d'abord : les sondages donnaient grosso modo une courte
avance à Hillary Clinton sur Donald Trump (quelques points de
pourcentage). Lecture complètement crétine des sondages : donc
Clinton va gagner
. Et ensuite de se lamenter de l'erreur des
sondages parce que Clinton ne gagne pas. Non, non, non : l'erreur est
dans votre lecture complètement naïve des sondages. Il est vrai que
le fait que Clinton ait eu tout au long de la campagne une
avance sur Trump dans les sondages nationaux avait sans doute une
signification — mais cette signification s'est manifestée dans les
faits, puisqu'elle a obtenu plus de votes que Trump (elle a
gagné le vote populaire
), et par une avance assez importante,
d'ailleurs. Si on voulait prédire le gagnant de l'élection (et pas
celui du « vote populaire »), il fallait regarder les sondages état
par état, faire des modèles complexes à partir de ça, et ces modèles
correctement faits, comme celui de fivethirtyeight, donnaient une
probabilité de victoire de Trump de l'ordre de 30% (sur tout le cours
de la campagne, ça a varié entre 10% et 50%). Si
quelqu'un joue
à la roulette russe avec deux balles dans le barillet et qu'il
meurt, personne ne va trouver ça extraordinaire ou incroyable. Mais
là, les gens qui veulent absolument une prévision, n'importe
quelle prévision retiennent juste le message Clinton est
devant Trump
, donc Trump ne va pas gagner
, et quand Trump
gagne ils crient au mensonge (soit qu'on les a trompés en leur faisant
croire qu'il n'y avait pas de risque, soit, quand c'est l'autre camp,
qu'on a voulu les réduire au silence en faisant croire qu'ils allaient
perdre). Je suis désolé, mais la connerie n'est pas dans les
sondages, elle est dans la tête de ceux qui les lisent. Ce n'est pas
pour dire que les sondages n'ont pas fait des erreurs systématiques
(mais elles ne
sont probablement
pas ce qu'on imagine facilement), mais ces erreurs étaient
détectables déjà au cours de la campagne par une grosse incertitude
dans les probabilités calculées — une lecture raisonnable (et c'était
la mienne d'où mon inquiétude)
était quelque chose comme Clinton a de l'avance mais rien n'est
joué et les chances que Trump gagne ne sont pas du tout
faibles
, il est vraiment difficile de prétendre que cette
lecture était une erreur.
Prenons un autre exemple, le Brexit. Tout au long de la campagne,
les courbes de résultats du Remain
et
du Leave
n'ont pas arrêté de se croiser, et qui
plus est, les sondages selon des méthodologies différentes (sondages
téléphoniques versus sondages par Internet notamment) montraient des
écarts systématiques révélateurs d'erreurs profondes. Et il est bien
connu qu'il est très difficile de sonder sur un referendum (car
contrairement à des élections où les mêmes partis se représentent
régulièrement, on ne peut pas corriger le résultat du sondage par des
interrogations sur les élections passées). Une lecture raisonnable
des sondages était donc : il est vraiment impossible de conclure
quoi que ce soit sur la base des sondages
. Je n'arrive donc pas à
comprendre pourquoi tant de gens ont été surpris du résultat de ce
qu'on aurait dû traiter quasiment comme un jet de pile ou face.
(Mon pronostic personnel était que
le Leave
l'emporterait, mais je ne peux pas en
tirer de gloire, il était, comme ma crainte de la victoire de Trump,
plus basé sur une foi inébranlable en la connerie humaine et un
pessimisme général que sur des considérations réellement
scientifiques.)
Troisième exemple, la primaire « de la droite et du centre » française dont le premier tour a eu lieu la semaine dernière. Bon, là, si les instituts de sondage ont publié des chiffres, c'est sans doute malhonnête de leur part, j'ose espérer qu'ils mettent des barres d'erreur gigantesques, parce que tout le monde sait bien que faire des sondages sur une consultation qui aura une participation très faible (par rapport à l'ensemble de la population, ou même des listes électorales) revient à jeter des fléchettes à l'aveugle au cours d'une tempête. Enfin, tout le monde devrait savoir ça, ou trouver ça complètement évident ; ce qui m'inquiète est que ce ne soit pas le cas : mais ce n'est, de nouveau, pas la faute des sondages, c'est la faute des gens qui n'arrivent pas à comprendre le concept d'une barre d'erreur.
Et pour conclure sur un exemple générique (qui recouvre partiellement le précédent), un sondage, même parfait, ne renseignera que sur l'état de l'opinion au temps t où il est fait. Or l'opinion change, et peut changer même dans les derniers jours ou les dernières heures avant le vote. Faut-il conclure à une erreur dans ce cas ? Je ne le pense pas : il faut juste savoir lire le sondage comme une mesure à un temps donné, et qu'on ne peut extrapoler qu'avec la plus grande prudence — ceux qui le font sans aucune vergogne ne peuvent s'en prendre qu'à eux-mêmes.
Bref, la moindre des choses serait d'arriver à savoir lire quand les sondages disent qu'ils ne peuvent rien dire.
Maintenant, si je me fais l'avocat du diable, je vais dire : mais si une « lecture correcte » des sondages consiste à comprendre qu'il n'y a rien à en tirer dès que le match est un peu serré, quel est leur intérêt ? quand le match n'est pas serré du tout, les sondages ne font que confirmer l'évidence (par exemple, que Jill Stein n'allait pas remporter l'élection présidentielle américaine). Le problème quand on dit ça, c'est qu'on fait preuve de cécité rétroactive : il y a toutes sortes de choses qui nous paraissent évidentes parce qu'on a vu les sondages, et qui ne l'auraient pas été sans eux, et du coup toutes ces situations où les sondages ont apporté une mesure utile et pertinente sur l'état de l'opinion sont facilement oubliées parce qu'elles paraissent « évidentes » avec le recul.
C'est profondément injuste de nier l'utilité de sonder l'opinion publique. Le fait qu'hommes politiques et journalistes y soient totalement accros est certainement un problème, mais la vision idéalisée d'un homme politique qui gouverne uniquement selon son for intérieur et se présente aux élections pour ce qu'il croit Juste, faisant face à des électeurs qui votent eux-mêmes chacun pour le projet qui a sa préférence sans tenir compte des autres, cette vision est, justement, complètement idéalisée — et je n'aime pas l'idéalisation de la démocratie. (Je ne crois pas, par exemple, que les droits des homosexuels auraient fait tant de progrès s'il n'y avait pas des sondages pour montrer que l'opinion publique évolue.)
Et en tout état de cause, si on ne veut pas de sondages, on ne peut pas ignorer le problème réel des votes perdus : si je suis face à trois candidats, A, B et C, que j'ai une très légère préférence pour A sur B, les deux étant très très loin devant C dans mon ordre de préférence, et si le mode de scrutin ne me permet d'exprimer qu'un seul choix, il m'est réellement utile de savoir si A a des chances sérieuses de l'emporter ou s'il vaut mieux que je vote « utile » pour B. Donc à moins qu'on adopte un mode de scrutin vérifiant au moins le critère de Condorcet (or je ne sais pas s'il y a un seul pays au monde qui fait ça !), il faut bien que les électeurs disposent d'un minimum d'information pour faire leur choix de voter « utile » ou non. Ceci est légitime, et seuls les sondages le permettent.
(Bon, dans un monde idéal, on pourrait imaginer faire des élections en continu, où chacun peut, à tout moment, changer sa voix, et dont les résultats sont connus en permanence, et deviennent officiels à partir du moment où tous les électeurs s'estiment satisfaits et n'ont pas envie de changer leur vote compte tenu des résultats — en espérant que ça converge. Les sondages n'auraient alors aucun intérêt puisque l'élection serait un sondage à l'échelle de tout l'électorat. Mais nous ne sommes pas dans un monde idéal !)