Régulièrement, quand une élection tourne de manière différente de
ce que les sondages annonçaient — ou plutôt, de ce qu'une lecture très
naïve des sondages semblait permettre de conclure — on entend des
hommes politiques, aussi bien du camp des gagnants (i.e., ceux qui ont
fait mieux que ce que les sondages semblaient annoncer) que du camp
des perdants (i.e., ceux qui ont fait moins bien) dire quelque chose
comme : Le premier perdant dans cette élection, ce sont les
instituts de sondages !
— ou encore : S'il y a une principale
chose à retenir, c'est qu'il ne faut pas faire confiance aux
sondages.
Je pense que le message à comprendre entre les lignes
est quelque chose comme, chez les uns, un infâme complot a cherché
à nous faire croire que nous ne pouvions pas gagner (sans doute pour
décourager nos électeurs de voter pour nous), et ce complot a été
déjoué
, et chez les autres, un infâme complot a cherché à nous
faire croire que nous ne pouvions pas perdre (sans doute pour
démotiver nos électeurs à venir voter), et ce complot a
malheureusement réussi à nous coûter la victoire
. Ce n'est jamais
aussi clair, bien sûr, mais la petite musique est là quelque part.
Plus exactement, il semble y avoir une double affirmation chez à
peu près tout le monde politique : (1) les sondages n'ont aucune
valeur scientifique, ils sont tout faux, ils se trompent tout le
temps, et, plus subtilement, (2) les sondages nuisent à la démocratie
parce que l'impression de prédestination qu'ils procurent influence
les électeurs dans leur choix, et gâche l'authenticité de leur vote,
voire, corrompt une forme d'idéal démocratique qui devrait être celui
où les électeurs font leur choix chacun sans tenir compte de ce qu'ils
savent des choix des autres. Les petits partis, par exemple, aiment
bien prétendre qu'ils restent petits parce que les sondages montrent
qu'ils sont petits donc les électeurs ne veulent pas voter pour eux
(de peur que leur voix soit essentiellement « perdue »), donc ils
déclarent aux sondeurs ne pas vouloir voter pour eux, et le cercle
vicieux se boucle.
Et je suis le premier à dire que
ces effets boule de neige existent et jouent un rôle gigantesque dans
notre société (d'autant plus qu'elle est « connectée ») et dans le
fait que toute forme de succès soit
auto-entretenu. Donc dénoncer ce problème me semble légitime.
Mais le mettre sur le dos des sondages ? C'est oublier qu'il y a
toutes sortes d'autres manières dont les opinions des uns se
répercutent positivement sur les opinions des autres : des
conversations entre amis aux messages viraux sur les réseaux sociaux
en passant par la caisse amplificatrice du tri des journalistes, et
aussi, les élections elles-mêmes (lors de l'élection N+1,
on prendra d'autant plus au sérieux un parti ou un candidat qui a fait
un score honorable à l'élection N). Les sondages sont un
engrenage dans cette boucle de rétroaction positive, mais ils n'en
sont qu'un parmi d'autres.
Il y a un autre problème qu'il me semble tout à
fait légitime de critiquer (mais qui n'est pas vraiment mon propos
ici), c'est quand on oublie que l'opinion publique n'existe pas
tant qu'on ne la mesure pas : c'est une sorte de phénomène
quantique, en ce sens que sur l'immense majorité des questions,
l'immense majorité des gens n'a aucun avis simplement parce
qu'ils ne se sont pas posé la question. Or faire une mesure — poser
une question — c'est créer une opinion, et ce n'est en rien une
opération neutre. D'autant que la manière dont la question est
tournée a une influence gigantesque sur la réponse que les
gens donneront, et que le résultat entrera dans la boucle de
rétroaction de la société dans son ensemble. Ce qui doit nous
intéresser ultimement est l'avis que donnerait la société après un
débat et une réflexion sereins (voir ce que
je racontais sur les referenda), ce
qui n'est certainement pas ce que mesure un sondage. Mais bon, je me
limite ici aux sondages sur un vote à venir, ce qui assure au moins
que (1) le sondage ne crée pas la question ou le débat, et (2) on peut
penser que la question est formulée de façon raisonnablement neutre
(comment comptez-vous voter à l'élection du
<tant> ?
).
Bref, quand j'entends des gens les décrier, j'ai l'impression
d'avoir affaire à quelqu'un qui a consulté son thermomètre avant de
sortir pour choisir comment s'habiller, sans tenir compte du fait que
le thermomètre était peut-être en plein soleil, ou qu'il y avait plein
de vent, ou que la nuit allait tomber, ou je ne sais quoi du genre, et
qui a trop chaud ou trop froid, et qui passe sa mauvaise humeur sur ce
satané instrument de mesure et en vient presque à dire que la
thermodynamique est une affaire de charlatans. Mon bon Monsieur, une
mesure est une mesure : votre interprétation de cette mesure en est
une autre ! Et si vous vous fiez aveuglément à cette interprétation,
c'est peut-être ça votre problème, sans qu'il soit pertinent de vous
plaindre de la mesure elle-même.
Le problème principal, c'est que souvent une lecture correcte des
sondages devrait être on ne peut rien conclure, tout est trop
incertain
. Mais les gens veulent quand même une prévision,
n'importe quelle prévision, ils lisent ce qu'ils peuvent, ou ce
qu'ils veulent, en dépit du bon sens, et ils s'énervent contre les
sondages quand cette lecture est idiote.
Le plus évident, c'est quand on dit que Machin monte ou que Bidule
baisse dans les sondages, quand Machin gagne un point ou que Bidule en
perd un. C'est vraiment ne rien comprendre au concept d'une mesure
bruitée : à chaque fois qu'on va refaire le sondage, il y a une
nouvelle erreur de mesure (et, pour compliquer les choses, il y
a à la fois une erreur aléatoire qui diffère à chaque
mesure et une erreur systématique qui reste grosso modo la
même d'une fois sur l'autre), et cette erreur est sans doute très
largement supérieure à la variation de l'opinion « réelle » dans le
temps. Donc lire une hausse ou une baisse dans le résultat de
quelques sondages successifs est une inanité : c'est pourtant ce que
font joyeusement les journalistes. Tout aussi évidente comme erreur
est le fait de conclure que Machin a de l'avance ou que Bidule a du
retard sur la base de quelques sondages qui montrent pourtant un écart
très faible.
Prenons quelques exemples. La récente élection présidentielle
américaine, d'abord : les sondages donnaient grosso modo une courte
avance à Hillary Clinton sur Donald Trump (quelques points de
pourcentage). Lecture complètement crétine des sondages : donc
Clinton va gagner
. Et ensuite de se lamenter de l'erreur des
sondages parce que Clinton ne gagne pas. Non, non, non : l'erreur est
dans votre lecture complètement naïve des sondages. Il est vrai que
le fait que Clinton ait eu tout au long de la campagne une
avance sur Trump dans les sondages nationaux avait sans doute une
signification — mais cette signification s'est manifestée dans les
faits, puisqu'elle a obtenu plus de votes que Trump (elle a
gagné le vote populaire
), et par une avance assez importante,
d'ailleurs. Si on voulait prédire le gagnant de l'élection (et pas
celui du « vote populaire »), il fallait regarder les sondages état
par état, faire des modèles complexes à partir de ça, et ces modèles
correctement faits, comme celui de fivethirtyeight, donnaient une
probabilité de victoire de Trump de l'ordre de 30% (sur tout le cours
de la campagne, ça a varié entre 10% et 50%). Si
quelqu'un joue
à la roulette russe avec deux balles dans le barillet et qu'il
meurt, personne ne va trouver ça extraordinaire ou incroyable. Mais
là, les gens qui veulent absolument une prévision, n'importe
quelle prévision retiennent juste le message Clinton est
devant Trump
, donc Trump ne va pas gagner
, et quand Trump
gagne ils crient au mensonge (soit qu'on les a trompés en leur faisant
croire qu'il n'y avait pas de risque, soit, quand c'est l'autre camp,
qu'on a voulu les réduire au silence en faisant croire qu'ils allaient
perdre). Je suis désolé, mais la connerie n'est pas dans les
sondages, elle est dans la tête de ceux qui les lisent. Ce n'est pas
pour dire que les sondages n'ont pas fait des erreurs systématiques
(mais elles ne
sont probablement
pas ce qu'on imagine facilement), mais ces erreurs étaient
détectables déjà au cours de la campagne par une grosse incertitude
dans les probabilités calculées — une lecture raisonnable (et c'était
la mienne d'où mon inquiétude)
était quelque chose comme Clinton a de l'avance mais rien n'est
joué et les chances que Trump gagne ne sont pas du tout
faibles
, il est vraiment difficile de prétendre que cette
lecture était une erreur.
Prenons un autre exemple, le Brexit. Tout au long de la campagne,
les courbes de résultats du Remain
et
du Leave
n'ont pas arrêté de se croiser, et qui
plus est, les sondages selon des méthodologies différentes (sondages
téléphoniques versus sondages par Internet notamment) montraient des
écarts systématiques révélateurs d'erreurs profondes. Et il est bien
connu qu'il est très difficile de sonder sur un referendum (car
contrairement à des élections où les mêmes partis se représentent
régulièrement, on ne peut pas corriger le résultat du sondage par des
interrogations sur les élections passées). Une lecture raisonnable
des sondages était donc : il est vraiment impossible de conclure
quoi que ce soit sur la base des sondages
. Je n'arrive donc pas à
comprendre pourquoi tant de gens ont été surpris du résultat de ce
qu'on aurait dû traiter quasiment comme un jet de pile ou face.
(Mon pronostic personnel était que
le Leave
l'emporterait, mais je ne peux pas en
tirer de gloire, il était, comme ma crainte de la victoire de Trump,
plus basé sur une foi inébranlable en la connerie humaine et un
pessimisme général que sur des considérations réellement
scientifiques.)
Troisième exemple, la primaire « de la droite et du centre »
française dont le premier tour a eu lieu la semaine dernière. Bon,
là, si les instituts de sondage ont publié des chiffres, c'est sans
doute malhonnête de leur part, j'ose espérer qu'ils mettent des barres
d'erreur gigantesques, parce que tout le monde sait bien que faire des
sondages sur une consultation qui aura une participation très faible
(par rapport à l'ensemble de la population, ou même des listes
électorales) revient à jeter des fléchettes à l'aveugle au cours d'une
tempête. Enfin, tout le monde devrait savoir ça, ou trouver
ça complètement évident ; ce qui m'inquiète est que ce ne soit pas le
cas : mais ce n'est, de nouveau, pas la faute des sondages, c'est la
faute des gens qui n'arrivent pas à comprendre le concept d'une barre
d'erreur.
Et pour conclure sur un exemple générique (qui recouvre
partiellement le précédent), un sondage, même parfait, ne renseignera
que sur l'état de l'opinion au temps t où il est fait. Or
l'opinion change, et peut changer même dans les derniers jours ou les
dernières heures avant le vote. Faut-il conclure à une erreur dans ce
cas ? Je ne le pense pas : il faut juste savoir lire le sondage comme
une mesure à un temps donné, et qu'on ne peut extrapoler qu'avec la
plus grande prudence — ceux qui le font sans aucune vergogne ne
peuvent s'en prendre qu'à eux-mêmes.
Bref, la moindre des choses serait d'arriver à savoir lire quand
les sondages disent qu'ils ne peuvent rien dire.
Maintenant, si je me fais l'avocat du diable, je vais dire : mais
si une « lecture correcte » des sondages consiste à comprendre qu'il
n'y a rien à en tirer dès que le match est un peu serré, quel est leur
intérêt ? quand le match n'est pas serré du tout, les sondages ne font
que confirmer l'évidence (par exemple, que Jill Stein n'allait pas
remporter l'élection présidentielle américaine). Le problème quand on
dit ça, c'est qu'on fait preuve de cécité rétroactive : il y a toutes
sortes de choses qui nous paraissent évidentes parce qu'on a vu les
sondages, et qui ne l'auraient pas été sans eux, et du coup toutes ces
situations où les sondages ont apporté une mesure utile et pertinente
sur l'état de l'opinion sont facilement oubliées parce qu'elles
paraissent « évidentes » avec le recul.
C'est profondément injuste de nier l'utilité de sonder l'opinion
publique. Le fait qu'hommes politiques et journalistes y soient
totalement accros est certainement un problème, mais la vision
idéalisée d'un homme politique qui gouverne uniquement selon son for
intérieur et se présente aux élections pour ce qu'il croit Juste,
faisant face à des électeurs qui votent eux-mêmes chacun pour le
projet qui a sa préférence sans tenir compte des autres, cette vision
est, justement, complètement idéalisée —
et je n'aime pas l'idéalisation de la
démocratie. (Je ne crois pas, par exemple, que les droits des
homosexuels auraient fait tant de progrès s'il n'y avait pas des
sondages pour montrer que l'opinion publique évolue.)
Et en tout état de cause, si on ne veut pas de sondages, on ne peut
pas ignorer le problème réel des votes perdus : si je suis face à
trois candidats, A, B et C, que j'ai
une très légère préférence pour A sur B, les
deux étant très très loin devant C dans mon ordre de
préférence, et si le mode de scrutin ne me permet d'exprimer qu'un
seul choix, il m'est réellement utile de savoir si A a
des chances sérieuses de l'emporter ou s'il vaut mieux que je vote
« utile » pour B. Donc à moins qu'on adopte un mode de
scrutin vérifiant au moins
le critère
de Condorcet (or je ne sais pas s'il y a un seul pays au monde qui
fait ça !), il faut bien que les électeurs disposent d'un minimum
d'information pour faire leur choix de voter « utile » ou non. Ceci
est légitime, et seuls les sondages le permettent.
(Bon, dans un monde idéal, on pourrait imaginer faire des élections
en continu, où chacun peut, à tout moment, changer sa voix, et dont
les résultats sont connus en permanence, et deviennent officiels à
partir du moment où tous les électeurs s'estiment satisfaits et n'ont
pas envie de changer leur vote compte tenu des résultats — en espérant
que ça converge. Les sondages n'auraient alors aucun intérêt puisque
l'élection serait un sondage à l'échelle de tout l'électorat. Mais
nous ne sommes pas dans un monde idéal !)