Comments on Pourquoi cette haine contre les sondages ?

Puisque l'article de blog est encore (relativement) frais, je glisse un lien intéressant vers l'article _La qualité des enquêtes politiques_ de Jean Chiche, paru dans les cahiers du CEVIPOF numéro 47 en 2007, disponible en ligne : <URL: http://www.cevipof.com/fr/les-publications/les-cahiers-du-cevipof/bdd/publication/423 >

J'ai eu connaissance de l'existence de cet article par sa mention dans le fort intéressant _Le vote. Approches sociologiques de l’institution et des comportements électoraux_ de Patrick Lehingue <URL: https://lectures.revues.org/7528?lang=en > qui mentionnait le fascinant tableau figurant page 24 dans l'article sus-mentionné.

On y apprend que pour procéder à une enquête téléphonique "Baromètre politique français" en décembre 2006 et interroger à cette fin 5240 sondés, il a fallu donner 83397 coups de téléphone. 14151 des personnes contactées ont refusé de répondre sans expliquer pourquoi, 6805 ont refusé de répondre en expliquant refuser de répondre à tous les sondages, 139 ont motivé leur refus par le commanditaire du sondage, 1342 par la trop longue durée du questionnaire, 1353 ont abandonné le sondage en cours de route…

@touriste : les renseignements généraux ont disparu. Ils arpentaient les salles de réunions pour humer l'air du temps, noter ce qui se disait et qui le disait. Leurs comptes-rendus étaient précis et circonstanciés. Les préfets n'ont plus de source d'information.
Petite réflexion : nous sommes entrés depuis longtemps dans une "société d'information" (Mc Luhan, sauf erreur). N'y a-t-il pas paradoxe que nous soyons abreuvés de sous-informations -messages à contenu informationnel très pauvre- , de non-informations -dont la répétition les apparente à des slogans- ou de contre-informations -dont beaucoup sont démenties immédiatement ou presque, ou oubliées très vite- ? Tous ces procédés ne font pas appel à l'intelligence mais à l'attention, ie la capacité à recevoir un stimulus élémentaire, de la même façon qu'on installe à tout bout de champ des radars automatiques sensés vérifier que sur une portion strictement délimitée et donc très courte de la chaussée, nous soyons attentifs à ne pas dépasser telle vitesse qu'un nième panneau de signalisation nous aura signalé quelques secondes auparavant.

Puisque jonas cite phdcomics, un autre sur le sujet :
http://www.phdcomics.com/comics/archive.php?comicid=1271.

Un peu comme Dyonisos dans les commentaires précédents, j'ai quand même l'impression qu'il reste des opinions intermédiaires défendables entre celle -caricaturale- que tu fustiges ("les sondages n'ont aucune valeur scientifique, ils sont tout faux, ils se trompent tout le temps") et celle que tu présentes comme la tienne ("il y a toutes sortes de choses qui nous paraissent évidentes parce qu'on a vu les sondages, et qui ne l'auraient pas été sans eux").

Compte tenu de la marge d'erreur des sondages, liée à divers éléments incontournables qu'on ne peut évidemment que partiellement compenser par des redressements plus ou moins pifométriques - certains sondés mentent, d'autres se trompent de bonne foi, les préférences des personnes refusant de répondre ne sont pas forcément identiques à celles des répondants, et j'en passe sans doute, on peut se demander si leur précision est supérieure à l'avis d'une personne bien informée, disons à la méthode ancestrale qu'on voit pratiquée par les ministres de l'intérieur des deux premiers tiers du XXème siècle : recevoir et synthétiser les rapports établis par les sous-préfets et préfets.

J'essaie de regarder ce qu'il en est sur quelques exemples passés récents ou futur :

* sur le Brexit, tu penses que les sondages donnaient l'information "il est vraiment impossible de conclure quoi" - c'est un peu exagéré, ils disaient bien quand même, avec estimation pifométrique de la marge d'erreur par mes soins, que tant le "oui" que le "non" dépasseraient bien les 40 %. Il est probable que les techniques ancestrales auraient fait aussi bien ;

* sur la primaire LR, il n'était sans doute pas évident pour moi, citoyen lambda pas spécialement motivé par cette primaire, de savoir que Lemaire ou NKM feraient des scores minables, ce que les sondages avaient en effet parfaitement prévu. Mais je ne doute pas que Wauquiez et son état-major (et les deux candidats cités) avaient des retours assez précis de l'assistance à leurs réunions publiques ou privées qui renvoyaient la même information.

* sur le réferendum italien du week-end prochain, les sondages laissent penser (toujours avec estimation généreuse et pifométrique de l'erreur) que le "oui" fera quelque chose entre 44 et 55 %. Vu de mon chez moi, c'est sans doute très informatif. Mais je suis persuadé qu'un politicien professionnel italien, sous réserve qu'il ait des retours d'impressions de lieux et milieux sociaux raisonnablement variés, en sait autant voire davantage.

Si un sondage prévoit le score, à plus ou moins 7 % près pour un référendum ou une primaire ouverte, à plus ou moins 3 % près pour une élection politique à participation importante, c'est sans doute scientifique et respectable, mais est-ce significativement meilleur que la méthode du doigt mouillé ?

"On pourrait imaginer faire des élections en continu, où chacun peut, à tout moment, changer sa voix, et dont les résultats sont connus en permanence, et deviennent officiels à partir du moment où tous les électeurs s'estiment satisfaits et n'ont pas envie de changer leur vote compte tenu des résultats — en espérant que ça converge."

Idée intéressante, et qui est de l'ordre du techniquement réalisable (bon, on pourrait aussi imaginer tenir les séances de l'Assemblée à 65 millions via Twitter, mais n'entrons pas dans ce débat). Si ça ne converge pas, c'est qu'il y a un cycle, et on pourrait quand même mettre un critère (du style le candidat qui est le plus souvent en tête).

Par contre, y a-t-il un moyen de faire ça de manière à éviter les votes tactiques ? Par exemple, il faudra nécessairement mettre une limite sur le changement de voix (faute de quoi un parti perdant se coordonnerait pour changer ses votes jusqu'à épuisement des logs). Si on met une date limite, on risque d'avoir des électeurs qui cachent leur jeu jusqu'à H-1.

J'ai essayé de bricoler quelque chose du genre "votre droit de changement de vote expirera à un instant tiré uniformément au hasard entre demain et dans trois jours" pour dissuader ça mais je ne vois pas comment formaliser les critères attendus correctement. Par exemple, si mon ordre de préférence est Trotsky (petit candidat) > Lénine > Hitler, je peux me sentir floué si je vote Trotsky alors que Lénine est à 20% devant Hitler, mais que la tendance se renverse juste après l'expiration de mon droit de vote (mais avant l'expiration de celui d'autres).

Pour moi ça me semble clair un sondage est l'extrapolation sur l'ensemble de la population de l'interrogation d'un échantillon représentatif de la population. Je suppute que l'extrapolation et la constitution représentative de cet échantillon reposent sur des modèles mathématiques qui marchent/collent avec les résultats des précédentes élections, il y a une relation de corrélation entre le modèle et les résultats réels passés mais pas du tout de relation de cause à effet comme on pourrait l'établir sur des phénomènes physiques beaucoup plus simples. Mais on fait quand même l'hypothèse que le modèle va être juste dans le futur et que les sondages rendent compte de l'état réel de l'opinion au moment ou on les fait, mais cette hypothèse est fortement douteuse et c'est tout ce qu'on a aujourd'hui comme méthodologie. Au moment de l'élection on adapte le modèle à la réalité de l'instant.

Je soupçonne que c'est la même méthodologie qui est employée dans la finance pour passer des ordres et qui fait qu'à un moment donné, il se peut que les outils employés ne collent plus à la réalité. Sauf que dans ces cas, j'ai l'impression qu'on a des retours plus rapides sur l'état du système physique modélisé.

Whenever you talk about this kind of journalism, I'm reminded to a 2009 strip of the Piled Higher and Deeper comics <URL: http://www.phdcomics.com/comics/archive.php?comicid=1174 >.

Ok en gros sur ta réponse. Mais elle valide implicitement la critique de ce qui m'agace très fortement : la présence des sondeurs dans les émissions politiques qui glosent à l'infini les frémissements de leurs courbes en ne mettant JAMAIS l'accent sur la très grosse incertitude les enveloppant. C'est frappant dans l'émission de France 2 du jeudi soir, et c'était encore plus criant dans les numéros de c'est dans l'air où il n'était pas rare (et je crois que ça continue) de voir deux "spécialistes ès sondages" disserter dans le vide de l'impact de l'un ou de l'autre homme politique à la seule aune de leurs sondages. Dans ces contextes, ce n'est même pas le journaliste qui commente et qui interprète mal les données qu'on lui fournit, ce sont les sondeurs ex cathedra qui se targuent de leurs enquêtes pour avoir un droit de commentaire que j'exècre tant par le vide des propos que désormais sur ce que je suspecte être l'évanescence de leurs fondements dans leurs études.
Et on ne m'enlèvera pas l'idée que le parallélisme avec la cosmologie n'est pas de rigueur : il y a bien je suppose des aspects où la courbure de l'univers donne prise à des tests de falsifiabilité par solidarité avec d'autres composantes de la théorie avec laquelle elle fait bloc (depuis Duhem et Quine on aime à souligner que les théories scientifiques sont falsifiables holistiquement, en bloc). Je ne pense pas que ce soit vrai avec les sondages récents depuis qu'il existe des écarts réitérés entre leurs projections et le verdict des urnes (et de toute façon, je ne vois pas de théorie globale les incluant falsifiable) . Encore une fois, tant que ça fonctionnait sans gros couacs, je me rangeais à la sentence des faits et je n'avais aucun mal à estimer que la ponction représentative était fiable mais j'ai changé d'avis depuis les écarts réitérés.

Dire que les sondages c'est scientifique, c'est quand même y aller un peu fort.

On sait que pendant longtemps (c'est peut-être moins vrai aujourd'hui) beaucoup de gens n'osaient pas dire qu'ils votaient Le Pen. Du coup, les instituts de sondage "redressaient" le score de Le Pen en réajustant les résultats d'après les élections précédentes, l'âge du capitaine et l'air du temps (bon, ok, surtout d'après l'écart observé entre les estimations et les résultats réels lors des élections précédentes mais pas seulement). Si un tel tripatouillage est scientifique, alors autant se fier aux prévisions d'Elizabeth Tessier… Et les instituts de sondage ne se sont jamais étendus sur les mesures utilisées pour "redresser" les résultats, sinon pour se défausser sur eux lorsque les vrais résultats étaient publiés.

Si on croit que Fillon a pu passer d'une dizaine de pourcents (d'après les sondages d'avant premier tour) à 43% en à peine quelques jours et si on croit que les sondages sont fiables, voire scientifiques, ça vaudrait le coup d'étudier ce phénomène. Ou alors, si la marge d'erreur est de plus de 30 points (10%, ça veut dire quelque part entre 0 et 50%), ça ne me semble pas hyper scientifique…

Bref, je pense pour ma part qu'on a affaire à des données non scientifiques utilisées de manière non scientifique et qui donnent lieu à des discussions non scientifiques y compris sur des blogs par ailleurs plutôt sérieux scientifiquement ! :-)

Mais il reste une divergence importante : je ne saisis pas bien pourquoi tu penses que les sondages, y compris la marge d'erreur qu'ils présentent, sont des instruments d'observation des opinions rigoureusement "scientifiques". Qu'ils aient remarquablement réussi par le passé est hors de doute, et ils continuent à être souvent "assez" proches de la réalité mais sensiblement moins qu'avant et je ne suis pas du tout convaincu que ça s'explique principalement par le passage aux téléphones mobiles. C'est si on veut un problème de "falsifiabilité" classique : comme le verdict des urnes peut toujours être sauvé par les théories tant qu'on n'est pas dans des marges aberrantes du genre stein sera présidente des EU ou Poutou pour la France, j'ai de très fortes suspicions qu'ils peuvent fonctionner tant qu'on veut sans être jamais réellement confronté à un test de réfutabilité.
Et comme les identités politiques me semblent plus fluctuantes et friables que par le passé, c'est la fiabilité des "échantillons représentatifs" que je pense moins opératoire que par le passé. Or, au lieu de réfléchir sur ce point, les sondages (qui fonctionnent comme une industrie, c'est le point que tu oublies dans l'idée que c'est la simple reprise des journalistes et la lecture naïve du public qui sont à critiquer, les deux forment couple notamment en raison des intérêts pécuniaires pour les sondeurs et de la fourniture de données facilement glosables et de leur peu d'appétence, euphémisme, concernant des débats d'idées substantiels pour les journalistes) occupent une part démesurément irrationnelle de ce que devrait être le débat public.

Ok. Sur le cas du Brexit, ce n'était sans doute pas techniquement un sondage à la sortie des urnes, mais c'était tout de même bien des estimations données tout juste après la fermeture des bureaux de vote, donc au jour j et au temps t donné. Il est vrai qu'ils se plantaient de peu, mais c'était tout de même une erreur.
Et sur "Mais si tu dis que les sondages donnaient les partis « au coude à coude », il faut interpréter ça comme « les sondages ne disent rien »", le problème est que ce n'est jamais ainsi qu'ils sont présentés et critiqués dans la presse ! Il y sans doute des occurrences lorsqu'on cherche bien comme le lien que tu as donné mais de ce que j'ai vu dans des émissions politiques comme celle du jeudi sur France 2 qui se conclut sur le verdict des "sondés" concernant l'homme politique qui était invité ou, par exemple, il y a encore une dizaine d'années quand il m'arrivait de regarder un peu c'est dans l'air (depuis je ne peux plus, je trouve ça trop débile) où des sondeurs avaient leur place régulière comme Cayrol, Giacommetti, c'est l'exact opposé qui prévalait : on dissertait à qui mieux mieux des nuances d'inflexion des courbes.
Par exemple pour les législatives de GB et d'Israël, je suis absolument certain que rien dans la presse grand public accessible via google que j'ai pu lire (ok évidemment j'ai dû laisser énormément d'articles mais j'en ai lu un certain nombre aussi et c'est ce que j'ai à l'esprit présentement) dans les entrées d'actualités ne disaient quelque chose comme "ces sondages ne disent rien". Dans ces conditions, encore une fois, plutôt que de souligner l'erreur de lecture du public, je crois que c'est le cocktail recours extrême aux sondages-commentaire ad nauseam de la presse occultant beaucoup trop souvent les précautions d'incertitude nimbant les résultats commentés qui devrait faire l'objet des critiques.

Encore un billet brillant.

J'ai en particulier apprécié l'analogie entre la mesure que représente le sondage avec la mesure en physique quantique :-) Il me semble cependant que l'affirmation (que tu attribues au monde politique) selon laquelle « (2) les sondages nuisent à la démocratie parce que l'impression de prédestination qu'ils procurent influence les électeurs dans leur choix, et gâche l'authenticité de leur vote […] donc ils déclarent aux sondeurs ne pas vouloir voter pour eux, et le cercle vicieux se boucle » n'est pas à balayer d'un revers de main pour autant. Il y a là pour moi un phénomène absolument pas imaginaire mais qui ne remet pas en cause leur utilisation en démocratie. (Et que certains politiciens opportunistes s'en servent comme argument, même de façon grossière ou fallacieuse, est un fait, certes, mais pas une raison pour nier l'influence d'un sondage sur les suivants et à terme sur l'issue du vote lui-même.)

Tout à fait d'accord aussi l'analyse de frankie (…et sur sa réponse à Matt ;-) je n'aurais pas mieux répondu)

Il n'y a pas de sondage dans les régimes policiers - par exemple à Cuba sur les regrets de la population cubaine vis-à-vis de la disparition non-prématurée du fondateur du régime.

Et sur les dernières élections américaines, je poserais les termes de l'enjeu différemment.
Primo, y a-t-il eu un seul sondage dans le lot de l'usine à en pondre qui ait pronostiqué le basculement du Wisconsin ?
Deuxio et plus grave, plutôt que de mettre l'accent sur l'erreur d'interprétation liés aux sondages comptabilisant le nombre absolu des voix, c'est l'existence même de ces sondages à répétition qui pose problème. Evidemment que seules des enquêtes statistiques par Etats et leurs poids relatifs étaient pertinents et pourtant les sondages grands publics délivrés très régulièrement se bornaient à prendre la population globale des EU. Il est possible, et même certain, que si on cherchait à prendre connaissance de ces sondages dans leurs détails techniques avec la mention des précautions d'incertitude etc… on ne tombait pas dans le piège mais sur internet via le filtre google actualités, ce n'était à mon souvenir jamais (ou extrêmement rarement) apparent et en général trois/quatre lignes croyaient y déceler une remontée ou un effondrement de l'un ou l'autre candidat. Or, c'est cette somme de sondages calculées sur des bases tronquées vu leur objectif apparent (donner des informations importantes sur le résultat de l'élection) qui n'avaient pas lieu d'être. C'est le couple infernal sondages/presse où la seconde passe de plus en plus son temps à commenter les premiers qui indispose. La séquence 2007 où Ségolène à mon avis s'est vue propulsée candidate sur le seul argument "de fond" de sondages flatteurs et la une de la presse (je crois que c'est le nouvel obs qui a lancé le produit sur le marché mais je n'en suis pas sûr) était déjà lamentable mais ça s'est aggravé parce que les sondages n'ont même plus la puissance de saisie des opinions au même degré de fiabilité qu'auparavant.

Sur le Brexit je faisais référence aux estimations données dans la foulée de la fermeture des bureaux de vote et qui donnaient une légère avance au remain, or je crois que ce type de sondage est réputé plus fiable, voire quasi infaillible, et c'est logique puisque précisément le temps t du sondage effectué est le même que celui de l'élection, ce qui supprime l'argument du "c'était vrai au temps t-x mais pas à celui de l'élection."
Sur les dernières législatives britannique et israëlienne c'était aberrant : tous les sondages donnaient la gauche ou la droite au coude-à-coude, voire un léger avantage à la gauche jusqu'à l'imminence des élections…où la droite l'a emporté très haut la main.
Je ne prétends pas qu'il n'y ait aucune erreur de lecture des sondages qui rendent idiotes les critiques dont on les affuble mais le point important pour moi est le nouvel effet de ciseau qui apparaît de plus en plus nettement et que je ne crois pas contestable :
1) La propension de plus en plus grande des sondages à se planter. C'est curieux parce que ça s'accumule récemment et que ce phénomène n'existait pas à ma connaissance dans les scrutins antérieurs. Je crois que c'est parce que le monde social devient plus anomique et "objectivement" imprévisible et parce que le découpage en échantillons réputés représentatifs fonctionne beaucoup plus mal qu'auparavant.
2) la tendance devenue insupportable (pour moi en tout cas) à faire des sondages l'alpha et l'oméga du discours politique médiatique. C'est simple : moins ils fonctionnent, plus on en parle !!! Dans ces conditions, plutôt que de parler de haine des sondages, je pense qu'il est davantage souhaitable de parler de juste colère/écoeurement face à ces gros sabots de pseudo-courses de chevaux.
D'ailleurs, d'après les échos que j'ai pu avoir dans des conversations privées de mon voisinage, il n'est pas exclu que cette part sondagière joue un rôle dans le choix de dernière mn: beaucoup de personnes votant à droite à qui j'ai pu parler étaient lassées à l'avance du match sarkozy/juppé qu'on nous vend depuis des années ; du coup dès qu'un "cheval" a paru s'échapper susceptible de rebattre les cartes, elles s'y sont précipitées, en désertant d'ailleurs les "petits candidats" (eu égard aux sondage…autre effet délétère) pour "jouer" la case Fillon.

D'accord sur beaucoup de points.
La "fiance" vis-à-vis des sondages doit relever d'un certain type de rapport (statistique, psychologique ou autre) à la vérité. Une vérité de nature probabiliste est une vérité que la majorité des gens ne savent pas appréhender. Et quand trop de gens se prennent le pied dans le tapis, on peut légitimement se demander s'il n'y entre pas une bonne dose de connerie… Le fait que des gens de pouvoir ou d'influence affirment à tout bout de champ tant de sentences vaguement vraies ou franchement fausses finit par lasser, moi le premier…
L'erreur systématique lors d'un sondage peut devenir essentielle dans un scrutin serré. Or sa provenance est difficile à détecter : vote "honteux" (ne pas afficher sa préférence), électorat moins accessible aux sondeurs (le sondage par téléphone ne s'adresse qu'à ceux qui en ont encore un…),etc.
Le sondage effectue une mesure, certes, mais pas au sens quantique, ou plutôt, c'est comme s'il rajoutait un deuxième écran à l'expérience de Young et qu'il mesurait une probabilité intermédiaire : il introduit une complexité au système qu'il mesure et ne mesure pas le résultat final de l'expérience, laquelle ne sera d'ailleurs pas renouvelée, ce qui empêchera la "théorie" -le protocole expérimental- qui sous-tend le sondage d'être ensemencée par l'expérience.
Un point sur lequel je diverge de l'opinion de Ruxor est celui des fluctuations lors de sondages successifs. En dehors d'erreurs d'ordre statistique, elles mettent en évidence des évolutions temporelles qui sont elles-mêmes mises à profit par les candidats pour modifier leurs stratégies au court terme. Elles me semblent pertinentes.
Une phrase obscure à souhait : "Bref, la moindre des choses serait d'arriver à savoir lire quand les sondages disent qu'ils ne peuvent rien dire." à mon sens doit être un reliquat du style de phrase que l'on écrit lors de rédactions notées à caractère pompeux. Si l'on devait soumettre les sondages et les petites phrases politiques ou commerciales à un détecteur de sens, disons au sens précisé dans l'Aube de Fondation par exemple, il n'en resterait souvent que des miettes. Mais ce serait contre le sens de notre société boulimique et compulsive qui crée à foison des messages à contenu nul, voire effaçable.
@Matt : rien ne vous oblige à donner votre opinion personnelle sur le créateur de ce blog. Pour ma part, je la trouve déplacée et niaise. Les attaques personnelles ne pourraient guère se justifier qu'en cas de conflit d'intérêt, ce qui est loin d'être le cas en l'espèce. Entendons-nous bien : que vous trouviez arrogants les propos de Ruxor n'est pas plus gênant que ça, à ceci près que votre argumentaire est d'une finesse un peu désespérante, mais que vous vous permettiez de remettre en question ses qualités de mathématiciens me laisse pantois.

Les sondages se plantent massivement depuis quelque temps (un ou deux jours avant les législatives en Israël et en GB, la sortie des urnes réputée infaillible du Brexit, le cas Fillon donné dans un seul sondage deux trois jours avant avec un point d'avance).
Dès lors, ou on choisit à la Ruxor de conserver sa foi dans les sondages et de déclencher la manivelle à épicycles, ou bien on pense qu'il s'agit largement désormais au moins autant d'instruments de manipulations/remplissage du vide du commentaire politique/ course-de-cheveauisation de la politique que de prétendus moyens scientifiques de connaître l'état de l'opinion "au fameux temps t".
Faites vos jeux.

> Matt
Mais non, David n'est pas arrogant! Certes, il ne fait pas semblant d'être stupide, comme le font nombre d'intellectuels, qui d'ailleurs ne font pas seulement semblant, et ne le font pas forcément exprès, et il parle un peu comme ces gens qui veulent paraître intelligents, puisque ces derniers singent les gens comme David, mais je puis assurer qu'il est la simplicité et la modestie incarnées. Et, en l'occurrence, il faut l'encourager dans cet accès de franchise et de lucidité.

Vous devriez écrire dans la presse, cet article mérite une large audience

D' ou vous viens votre incroyable arrogance ?
"ils lisent ce qu'ils peuvent, ou ce qu'ils veulent, en dépit du bon sens, et ils s'énervent contre les sondages quand cette lecture est idiote",
"C'est vraiment ne rien comprendre au concept d'une mesure bruitée"
"…la connerie n'est pas dans les sondages, elle est dans la tête de ceux qui les lisent"
"…plus basé sur une foi inébranlable en la connerie humaine"
"… c'est la faute des gens qui n'arrivent pas à comprendre le concept d'une barre d'erreur"
D'etre un mathematicien mediocre (d'apres vos publications depuis que vous n'êtes plus sous une direction de Ph.D.) empire votre cas.