Comments on Pourquoi cette haine contre les sondages ?

Touriste (2017-01-18T21:11:40Z)

Puisque l'article de blog est encore (relativement) frais, je glisse un lien intéressant vers l'article _La qualité des enquêtes politiques_ de Jean Chiche, paru dans les cahiers du CEVIPOF numéro 47 en 2007, disponible en ligne : <URL: http://www.cevipof.com/fr/les-publications/les-cahiers-du-cevipof/bdd/publication/423 >

J'ai eu connaissance de l'existence de cet article par sa mention dans le fort intéressant _Le vote. Approches sociologiques de l’institution et des comportements électoraux_ de Patrick Lehingue <URL: https://lectures.revues.org/7528?lang=en > qui mentionnait le fascinant tableau figurant page 24 dans l'article sus-mentionné.

On y apprend que pour procéder à une enquête téléphonique "Baromètre politique français" en décembre 2006 et interroger à cette fin 5240 sondés, il a fallu donner 83397 coups de téléphone. 14151 des personnes contactées ont refusé de répondre sans expliquer pourquoi, 6805 ont refusé de répondre en expliquant refuser de répondre à tous les sondages, 139 ont motivé leur refus par le commanditaire du sondage, 1342 par la trop longue durée du questionnaire, 1353 ont abandonné le sondage en cours de route…

frankie (2016-11-29T17:32:33Z)

@touriste : les renseignements généraux ont disparu. Ils arpentaient les salles de réunions pour humer l'air du temps, noter ce qui se disait et qui le disait. Leurs comptes-rendus étaient précis et circonstanciés. Les préfets n'ont plus de source d'information.
Petite réflexion : nous sommes entrés depuis longtemps dans une "société d'information" (Mc Luhan, sauf erreur). N'y a-t-il pas paradoxe que nous soyons abreuvés de sous-informations -messages à contenu informationnel très pauvre- , de non-informations -dont la répétition les apparente à des slogans- ou de contre-informations -dont beaucoup sont démenties immédiatement ou presque, ou oubliées très vite- ? Tous ces procédés ne font pas appel à l'intelligence mais à l'attention, ie la capacité à recevoir un stimulus élémentaire, de la même façon qu'on installe à tout bout de champ des radars automatiques sensés vérifier que sur une portion strictement délimitée et donc très courte de la chaussée, nous soyons attentifs à ne pas dépasser telle vitesse qu'un nième panneau de signalisation nous aura signalé quelques secondes auparavant.

Fabrice (2016-11-28T21:05:40Z)

Puisque jonas cite phdcomics, un autre sur le sujet :
http://www.phdcomics.com/comics/archive.php?comicid=1271.

Touriste (2016-11-28T20:03:49Z)

Un peu comme Dyonisos dans les commentaires précédents, j'ai quand même l'impression qu'il reste des opinions intermédiaires défendables entre celle -caricaturale- que tu fustiges ("les sondages n'ont aucune valeur scientifique, ils sont tout faux, ils se trompent tout le temps") et celle que tu présentes comme la tienne ("il y a toutes sortes de choses qui nous paraissent évidentes parce qu'on a vu les sondages, et qui ne l'auraient pas été sans eux").

Compte tenu de la marge d'erreur des sondages, liée à divers éléments incontournables qu'on ne peut évidemment que partiellement compenser par des redressements plus ou moins pifométriques - certains sondés mentent, d'autres se trompent de bonne foi, les préférences des personnes refusant de répondre ne sont pas forcément identiques à celles des répondants, et j'en passe sans doute, on peut se demander si leur précision est supérieure à l'avis d'une personne bien informée, disons à la méthode ancestrale qu'on voit pratiquée par les ministres de l'intérieur des deux premiers tiers du XXème siècle : recevoir et synthétiser les rapports établis par les sous-préfets et préfets.

J'essaie de regarder ce qu'il en est sur quelques exemples passés récents ou futur :

* sur le Brexit, tu penses que les sondages donnaient l'information "il est vraiment impossible de conclure quoi" - c'est un peu exagéré, ils disaient bien quand même, avec estimation pifométrique de la marge d'erreur par mes soins, que tant le "oui" que le "non" dépasseraient bien les 40 %. Il est probable que les techniques ancestrales auraient fait aussi bien ;

* sur la primaire LR, il n'était sans doute pas évident pour moi, citoyen lambda pas spécialement motivé par cette primaire, de savoir que Lemaire ou NKM feraient des scores minables, ce que les sondages avaient en effet parfaitement prévu. Mais je ne doute pas que Wauquiez et son état-major (et les deux candidats cités) avaient des retours assez précis de l'assistance à leurs réunions publiques ou privées qui renvoyaient la même information.

* sur le réferendum italien du week-end prochain, les sondages laissent penser (toujours avec estimation généreuse et pifométrique de l'erreur) que le "oui" fera quelque chose entre 44 et 55 %. Vu de mon chez moi, c'est sans doute très informatif. Mais je suis persuadé qu'un politicien professionnel italien, sous réserve qu'il ait des retours d'impressions de lieux et milieux sociaux raisonnablement variés, en sait autant voire davantage.

Si un sondage prévoit le score, à plus ou moins 7 % près pour un référendum ou une primaire ouverte, à plus ou moins 3 % près pour une élection politique à participation importante, c'est sans doute scientifique et respectable, mais est-ce significativement meilleur que la méthode du doigt mouillé ?

JMU (2016-11-28T17:48:05Z)

"On pourrait imaginer faire des élections en continu, où chacun peut, à tout moment, changer sa voix, et dont les résultats sont connus en permanence, et deviennent officiels à partir du moment où tous les électeurs s'estiment satisfaits et n'ont pas envie de changer leur vote compte tenu des résultats — en espérant que ça converge."

Idée intéressante, et qui est de l'ordre du techniquement réalisable (bon, on pourrait aussi imaginer tenir les séances de l'Assemblée à 65 millions via Twitter, mais n'entrons pas dans ce débat). Si ça ne converge pas, c'est qu'il y a un cycle, et on pourrait quand même mettre un critère (du style le candidat qui est le plus souvent en tête).

Par contre, y a-t-il un moyen de faire ça de manière à éviter les votes tactiques ? Par exemple, il faudra nécessairement mettre une limite sur le changement de voix (faute de quoi un parti perdant se coordonnerait pour changer ses votes jusqu'à épuisement des logs). Si on met une date limite, on risque d'avoir des électeurs qui cachent leur jeu jusqu'à H-1.

J'ai essayé de bricoler quelque chose du genre "votre droit de changement de vote expirera à un instant tiré uniformément au hasard entre demain et dans trois jours" pour dissuader ça mais je ne vois pas comment formaliser les critères attendus correctement. Par exemple, si mon ordre de préférence est Trotsky (petit candidat) > Lénine > Hitler, je peux me sentir floué si je vote Trotsky alors que Lénine est à 20% devant Hitler, mais que la tendance se renverse juste après l'expiration de mon droit de vote (mais avant l'expiration de celui d'autres).

ooten (2016-11-28T16:09:23Z)

Pour moi ça me semble clair un sondage est l'extrapolation sur l'ensemble de la population de l'interrogation d'un échantillon représentatif de la population. Je suppute que l'extrapolation et la constitution représentative de cet échantillon reposent sur des modèles mathématiques qui marchent/collent avec les résultats des précédentes élections, il y a une relation de corrélation entre le modèle et les résultats réels passés mais pas du tout de relation de cause à effet comme on pourrait l'établir sur des phénomènes physiques beaucoup plus simples. Mais on fait quand même l'hypothèse que le modèle va être juste dans le futur et que les sondages rendent compte de l'état réel de l'opinion au moment ou on les fait, mais cette hypothèse est fortement douteuse et c'est tout ce qu'on a aujourd'hui comme méthodologie. Au moment de l'élection on adapte le modèle à la réalité de l'instant.

Je soupçonne que c'est la même méthodologie qui est employée dans la finance pour passer des ordres et qui fait qu'à un moment donné, il se peut que les outils employés ne collent plus à la réalité. Sauf que dans ces cas, j'ai l'impression qu'on a des retours plus rapides sur l'état du système physique modélisé.

jonas (2016-11-28T16:00:02Z)

Whenever you talk about this kind of journalism, I'm reminded to a 2009 strip of the Piled Higher and Deeper comics <URL: http://www.phdcomics.com/comics/archive.php?comicid=1174 >.

Dyonisos (2016-11-28T14:03:40Z)

Ok en gros sur ta réponse. Mais elle valide implicitement la critique de ce qui m'agace très fortement : la présence des sondeurs dans les émissions politiques qui glosent à l'infini les frémissements de leurs courbes en ne mettant JAMAIS l'accent sur la très grosse incertitude les enveloppant. C'est frappant dans l'émission de France 2 du jeudi soir, et c'était encore plus criant dans les numéros de c'est dans l'air où il n'était pas rare (et je crois que ça continue) de voir deux "spécialistes ès sondages" disserter dans le vide de l'impact de l'un ou de l'autre homme politique à la seule aune de leurs sondages. Dans ces contextes, ce n'est même pas le journaliste qui commente et qui interprète mal les données qu'on lui fournit, ce sont les sondeurs ex cathedra qui se targuent de leurs enquêtes pour avoir un droit de commentaire que j'exècre tant par le vide des propos que désormais sur ce que je suspecte être l'évanescence de leurs fondements dans leurs études.
Et on ne m'enlèvera pas l'idée que le parallélisme avec la cosmologie n'est pas de rigueur : il y a bien je suppose des aspects où la courbure de l'univers donne prise à des tests de falsifiabilité par solidarité avec d'autres composantes de la théorie avec laquelle elle fait bloc (depuis Duhem et Quine on aime à souligner que les théories scientifiques sont falsifiables holistiquement, en bloc). Je ne pense pas que ce soit vrai avec les sondages récents depuis qu'il existe des écarts réitérés entre leurs projections et le verdict des urnes (et de toute façon, je ne vois pas de théorie globale les incluant falsifiable) . Encore une fois, tant que ça fonctionnait sans gros couacs, je me rangeais à la sentence des faits et je n'avais aucun mal à estimer que la ponction représentative était fiable mais j'ai changé d'avis depuis les écarts réitérés.

Ruxor (2016-11-28T10:37:36Z)

Le fait d'avoir une erreur colossale sur une mesure ne signifie pas qu'elle n'est pas faite scientifiquement. En cosmologie, par exemple, la courbure de l'Univers est connue avec une incertitude très supérieure à 100%, c'est-à-dire qu'on n'en connaît même pas le signe !, et pourtant, je crois que pas grand-monde ne remet en cause le fait que c'est une mesure bien définie et que la cosmologie est une science sérieuse. Un sondage sur une primaire comme celle qui vient d'avoir lieu en France a une incertitude qui doit exploser les 30% : ce n'est pas un problème, tant qu'on le dit — et j'ai des raisons de croire que les instituts de sondage l'ont clairement dit aux journalistes qui ont commandité et commenté ces sondages (je le crois parce que j'ai plusieurs fois entendu des représentants des instituts de sondage faire ces mises en garde quand ils ont été interviewé sur ce sujet à la télé ou dans la presse). Un scientifique, quand on lui demande de mesurer X, son boulot est de mesurer X et d'estimer l'incertitude de sa mesure : tant qu'il le signale correctement, il n'est pas en tort, ce sont ceux qui utilisent la mesure en question pour autre chose que ce qu'elle vaut qui sont en tort.

À ma connaissance, celui qui commandite le sondage, et uniquement lui, reçoit un dossier très détaillé qui explique la méthodologie, les résultats, l'erreur estimée, les précautions à prendre dans l'interprétation des résultats. Le commanditaire en question choisit alors de communiquer ce qu'il veut, ou de laisser l'institut de sondage communiquer (parfois il y a une ristourne sur le prix du sondage si le commanditaire accepte que le résultat soit public, mais le dossier complet ne l'est pas par défaut). On peut certainement regretter que ce dossier ne soit jamais rendu public, mais c'est celui qui paye le violon qui choisit la musique. Et en l'occurrence, s'il choisit de ne pas publier la marge d'erreur que l'institut de sondage lui a fournie, c'est sa faute, pas celle de l'institut de sondage qui agit sous contrat.

Tadore (2016-11-28T09:40:30Z)

Dire que les sondages c'est scientifique, c'est quand même y aller un peu fort.

On sait que pendant longtemps (c'est peut-être moins vrai aujourd'hui) beaucoup de gens n'osaient pas dire qu'ils votaient Le Pen. Du coup, les instituts de sondage "redressaient" le score de Le Pen en réajustant les résultats d'après les élections précédentes, l'âge du capitaine et l'air du temps (bon, ok, surtout d'après l'écart observé entre les estimations et les résultats réels lors des élections précédentes mais pas seulement). Si un tel tripatouillage est scientifique, alors autant se fier aux prévisions d'Elizabeth Tessier… Et les instituts de sondage ne se sont jamais étendus sur les mesures utilisées pour "redresser" les résultats, sinon pour se défausser sur eux lorsque les vrais résultats étaient publiés.

Si on croit que Fillon a pu passer d'une dizaine de pourcents (d'après les sondages d'avant premier tour) à 43% en à peine quelques jours et si on croit que les sondages sont fiables, voire scientifiques, ça vaudrait le coup d'étudier ce phénomène. Ou alors, si la marge d'erreur est de plus de 30 points (10%, ça veut dire quelque part entre 0 et 50%), ça ne me semble pas hyper scientifique…

Bref, je pense pour ma part qu'on a affaire à des données non scientifiques utilisées de manière non scientifique et qui donnent lieu à des discussions non scientifiques y compris sur des blogs par ailleurs plutôt sérieux scientifiquement ! :-)

Dyonisos (2016-11-27T21:25:13Z)

Mais il reste une divergence importante : je ne saisis pas bien pourquoi tu penses que les sondages, y compris la marge d'erreur qu'ils présentent, sont des instruments d'observation des opinions rigoureusement "scientifiques". Qu'ils aient remarquablement réussi par le passé est hors de doute, et ils continuent à être souvent "assez" proches de la réalité mais sensiblement moins qu'avant et je ne suis pas du tout convaincu que ça s'explique principalement par le passage aux téléphones mobiles. C'est si on veut un problème de "falsifiabilité" classique : comme le verdict des urnes peut toujours être sauvé par les théories tant qu'on n'est pas dans des marges aberrantes du genre stein sera présidente des EU ou Poutou pour la France, j'ai de très fortes suspicions qu'ils peuvent fonctionner tant qu'on veut sans être jamais réellement confronté à un test de réfutabilité.
Et comme les identités politiques me semblent plus fluctuantes et friables que par le passé, c'est la fiabilité des "échantillons représentatifs" que je pense moins opératoire que par le passé. Or, au lieu de réfléchir sur ce point, les sondages (qui fonctionnent comme une industrie, c'est le point que tu oublies dans l'idée que c'est la simple reprise des journalistes et la lecture naïve du public qui sont à critiquer, les deux forment couple notamment en raison des intérêts pécuniaires pour les sondeurs et de la fourniture de données facilement glosables et de leur peu d'appétence, euphémisme, concernant des débats d'idées substantiels pour les journalistes) occupent une part démesurément irrationnelle de ce que devrait être le débat public.

Ruxor (2016-11-27T20:14:16Z)

@Dyonisos: À nouveau, je suis complètement d'accord avec toi pour dire tout le mal que tu voudras de la manière dont les sondages sont présentés par les journalistes et commentateurs politiques. Ce que je dis, c'est que c'est injuste de mettre cette présentation sur le dos des sondages eux-mêmes plutôt que ceux qui les communiquent au public. C'est comme si tu reprochais aux physiciens/biologistes/… la présentation que font les journalistes de leurs travaux (en général bourrée d'erreurs à tous les niveaux, et il me semble raisonnable de penser que ces erreurs ne viennent pas de la source).

@Fab: Je ne dis pas que je ne suis pas d'accord avec le fait que les sondages ont un effet retour sur les électeurs et que cet effet peut être problématique. Ce que je dis, c'est que cette rétroaction concerne beaucoup plus que les sondages (je pense par exemple aux réseaux sociaux) et qu'il serait injuste de n'accuser qu'eux. Mais le fait que ça mérite un débat plus approfondi (et qui dépasse ce sur quoi je serais capable de dire quelque chose d'intelligent), tout à fait d'accord.

Tiens, un point de rétroaction intéressant, c'est l'effet, en France, de la présidentielle sur les législatives qui suivent, où tout le monde reconnaît qu'il y a un effet d'entraînement de l'une sur l'autre : c'est un cas où l'opinion influence l'opinion (dans le même sens). Est-ce légitime ? est-ce problématique ? je ne sais pas, il y a certainement lieu de se poser la question, et je n'ai pas de réponse toute prête. Mais en tout cas je ne crois pas qu'on doive isoler le cas des sondages de toutes les autres manières où l'opinion rétro-agit positivement sur l'opinion.

Dyonisos (2016-11-27T18:26:04Z)

Ok. Sur le cas du Brexit, ce n'était sans doute pas techniquement un sondage à la sortie des urnes, mais c'était tout de même bien des estimations données tout juste après la fermeture des bureaux de vote, donc au jour j et au temps t donné. Il est vrai qu'ils se plantaient de peu, mais c'était tout de même une erreur.
Et sur "Mais si tu dis que les sondages donnaient les partis « au coude à coude », il faut interpréter ça comme « les sondages ne disent rien »", le problème est que ce n'est jamais ainsi qu'ils sont présentés et critiqués dans la presse ! Il y sans doute des occurrences lorsqu'on cherche bien comme le lien que tu as donné mais de ce que j'ai vu dans des émissions politiques comme celle du jeudi sur France 2 qui se conclut sur le verdict des "sondés" concernant l'homme politique qui était invité ou, par exemple, il y a encore une dizaine d'années quand il m'arrivait de regarder un peu c'est dans l'air (depuis je ne peux plus, je trouve ça trop débile) où des sondeurs avaient leur place régulière comme Cayrol, Giacommetti, c'est l'exact opposé qui prévalait : on dissertait à qui mieux mieux des nuances d'inflexion des courbes.
Par exemple pour les législatives de GB et d'Israël, je suis absolument certain que rien dans la presse grand public accessible via google que j'ai pu lire (ok évidemment j'ai dû laisser énormément d'articles mais j'en ai lu un certain nombre aussi et c'est ce que j'ai à l'esprit présentement) dans les entrées d'actualités ne disaient quelque chose comme "ces sondages ne disent rien". Dans ces conditions, encore une fois, plutôt que de souligner l'erreur de lecture du public, je crois que c'est le cocktail recours extrême aux sondages-commentaire ad nauseam de la presse occultant beaucoup trop souvent les précautions d'incertitude nimbant les résultats commentés qui devrait faire l'objet des critiques.

Fab (2016-11-27T18:10:15Z)

Encore un billet brillant.

J'ai en particulier apprécié l'analogie entre la mesure que représente le sondage avec la mesure en physique quantique :-) Il me semble cependant que l'affirmation (que tu attribues au monde politique) selon laquelle « (2) les sondages nuisent à la démocratie parce que l'impression de prédestination qu'ils procurent influence les électeurs dans leur choix, et gâche l'authenticité de leur vote […] donc ils déclarent aux sondeurs ne pas vouloir voter pour eux, et le cercle vicieux se boucle » n'est pas à balayer d'un revers de main pour autant. Il y a là pour moi un phénomène absolument pas imaginaire mais qui ne remet pas en cause leur utilisation en démocratie. (Et que certains politiciens opportunistes s'en servent comme argument, même de façon grossière ou fallacieuse, est un fait, certes, mais pas une raison pour nier l'influence d'un sondage sur les suivants et à terme sur l'issue du vote lui-même.)

Tout à fait d'accord aussi l'analyse de frankie (…et sur sa réponse à Matt ;-) je n'aurais pas mieux répondu)

Ruxor (2016-11-27T17:19:28Z)

@Dyonisos: Je crois que nous sommes complètement d'accord pour dénoncer les journalistes qui prennent les sondages pour l'alpha et l'omega du discours politique et qui passent leur temps à les commenter (au lieu de, par exemple, animer un débat de fond sur les programmes et leur réalisabilité), et, qui, pire encore, manipulent ainsi le paysage politique en prétendant que telle ou telle question intéresse les français ou qu'Untel devrait se présenter. Notons qu'il y a une véritable schizophrénie de ces journalistes, parce que ce sont les mêmes qui, le lendemain de l'élection, vont être les premiers à crier avec les hommes politiques que les sondages sont du grand n'importe quoi. Notons aussi quand même qu'il n'y a pas que les sondages qui se trompent : lors de la primaire républicaine américaine, par exemple, tous les sondages donnaient Trump gagnant (à mon avis ces sondages ne veulent rien dire, mais le fait est qu'ils le donnaient très largement gagnant), et les analystes politiques préféraient utiliser leur intuition sur le monde politique pour expliquer que non, non, non, il ne pourrait jamais gagner cette primaire, que la bulle Trump allait s'effondrer quoi que disent les sondages, etc. Bref.

Je suis aussi complètement d'accord sur le fait que la marge d'erreur des sondages est bien plus importante maintenant que par le passé. C'est un fait bien connu, et que personne ne conteste. La raison la plus importante est que la méthodologie d'appel sur des lignes téléphoniques fixes est de moins en moins représentative (de plus en plus de gens ont uniquement un mobile, même les gens qui ont une ligne fixe ont de plus en plus de moyens de filtrer leurs appels, et surtout, ces faits ne sont pas décorrélés des intentions de vote). Redresser les résultats devient très difficile. MAIS on sait assez bien estimer, par mesure empirique, la marge d'erreur (élargie) résultant de ces effets.

Un sondage est une mesure scientifique. Toute mesure scientifique doit s'accompagner d'une estimation d'erreur, i.e., d'un intervalle de confiance, et mieux, de deux estimations d'erreur (les erreurs de type A et B, soit en gros les erreurs aléatoires et les erreurs systématiques). Peut-être que les instituts de sondage sous-estiment leur marge d'erreur (surtout l'erreur systématique) : dans ce cas, il faut estimer de combien, c'est une question scientifique qui doit faire l'objet d'un débat scientifique (que je n'ai pas les moyens ou la compétence de mener, en tout cas certainement pas ici). Si quelqu'un a des critiques à faire sur ce plan-là, et qu'il a les éléments pour le faire, je ne vais certainement pas le disputer.

Mais ceux qui méritent vraiment d'être critiqués, ce sont tous ceux qui croient lire dans un résultat scientifique un oracle de l'avenir, et surtout, ceux qui ignorent complètement l'information sur la marge d'erreur dans la discussion du résultat. Or à chaque fois que j'ai entendu un représentant des instituts de sondage s'exprimer, il était toujours très clair sur ce qu'il pouvait ou ne pouvait pas prédire. J'en conclus que le problème est chez les journalistes, notamment ceux qui commanditent le sondage, reçoivent donc un dossier précis, et jettent purement et simplement l'information cruciale « estimation de l'erreur ». Ce sont eux que je dénonce comme des crétins et des connards.

Pour prendre des exemples précis :

• Sur le cas du Brexit, je maintiens qu'il n'y a pas eu de sondage de sortie des urnes, et en voici une preuve : <URL: http://www.bbc.com/news/uk-politics-eu-referendum-36596647 >. Le Monsieur interviewé explique très bien pourquoi il n'y en a pas et pourquoi ça ne peut pas marcher. Si des journalistes ont présenté quelque chose comme un sondage sortie des urnes, ce sont des menteurs et des charlatans, et la faute n'est pas aux sondages qui n'ont pas existé.

• Sur le cas du Wisconsin à la présidentielle américaine, les dernières estimations de 538 sur la base des sondages donnaient 16.5% de chances à Trump dans cet état. Tu vas peut-être dire que 16.5% de chances (soit à peu près 1/6) c'est très peu, mais (A) il y a 50 états, donc on s'attend bien à ce qu'on tombe au moins une fois dans la région de 2% de probabilités, et (B) on ne sait TOUJOURS PAS qui a gagné l'élection dans le Wisconsin, les résultats ne sont toujours pas certifié puisqu'un recours pour recomptage a eu lieu. Dire « les sondages prédisaient que Clinton gagnerait : ils se sont trompés » est EXACTEMENT le genre de lecture que je trouve insupportable et qu'il faut dénoncer : non, les sondages, même tous mis ensemble, ne prédisaient pas quelque chose comme ça, ils estimaient (si 538 les lit et les agrège correctement, et je vais faire cette hypothèse) que Clinton avait 83.5% de chances de gagner, ce n'est pas 100%, et passer de « a 83.5% de chances de gagner » a « va gagner » est un saut inacceptable (de nouveau, exactement comme passer de « il va jouer à la roulette russe, il a 5 chances sur 6 de survivre » à « il va jouer à la roulette russe, tout va bien, il va survivre », que personne ne ferait).

À nouveau, je ne peux pas commenter sur les dernières législatives israéliennes ou britanniques, parce que je n'ai pas trop suivi. Mais si tu dis que les sondages donnaient les partis « au coude à coude », il faut interpréter ça comme « les sondages ne disent rien », pas comme « les sondages disent que les résultats seront serrés », parce que « au coude à coude » veut dire « en-deçà de l'erreur systématique », mais l'erreur systématique peut quand même donner une belle victoire à un camp ou l'autre (surtout avec un système de scrutin par circonscriptions comme au Royaume-Uni).

Sondage or not Sondage (2016-11-27T16:46:28Z)

Il n'y a pas de sondage dans les régimes policiers - par exemple à Cuba sur les regrets de la population cubaine vis-à-vis de la disparition non-prématurée du fondateur du régime.

Dyonisos (2016-11-27T15:40:39Z)

Et sur les dernières élections américaines, je poserais les termes de l'enjeu différemment.
Primo, y a-t-il eu un seul sondage dans le lot de l'usine à en pondre qui ait pronostiqué le basculement du Wisconsin ?
Deuxio et plus grave, plutôt que de mettre l'accent sur l'erreur d'interprétation liés aux sondages comptabilisant le nombre absolu des voix, c'est l'existence même de ces sondages à répétition qui pose problème. Evidemment que seules des enquêtes statistiques par Etats et leurs poids relatifs étaient pertinents et pourtant les sondages grands publics délivrés très régulièrement se bornaient à prendre la population globale des EU. Il est possible, et même certain, que si on cherchait à prendre connaissance de ces sondages dans leurs détails techniques avec la mention des précautions d'incertitude etc… on ne tombait pas dans le piège mais sur internet via le filtre google actualités, ce n'était à mon souvenir jamais (ou extrêmement rarement) apparent et en général trois/quatre lignes croyaient y déceler une remontée ou un effondrement de l'un ou l'autre candidat. Or, c'est cette somme de sondages calculées sur des bases tronquées vu leur objectif apparent (donner des informations importantes sur le résultat de l'élection) qui n'avaient pas lieu d'être. C'est le couple infernal sondages/presse où la seconde passe de plus en plus son temps à commenter les premiers qui indispose. La séquence 2007 où Ségolène à mon avis s'est vue propulsée candidate sur le seul argument "de fond" de sondages flatteurs et la une de la presse (je crois que c'est le nouvel obs qui a lancé le produit sur le marché mais je n'en suis pas sûr) était déjà lamentable mais ça s'est aggravé parce que les sondages n'ont même plus la puissance de saisie des opinions au même degré de fiabilité qu'auparavant.

Dyonisos (2016-11-27T15:25:13Z)

Sur le Brexit je faisais référence aux estimations données dans la foulée de la fermeture des bureaux de vote et qui donnaient une légère avance au remain, or je crois que ce type de sondage est réputé plus fiable, voire quasi infaillible, et c'est logique puisque précisément le temps t du sondage effectué est le même que celui de l'élection, ce qui supprime l'argument du "c'était vrai au temps t-x mais pas à celui de l'élection."
Sur les dernières législatives britannique et israëlienne c'était aberrant : tous les sondages donnaient la gauche ou la droite au coude-à-coude, voire un léger avantage à la gauche jusqu'à l'imminence des élections…où la droite l'a emporté très haut la main.
Je ne prétends pas qu'il n'y ait aucune erreur de lecture des sondages qui rendent idiotes les critiques dont on les affuble mais le point important pour moi est le nouvel effet de ciseau qui apparaît de plus en plus nettement et que je ne crois pas contestable :
1) La propension de plus en plus grande des sondages à se planter. C'est curieux parce que ça s'accumule récemment et que ce phénomène n'existait pas à ma connaissance dans les scrutins antérieurs. Je crois que c'est parce que le monde social devient plus anomique et "objectivement" imprévisible et parce que le découpage en échantillons réputés représentatifs fonctionne beaucoup plus mal qu'auparavant.
2) la tendance devenue insupportable (pour moi en tout cas) à faire des sondages l'alpha et l'oméga du discours politique médiatique. C'est simple : moins ils fonctionnent, plus on en parle !!! Dans ces conditions, plutôt que de parler de haine des sondages, je pense qu'il est davantage souhaitable de parler de juste colère/écoeurement face à ces gros sabots de pseudo-courses de chevaux.
D'ailleurs, d'après les échos que j'ai pu avoir dans des conversations privées de mon voisinage, il n'est pas exclu que cette part sondagière joue un rôle dans le choix de dernière mn: beaucoup de personnes votant à droite à qui j'ai pu parler étaient lassées à l'avance du match sarkozy/juppé qu'on nous vend depuis des années ; du coup dès qu'un "cheval" a paru s'échapper susceptible de rebattre les cartes, elles s'y sont précipitées, en désertant d'ailleurs les "petits candidats" (eu égard aux sondage…autre effet délétère) pour "jouer" la case Fillon.

frankie (2016-11-27T14:27:14Z)

D'accord sur beaucoup de points.
La "fiance" vis-à-vis des sondages doit relever d'un certain type de rapport (statistique, psychologique ou autre) à la vérité. Une vérité de nature probabiliste est une vérité que la majorité des gens ne savent pas appréhender. Et quand trop de gens se prennent le pied dans le tapis, on peut légitimement se demander s'il n'y entre pas une bonne dose de connerie… Le fait que des gens de pouvoir ou d'influence affirment à tout bout de champ tant de sentences vaguement vraies ou franchement fausses finit par lasser, moi le premier…
L'erreur systématique lors d'un sondage peut devenir essentielle dans un scrutin serré. Or sa provenance est difficile à détecter : vote "honteux" (ne pas afficher sa préférence), électorat moins accessible aux sondeurs (le sondage par téléphone ne s'adresse qu'à ceux qui en ont encore un…),etc.
Le sondage effectue une mesure, certes, mais pas au sens quantique, ou plutôt, c'est comme s'il rajoutait un deuxième écran à l'expérience de Young et qu'il mesurait une probabilité intermédiaire : il introduit une complexité au système qu'il mesure et ne mesure pas le résultat final de l'expérience, laquelle ne sera d'ailleurs pas renouvelée, ce qui empêchera la "théorie" -le protocole expérimental- qui sous-tend le sondage d'être ensemencée par l'expérience.
Un point sur lequel je diverge de l'opinion de Ruxor est celui des fluctuations lors de sondages successifs. En dehors d'erreurs d'ordre statistique, elles mettent en évidence des évolutions temporelles qui sont elles-mêmes mises à profit par les candidats pour modifier leurs stratégies au court terme. Elles me semblent pertinentes.
Une phrase obscure à souhait : "Bref, la moindre des choses serait d'arriver à savoir lire quand les sondages disent qu'ils ne peuvent rien dire." à mon sens doit être un reliquat du style de phrase que l'on écrit lors de rédactions notées à caractère pompeux. Si l'on devait soumettre les sondages et les petites phrases politiques ou commerciales à un détecteur de sens, disons au sens précisé dans l'Aube de Fondation par exemple, il n'en resterait souvent que des miettes. Mais ce serait contre le sens de notre société boulimique et compulsive qui crée à foison des messages à contenu nul, voire effaçable.
@Matt : rien ne vous oblige à donner votre opinion personnelle sur le créateur de ce blog. Pour ma part, je la trouve déplacée et niaise. Les attaques personnelles ne pourraient guère se justifier qu'en cas de conflit d'intérêt, ce qui est loin d'être le cas en l'espèce. Entendons-nous bien : que vous trouviez arrogants les propos de Ruxor n'est pas plus gênant que ça, à ceci près que votre argumentaire est d'une finesse un peu désespérante, mais que vous vous permettiez de remettre en question ses qualités de mathématiciens me laisse pantois.

Ruxor (2016-11-27T13:49:09Z)

@Dyonisos: "sortie des urnes réputée infaillible du Brexit" → je voudrais voir une référence précise vers ce sondage et l'affirmation de son infaillibilité. Parce que moi j'ai suivi très attentivement cette campagne et ce vote, et j'ai justement entendu les responsables des instituts de sondage expliquer qu'ils NE FAISAIENT PAS de sondage sortie des urnes parce que c'est impossible à étalonner dans le cas d'un referendum, et que si on en faisait il n'aurait absolument aucune valeur. Vivons-nous dans des Univers parallèles ? Ou ne serait-ce pas plutôt le signe que le problème n'est pas dans les sondages mais dans les gens qui ne veulent pas écouter les mises en gardes des instituts de sondages eux-mêmes sur la fiabilité de leurs mesures (parfois elles sont fiables, parfois non, il y a des moyens de savoir à l'avance, mais si le journaliste ignore complètement les informations sur la marge d'erreur et ne regarde que le résultat, forcément, ça donne l'impression que les sondages disent n'importe quoi alors que c'est le journaliste qui est nul).

Je n'ai pas vu les sondages sur les législatives en Israël et au Royaume-Uni donc je ne peux pas commenter ces cas-là, mais es-tu sûr que ce n'était pas encore un cas analogue à celui de Trump où les sondages ne disaient absolument pas que Clinton allait gagner mais des gens ont choisi de les lire comme ça (surtout pour le Royaume-Uni où le vote est par circonscription, donc le sondage n'a de sens que s'il est accompagné d'un modèle mathématique comme celui de 538) ?

Dyonisos (2016-11-27T11:49:10Z)

Les sondages se plantent massivement depuis quelque temps (un ou deux jours avant les législatives en Israël et en GB, la sortie des urnes réputée infaillible du Brexit, le cas Fillon donné dans un seul sondage deux trois jours avant avec un point d'avance).
Dès lors, ou on choisit à la Ruxor de conserver sa foi dans les sondages et de déclencher la manivelle à épicycles, ou bien on pense qu'il s'agit largement désormais au moins autant d'instruments de manipulations/remplissage du vide du commentaire politique/ course-de-cheveauisation de la politique que de prétendus moyens scientifiques de connaître l'état de l'opinion "au fameux temps t".
Faites vos jeux.

phi (2016-11-27T00:54:28Z)

> Matt
Mais non, David n'est pas arrogant! Certes, il ne fait pas semblant d'être stupide, comme le font nombre d'intellectuels, qui d'ailleurs ne font pas seulement semblant, et ne le font pas forcément exprès, et il parle un peu comme ces gens qui veulent paraître intelligents, puisque ces derniers singent les gens comme David, mais je puis assurer qu'il est la simplicité et la modestie incarnées. Et, en l'occurrence, il faut l'encourager dans cet accès de franchise et de lucidité.

Ruxor (2016-11-26T22:57:12Z)

@Matt: Ceux qui se sentent morveux, ils se mouchent.

GHP (2016-11-26T21:22:56Z)

Vous devriez écrire dans la presse, cet article mérite une large audience

Matt (2016-11-26T20:27:55Z)

D' ou vous viens votre incroyable arrogance ?
"ils lisent ce qu'ils peuvent, ou ce qu'ils veulent, en dépit du bon sens, et ils s'énervent contre les sondages quand cette lecture est idiote",
"C'est vraiment ne rien comprendre au concept d'une mesure bruitée"
"…la connerie n'est pas dans les sondages, elle est dans la tête de ceux qui les lisent"
"…plus basé sur une foi inébranlable en la connerie humaine"
"… c'est la faute des gens qui n'arrivent pas à comprendre le concept d'une barre d'erreur"
D'etre un mathematicien mediocre (d'apres vos publications depuis que vous n'êtes plus sous une direction de Ph.D.) empire votre cas.


You can post a comment using the following fields:
Name or nick (mandatory):
Web site URL (optional):
Email address (optional, will not appear):
Identifier phrase (optional, see below):
Attempt to remember the values above?
The comment itself (mandatory):

Optional message for moderator (hidden to others):

Spam protection: please enter below the following signs in reverse order: 50ff88


Recent comments