Les sondages sont-ils fiables ? Tout comprendre en 10 minutes – Blabla #18 – Osons Causer

 

SITES DE VEILLE GENERALE SUR LES ABUS DE SONDAGES :

www.acrimed.org
Cette association bien connue d’exigence critique dans l’univers des médias consacre évidemment une partie de son travail sur l’utilisation des sondages. Bien des exemples d’abus idéologiques ou méthodologiques y sont recensés. SI vous êtes curieux des poubelles du journalisme, vous allez trouver de quoi vous satisfaire !

www.observatoire-des-sondages.org
Association fondée par un sociologue spécialiste des sondages et de sociologie politique (Alain Garrigou) qui se propose d’exercer une veille critique sur les sondages et leur utilisation médiatique. Site d’utilité publique en ces temps troubles !

 

REPRESENTATIVITE / MARGE D’ERREUR 

[ARTICLE D’INTRODUCTION A LA TECHNIQUE STATISTIQUE DE SONDAGE] https://www.eleves.ens.fr/pollens/seminaire/seances/sondages/Technique-sondage.htm
Cet article reprend les différentes méthodologies de construction d’échantillon (quotas / aléatoire), aborde les questions de marge d’erreur et de représentativité et évoque même certains biais de formulation. Bonne introduction.

[APPROFONDISSEMENT SUR LES PROBLEMES DE REPRESENTATIVITE] http://www.statcan.gc.ca/edu/power-pouvoir/ch13/nonprob/5214898-fra.htm
Cet article de l’INSEE canadien permet d’approfondir le détail de l’argument statistique sur la non représentativité des sondages. Le passage par les problèmes d’échantillonnage et de probabilité est ici nécessaire. Mais avec ça, la critique statistique de la représentativité des sondages n’aura plus de secret pour vous ! :)

[POUR LES GEEKS : LA BIBLE DES STATISTICIENS DE L’INSEE] Pascal ARDILLY, Les techniques de sondages, Paris, Technip, 1994.
Nos statisticiens émérites (qu’ils soient ici éternellement loués) se forment avec ce bouquin depuis plus de vingt ans. C’est dire si le bouquin est complet et bien foutu !

 

LES BIAIS DES QUESTIONS :

                  [L’ARTICLE LE PLUS COMPLET SUR LES SONDAGES ET CE BIAIS EN PARTICULIER] https://www.cairn.info/revue-actes-de-la-recherche-en-sciences-sociales-2007-4-page-48.htm
Cet article sociologique assez long revient sur le traitement médiatique qui a précédé la réforme des retraites de 2003 (Fillon). Grâce à cette minutieuse étude de cas et aux nombreux exemples l’article démontre avec une grande clarté que les sondages sont parfois loin d’être utilisés et construits avec neutralité et objectivité.

[UN ARTICLE PLEIN D’EXEMPLES RECENSSANT TOUS LES BIAIS DE QUESTIONS] http://icp.ge.ch/sem/cms-spip/spip.php?article1765
Cet article clair fait le bilan des biais de formulation et de choix des questions. Vous y trouverez plein d’exemple.

[ARTICLE TRES CLAIR SUR L’EFFET DE CADRAGE EN PSYCHOLOGIE] http://homofabulus.com/effets-de-cadre-en-psychologie-vos-decisions-sont-elles-impartiales-probleme-maladie-asiatique/
Voilà un article très clair et pédagogique d’un blog sympa. Autour d’un exemple, il parcourt et illustre tous les effets psychologiques possibles de la formulation des questions sur les réponses.

[ARTICLE SCIENTIFIQUE EN ANGLAIS DEMONTRANT LES EFFETS DE CADRAGE] http://sds.hss.cmu.edu/risk/wandi/Bruinedebruin%20in%20press%20framinginsurveys%20chapter.pdf
Cet article (en anglais malheureusement) fait le tour de tous les problèmes posés par les effets de cadrage (la manière dont la question est posée) dans l’utilisation de sondages. Les problèmes posés sont si nombreux qu’il semble, in fine, presque impossible d’imaginer un sondage « neutre et objectif ».

 

LE BIAIS D’AMORCAGE :

[EXCELLENT ARTICLE DE SYNTHESE SUR LA QUESTION] http://statosphere.fr/conditionnement-negatif-effet-de-priming-sondages-ecologie
Cet excellent article d’un blogeur statisticien fait le tour de la question. L’expérience de Sciences et Avenir, les exemples de cadrages politiques, tous les points importants de ce biais sont abordés de manière claire.

[ARTICLES SCIENTIFIQUES EN ANGLAIS DEMONTRANT L’EFFET D’AMORCAGE] http://poq.oxfordjournals.org/content/45/2/208.full.pdf
Cet article scientifique (en anglais malheureusement) revient avec toute la rigueur possible sur les effets de l’ordre des questions sur les réponses des sondés. Si la question vous intéresse, vous pouvez vous marrer en consultant cet article (http://poq.oxfordjournals.org/content/59/1/93.full.pdf) qui montre que, par écrit, même les questions suivantes modifient la réponse à une question donnée. C’est dire si l’ordre des questions importe ! :)

 

LES BIAIS DE PRESENTATION :

                  [L’ARTICLE D’ACRIMED A PROPOS DE LA UNE DE LIBE] http://www.acrimed.org/Progression-du-FN-Des-salves-de-sondages-en-guise-d-enquetes
Cet article revient sur la manipulation grossière de Libération et montre par le détail comment l’agrégation des résultats et leur présentation orientent l’interprétation donnée d’un sondage.

 

QUELQUES OUVRAGES IMPORTANTS SUR LES SONDAGES :

                  Alain Garrigou et Richard Brousse, Manuel anti-sondages. La démocratie n’est pas à vendre, Montreuil, La ville brûle, 2011.
Cet ouvrage est un véritable arsenal livré à disposition du peuple pour son autodéfense intellectuelle. Ecrit par l’observatoire des sondages (voir plus haut) il se propose de restituer pédagogiquement toutes les ressources dont les citoyens ont besoin pour mieux comprendre et se défendre contre le flot continue des études d’opinion. EXCELLENT !

Patrick Champagne,  Faire l’opinion. Le nouveau jeu politique, Paris, Minuit, 1990.
Ouvrage d’un sociologue qui développe et illustre les intuitions de Bourdieu dans son article « L’opinion publique n’existe pas » (http://www.homme-moderne.org/societe/socio/bourdieu/questions/opinionpub.html ). Cette enquête a ouvert la voie à la diffusion de la critique des sondages et de leurs ouvrages. Un livre fondateur.
Une récension ici : http://www.persee.fr/doc/polix_0295-2319_1991_num_4_13_2155
Une conférence vidéo là : https://www.youtube.com/watch?v=L6fXkQsdTsA
Et la préface à la nouvelle édition : http://www.acrimed.org/Faire-l-opinion-de-Patrick-Champagne-preface-de-la-nouvelle-edition
Rémy Caveng, Un Laboratoire du « salariat libéral »Les instituts de sondage, Paris, Ed. Du croquant, 2011
La cuisine vous intéresse ? Voilà l’enquête sociologique de référence sur l’univers des instituts de sondages. Pression managériales, précariat à tous les étages, relances forcées et commandes douteuses y’en a pour tous les goûts dans cette enquête très détaillée.
Une émission de France Culture consacrée à ce bouquin : http://www.franceculture.fr/oeuvre-un-laboratoire-du-salariat-liberal-les-instituts-de-sondage-de-remy-caveng.html

5 commentaires

  • Vincent dit :

    Bonjour,

    2 petites critiques supplémentaires à rajouter au sujet des sondages :

    – les journaleux et politicien ne savent pas les interpreter, et ne comprennent pas la notion de marge de précision. C’est ainsi qu’on se retrouve avec des debats de plusieurs heures sur des variation de 1pt de pourcentage, dans le cadre de méthodo précis a +/- 3pt

    – il ya une différence entre les donnée brutes du recueil de données et les données effectivement envoyés au commanditaire, (et je ne parle pas d ‘eventuel redressement statistique/pondération pour bien faire coller la méthode des quotas), mais bien un ajustement « à la main » des valeurs. L’exemple le plus flagrant est (ou plutot était) le vote FN, qui est toujours surestimé lorsque l’on demande aux personnes, car les gens n’osent pas tjrs le dire.

    Et dernier truc qui peut etre interessant, en ce qui concerne la représentativité de l’echantillon : Avant il ya avait 1 telephone fixe /famille, ca marchait bien tous les foyer pouvaient etre touchés (par les enquete téléphonique), maintenant meme ta soeur de 13 ans a un téléphone, et le fixe est rarement branché sur la box. Résulat dans le cadre d ‘un tirage alléatoire d ‘un numero de téléphone, nous ne sommes pas tous présent avec la meme probabilité, ainsi les organisme de sondage, doivent préconstruire des bases ou ils dédoublonnent les numero de téléphone pour associer ton fixe et ton portable par exemple. C’est pas de la bidouille, simplement on est obligé de passer par la pour faire au mieux..

    pondération

  • Conall dit :

    Salut,

    Je viens de découvrir vos vidéos qui sont vachement chouettes, et comme je n’ai pas de compte google, je rajoute mon commentaire ici.

    Je n’y connais rien en psycho, mais j’ai fait pas mal de maths pendant mes études, et je me suis intéressé aux sondages pour des raisons assez proches des vôtres.

    La marge d’erreur pour un sondage est un gros foutage de gueule. Pourquoi ? Tout simplement parce que la marge d’erreur présentée est un outil statistique, et que les sondages n’ont rien, mais alors rien à voir avec les statistiques.
    Dans le domaine scientifique, un outil ne peut pas être utilisé sans précautions. En maths, il n’est utilisable que si les conditions dans lesquelles il a été démontré s’appliquent effectivement au cas dans lequel on veut l’utiliser.

    Or la marge statistique d’un échantillon de 1000 personnes ne s’applique que dans deux conditions précises : l’échantillon doit être représentatif, et ce qu’on veut mesurer doit être objectivement mesurable.

    Si j’ai quelques dizaines de millions de boules avec chacune un chiffre dessus, réparties aléatoirement dans une boîte, et que j’en prends aléatoirement 1000, je sais que mon échantillon est représentatif, et que le chiffre inscrit sur la boule est une donnée objective (0,1,2,3,4,5,6,7,8 ou 9). De même, si quelqu’un fabrique un grand nombre de pièces et que, sans lui dire à l’avance, j’en prélève une toutes les 100 pièces pour vérifier si ses dimensions sont conformes aux spécifications de production, mon échantillon est représentatif et ce que j’observe est une donnée objective (conforme ou non conforme). Dans les deux cas, j’ai le droit d’utiliser ma formule statistique pour connaître la marge d’erreur de mon échantillonnage.

    Par contre, personne n’a jamais pu démontrer que la méthode des quotas permettait d’avoir un échantillon représentatif (au contraire, il est très facile d’orienter un échantillon avec cette méthode). Et, plus encore, la réponse d’une personne à une question, fut-ce par oui ou par non, ne permet pas de connaître son opinion, opinion qui elle-même n’est pas une donnée objective, et est même susceptible d’avoir changé entre le début et la fin de l’enquête.

    Par conséquent, et même sans aborder les retouches entre les résultats de l’étude et la publication (dont on peut prouver statistiquement l’existence avec une excellente marge d’erreur), il est manifeste que les sondages d’opinion n’ont aucune valeur mathématique.

    Donc qu’est-ce qu’un sondage d’opinion ? Un outil de propagande. Et la publication de la marge d’erreur n’est qu’un moyen de parer cet outil d’une aura de respectabilité scientifique dont il ne peut légitimement se revendiquer. Ceci étant dit, le matheux doit s’écarter et laisser la place aux sociologues qui ont beaucoup plus à dire sur cet outil que le simple « c’est de la merde ».

  • troupet dit :

    vous etes incroyable monsieur

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *