Proposition de présentation des sondages et de leurs résultats
Parce qu’il n’existe pas de sondage sans marge d’erreur, parce que présenter les résultats d’un sondage sans parler de la marge d’erreur est absurde - autant qu’il le serait de sauter d’un avion sans parachute : le saut est sans doute plus fluide, mais en bout de course on s’écrase ! -, je propose ici une présentation simple et graphique des résultats d’un sondage afin notamment de suppléer à la paresse, sinon à l’escroquerie intellectuelle des instituts de sondages et des médias qui ne prennent jamais cette peine.
J’ai retenu pour ce faire les résultats du dernier sondage réalisé par l’Institut LH2, commandité par RMC, BFM TV et 20 Minutes, et réalisé les 2 et 3 mars dernier sur un échantillon de 1004 personnes - 15 % d’entre elles n’ayant pas exprimé d’intentions de vote. J’ai retenu une marge d’erreur de 4% (en plus et en moins, soit 8% au total), ce qui correspond à la valeur usuellement constatée par les spécialistes pour ce type de sondage (méthode des quotas) avec un intervalle de confiance à 95% (ce qui signifie que dans 5% des cas la valeur réelle se situe en dehors de l’intervalle mesuré par le sondage). Sachant que la marge d’erreur de 4% ne peut s’appliquer aux petites valeurs, je n’ai retenu pour le graphique de premier tour que les quatre candidats pour lesquels les résultats du sondage sont significatifs.
Notons que si les instituts de sondage explicitaient les méthodes statistiques qu’ils utilisent pour redresser les données brutes qu’ils recueillent (ce qu’ils ne feront surtout pas - en tout cas de leur plein gré - tant cela faciliterait la remise en cause de la pertinence desdites méthodes), il serait possible d’affiner la présentation qui suit, notamment en appliquant une marge d’erreur calculée pour chacun des candidats.
Enfin, soulignons que cette présentation n’est en aucun cas un cautionnement de ma part des résultats du sondage retenu pour l’exemple, ni d’ailleurs d’aucun autre, tant sont nombreux les doutes qui persistent quant à d’éventuels tripatouillages des chiffres qui sont en fin de compte livrés en pâture à l’opinion - sans revenir sur ceux qui pèsent sur les méthodes évoquées ci-dessus (redressement, comptabilisation des non réponses, utilisation de la classification en CSP, extrapolation du passé, etc.). Doutes qui génèrent de plus en plus une rebellion citoyenne qu’il convient d’amplifier, les électeurs ayant de plus en plus le sentiment d’être menés en bateau par les sondages, lesquels par leur surabondance confisquent un débat nécessaire, et par les mensonges qu’ils génèrent à outrance confisquent finalement l’élection elle-même.
On peut sur ce graphique, et par exemple, constater combien à partir d’une telle présentation en intervalle de confiance un second tour Bayrou-Royal est une éventualité que les électeurs ne devraient pas exclure au moment de voter "pour de vrai". Dit autrement, une telle présentation des sondages réalisés dans les semaines qui ont précédé le 21 avril 2002 auraient sans doute alerté les électeurs sur la probabilité d’un second tour excluant Jospin au profit de Le Pen. On peut supposer, sans pour autant l’affirmer, que les résultats du premier tour, et finalement celui de l’élection elle-même, en auraient peut-être été modifiés. Du moins les électeurs se seraient-ils rendus aux urnes davantage en connaissance de cause - niveau de connaissance auxquels sont censés contribuer les sondages pré-électoraux, plutôt que de nous tromper par des présentations tronqués de leurs résultats.
Ne disposant que d’un sondage de second tour concernant une opposition Royal-Sarkozy [sic !], c’est sur cette base et uniquement celle-là qu’il m’est possible de proposer une présentation en intervalle de confiance :
On constate ici que les choses sont nettement plus nuancées que ce qui ressort des présentations qui nous sont rabâchées sur le thème si le second tour avait lieu aujourd’hui, M.Sarkozy l’emporterait sur Mme Royal. Pour le moins devrait-on entendre que si le premier tour avait lieu aujourd’hui, et compte tenu que 15% des sondés n’ont pas exprimé d’intention de vote, la probabilité d’une victoire de M. Sarkozy sur Mme Royal est importante sans toutefois écarter, loin s’en faut, l’hypothèse d’un résultat inverse. En complément d’information, rappelons que le premier tour ne s’est pas encore déroulé, ni même tous les débats de la campagne électorale qui précèdera ce premier tour et nous informera de plus en plus sur les programmes des candidats et ce qui les différencie. Du moins faut-il l’espérer pour la bonne santé de notre démocratie. Par exemple...
C’est sans doute un peu plus long et un peu plus évasif, mais ça ressemblerait davantage au travail sérieux auquel tout journaliste ayant un minimum de professionnalisme devrait s’astreindre et auquel les électeurs que nous sommes sont en droit de s’attendre.
21 réactions
-
-
Dedalus
9 mars 2007 09:35
« Mais que font les médias ?! »
Deux journalistes qui préparent un reportage sur les sondages dans la campagne électorale sont venus m’interviewer en début de semaine, dans le cadre de l’opération « Les sondages nous mentent, nous mentons aux sondages » (voir sur http://www.tousmenteurs.fr). Deux journalistes parfaitement professionnels et qui se confrontent à la difficulté de vendre un tel reportage à des chaines qui commanditent quotidiennement, ou presque, des sondages et pour qui la diffusion d’un te sondage reviendrait « à se tirer une balle dans le pied ».
La dépendance des médias traditionnels à l’égard des instituts de sondages est telle qu’ils ne peuvent guère se permettre d’émettre des critiques trop violentes à l’égard d’un système qui les alimente en « informations » faciles. C’est qu’en effet ça ne demande guère de boulot que de constater qu’un tel a gagné ou perdu deux points dans un sondage et de clamer qu’il progresse ou s’effondre dans l’opinion, pourvu qu’on ommette de voir qu’on est dans la marge d’erreur, ce qui réduit d’autant la force du « scoop » !
-
-
LE CHAT
9 mars 2007 08:55
Merci pour ton bel article matinal qui rapelle que les sondages ne sont pas une science exacte et comportent de larges marges d’erreur d’autant plus grandes que le pannel des sondés est restreint .
-
Dedalus
9 mars 2007 09:22
pour vous mettre d’accord, disons que la science des sondages est une science précise si, et seulement si, d’une part les études sont réalisées avec professionalisme, transparence et déontologie, et d’autre part leur présententation et les commentaires qui l’accompagnent sont rigoureuses et nuancés, en particulier en n’occultant pas les merges d’erreurs.... conditions dont la responsabilité incombe à la fois aux instituts de sondages, aux commenditaires de sondages et aux médias qui en relatent les résultats... responsabilité que ni les uns ni les autres n’assument aujourd’hui, loin s’en faur...
-
Voltaire
9 mars 2007 09:07
Excellente analyse. Il faut de plus souligner combien des sondages de second tour réalisés actuellement sont aléatoires (la marge d’erreur réelle est supérieure à celle arithmétique en raison de l’influence des résultats du premier tour sur le second).
Tout ce que l’on peut dire actuellement est qu’il y a trois candidats possibles pour le second tour, avec Le Pen en embuscade mais distancé (il faudra suivre les tendances). Il est probable que de toute façon tout se jouera dans l’interval 20-25% ; les extrêmes progresserons un peu après le 22 mars car ils seront plus présents médiatiquement.
-
-
non666
9 mars 2007 10:24
Lire la suite ▼Moi j’ai une autre methode :
Je juge de la pertinence des resultrats en les modifiants des coeficients de mensonge mesurées sur les election precedentes, aux meme dates.
Par exemple, aller sur les archives des sondeurs, prenez les resultats de mars 2002 et calculez pour chaque famille son coefficient de mensonge.
Chirac 23%, Jospin 22, Lepen 11, Bayrou 4... Soit + 18% , + 50% , - 33% , - 50% par rapport a leurs resultats mesurés du premier tour.
Pour lePen la sous-evaluation est du meme ordre pour CHAQUE presidentielle. Pour les UMP/PS, les surevaluations sont du meme ordre pour CHAQUE presidentielle. Pour Bayrou c’est plus difficile a dire car s’il etait denigré en 2002, son vote n’est plus vraiment tabou aujourd’hui.
Mais appliqué au derniers sondages qui nous donne Bayrou a 24%, Royal a 25%, Sarkozy a 26% et lePen a 12%, l’application des coefficients de mensonge a de quoi laisser reveur.
En Clair : ils sont tous les 4 dans un mouchoir avec une dynamique d’effondrement pour notre couple mediatique de siamois.
Votez Utile a droite, c’est clairement voter Bayrou ou LePen. Sarkozy etant devenu un vote peu clair, peu lisible et superflu.
-
ohnil
9 mars 2007 11:17
Je trouve amusant de constater que ces chiffres corrigés du « coefficient de mensonge » correspondent à ceux du dernier sondage du Parisien.
Dans l’absolu, quelle confiance accorder réellement aux sondages ?
-
non666
9 mars 2007 12:00
par ohnil (IP:xxx.x36.71.18) le 9 mars 2007 à 11H17 " Je trouve amusant de constater que ces chiffres corrigés du « coefficient de mensonge » correspondent à ceux du dernier sondage du Parisien."
Pas tout a fait. Si on appliquait les coefficients de mensonge mesurés dans les elections precedentes, on aurait :
Sarkozy/Royal entre 16 et 20%
Lepen entre 18 et 20%
Bayrou entre 24 et ...48 !
C’est lui le plus difficile a ponderer en fait.
En 2002, il etait carrement vendu comme « out » par les faiseurs d’opinions et sa sous-evaluation etait la plus forte de tous les candidats. Par contre avant 1995 le vote UDF n’etait pas du tout méprisé et aujourd’hui , il est redevenu a la mode.
-
-
-
-
-
Dedalus
9 mars 2007 14:02
je réponds à la question du comment faire : j’ai simplement utilser un tableur excel en faisant créer un graphique et en cochant l’option afficher la marge d’erreur.
on voit que c’est à la portée de beaucoup de monde... et en particulier des spécialistes des instituts de sondage ou même de la presse qui a toujours beaucoup de savoir faire, d’ordinaire, lorsqu’il s’agit de nous montre sur les écrans ou les pages des journeaux de très beaux graphiques avec plein de couleurs et d’effets tape-à-l’oeil...
avis aux amateurs d’Agiravox, en effet...
-
-
Jarodd
9 mars 2007 15:07
Comme Idoric, connaître le commenditaire permettrait de se faire une idée plus juste de la crédibilité à apporter au sondage. Les journalistes qui en font leurs unes devraient aussi citer systématiquement « étude réalisée sur 900 personnes », cela me fait rire (jaune) quand j’entend « cela signifie que 7 millions de personnes votent pour X ! » Non, cela signifie que 15% des 900 sondés votent pour X...
Il y a toute une éducation à faire concernant les conséquences à tirer de ces sondages ! Et je ne parle même pas de ceux qui additionne les pourcentages (de 12% à 15%, on gagne 3% selon eux...) Cours de maths de 4e !
-
Forest Ent
9 mars 2007 19:30
Lire la suite ▼Comme d’habitude, il faut tout d’abord signaler que le but d’un sondage publié n’est pas d’informer. Publier est une activité à but lucratif. Une bonne propagande sait gommer les détails gênants.
Au plan mathématique, il est vrai que l’on peut associer une « marge d’erreur » à un tirage répété d’éléments suivant une loi de probabilité donnée. La somme suit une loi binômiale convergeant rapidement vers une loi normale de Gauss. La largeur de cette « marge d’erreur » dépend alors du risque d’erreur que l’on accepte d’encourir.
Cela suppose bien sûr un électorat ayant un comportement homogène. Si ce n’est pas le cas, le choix des sondés peut influer significativement sur le résultat, et il n’y a aucune raison que celui-ci suive une loi de Gauss.
Enfin, en supposant que l’électorat soit parfaitement stable, les variations mesurées entre des sondages répétés suivant une loi normale constituent un mouvement dit « brownien », qui a des propriétés intéressantes d’instabilité. Il est toujours possible d’y trouver des « tendances » virtuelles significatives.
-
