Dans la fabrique opaque des sondages
Par Luc Bronner
Publié le 04 novembre 2021 à 05h47 – Mis à jour le 04 novembre 2021 à 12h18
ENQUÊTE
Luc Bronner, grand reporter au « Monde », a participé, sous des identités factices, à un très grand nombre de sondages, seul moyen pour raconter, de l’intérieur, les coulisses des études d’opinion.
Ces six dernières semaines, j’ai répondu à plus de 200 sondages. Enfin, soyons précis, ce sont mes avatars qui ont été sollicités et qui ont répondu aux enquêtes proposées par les plus prestigieux instituts opérant en France : Ipsos, IFOP, Kantar, BVA, OpinionWay, Harris Interactive, GfK… Pour l’un, je m’appelle Ludivine. Pour un autre, Karim, Louis ou Géraldine. Selon les cas, j’ai 19 ans, 26 ans, 47 ans, 73 ans. J’ai déclaré habiter aussi bien la banlieue parisienne que la Bretagne, la région Provence-Alpes-Côte d’Azur ou le Grand-Est. Je me suis présenté comme homme ou femme, employé, retraité, enseignant ou de profession libérale, artisan ou technicien.
A partir d’une dizaine de comptes enregistrés sous des identités factices, j’ai répondu à un nombre incalculable de questions sur mes habitudes alimentaires, vestimentaires, politiques, sur mes revenus, ma santé, mes goûts, sur mes derniers achats, mes voitures, mes chats et chiens, mes enfants. J’ai inventé des réponses sur les briquets jetables, les dessins de sucettes pour bébés, une future publicité de l’enseigne Système U, les emballages des chocolats Lindt, les slogans d’Orange Bank, de la MAIF ou de Meetic, l’image d’Air France, les bandes-annonces de films qui sortiront en mars 2022, les qualités des acteurs britanniques Robert Pattinson ou Benedict Cumberbatch, les meilleurs ketchups, les meilleurs sextoys, l’image personnelle de Michel-Edouard Leclerc, la politique vaccinale française, les bières artisanales, les crèmes solaires, une comédie française qui devrait s’appeler Medellin, le casting de la future série Amazon The Peripheral, mais aussi sur Yannick Jadot, Anne Hidalgo, Michel Barnier, Xavier Bertrand, le congrès des Républicains, Eric Zemmour, Emmanuel Macron et l’élection présidentielle.
Des études moins coûteuses
Derrière la communication des instituts de sondage, qui n’ont d’instituts que le nom et sont des sociétés d’études marketing dont l’activité principale est de répondre aux commandes des entreprises sur leur stratégie et plus encore sur leur image, se cache un système particulièrement opaque : le recours à des panels de consommateurs, recrutés sur Internet, sans véritable contrôle ni régulation, en échange d’une rémunération modique, pour donner leurs opinions sur tous les sujets imaginables. Des outils devenus déterminants aussi bien dans la conduite des politiques publiques par les Etats que dans la bataille des campagnes électorales, et notamment celle de l’élection présidentielle.Lire l’éditorial du « Monde » :Le poids des sondages révèle la faiblesse des partis
Officiellement, ces bases de données, appelées « access panels » dans le jargon des sondeurs, offrent qualité et fiabilité. Dans la réalité, soulignent les experts en sondages qui ne sont pas sous contrat avec les instituts, ces études, peu transparentes, présentent surtout l’intérêt d’être moins coûteuses dans une période et un secteur où la concurrence sur les prix est extrêmement forte. Des individus peuvent en effet s’inscrire sur chacune de ces bases en donnant simplement un e-mail, une adresse (non vérifiée) et des indications (pas vérifiées elles non plus) sur leur vie, leurs goûts, leurs revenus. Ils peuvent répondre honnêtement, ou pas, prendre leur temps et soupeser leurs opinions.
Mais ils peuvent aussi cliquer rapidement, inventer leurs réponses et remplir les questionnaires en espérant gagner davantage de points, qu’ils convertissent ensuite en bons d’achat sur des sites commerciaux – personne n’ira le leur reprocher. Ils peuvent compléter un questionnaire par an ou bien des dizaines. Rien n’est prévu, non plus, pour empêcher les inscriptions sur plusieurs panels avec la même adresse électronique, et encore moins avec différentes adresses.
Envie d’en savoir plus sur les sondages ?Test gratuit
Enquêtes en ligne
Depuis vingt ans, le recours à de tels panels n’a, de fait, cessé de se développer, au point que les 69 sondages déjà publiés pour l’élection présidentielle 2022 ont, jusqu’à présent, tous été conduits de cette manière, en ligne. Pour deux raisons cumulatives : d’abord, la difficulté croissante des sondeurs à mener des enquêtes par téléphone en raison de l’usage massif des smartphones et de l’explosion du nombre d’utilisateurs refusant de répondre aux appels de ce type ; ensuite, parce que les sondages en ligne, dits « auto-administrés », ne mobilisent plus d’enquêteurs pour téléphoner ou se déplacer au domicile des personnes interrogées (méthode dite « en face à face »), et sont donc infiniment moins coûteux. Là où il fallait auparavant des dizaines d’intérimaires pendant plusieurs jours afin de réaliser un sondage sur 1 000 personnes, il suffit désormais d’une poignée de cadres pour programmer les études puis les analyser.
Il suffit de taper « sondages rémunérés » sur un moteur de recherche pour se voir proposer des inscriptions sur les sites des principaux gestionnaires des bases de données
Cette évolution a bousculé le secteur et fait naître de nouveaux acteurs. Bilendi, par exemple, société méconnue du grand public et des médias, est le prestataire d’instituts de sondage comme IFOP ou BVA : plus de 700 000 « panélistes » seraient inscrits en France dans sa base de données, via son site Maximiles.com, et 2,2 millions en Europe.« La plupart des instituts de sondage reposent sur des acteurs comme nous, explique Marc Bidou, PDG de Bilendi (34 millions d’euros de chiffre d’affaires en 2020), en forte croissance depuis deux ans. On ne fait pas les questionnaires, on ne fait pas les analyses et les redressements, nous collectons les données dans les délais et en respectant les critères. »
Même chose pour Dynata, un opérateur américain puissant qui annonce 10 millionsde panélistes en Europe. Sur son site français, j’ai répondu à des enquêtes, parfois hâtivement traduites de l’anglais, pour GfK, Qualtrics, mais aussi l’IFOP ou Ipsos. Il arrive en effet régulièrement qu’un institut fasse appel à la base de contacts du concurrent, notamment quand il lui manque certaines catégories d’individus. OpinionWay (100 000 inscrits annoncés), Harris Interactive-Toluna (1,6 million) ou Ipsos (171 000 inscrits, partenaire du Cevipof, centre de recherches de Sciences Po, de la Fondation Jean Jaurès et du Monde sur les intentions de vote) possèdent leurs propres bases – en jargon marketing, on parle de « panels propriétaires ».
Attirer les « panélistes »
La valeur des sociétés de sondage, ou des prestataires, dépend de la taille affichée et de la qualité annoncée des panels. La première zone d’ombre porte justement sur le recrutement des panélistes. Il suffit de taper « sondages rémunérés » sur un moteur de recherche pour se voir proposer des inscriptions sur les sites des principaux gestionnaires de ces bases de données. Les sociétés de sondage investissent aussi sur des liens sponsorisés, les réseaux sociaux, des fichiers « clients », des programmes de fidélité ou des bannières publicitaires sur des centaines de sites afin d’inciter des internautes à rejoindre leurs panels. L’objectif est double : augmenter le nombre d’inscrits, argument-clé pour les directions marketing des entreprises prêtes à acheter des études, et aller chercher les profils de panélistes moins faciles à recruter (des jeunes, par exemple, nettement moins représentés).Lire aussi Article réservé à nos abonnés Election présidentielle 2022 : les sondages, juges de paix de la précampagne
Dans la phase de recrutement des panélistes, l’argumentaire des sociétés de marketing joue à la fois sur la promesse de pouvoir donner son avis et la perspective de gagner de l’argent : « Influencez votre monde »(Toluna), « Vos habitudes vous rapportent » (Maximiles-Bilendi), « Partagez votre opinion et gagnez des récompenses » (Ipsos), « La communauté des consommateurs et des citoyens dont l’avis compte et rapporte » (OpinionWay), « L’avenir est entre vos mains »(Dynata). Les sommes en jeu sont assez dérisoires (le plus souvent, moins de 1 euro par enquête complétée), sauf à multiplier les comptes et les sondages. Les panélistes gagnent des points en fonction du temps passé (de trois à soixante minutes). Mais sans jamais faire fortune : après des dizaines d’heures à cocher des cases, j’avais la perspective de gagner quelques dizaines d’euros (ce que je n’ai pas fait).
Certains profils, plus rares, sont donc plus précieux que d’autres. Mes avatars de jeunes, par exemple, ont reçu davantage de sollicitations que ceux d’âge moyen. Car les fournisseurs de panels doivent respecter les quotas de la population française (âge, sexe, catégorie sociale, région, etc.) pour proposer des échantillons supposés être représentatifs. Leur procédé est assez simple : pour remplir leurs obligations, ils ouvrent les robinets à mails au sein de leurs bases, jusqu’à ce que la bassine de panélistes soit pleine, en l’espace de quelques jours généralement, parfois sur un temps plus long.
Entre 5 000 et 10 000 personnes contactées
Les plus rapides à répondre ont toujours plus de chance d’être sélectionnés pour l’enquête. S’il faut 500 femmes dans une étude pour respecter le quota, et que vous êtes la 501e à répondre, vous recevrez un message vous remerciant de votre intérêt mais expliquant que l’enquête est terminée pour votre profil. Même chose s’il faut 240 personnes de plus de 65 ans, et que vous arrivez après ceux qui avaient le temps de répondre en pleine journée. « Le nombre de participants requis correspondant à votre profil est désormais atteint », m’ont annoncé les sites à chaque fois que j’ai un peu tardé à me connecter.
Les sociétés de marketing affirment contacter entre 5 000 et 10 000 membres de leurs panels afin de parvenir à construire un échantillon représentatif de 1 000 personnes. Pour une thèse sur la fabrication des sondages (dont la soutenance est prévue en décembre), le chercheur en sociologie Hugo Touzet s’est immergé pendant quatre mois dans ledépartement « opinions » d’un institut de sondage. Il raconte que la sollicitation des panélistes peut devenir un enjeu de tension au sein même des instituts : « Lorsque les sondages en cours sont trop nombreux, il n’est pas possible d’en entamer de nouveaux. On dit que le “terrain” – téléphone ou “online” – est “bouché”. Cela signifie que les équipes chargées de l’administration des questionnaires par téléphone ne sont plus en mesure de gérer davantage de demandes, ou qu’un trop grand nombre d’individus membres des panels sont simultanément sollicités. »
Contrôle par des questions pièges
Les entreprises qui gèrent les stocks de panélistes affirment garantir la qualité en mesurant leur temps de réponse et en éliminant les données de ceux ou celles qui semblent cliquer trop rapidement par rapport à la moyenne des autres répondants. « Nous avons des procédures pour vérifier la qualité des réponses. On enlève par exemple en temps réel ceux qui répondent trop vite », note Brice Teinturier, directeur général délégué d’Ipsos. Les sociétés de sondage affirment également être protégées d’éventuels robots, utiliser les empreintes numériques et les adresses IP des ordinateurs afin d’éviter des formes de « bourrage des urnes » numériques, notamment venant de l’étranger. Elles ont aussi mis en place des questions pièges censées vérifier la concentration des répondants afin d’éliminer tout ou partie des questionnaires jugés incohérents – par exemple, l’internaute qui cocherait toujours la même colonne de réponses.
A la fin d’une longue enquête sur les moyens de paiement, Ipsos m’interroge par exemple pour vérifier la cohérence de mes réponses. « J’ai 47 ans. Vrai. Faux. » Puis une deuxième question dont la traduction a été oubliée : « I am female. Vrai. Faux. » A propos d’un sondage GfK sur la décoration et l’ameublement, la photo d’un troupeau de moutons s’affiche sur l’écran. Sept réponses sont possibles (panda, tigre, vache, chien, mouton, etc.). Une autre fois, c’est un zèbre ou un poisson jaune. Ou encore, dans un genre différent, la capacité à répondre à cette interrogation : « Si nous sommes mardi aujourd’hui, demain nous serons… ? » Il faut cocher la bonne case afin d’être considéré comme un répondant sérieux.
« Ne passez pas à côté de l’occasion d’exprimer votre opinion ! Vous pourrez tenter de remporter l’un des dix prix de 10 000 points chacun mis en jeu », m’informe Ipsos
Les panélistes sont censés être interrogés avec parcimonie afin d’éviter qu’ils deviennent des « professionnels des études » – un biais considéré comme absolument majeur, y compris dans les publications professionnelles. Les gestionnaires des bases de mails et les sondeurs avancent des statistiques rassurantes. Ipsos m’annonce ainsi, dans un premier temps, qu’il n’est pas possible de compléter plus de deux études par mois et que les contrôles sont extrêmement stricts. Même discours chez IFOP. Ou chez BVA, qui évoque l’engagement de ne pas réaliser plus de deux enquêtes mensuelles par panéliste.
Or, je n’ai, en réalité, pas cessé d’être relancé afin de participer à des études ou à des loteries, d’installer les applications des panels sur mon smartphone, de parrainer des proches, d’accepter de recevoir des notifications et, in fine, de remplir des questionnaires à la chaîne. « Merci de continuer à changer les choses ! Cliquez sur le bouton ci-dessous pour répondre à davantage de sondages, obtenir davantage de récompenses et avoir plus de chances de gagner ! », me relance Dynata juste après avoir terminé un sondage. « Ne passez pas à côté de l’occasion d’exprimer votre opinion ! Vous pourrez tenter de remporter l’un des dix prix de 10 000 points chacun mis en jeu »,m’informe Ipsos dans l’un des six ou sept mails de relance reçus certains jours pour participer à autant d’études différentes. J’ai ainsi pu compléter jusqu’à quatre questionnaires en vingt-quatre heures chez Ipsos. Sur Harris-Toluna, j’ai pu démarrer onze sondages et en terminer intégralement trois en une matinée. Idem chez Dynata où j’ai pu compléter trois enquêtes différentes par jour.
Créer des faux comptes
Ces exemples embarrassent les sondeurs. « Nous n’exerçons actuellement pas de contrôle direct sur nos prestataires/panels, reconnaît, avec une transparence rare, Adélaïde Zulfikarpasic, directrice opinions chez BVA. La prestation repose pour l’heure sur une relation de confiance dont je suis consciente des limites. » Avec cette précision envoyée par SMS : « Notre équipe qualité travaille néanmoins à la mise en place d’un processus qui reposerait en partie sur votre approche » – en clair, créer des faux comptes, moyen efficace de vérifier les déclarations des panélistes. « Nous suivons de très près nos métriques [statistiques de performance], affirme, pour sa part, Henri Wallard, directeur général d’Ipsos France. Sur les quelque 171 000 panélistes à la fin septembre, 123 000 n’ont répondu à aucune enquête sur le mois de septembre, un peu plus de 48 000 ont répondu à une enquête au moins. »
Parmi ces derniers, selon les tableaux transmis par Ipsos pour faire preuve de transparence, 1 000 internautes du panel ont complété à eux seuls plus de 11 700 enquêtes en un mois. Cette statistique est délicate pour les instituts. Car il n’existe aucun moyen de savoir si ces forcenés des sondages, qui pèsent potentiellement assez lourd dans la fabrique de l’opinion, ne sont pas inscrits sur d’autres panels. Aucun moyen, par ailleurs, de vérifier si des militants habiles n’ont pas été tentés de coloniser des panels afin de promouvoir leurs idées ou leur camp. « Ce qu’on contrôle, c’est la représentativité des échantillons, notamment démographique et sociale. On ne va pas plus loin », admet Stéphane Hoynck, secrétaire général de la Commission des sondages, l’instance indépendante chargée par la loi de leur contrôle, essentiellement composée de juristes, dont une partie de retraités.
« Il faut éviter que les gens qui répondent deviennent des professionnels des études » – Zysla Belliat, consultante
Le débat peut sembler technique. Il ne l’est pas du tout du point de vue des experts. Parce que si les internautes interrogés sont souvent les mêmes, et prennent l’habitude de répondre, la valeur de leurs opinions chute fortement. « Il faut éviter que les gens qui répondent deviennent des professionnels des études. C’est indispensable d’avoir des gens un peu vierges dans leurs réponses », souligne Zysla Belliat, consultante et enseignante. « Globalement, sur les contrôles effectués, on reste sur du déclaratif. On a peu de données précises sur les niveaux de sollicitations. On ne connaît pas non plus le pourcentage de panélistes communs à plusieurs panels », relève Flora Chanvril, chargée d’études statistiques au Cevipof.
Les scientifiques ne masquent pas leur scepticisme. « Les “access panels”, c’est un brouillard absolu, il n’y a aucune garantie »,dénonce l’universitaire Alain Garrigou, membre très critique de la Commission des sondages. « Toute méthodologie a ses biais, souligne de son côté le politologue Vincent Tiberj, mais au moins, avec le téléphone ou l’entretien en face à face, vous êtes certain de ne pas réinterroger les mêmes. » « Pour les “access panels”, on ne maîtrise pas les processus de recrutement et les motivations de ceux qui s’inscrivent, constate Stéphane Legleye, expert de l’Institut national de la statistique et des études économiques (Insee), auteur de plusieurs publications scientifiques reconnues sur ces sujets. C’est un premier problème. Ensuite, pour les panélistes, l’aspect volontaire de la participation aux sondages est un second biais important : dans une enquête aléatoire, en principe, les personnes interrogées n’ont pas d’intérêt particulier à participer. »
Dimension artisanale
Le statisticien Michel Lejeune, auteur d’un ouvrage très documenté, La Singulière Fabrique des sondages d’opinion (L’Harmattan, 168 pages, 19 euros), souligne la dimension artisanale, et non scientifique, de ces études. « Ces panels low cost sont un véritable déni de la notion de sondage aléatoire, dénonce-t-il. Ils recourent en effet à l’appel à volontaires, qui est considéré depuis longtemps comme une méthodologie qui ne permet pas d’extrapoler des résultats à une population. » Le politologue Martial Foucault, directeur du Cevipof, commanditaire régulier de sondages, s’interroge aussi sur les limites des études en ligne : « La qualité des panels dépend des trous dans la raquette, note-t-il. Quel est le profil sociologique des gens qui ne seront jamais dans les panels ? Les non-répondants, c’est une question majeure et on ne sait rien là-dessus. » Plusieurs sources signalent, plus largement, la difficulté pour publier des articles scientifiques dans des revues internationales à partir de la méthode des quotas, dominante en France mais critiquée dans d’autres pays.
A la multiplication des sollicitations s’ajoute l’effet d’accumulation de questionnaires parfois interminables (jusqu’à soixante minutes pour un sondage sur les médias censé être rempli par un adolescent de 16 ans). Certains instituts diffusent, par ailleurs, ce qu’ils appellent des « omnibus ». Ces sondages avec une multitude de questions différentes, peu coûteuses pour les entreprises ou les médias commanditaires (entre 800 et 1 000 euros hors taxe par question), sont assez déstabilisants pour les panélistes et durement critiqués par les scientifiques. Cette dimension du travail des sondeurs reste généralement invisible parce que les études demeurent confidentielles et parce que le nom, comme la motivation, des financeurs est un secret commercial.
Pour l’IFOP, par exemple, le 10 octobre, en tant que panéliste Dynata, je réponds à une première question : « Avez-vous déjà cherché à savoir si vous étiez personnellement atteint de diabète ? » Puis : « Etes-vous inscrit sur les listes électorales pour aller voter ? » Suivent des interrogations sur les intentions de vote pour la présidentielle et des questions sur les thèmes jugés déterminants dans le cadre de la campagne (salaires, droit des femmes, laïcité, etc.). L’IFOP enchaîne avec une série d’opinions sur lesquelles je dois me prononcer (de « tout à fait d’accord » à « pas du tout d’accord ») : « La France doit rester un pays chrétien », « Pour les juifs français, Israël compte plus que la France », « Il faudrait rétablir la peine de mort », « La femme est faite avant tout pour avoir des enfants et les élever », etc.
Je continue le sondage. L’institut demande mon avis au sujet d’une dizaine de lois « mémorielles » ou réprimant les propos racistes ou négationnistes. Puis le sondeur fait réagir ses internautes sur 15 citations anonymes (« Il n’y a pas de différence entre islam et islamisme », « Les Français sont devenus étrangers dans leur propre pays », « Il faut arrêter de se soumettre aux injonctions abominables des mouvements LGBT », etc.). Sans aucune indication sur l’auteur, en l’occurrence Eric Zemmour. Le commanditaire de ce sondage est inconnu. Parti politique ? Equipe de campagne ? « Nous ne commentons pas », répond Frédéric Dabi, directeur général « opinions » de l’IFOP.
« Etes-vous… ? Catholique pratiquant, non pratiquant. Protestant. Juif. Musulman. Autre… » Vingt-trois minutes de questions-réponses, vingt points sur le compte du panéliste
Je continue à cliquer. Les questions suivantes portent sur les qualités comparées de la socialiste Anne Hidalgo et de l’écologiste Yannick Jadot, le bilan d’Emmanuel Macron, les chances des différents candidats de gauche. Je dois ensuite répondre à cette interrogation : « Actuellement, vous définissez-vous comme… ? Hétérosexuel (le). Bisexuel (le). Homosexuel (le)/lesbienne. » J’ai aussi la possibilité de cocher la case : « Je ne me définis pas par ma sexualité. » Ou de ne rien répondre. La dernière question est aussi personnelle : « Etes-vous… ? Catholique pratiquant. Catholique non pratiquant. Protestant ou évangélique. Juif. Musulman. Autre religion. Sans religion. » Vingt-trois minutes de questions-réponses, vingt points ajoutés à mon compte Dynata, pour une étude aux antipodes d’une démarche scientifique.
Derrière toutes ces évolutions, l’enjeu financier est central. La demande des directions marketing des entreprises, qui font l’essentiel du chiffre d’affaires des instituts, est de réduire au maximum le prix des études ou de multiplier les questions pour les rendre plus rentables. « Tant qu’on continuera à vouloir faire baisser les coûts à tout prix et à réclamer des résultats le plus rapidement possible, on ne peut pas exiger la qualité », explique la consultante Zysla Belliat. « On pourrait confier à un organisme le soin de vérifier qu’il n’y ait pas de multi-inscriptions de panélistes. La profession n’a pas voulu car cela réduirait les volumes des panels. Or les commanditaires ne sont pas prêts à payer pour le gain de qualité que cela représente », ajoute Philippe Jourdan, enseignant en marketing et cadre dans une société de panels.
560 sondages en lien avec l’élection de 2017
Le modèle low cost vaut pour les médias et les partis politiques, qui réclament souvent des tarifs en dessous du prix de revient lorsqu’ils commandent des enquêtes. « C’est du donnant-donnant, précise Adélaïde Zulfikarpasic, de BVA. Les médias obtiennent un contenu éditorial, les instituts obtiennent de la visibilité. » Pour financer les études, et notamment les soirées électorales où sont publiées des estimations de résultats à 20 heures, particulièrement coûteuses à réaliser, les instituts font appel à des partenaires hors médias pour le financement. BVA s’appuie sur Orange, l’IFOP sur Fiducial (actionnaire de Sud Radio), Ipsos sur Sopra Steria, une société informatique très présente dans la cybersécurité et la défense. En contrepartie, ces entreprises exigent que leurs noms soient repris dans toutes les mentions du sondage – comme le « naming » de stades de football ou celui de grandes salles de spectacle.Lire aussi Article réservé à nos abonnés Election présidentielle 2022 : biais et disparités méthodologiques des « intentions de vote »
L’abaissement du coût de fabrication et la concurrence entre médias ont fait exploser le nombre d’enquêtes publiées. « Les élections présidentielles de 2002, 2007 et 2012 avaient donné lieu respectivement à 193, 293 et 409 sondages. En 2017, ces chiffres s’élèvent à 560 sondages ayant un lien avec l’élection présidentielle », relève la Commission des sondages dans son rapport 2017 sur l’élection présidentielle. De fait, la place des études d’opinion dans le débat public s’est mécaniquement accrue, elle est infiniment plus importante de nos jours qu’à l’époque où le sociologue Pierre Bourdieu fustigeait leur usage. Et encore, cette statistique n’évoque que les enquêtes publiées, une goutte d’eau dans l’océan des études.
Coller à la sociologie de la population
Les réponses « brutes » des sondés sont à prendre avec précaution, en tout cas en matière politique, et cela, les instituts ne le cachent pas. Depuis l’origine des sondages, en effet, les sondeurs opèrent ce qu’ils appellent des « redressements » avant de publier leurs études ou de les fournir à leurs commanditaires. Il existe deux grands types de redressement. Le premier, dit « sociodémographique », vise à corriger, à la marge, l’échantillon représentatif dans la mesure où le respect des quotas (catégorie socioprofessionnelle, âge, etc.) n’est jamais parfait. Concrètement, cela signifie que le sondeur accordera un poids légèrement plus important aux répondants d’une catégorie sous-représentée dans l’échantillon afin de coller le plus possible à la sociologie de la population. C’est souvent le cas, par exemple, pour les jeunes ou les catégories populaires.
Le second type de redressement, de nature politique, est nettement plus complexe, et particulièrement nébuleux. Dans chacune des études, les sondeurs posent une ou plusieurs questions sur les votes effectués lors des précédentes élections. Si l’échantillon tend, par exemple, à déclarer un vote Macron supérieur aux 24 % obtenus en avril 2017 (ce qui est aujourd’hui le cas), l’analyste va baisser en proportion le poids du vote Macron dans le résultat publié. En sens inverse, si le vote antérieur semble sous-évalué dans l’échantillon (c’est le cas actuellement du vote Mélenchon), le sondeur va augmenter en proportion son poids dans le résultat final. Mais chaque analyste est libre d’appliquer les coefficients qui lui semblent pertinents, chaque institut peut développer sa propre méthodologie, considérée comme un secret industriel. « Quand on demande aux sondeurs si ce qu’ils font est de la science, ils disent oui. Mais ils refusent de publier leurs données », s’insurge le sénateur socialiste Jean-Pierre Sueur.
« Perceptions subjectives »
La première difficulté est que la part d’internautes ne se souvenant pas de leurs votes antérieurs n’est pas négligeable. Tous ne disent pas forcément la vérité non plus, que ce soit volontaire ou pas. « Le sondage d’opinion pose une difficulté particulière, car il fait appel à la mémoire et à des perceptions subjectives », note Bruno Cautrès, politologue au Cevipof. La seconde difficulté est que, comme le soulignent tous les experts, les personnes interrogées surestiment toujours leur participation pour le scrutin à venir. Et que cette participation est très variable, selon les âges et les catégories sociales.
Quelques jours avant le premier tour des élections régionales, en juin, les internautes sondés déclaraient ainsi massivement envisager d’aller voter (plus de 80 % en région PACA, par exemple). Lorsque les sondeurs demandaient à leurs panélistes lesquels étaient « tout à fait certains » de voter, la proportion restait relativement élevée, amenant les instituts à prévoir une participation autour de 40 %. Finalement, celle-ci a tout juste dépassé 33 %, et les élections régionales ont constitué un crash majeur pour les instituts de sondage français, avec une survalorisation considérable du vote en faveur des listes d’extrême droite.
Le même scénario s’était produit pour les élections législatives de juin 2017, avec des estimations de participation autour de 60 % la dernière semaine, alors que la participation n’a pas atteint 49 % – soit 5 millions d’électeurs en moins. Le résultat avait été plus favorable lors du premier tour de l’élection présidentielle de 2017 avec des estimations autour de 72 % dans les ultimes jours de la campagne pour une participation de 77,7 % le jour du scrutin. Surtout, il faut le souligner, les sondeurs, dans la dernière ligne droite de la campagne de 2017, avaient su trouver l’ordre d’arrivée des principaux candidats – très différent des sondages six mois plus tôt.
« Dès lors que le sondage repose sur des quotas, seules les personnes intéressées ou qui ont un avis tranché répondent. Les autres ne sont jamais relancées » – Stéphane Legleye, statisticien
L’enjeu de l’abstention est absolument central dans la période actuelle. Mais c’est aujourd’hui un point de faiblesse majeur des études d’opinion. « Le fait d’avoir envie de donner son opinion et de gagner de l’argent est un biais supplémentaire par rapport à d’autres types d’enquêtes. Dès lors que le sondage repose sur des quotas, seules les personnes intéressées ou qui ont un avis tranché répondent. Les autres ne sont jamais relancées », relève le statisticien Stéphane Legleye.
« Nous sommes nullissimes sur la participation. Parfois, les enquêtes tombent juste, mais c’est presque de l’ordre du hasard », constate Martial Foucault, le patron du Cevipof. « C’est l’un des aspects les plus compliqués à résoudre. Le décalage entre les estimations et les scrutins est venu de l’abstention différenciée plus forte pour les jeunes et les catégories populaires. Or, ce sont les catégories les plus difficiles à avoir dans les panels », explique Jean-Daniel Lévy, au nom d’Harris Interactive, en rappelant que l’anticipation de la participation est généralement plus simple lors d’une élection présidentielle que pour des scrutins locaux. Le directeur général adjoint d’OpinionWay, Frédéric Micheau, dresse un constat similaire : « Les plus certains d’aller voter sont généralement les plus politisés. A six mois du scrutin, ce qui est frappant, contrairement à ce que pensent beaucoup d’observateurs, c’est que la majorité des Français s’intéresse peu à la présidentielle. » Lire aussi Article réservé à nos abonnés Sondages : un outil miracle ou un mirage pour la droite ?
Les sondages par téléphone ou en face à face étaient très loin d’être parfaits. Les sondeurs insistent aujourd’hui volontiers sur leurs défauts, les scientifiques soulignent que toutes les méthodologies comportent des biais. Qu’il s’agisse de sujets sensibles, comme la santé ou la sexualité, ou bien d’opinions politiques, les citoyens sondés, au téléphone et encore plus en face à face, avaient tendance à ne pas livrer la réalité de leurs pratiques ou de leurs idées. L’exemple le plus connu reste l’élection présidentielle de 2002, où les électeurs de Jean-Marie Le Pen – qualifié pour le deuxième tour avec 16,86 % des voix – avaient largement sous-déclaré leurs intentions de vote. « C’est le biais de désirabilité sociale, explique Régis Bigot, le patron du Centre de recherche pour l’étude et l’observation des conditions de vie.Les personnes interrogées n’expriment pas leurs opinions réelles lorsque celles-ci sont en décalage avec la norme ou les attentes supposées. »
Une surestimation des positions radicales ?
Mais dans quelle mesure les sondages en ligne ne créent-ils pas aujourd’hui un biais inverse en surestimant les positions radicales ? Des études comparatives, conduites notamment par les universitaires Nonna Mayer et Vincent Tiberj, pour la Commission nationale consultative des droits de l’homme, ont montré que, sur des sujets sensibles comme l’immigration ou l’islam, il pouvait y avoir vingt points d’écart, pour les mêmes questionnaires passés au même moment, entre un échantillon de citoyens interrogés en face à face et un autre, composé de répondants en ligne. Les seconds apparaissent bien moins tolérants que les premiers, en particulier sur l’immigration.Lire aussi Article réservé à nos abonnés « Nul ne sait si l’ascension sondagière du non-candidat Zemmour se poursuivra, mais elle produit déjà des effets sur le paysage politique »
« Ce qui pose problème, c’est la montée en puissance d’un seul mode de passation, en l’occurrence via Internet », insiste le politologue Vincent Tiberj. Le chercheur ajoute : « Beaucoup de signes laissent à penser qu’il n’y a pas une droitisation aussi forte en France. C’est en tout cas problématique de vouloir le mesurer à partir d’un outil qui présente ce type de biais. » Le 21 avril 2002 avait constitué un traumatisme majeur pour les sondeurs et les médias en raison de la sous-estimation de l’extrême droite. L’effet de balancier inverse ne peut être exclu, vingt ans plus tard.Luc Bronner
Santé-Environnement-Politique 