La fabrique des sondages

Séance ordinaire du 8 octobre 2018

par Brice Teinturier,
Politologue, Directeur général délégué IPSOS France

 

 

---

Introduction par M. François d’Orcival,
Président de l’Académie des sciences morales et politiques

 

Communication de M. Brice Teinturier,
membre de l’Académie des sciences morales et politiques

---

 

 

Cher ami,

Ici même, à ta place, lundi dernier, Jacques Julliard citait l’« article fantôme », mais obsessionnel, qui régit la conduite de nos dirigeants : « Ipsos et Sofres honoreras afin de vivre paisiblement ». Nous voici à la vingtième séance des vingt-huit que nous aurons consacrées à l’opinion publique ; je puis dire qu’à une séance sur deux, la question a été posée du rôle, de l’intérêt, de l’influence, des sondages dans l’opinion. Il était temps qu’un spécialiste vienne expliquer ce qu’il en est vraiment.

Et nous n’allons pas y consacrer une séance mais deux, puisque ton aîné, Jérôme Jaffré, te succédera la semaine prochaine.

Cher Brice,

Depuis près de quinze ans, tu incarnes une présentation quasi scientifique des sondages d’opinion, ceux qui précèdent ou suivent les élections ; tu fournis au public avec une sobriété exemplaire les outils d’analyse d’une situation, d’une crise, voire d’une mutation en cours.

Sur les plateaux de télévision de l’information, tu es un peu la figure du procureur de la République qui expose les faits après un événement dramatique. Mais à sa différence, il arrive que tu puisses aussi nous prévenir !

Ta carrière s’est déroulée tout entière dans le milieu des études d’opinion. Tu y es entré à 25 ans, un peu par hasard, comme tu le dis, après un DEA de philosophie à Paris 1 et un autre d’études politiques à Sciences Po. L’intérêt pour le métier ne te lâchera plus ; tu l’as exercé dans toutes les grands instituts : Louis Harris, Ifop, TNS-Sofres, Ipsos, enfin, que tu as rejoint en 2010 en tant que directeur général délégué France.

Après avoir fait tes débuts dans les études de marketing, tu t’es spécialisé dans le domaine de la politique, dont tu es devenu un des observateurs les plus avertis. Tu es aussi l’un des maîtres d’œuvre des volumes annuels qui dressent le bilan si utile de l’évolution des opinions du pays. De 2005 à 2010, tu as dirigé, en collaboration, L’état de l’opinion de l’institut TNS-Sofres, avant de participer, à partir de 2011, à la publication équivalente produite par Ipsos.

J’ajoute que nous connaissons tous ta contribution aux ouvrages du Cevipof, le Centre de recherches politiques de Sciences Po. Dans le plus récent, Le vote disruptif, relatif aux scrutins présidentiels et législatifs de 2017, tu es l’un des premiers à tenter un bilan de la primaire de la droite et du centre dont Anne Levade nous a entretenus il y a quinze jours.

A l’école de la rue Saint-Guillaume, tu assures également un cours « Politique, société et tendances de l’opinion » à destination des étudiants du master Communication.

Tu as signé un essai remarqué, lauréat du Prix du livre politique 2017, « Plus rien à faire, plus rien à foutre ». La vraie crise de la démocratie (aux éditions Robert Laffont). Alors qu’il est beaucoup question de la montée des votes protestataires, tu identifies une autre réalité : le dégoût de la politique, qui toucherait un petit tiers du corps électoral. Cette rupture, dis-tu, est récente : moins d’une dizaine d’années. Elle correspond aux mandats de Nicolas Sarkozy et François Hollande, dont les échecs ont discrédité la foi en l’action politique qu’ils avaient fait renaître ; l’histoire nous dira ce qu’il en sera de l’exécutif actuel.

Mais tu montres aussi que ce désengagement n’est pas   nécessairement synonyme de désintérêt pour la chose publique. Tu as mis en évidence d’autres formes de réinvestissement, locales ou associatives, qui invitent à réinventer nos pratiques démocratiques.

Je ne reviendrai pas sur les critiques et attaques dont les sondages sont l’objet. Tu les connais mieux que nous. C’est pourquoi nous avions besoin de repartir de l’essentiel. D’entrer dans le cœur de ton métier : la « fabrique des sondages ». Y a-t-il encore des progrès possibles dans la mesure de l’opinion ? Faut-il admettre d’inévitables limites ? Quelle place ces enquêtes devraient-elles occuper dans nos démocraties ?

Cher Brice, tu as la parole.

 

 

En préambule, il me faut préciser ce que recouvre le champ d’intervention des instituts d’opinion comme les nôtres, qui excède de très loin la seule « fabrique des sondages » indiquée par l’intitulé. La réalité de notre métier, surtout dans les groupes les plus importants comme le sont Ipsos ou Kantar Public, c’est de travailler sur toutes les données qui existent dans une société, les data, et qui sont de multiples natures.

Certaines de ces data sont sollicitées et structurées ; ce sont celles qui résultent des questions que nous posons (par exemple : « portez-vous un jugement favorable ou défavorable sur Emmanuel Macron ? ») et elles donnent lieu à des traitements relativement simples. D’autres données que nous sollicitons ne sont pas structurées, lorsqu’elles répondent à des questions ouvertes (par exemple : « quelle image avez-vous d’Emmanuel Macron ? »). Notre tâche sera alors de traiter le corpus de textes pour l’analyser, le coder et lui donner une valeur quantitative.

Mais il existe aussi des données non sollicitées et non structurées, sur lesquelles nous travaillons de plus en plus et depuis longtemps. Pensez à toutes les conversations sur le Web et les réseaux sociaux, qui sont une source d’informations considérable et qui ont le grand avantage d’être spontanées. Lorsque nous devons nous intéresser aujourd’hui – c’est un exemple parmi des milliers – aux résistances de mères de jeunes enfants à la vaccination, nous ne procédons pas d’emblée à un sondage. Nous travaillons d’abord sur ce que disent les jeunes mères à propos des vaccins dans certains forums. C’est en analysant leurs conversations que nous comprenons leurs résistances, quitte à faire par la suite, auprès d’un échantillon représentatif de mères de jeunes enfants et avec un questionnaire utilisant ce que nous avons repéré, une enquête quantitative. Mon métier n’est donc pas de « faire des sondages », mais plutôt d’analyser et d’expliquer ce qui se passe dans la société. Notre Raison d’être est de comprendre ce que pensent et font les citoyens, les salariés ou les consommateurs et pourquoi ils le pensent, de l’interpréter correctement et d’en tirer des informations utiles pour la prise de décision des décideurs. Et cela à partir de multiples données.

Ces données non sollicitées sont extrêmement diverses et en expansion constante. Nous travaillons régulièrement, par exemple, sur des corpus de photographies, qui nous permettent de mieux identifier l’évolution du comportement des individus. Il y a 10 ou 15 ans, si vous étiez un grand groupe qui souhaitait savoir comment les femmes se lavaient les cheveux, vous pouviez faire une étude dans cinquante pays et demander à un échantillon représentatif de femmes comment elles se lavaient les cheveux. Aujourd’hui, nous demandons à ces femmes de nous envoyer des photographies, nous taguons ces dernières et nous sommes capables d’analyser ce qu’elles font, souvent avec beaucoup plus de justesse qu’à travers des sondages où nous aurions décidé des questions. J’ai volontairement emprunté cet exemple au marketing, mais pensez en politique aux manifestations et aux analyses que nous pouvons faire par leur simple observation et les possibilités nouvelles que nous offrent les drones ou la géolocalisation. Tout l’enjeu est d’avoir un traitement quantifié et pertinent de ce type de données.

Nous nous appuyons aussi sur les données publiques, l’open data. Il y a vingt ans, les études pour les municipalités étaient réalisées uniquement à partir de sondages. Nous demandions à un échantillon représentatif d’habitants de la ville s’ils étaient satisfaits ou pas de la situation, et nous déclinions le questionnaire en leur demandant leur taux de satisfaction sur la sécurité, la propreté etc. Désormais, nous couplons ces réponses avec les données sur la criminalité dans la ville, sur le nombre de mères de familles qui auraient besoin de crèches, etc. Ainsi nos clients peuvent déterminer si le ressenti des administrés correspond à la réalité ou pas du tout.

Toutes ces données – et bien d’autres qui circulent – nous devons être capables de les intégrer et de les analyser afin de répondre aux questions fondamentales des décideurs de ce pays, publics comme privés.

Le second point que je voulais avancer en introduction, c’est qu’à la multiplicité de ces données correspond une multiplicité de techniques de traitement. La plus connue est le sondage d’opinion inventé par George Gallup en 1938, mais nous avons aussi des études qualitatives, que j’ai beaucoup pratiquées dès les années 1990, notamment dans le domaine politique, à partir d’entretiens individuels non ou semi-directifs et de réunions de groupe projectives. Aujourd’hui, nous nous efforçons d’intégrer à nos études les acquis des neurosciences. En effet, on ne peut pas tout à la fois considérer que les émotions sont à l’origine de très nombreux comportements (voire expliqueraient beaucoup mieux nos comportements que les argumentations rationnelles) et refuser a priori de les analyser. C’est ce que nous avions fait avec le Cevipof au moment des attentats. Nous avions demandé par sondage aux Français quelles émotions ils avaient alors ressenties. Les réponses se distribuaient entre diverses émotions (de la colère à la peur, en passant par l’indignation, la sidération, etc.), avec d’importantes variations en fonction des sympathies partisanes, ce qui donnait un résultat intéressant, mais n’en était pas moins une façon encore très grossière de travailler sur les émotions, puisque on demandait aux individus d’auto-analyser ce qu’ils avaient ressenti. Et sans être particulièrement adepte du positivisme, j’ai en tête ce rappel d’Auguste Compte selon lequel l’individu pensant ne saurait se séparer en deux, dont l’un analyserait tandis que l’autre le regarderait analyser. Il nous faut donc capter les émotions autrement. Nous savons le faire aujourd’hui, et de plus en plus. Des caméras nous permettent de faire du facial coding, c’est-à-dire de repérer, en fonction de que dit un orateur, les sentiments qui s’expriment chez les récepteurs : surprise, dégoût, intérêt, plaisir, joie… Ce procédé est déjà utilisé aux États-Unis dans le domaine politique ; cela viendra en France, soyons-en certains. De telles pratiques posent certainement beaucoup de questions, mais par rapport aux études qualitatives que je menais voilà plus de 30 ans, l’objectif est demeuré inchangé : aller plus loin dans la profondeur de l’analyse. Ainsi, à cette époque, quand on cherchait à savoir ce que les Français ressentaient par rapport à un homme politique, on recourait déjà à des techniques projectives plutôt que de le leur demander rationnellement. Voici longtemps que je demande à des personnes interrogées d’imaginer un homme politique lorsqu’il était bébé ; et j’ai une typologie des hommes politiques comme des bébés qui me permet de comprendre immédiatement ce que les Français éprouvent vis-à-vis de tel ou tel responsable en contournant leurs rationalisations défensives. C’est le principe même des études qualitatives : capter et comprendre des émotions et des représentations sur un autre mode que le registre purement rationnel. Ce qui change, ce sont les progrès des neurosciences, grâce auxquelles ces techniques aujourd’hui se développent. Je ne sais pas si à la fin de cette communication, vous procéderez à une évaluation de celle-ci, mais si de mon côté j’avais pu mettre des caméras et décoder vos émotions, j’aurais pu déterminer ce que vous avez ressenti en m’écoutant !

Nous sommes en outre en mesure de traiter des corpus de textes importants. On sait comment Emmanuel Macron et ses proches, avant de se lancer dans la campagne électorale de 2017, ont administré un questionnaire ouvert à plusieurs dizaines de milliers de Français. Le traitement de tels corpus est confié à des data scientists et à des programmes d’analyse sémantique extrêmement précis, via des algorithmes et de l’intelligence humaine. Ils ont permis à l’équipe actuellement en place d’identifier que le problème principal des Français n’était pas le chômage mais la politique – pour être exact le fonctionnement de la politique – et l’éducation. On mesure à cet exemple l’apport de ce type de techniques au regard d’autres outils d’investigation plus classiques tels que les sondages. Il est également possible de faire de la mesure passive ou de mettre en place des communautés autour d’un thème précis que nous interrogeons pendant une période donnée.

Il existe, en somme, et c’est cela que je voulais d’abord pointer, de multiples façons de recueillir des données, de les agréger et de les traiter. Notre défi actuellement est de combiner ces technologies – la référence à la technologie est de plus en plus importante – et les approches traditionnelles. C’est vous dire combien certaines controverses ou débats paraissent très décalés à notre profession par rapport aux véritables enjeux que représentent pour la société, en France comme à l’étranger, ces outils d’investigation. Ce sont des débats qui avaient déjà cours au temps où j’étais étudiant, à l’image de la polémique entre Alain Lancelot et Pierre Bourdieu, et je suis toujours surpris de les voir refaire périodiquement surface, à peine modernisés, alors même qu’entre temps nous avons vécu une révolution dans notre façon de capter et de traiter les données d’opinion et l’information en général.

*

Cette mise en perspective effectuée, je reviens à votre sujet : en quoi les enquêtes d’opinion sont-elles bénéfiques et quelles critiques légitimes peut-on leur adresser lorsqu’elles sont menées d’une certaine façon ?

Un premier point à souligner est que les sondages d’opinion sont davantage les enfants de Protagoras que de Platon. On sait que Platon exécrait les sophistes, mais je ne vous apprendrai pas que son modèle de référence n’était pas la démocratie. Or, la démocratie part du postulat qu’on peut et même qu’il faut dissocier la connaissance de l’opinion. Certes nous aspirons tous à concilier la connaissance et l’opinion ; nous rêvons d’une opinion éclairée, rationnelle, et non d’une doxa volatile. Et pourtant, quand un régime politique met l’accent avant tout sur la connaissance, il n’est pas une démocratie. J’ai la conviction qu’une partie notable des critiques à l’égard des sondages d’opinion proviennent du malaise et de la frustration de penser que la démocratie est la fille de Protagoras au moins tout autant que celle de Platon. C’est de ce rapport déçu à la démocratie que viennent la polémique et le rejet – « Les sondages sont la pollution de la démocratie », affirmait, il y a quarante ans, Maurice Druon –, parce que nous considérons comme blâmable ou négatif tout ce qui n’est pas du domaine de la connaissance. Or, si le sondage est incontestablement du côté de l’opinion, en ce qu’il cherche à la mesurer, il est aussi un outil de connaissance et de compréhension. Mesurer l’opinion n’est d’ailleurs ni la valoriser, ni en faire la référence suprême. On entend souvent que les gouvernants seraient obsédés par les sondages ; la pratique de mon métier me fait penser tout le contraire ! Comme je le dis à mes équipes, si nos clients utilisent 10, 15 ou 20 % de ce que nous ramenons dans nos enquêtes, nous avons été utiles et pouvons être satisfaits. Car nos études participent d’un processus de connaissance de l’opinion qui permet à un décideur de mieux savoir à quelles résistances se heurte son action mais aussi, plus profondément, d’éviter une forme d’enfermement du responsable. Cet enfermement est souvent l’enfant du dogmatisme technocratique ou d’un modèle politique implicite opposant ce qui serait l’infrapolitique populaire, marqué par les émotions et de faibles niveaux de connaissances, à « la vérité » détenue par quelques-uns grâce à un processus d’ascèse et d’expertise. Les enquêtes d’opinion sont à l’opposé de ce schéma. Elles servent à questionner la pertinence des choix du décideur « vu d’en bas ». À ce premier avantage, s’ajoute le fait que les enquêtes d’opinion constituent des contre-pouvoirs « mous ». Entre les élections, ils font remonter ce que pensent, ressentent, rejettent les Français, à charge ou pas aux politiques d’en tenir compte – et je constate par expérience, une fois encore, qu’ils n’en tiennent pas vraiment compte, ou très peu… pour le meilleur et pour le pire !

La virulence passionnelle et parfois irrationnelle des critiques adressées aux sondages est bien illustrée de mon point de vue par les débats qui ont entouré la loi réglementant la publication des sondages à l’approche d’une échéance électorale. Pendant longtemps, elle a interdit toute publication durant la semaine précédant le scrutin, délai ramené depuis à vingt-quatre heures. L’analyse des a priori sur la manière dont les citoyens prennent leurs décisions politiques, tels qu’ils se sont exprimés dans les débats parlementaires au moment du vote de la loi, est tout à fait fascinante. Le principal argument du législateur était qu’il fallait « protéger » le citoyen de l’influence néfaste des enquêtes d’opinion, parce que la décision politique devrait toujours être prise dans une sorte de silence de la raison. Cela me rappelle le « noli foras ire, in te redi, in interiore homine habitat veritas », de saint Augustin. C’est ce que sous-tend cette théorie : Il ne faut pas aller à l’extérieur, la vérité est dans l’intériorité, pas dans l’échange, l’information, l’extériorité. Le citoyen, dans cette logique, est donc conçu comme un mouton qui se laisserait entraîner à voter mécaniquement en faveur du candidat annoncé comme étant en tête par les sondages (alors même qu’il existe une mobilisation par antagonisme). Cette interdiction recouvre donc une théorie implicite et très contestable de la façon dont la décision politique se prend et doit se prendre, une théorie de ce que doit être l’information diffusable en démocratie et de ce dont on doit protéger le citoyen. Cette même théorie est à l’œuvre dans la relation critique que beaucoup ont avec les sondages d’opinion sans qu’ils l’assument pleinement ou en aient pleinement conscience.

Un autre débat, en germe dans le précédent et à peine plus moderne, mais de plus en plus prégnant, est celui du « vote utile » qui serait totalement induit par les sondages d’opinion et qui passe par conséquent pour quelque chose de négatif. Avant tout, je voudrais inviter, sur ce deuxième point, à bien choisir sa critique. On dit souvent – première critique – que les sondages ne sont pas fiables et qu’ils se trompent fréquemment, voire systématiquement. Dans les exemples entendus récemment, sont convoqués de manière récurrente le Brexit ou l’élection de Donald Trump. Je relève à ce propos un bel exemple de biais cognitif, puisque sur la quarantaine d’élections qui chaque année dans le monde donnent lieu à des enquêtes d’opinion, on n’en retient que deux pour en tirer la conclusion que l’instrument serait déficient. Il y aurait du reste beaucoup à dire sur ces deux cas controversés, pour déterminer si les sondages ont failli ou pas et jusqu’où, mais c’est un autre débat. Cette critique va en effet de pair avec une seconde, celle de la prophétie dite auto-réalisatrice : les enquêtes d’opinion auraient un tel pouvoir sur l’électeur que l’élection serait jouée d’avance au profit de celui qui serait mesuré comme étant en tête. Vous voyez donc le paradoxe et pourquoi je dis qu’il faut choisir sa critique. Soit en effet les instituts d’étude se trompent souvent ou tout le temps et par définition, ils ne fabriquent pas le résultat, soit ils fabriquent le résultat et alors, par définition, ils ne se trompent jamais. Avant toute chose et a minima, je demande que les détracteurs choisissent leur critique. Tentons maintenant rapidement d’y répondre.

Que les sondages se trompent fréquemment ou pas, cela se mesure et s’objective. Et cela n’est pas vrai. Certes, il y a de vrais ratages. Mais ils sont très minoritaires. Quant à la prophétie auto-réalisatrice, elle est constamment démentie par les faits, sans quoi jamais les courbes des sondages ne pourraient se modifier ou se croiser : celui qui est en tête le resterait et le serait toujours plus. Or, ces courbent bougent et parfois se croisent. La réalité, c’est que c’est bien évidemment la campagne qui fait l’élection ; les outils ne sont là que pour mesurer des mouvements d’opinion qui, eux, varient considérablement ; mais ils ne les fabriquent pas.

Il n’en demeure pas moins que la fiabilité des enquêtes d’opinion est bien la question centrale, car il est incontestable qu’une part croissante de citoyens tient compte de résultats qu’elles annoncent pour revisiter éventuellement son vote. Si ces enquêtes sont fiables, je pense qu’elles jouent un rôle utile. Si elles ne le sont pas, en revanche, alors on peut effectivement les tenir pour néfastes.

Je laisse pour le moment de côté cette question de la fiabilité et des moyens par lesquels nous pouvons la garantir pour expliquer pourquoi je considère comme bénéfique que les citoyens, dans une démocratie, aient accès aux informations des enquêtes d’opinion et puissent en faire l’usage qu’ils souhaitent, y compris de modifier leurs intentions de vote.

Je donnerai pour cela deux exemples. Le premier est polémique, c’est celui du premier tour de la présidentielle en 2002, dont on me parle toujours plus de quinze ans après. Aucune enquête d’opinion n’avait effectivement indiqué avant le 21 avril, y compris dans la semaine qui précédait le scrutin, que le candidat Jospin serait disqualifié pour le second tour au profit de Jean-Marie Le Pen. Imaginons pourtant qu’à trois jours du scrutin diverses enquêtes aient annoncé que Jean-Marie Le Pen passait devant Lionel Jospin ; cela aurait eu, je crois, deux conséquences. La première est que ces enquêtes auraient été immédiatement décriées par l’opposition ; on les aurait accusées de chercher à remobiliser une partie des électeurs de gauche en faveur du candidat socialiste en dramatisant la situation. Et en effet peut-être qu’une fraction des électeurs qui ont voté pour les autres candidats de gauche ou qui se sont abstenus se serait, sur la base d’une telle information, finalement reportée sur Lionel Jospin dès le premier tour. On ne peut l’exclure, d’autant que le résultat s’est joué à moins de 200 000 voix. Convenez alors au passage du paradoxe : si ces enquêtes avaient provoqué un tel effet, Lionel Jospin aurait été qualifié… et on aurait dit qu’elles s’étaient trompées puisqu’elles annonçaient sa disqualification ! Mais peu importe, la vraie question est celle-ci : est-ce un mal ? Aurait-ce été un mal ? Serait-il néfaste pour la démocratie qu’une information de ce type soit prise en compte par certains électeurs qui décideraient alors de revisiter leur vote – ou pas ? Notons que c’est ce qui s’est produit en 2017, lorsqu’une fraction non négligeable d’électeurs de gauche a donné sa voix à Emmanuel Macron dès le premier tour parce qu’ils ne voulaient pas avoir à choisir entre François Fillon et Marine Le Pen au second tour. En quoi ce comportement électoral serait-il une régression ? Nous avons en réalité affaire à un implicite et à un stéréotype qui oppose un vote dit de conviction à un vote dit stratège ou utile qui serait un vote dégradé. Derrière la critique du vote utile et l’éloge du vote de conviction, nous retrouvons une axiologie implicite. Pour ma part, je préfère le vote utile au vote inutile, même si j’ai le plus grand respect pour les électeurs qui votent pour un candidat en sachant qu’il ne sera jamais qualifié. Tout simplement parce que le vote ne sert pas seulement à sélectionner un candidat mais à bien d’autres choses. On admettra en tout cas, j’espère, qu’il est tout à fait paradoxal de considérer que les sondages d’opinion pervertiraient la démocratie alors même qu’ils donnent aux électeurs la possibilité d’avoir un vote que l’on peut considérer comme responsable sur les conséquences éventuelles de leur choix au premier tour. Et je ne vois absolument pas en quoi ce serait un vote subalterne, perverti, dégradé, de moindre conviction ou moins responsable.

Un autre avantage que je vois à nos enquêtes, c’est qu’elles permettent d’objectiver le débat public sur certains aspects, dont certains sont fondamentaux, et je donne là un nouvel exemple tiré des primaires socialistes de 2011, qui sont les premières pour lesquelles ont été réalisées des enquêtes d’opinion. Quel était alors le discours dominant ? Que cette primaire n’allait concerner qu’un corps électoral restreint – ce qui était vrai – et que cela ferait par conséquent le jeu de Ségolène Royal qui était, disait-on, la plus assurée de capter le vote des sympathisants socialistes en raison des liens puissants qu’elle entretenait avec eux (d’aucuns, à son propos, parlaient même de « secte » ou de lien quasi mystique et évoquaient, après l’échec de 2007, ce qui allait être une revanche face à Nicolas Sarkozy). Sur la base de ce raisonnement, de multiples discours et de doctes analyses expliquaient pourquoi Ségolène Royal allait à l’évidence gagner cette primaire. J’ai produit à l’époque à Ipsos la première enquête sur les intentions de vote à la primaire, publiée à la fin du mois d’août 2011 par Radio France et France Télévisions. Elle donnait François Hollande très largement en tête (42 %), suivi de Martine Aubry (31 %), et loin derrière Ségolène Royal, autour de 18 % si ma mémoire est bonne. Nous avons alors été accusés de manipulation par des responsables politiques de l’équipe de Ségolène Royal, laquelle avait même demandé à la Haute Autorité d’interdire ces enquêtes, mais également par tous les commentateurs dont cette étude démentait les croyances. Une deuxième enquête d’Ipsos, réalisée après le premier débat télévisé, non seulement confirmait le phénomène mais l’amplifiait Cette fois-ci Ségolène Royal était mesurée à 13 %, talonnée par Arnaud Montebourg. Le résultat final fut plus cruel encore, proche de 7 %. Nos enquêtes avaient juste permis de dire dans le débat public que Ségolène Royal n’était plus la candidate souhaitée par le corps électoral appelé à s’exprimer. Cela allait à l’encontre de la doxa, mais c’était pourtant la réalité. J’estime simplement qu’il est bon de disposer d’études de ce genre pour que le débat s’organise non pas sur la base de croyances ou de déclarations péremptoires de tel ou tel mais d’un minimum d’information mesurée, avec la prudence nécessaire qui doit les accompagner. Je pourrais multiplier les exemples, ainsi des responsables politiques qui affirment de manière tout aussi péremptoire que les questions identitaires sont aujourd’hui le premier motif de préoccupation des Français, alors que des enquêtes d’opinion nous amènent à être plus nuancés et à dire qu’aujourd’hui ils placent plutôt en tête le pouvoir d’achat ou les inégalités.

Les enquêtes d’opinion ont donc à mes yeux au moins trois vertus : permettre aux Français de faire remonter leurs doléances aux responsables et à ces derniers d’être informés des souhaits, critiques, attentes des Français – à charge pour eux d’en tenir compte ou pas. Apporter aux Français des éléments d’information sur ce que pense la société de tel ou tel sujet ou de ce que s’apprête à faire le corps électoral – à charge pour chacun d’en tenir compte ou pas, par exemple dans son vote. Objectiver enfin le débat public sur certaines controverses ou les forces et faiblesses de tel ou tel candidat à un instant t.

*

Après cette défense et illustration des enquêtes d’opinion qui n’est pas, j’aimerai qu’on m’en fasse le crédit, une post-rationalisation de mon métier (même si je l’exerce avec passion), j’en viens aux critiques légitimes qui peuvent être adressées aux sondages. J’écarte la question des enquêtes sans intérêt (« Aimez-vous rire ? » a osé poser un institut, montrant qu’il avait de l’humour !), dont aucun institut de sondage n’est exempt, mais qui demeurent marginales.

Une première question qui nous est posée est celle de la représentativité et de la fiabilité de nos échantillons. Elle est centrale et c’est pour nous une obsession. Si vous prenez l’observation de nos enquêtes d’intentions de vote, en France comme à l’étranger, et que vous les confrontez aux résultats, l’outil se révèle non pas parfait, mais il est loin d’être déficient et fonctionne même relativement bien, comme l’a montré la dernière élection présidentielle, à condition que nous fassions un travail permanent sur nos modes de collecte, la difficile question de la mobilisation et sur nos échantillons. Cela signifie que nous faisons de la R&D, que nous confrontons les résultats avec ce que donne une administration en face à face, ou par téléphone, ou en ligne, afin de sélectionner les modes de recueil les plus performants. Nous travaillons également à Ipsos sur nos quotas pour avoir dans nos échantillons non seulement le bon quota de personnes âgées de plus de 65 ans, mais également des gens âgés de plus de 70 ans ou de 75 ans et qui vont voter. Il nous faut donc toujours davantage raffiner nos quotas, par exemple sur le niveau de diplôme, car nous ne sommes pas à l’abri de biais sur des variables pouvant être importantes.

Un deuxième élément sur lequel nous apportons une grande attention est la rédaction des questionnaires. Globalement, en France, nous avons je crois une tradition de qualité en matière de recueil de l’information et de formulation des questions. Je le dis car ce n’est pas vrai de tous les pays. Il peut cependant arriver que des enquêtes comportent des biais importants. Je songe à un sondage Odoxa publié par Le Parisien dans la journée du 14 avril 2016, alors que François Hollande était invité le soir même de « L’Émission politique », et qui a donné lieu à une très forte reprise médiatique tout au long de la journée. La question était ainsi formulée : « Compte tenu de son impopularité actuelle [sic], François Hollande devrait-il annoncer qu’il renonce à se présenter à l’élection présidentielle afin de permettre à la gauche d’avoir le temps de trouver un meilleur candidat [re-sic]? » Au début comme à la fin de la question, deux affirmations – l’impopularité de François Hollande, la nécessité pour la gauche d’avoir le temps de trouver un meilleur candidat – créent un effet de cadrage et introduisent un biais. Je salue d’ailleurs les 23 % de Français qui malgré tout ont répondu non ! On a là un cas d’école et une caricature de la démocratie : la question est biaisée, les médias la reprennent sans vérifier quoi que ce soit et à l’arrivée on confronte le responsable politique à un résultat qui lui est défavorable en lui demandant de se prononcer sur son éventuelle candidature tout en sachant qu’il ne peut ni institutionnellement ni politiquement y répondre. Mais tout le monde, ou presque, est pourtant satisfait : le grand public qui ne va pas s’émouvoir, puisque François Hollande était à l’époque massivement impopulaire ; les médias, qui ont une matière croustillante (il faut bien remplir les tuyaux…) ; l’institut de sondage qui a fait le « buzz ». Ce type de questionnement est évidemment catastrophique. Je pourrais donner d’autres exemples, sur des sujets comme la PMA, où on obtient des résultats surprenants qui tiennent avant tout à la façon dont la question a été administrée. Mais je voudrais cependant immédiatement souligner d’une part que ces situations sont rares et d’autre part que nul sondeur n’est à l’abri, un jour, d’une mauvaise formulation. Non pas, comme les interprétations complotistes le sous-tendent, parce qu’il y aurait volonté manipulatrice mais le plus souvent parce que les conditions d’urgence dans lesquelles nous travaillons peuvent provoquer de tels biais. Soyez assurés que rédiger un questionnaire équilibré est un exercice qui ne s’improvise pas. La critique n’en demeure pas moins légitime quand il y a faute.

Après la fiabilité de l’échantillon et du mode de recueil et celle du questionnaire, le troisième facteur qui conditionne la qualité d’une enquête est à mes yeux le moment où elle est menée. Je suis partisan de sondages qui ne sont pas faits « à chaud », aussitôt que survient un événement. Alors que la tendance actuelle est d’effectuer un sondage dans les vingt-quatre heures qui suivent un événement et parfois plus vite encore, nous publions moins que certains de nos confrères, mais cela relève chez nous d’une volonté : une mesure trop à chaud enregistre souvent un pic qui retombe ensuite mais qu’elle fige en chiffres. En ce sens, elle peut être trompeuse et il faut laisser un minimum de temps à la controverse et aux échanges d’arguments dans l’espace public avant de mesurer ses effets dans l’opinion.

Nous avons aussi de plus en plus, et c’est lié à l’économie des médias, des études sur la base de deux ou trois questions alors qu’il en faudrait parfois dix ou douze notamment sur des sujets complexes.

Quatrième point qui doit nous préoccuper : le type d’outils que nous utilisons. Pendant la dernière élection présidentielle, Ipsos a mis au point, en collaboration avec le Cevipof, un panel, au vrai sens du terme : un échantillon de 24 000 électeurs que nous avons suivi pendant dix-huit mois et que nous interrogions régulièrement. Il a représenté un outil prodigieux de compréhension des évolutions de l’opinion car nous avons pu réellement suivre des itinéraires, identifier et quantifier les changeurs, comprendre leurs raisons et donc faire des analyses précises. Cela n’est pas possible avec des échantillons renouvelés à chaque enquête et c’est grâce à un panel que l’on mesure, même quand il y a une apparente stabilité des intentions de vote, qu’en réalité des électeurs quittent un candidat, d’autres le rejoignent, etc.  Notre métier est d’éclairer les Français, les responsables et les commentateurs sur les mouvements profonds de l’électorat au cours d’une campagne, les effets qui relèvent de l’actualité, du projet, du jeu des acteurs, etc. Le panel, de ce point de vue, apporte un authentique progrès dans la compréhension de ces phénomènes. J’ajouterai cependant que la mobilité de plus en plus grande de l’électorat nous oblige, pour suivre jusqu’au bout et correctement une élection, à mettre parallèlement en place des rolling polls, autrement dit à recueillir aussi des intentions de vote quotidiennes. J’entends déjà les protestations de ceux qui jugent insupportable qu’il y ait autant de sondages. Mais il faut, là encore, choisir sa critique : si nous voulons des sondages fiables, alors il faut se donner les moyens de suivre l’évolution d’une opinion publique extrêmement mobile et de le faire jusqu’au dernier jour.

Les deux derniers points que je voudrais rapidement évoquer et qui constituent à mes yeux un élément central du bon ou du mauvais exercice de notre métier sont l’indépendance de l’institut et la question de sa déontologie. Être indépendants, neutres et dans la seule volonté, voire l’obsession de comprendre et d’expliquer est un objectif vers lequel nous devons systématiquement tendre. C’est une exigence personnelle et c’est celle de l’institut dans lequel j’exerce mes fonctions.

Enfin, je ne suis pas hostile à une régulation et à un contrôle externe, notamment par la commission des sondages. Non seulement c’est la loi et nous la respectons, mais c’est une bonne chose qu’une instance externe interroge la qualité de nos échantillons et la cohérence de nos redressements. La limite à ne pas franchir serait qu’une telle instance prétende savoir quel est le bon redressement à appliquer ou s’érige en juge des bonnes et mauvaises questions à poser. Ce n’est heureusement pas le cas.