Le Café Politique

Le lien entre les nombres et le pouvoir est très ancien. La politique se nourrit de chiffres. Les Chinois, pour gérer leur grand empire, ont inventé en même temps l’administration et les statistiques. La société a besoin de chiffres pour savoir où elle en est, mais aussi pour savoir ce que veut le peuple. Si la démocratie représentative est un moyen efficace, mais indirect, de faire valoir la volonté du peuple, il est normal de chercher à savoir ce que pense le peuple sur des sujets spécifiques. Le référendum est un outil à usage exceptionnel, qui ne permet pas de connaître en continu l’état de l’opinion. Les enquêtes d’opinion sont de ce point de vue plus légitimes que l’opinion intuitive des gouvernants. En campagne électorale les sondages sur les opinions de vote sont d’une utilité moins évidente. Il est normal, cependant, de considérer que son propre choix puisse être influencé par l’opinion des autres. La connaissance même imprécise des intentions de vote peut être considérée comme une donnée démocratique. Si pendant un temps la prétention des sondeurs était de mesurer l’opinion publique, depuis les travaux de Bourdieu on considère que l’opinion publique n’existe pas en soi, avec le danger que pour les médias et les politiques l’opinion publique est tout simplement ce que disent les sondages.

La culture de base sur les sondages se limite à la métaphore de la photo instantanée et à la marge d’erreur de 3%. La plupart des chiffres produits par les sondages n’intéressent pas beaucoup le grand public, mais ce n’est pas le cas pour les intentions de vote en période électorale. Ces chiffres publiés par les médias et produits par des sociétés, qui se font passer pour des instituts pour faire sérieux, sont tantôt fortement pris au sérieux, tantôt totalement mis en doute. La référence scientifique à la théorie des sondages reste l’argument massue pour calmer les doutes excessifs.

Sur un sondage, effectué dans des conditions aléatoires correctes, la théorie donne une marge d’erreur avec une confiance de 95% de plus ou moins 2 fois la racine carrée de p(1-p)/n où n est la taille de l’échantillon et p la probabilité d’obtenir le résultat, qui correspond au pourcentage divisé par 100. Ce qui indique que la fiabilité du résultat est indépendante de la population totale et que la précision augmente lorsque la probabilité est faible. Comme les sondages classiques sont faits avec environ un échantillon de taille 1000, cela donne, par exemple, pour 25% d’intentions de vote dans le réel, 95% de chance que la fréquence de l’échantillon soit dans l’intervalle 22%-28%. En pratique, si les valeurs ne sont ni trop grandes ni trop petites, on prend comme probabilité pour estimer l’intervalle de confiance celle obtenue dans l’échantillon et on considère que la "vraie valeur" a 95 % de chances d’être comprise dans l’intervalle de confiance. On peut noter que, si on s’intéresse à des sous-échantillons, la perte de précision est très grande, les marges d’erreurs sont environ multipliées par 3, si on prend un sous-échantillon de taille 100.

Cet aspect théorique, en acceptant l’aspect marge d’erreur à 95%, semble rassurant. Cette théorie s’applique, par exemple, très bien pour un industriel lors d’un sondage sur des objets pour un contrôle qualité. Pour des intentions de vote cela ne marche pas aussi bien pour plusieurs raisons :

 Il n’est quasiment pas possible de faire un échantillon aléatoire sur l’ensemble de la population des électeurs inscrits sur les listes électorales. Les entreprises qui font les sondages ont donc toutes opté pour la méthode des quotas. Pour cela elles fabriquent un échantillon représentatif de la société française sur quelques variables essentielles (Sexe, habitat, CSP, âge...). Difficile à partir de là de garantir la marge d’erreur. Si les principales variables sociologiques, qui influencent le vote, sont bien prises en compte, on peut penser ne pas avoir trop de perte de précision. Mais les biais sont vite importants : contacter les gens qui ont un téléphone fixe peut rendre inaccessible une frange importante de la population, et contacter la population "mobile only" est difficile. Si cette partie inaccessible vote de manière similaire au reste de la population, ce n’est pas un problème. De même, la catégorie « refus de réponse » est souvent considérée comme étant distribuée aléatoirement et n’intervient pas dans l’analyse. Pourtant, le nombre de refus de réponse augmente d’année en année et peut être très important sur certaines enquêtes. Ces refus ne traduisent pas, loin de là, uniquement un manque momentané de disponibilité. Un échantillon représentatif parfait est impossible à faire, cela augmente l’incertitude et il est impossible de savoir dans quelle mesure.

 Les réponses sont approximatives, si certains ont une opinion parfaitement construite, et cela bien avant le scrutin, ce n’est pas toujours le cas. Les classes populaires sont souvent moins pressées pour avoir une opinion que les classes moyennes. Ce phénomène est suffisant pour expliquer les augmentations de vote pour Le Pen en fin de campagne, car ce vote se cristallise dans les dernières semaines, cet électorat se déclare massivement "sans opinions" loin de l’élection.

 Les réponses sont biaisées par le politiquement correct : déclarer voter Le Pen, Schivardi ou Bové, c’est prendre le risque de passer pour un extrémiste dangereux ou pour un doux dingue.

 Quelques réponses sont délibérément fausses. Phénomène a priori rare mais totalement incontrôlable.

Avec tout cela les résultats bruts sont très loin de l’opinion réelle. C’est pour cela que les sondeurs font des redressements. Vu la difficulté de construire un échantillon conforme à l’objectif (par exemple, par manque de jeunes...) on peut redresser l’échantillon en application des coefficients de proportionnalité. Cela baisse un peu la fiabilité de l’étude mais reste assez logique. Par contre, pour redresser les biais sur les réponses, il existe trois techniques classiques :

a) On utilise l’histoire collective, car on connaît les résultats réels des élections passées et on peut comparer avec les résultats de sondages de l’époque pour mesurer les biais. Pour l’histoire individuelle on demande les votes précédents, mais les français n’ont pas de mémoire et le redressement de l’échantillon n’est pas très fiable.

b) on pose des questions de cohérence pour repérer le pourcentage d’électeurs qui aurait déclaré un vote proche de leurs convictions mais plus modéré. Actuellement Le Pen se situe entre 5% et 7% en données brutes. On sait qu’au-delà de ceux qui se déclarent sans opinion certains se déclarent pour Sarkozy et on en enlève donc un peu à Sarkozy pour les ajouter au vote FN.

c) On met en place un panel de suivi pour mesurer les variations (méthode très coûteuse...). On peut aussi utiliser le "flair" politique ou tout simplement s’inspirer des résultats des autres études. Se tromper tout seul est pour une entreprise de sondages beaucoup plus grave que de se tromper collectivement.

Bilan provisoire : une étude sur les résultats des sondages publiés dans les précédentes élections et les résultats des élections montrent que l’imprécision est en pratique supérieure à celle obtenue en théorie avec un échantillon aléatoire, même si on ne regarde que les sondages effectués dans les deux dernières semaines. L’intervalle de confiance dans le cas des enquêtes d’opinion est un concept en partie justifié par l’expérience et non par une théorie des sondages aléatoires qui ne peut pas s’appliquer. Il est malhonnête de faire référence à une marge théorique alors qu’expérimentalement cette marge est nettement plus importante. La référence à cette marge d’erreur théorique est là pour donner une illusion de scientificité qui sert à donner du crédit aux sondages et une impression d’objectivité. Pour autant, malgré cette critique très forte, j’aurais plus tendance à m’inquiéter de l’usage des sondages que de leur fabrication.

Il faut d’abord reconnaître la capacité des sondages à influencer l’opinion. On peut par exemple penser que les 65% de oui dans les sondages au mois de novembre 2004 ont fortement influencé les militants socialistes lors du vote interne sur le choix du PS pour le référendum du 29 mai 2005. De même, l’argument que Ségolène Royal était la meilleure pour battre Sarkozy a pesé fortement dans le choix des militants. De même le fait que très tôt dans la campagne un sondage a proposé le duel Sarkozy/Bayrou au second tour a eu un fort effet de légitimation comme grand candidat de François Bayrou et a eu beaucoup d’effet sur le temps de parole qui lui a été consacré. La mise en avant de l’indécision dans les études récentes reflète certes les hésitations légitimes du corps électoral mais participe aussi à la création d’un climat d’incertitude qui permet aux fabricants de sondages d’ouvrir par avance le parapluie.

Les éditorialistes qui commentent les sondages les prennent comme des certitudes quand cela les arrange, les mettent en doute quand les résultats ne sont pas conformes à leurs désirs, voire sur le nombre de sondages publiés choisissent ceux qui confortent leurs opinions. Pas de problème pour eux car, quand la réalité de l’élection arrivera, leurs excès d’interprétation seront oubliés. Tous les journalistes et politiciens qui n’ont pas évoqué la possibilité de Le Pen au second tour de la présidentielle de 2002 ont fait au moins la preuve qu’ils n’avaient rien compris aux intervalles de confiance. En l’occurrence, les redressements des sondeurs étaient mauvais, mais la lecture des résultats publiés était tout aussi médiocre. Vu les marges d’erreur, 8 jours avant l’élection, le résultat du premier tour n’est pas joué, même si le résultat Sarkozy en premier Royal en second est largement plus probable que Le résultat Le Pen en premier Bayrou en second !.

Outre les résultats des sondages, beaucoup de chiffres importants sont fournis par des organismes publics, des entreprises privées, des syndicats ou même directement par les journalistes. On peut citer en vrac : le taux d’inflation, le nombre de chômeurs, la production de tonnes de carbone, le comptage des manifestants, les chiffres de la délinquance, etc.... Le citoyen doit avoir un minimum de culture scientifique et politique pour appréhender leur degré de fiabilité et leur pertinence. Le rôle des médias consiste non seulement à transmettre ces chiffres, mais aussi à aider les citoyens à les relativiser. Dans l’exemple des sondages, plutôt que de lire des commentaires abusifs, on préférerait avoir la possibilité de lire sur le site du sondeur le rapport qui est transmis à la commission des sondages. Rapport qui explique la construction de l’échantillon et les outils de redressement et donc aussi évidemment les chiffres bruts. Que les secrets de fabrication soient conservés pour les enquêtes commerciales cela semble légitime, mais cela ne l’est pas pour les enquêtes d’opinion ou d’intention de vote qui ont la prétention de s’inscrire dans le débat démocratique.