Si le texte publié par Le Monde avait été un travail d’étudiant·es en première année de sociologie à l’université, on aurait pu comprendre les erreurs manifestes des auteur·es. Mais quand il s’agit d’universitaires chevronné·es [1], difficile d’expliquer le manque total de rigueur. Ce qui conduit à formuler l’hypothèse suivante : l’objet de cette étude n’est en rien d’analyser scientifiquement la composition du mouvement des gilets jaunes mais d’avaliser par un argument d’autorité une position politique.

Une méthode tout sauf scientifique

L’étude, un temps accessible en ligne sur le site web de Sciences Po Bordeaux, n’est plus disponible. Les conditions de celle-ci sont donc à ce jour vagues. Les seules informations que nous avons sont celles parues dans le texte publié dans Le Monde.

« Les résultats, encore très provisoires, présentés ici s’appuient sur l’analyse de 166 questionnaires distribués auprès des participants aux actions sur les ronds-points et aux péages, ou lors des manifestations ayant eu lieu les 24 et 1^er décembre, par une équipe d’une dizaine de chercheurs et d’étudiants. Le questionnaire a été élaboré de manière à recueillir des informations détaillées et précises sur les participants. »

Premier problème : nombre de questionnaires et marge d’erreur

Nous savons donc que seules 166 personnes ont répondu au questionnaire des chercheur·es — sans précisions supplémentaires, ne serait-ce que géographiques. En terme statistique, cela signifie que l’échantillon est de 166. Or, la taille de l’échantillon, si elle ne détermine pas son caractère représentatif, compte lorsque l’on prétend proposer une analyse quantitative : de cette taille dépend la marge d’erreur, c’est-à-dire la fiabilité du sondage.

Cette fiabilité se comprend comme une estimation des différences possibles de résultats d’un même sondage s’il devait être reproduit à l’identique. Pour un échantillon de 166 personnes, la marge d’erreur est de de près de 8%, 7,6% pour être précis [2]. Autrement dit, si le résultat du sondage est 100, l’enquête permet de dire que la réalité se trouve probablement entre 92 et 108. On dit alors que [ 92 ; 108 ] est l’intervalle de confiance du premier sondage.

Pour illustrer très concrètement ce que cela signifie, on peut considérer le dernier sondage d’intentions de vote d’avant le premier le tour de l’élection présidentielle de 2017 : avec une incertitude de 3 points pour un niveau de confiance de 95 %, Marine Le Pen était annoncée à 24, soit entre 21 et 27 % ; avec une marge d’erreur de 8% elle aurait été annoncée entre 16 et 32 %, soit du simple au double.

Quand nos « 70 scientifiques » expliquent que 14,9 % des personnes interrogées se positionnent à l’extrême gauche, on peut conclure de façon fiable à partir de leurs « résultats » que cet engagement concerne entre 6,9 et 22,9 % d’une population qui ressemblerait à ce panel. C’est peu précis.

Dans la communauté scientifique, une marge d’erreur acceptable est de l’ordre de quelques pourcents, et aucune enquête avec une marge d’erreur de 8 % ne passerait jamais les mailles de la sélection des revues scientifiques de premier plan. On comprend ici que pour la seule raison de la taille ridicule de l’échantillon, il faut a minima prendre de grosses pincettes avec les « résultats » présentés. Et qu’avec une telle marge, les « 70 scientifiques », s’ils et elles prétendent faire des statistiques, devraient faire preuve d’une grande humilité.

Second problème : le choix des personnes

Le principal écueil de cette enquête n’est pourtant pas la taille de l’échantillon, mais sa constitution. En effet, la marge d’erreur à 8 % pourrait être acceptable si l’échantillon était « non déformé », c’est-à-dire représentatif des gilets jaunes. Or, dans le cadre de cette « enquête », ce n’est clairement pas le cas.

Le Ministère de l’intérieur, pas suspect pour un sou de vouloir grossir les chiffres du mouvement, a annoncé lors des premières mobilisations de novembre qu’environ 150 000 personnes participaient. Ce comptage ne tient compte que des personnes descendues dans la rue ou sur des ronds points. La mobilisation en ligne, qui est l’une des caractéristiques forte des gilets jaunes, est passée sous silence. La page Facebook « comptons-nous Gilets jaunes » affiche par exemple près de 3 millions de membres, soit 20 fois plus.

Les « 70 scientifiques » ont fait le choix d’aller à la rencontre des personnes présentes dans la rue plutôt que d’interroger des personnes qui militent en ligne (ces deux populations étant en partie communes). Pourquoi pas, mais il faut a minima circonscrire les résultats à cette catégorie et non comme ils et elles font à tous les gilets jaunes. Avec une population cible d’au moins 150 000 personnes, on comprend qu’il n’est pas possible, faute de moyens humains et économiques, de sonder tout le monde. Il y a donc nécessité de sélectionner un groupe qui soit représentatif des personnes mobilisées, et pour ce faire choisir une méthode d’échantillonnage.

Ici, l’impossibilité de la représentativité découle d’abord de l’impossibilité de connaître a priori la composition du mouvement (socialement, politiquement, géographiquement) donc d’en sélectionner un échantillon correspondant. Pour que la représentativité soit possible, il faut en principe s’appuyer sur un sondage systématique, comme peut l’être le recensement de la population réalisé par l’Insee. En son absence, on procède d’ordinaire par des méthodes dont les biais sont documentés : échantillonnage par tirage au sort, échantillonnage stratifié, échantillonnage boule de neige, etc.

Dans le cas qui nous concerne et en l’absence de description précise des lieux d’enquête et de la manière dont les personnes qui ont répondu ont concrètement été recrutés, il y a tout lieu de penser que l’échantillonnage a été réalisé au petit bonheur la chance. On peut parler « d’échantillonnage de convenance », ce qui induit que les résultats de l’enquête ne peuvent nullement être extrapolées, en raison des multiples biais induits.

D’abord la géographie de l’enquête, imprécise, n’est pas calquée sur celle de la mobilisation. Les questionnaires ont été distribués sur Bordeaux, Marseille, Caen, Rennes, Montpellier, Grenoble et leurs environs. Qu’en est-il des villes et des régions du Nord, de l’Est où les gilets jaunes sont particulièrement présents ? Et des villes comme Béziers, Nice dans le Sud, ou des espaces profondément ruraux etc ? Autrement dit : qu’en est-il des espaces où géographiquement, par exemple, le vote FN a été massif en 2017, même si localisé et très variable d’un territoire à un autre ? C’est sûr, il est difficile de trouver une population en particulier si l’on fait le nécessaire pour ne pas se mettre en rapport avec elle.

Ensuite vient la question du choix des sondé·es. Dans le cadre de l’étude en question, il suffisait ainsi d’avoir participé à une manifestation ou un blocage pour pouvoir être interrogé. L’étude ne donne pas de détail quant à l’ancienneté des sondé·es dans le mouvement des gilets jaunes (mouvement qui lui-même s’est formé et a évolué différemment selon les territoires depuis novembre). Comme le questionnaire a été réalisé entre le 24 novembre et le 1 er décembre, cela laisse une grande marge de manœuvre et une grande diversité possible. Le biais repose ici sur le fait qu’en ces deux jours des manifestations pour des causes bien différentes ont croisé celles des gilets jaunes, n’importe qui ou presque pouvait donc être compté par nos scientifiques comme un gilet jaune, quel que soit son degré d’adhésion au mouvement étudié.

À cela s’ajoutent des biais bien connus de toute enquête sociologique comme par exemple l’auto-sélection des personnes les plus motivées et la surreprésentation de celles qui sont le plus proches sociologiquement des enquêteurs. Bref, en l’absence de méthode d’échantillonnage, la marge d’erreur de 8 % n’est plus qu’un lointain souvenir et les « résultats » n’ont aucune valeur statistique.

Troisième problème : la formulation des questions

Ce n’est pourtant pas là le dernier problème de cette étude. Pour toute enquête par questionnaires, les résultats dépendent grandement de la manière dont le questionnaire est administré et de la formulation des questions. Dans le cas de l’étude du Monde, il est fort probable que cela ait tout simplement été fait n’importe comment. On sait que les questionnaires ont été passés en face à face, soit dans un anonymat relatif qui renforce notamment le biais normatif, c’est-à-dire la volonté des personnes qui répondent de se conformer à de ce qu’elles imaginent que les enquêteurs attendent d’eux. C’est là un biais habituel qui s’ajoutent à d’autres, comme le mettait en avant sur twitter le sociologue SocioSauvage (nous développons) :

L’article met en avant la sur-représentations de la catégorie socioprofessionnelle (PCS) des « employé·es ». Le problème est que la question de la PCS est probablement la question la plus compliquée à poser et que la réponse la plus souvent fausse qui est donnée est justement « employé·es ». Dans le cadre d’une enquête scientifique, les PCS regroupent différentes professions. La PCS « employé·es » regroupe par exemple les agents de sécurité, les secrétaires et les chefs de trains. La PCS « employé·es » est souvent confondue avec le statut de salarié·e lorsque la question est posée. La bonne pratique est de demander à la personne sa profession réelle puis de la « ranger » dans la PCS correspondante dans la nomenclature de l’Insee lors de la saisie des questionnaires dans le logiciel de traitement statistique. Pour le dire autrement, si vous ne faites pas particulièrement attention dans la passation du questionnaire (ou si le questionnaire n’est pas particulièrement détaillé), vous aurez « naturellement » une sur-représentation d’« employé·es » artificielle. Même les instituts de sondage qui n’ont pourtant aucun problème à poser des questions mal foutues accordent une grande importance à cette question. Une part non négligeable de la formation des télé-enquêteurs lui est accordée.

La PCS n’est qu’une des questions sujettes à caution dans cette enquête. La demande faite aux personnes de se positionner politiquement ou de choisir de se dire « ni de droite ni de gauche » rencontre deux biais évidents. Le premier est la validation par l’enquête elle-même, donc la sur-représentation, du slogan « ni de droite ni de gauche » comme une catégorie d’analyse, alors qu’il s’agit avant tout d’un référent du discours populiste revendiqué par exemple à la fois par LREM et le FN. Le second est la sous-déclaration récurrente d’une proximité très à-droite, en quelque sorte une tendance à se voir plus à gauche qu’on ne l’est réellement. Il aurait été plus raisonnable de demander aux personnes de déclarer leurs proximités avec des valeurs (sécurité, liberté, égalité, etc.) puis des les repositionner sur l’échiquier politique droite/gauche.

Des interprétations fantaisistes

La déontologie scientifique devrait conduire ces universitaires à refuser de tirer des conclusions d’une enquête aussi fragile. Tout du moins, ils et elles devraient mettre d’immenses guillemets à leurs interprétations des « résultats » qu’ils avancent. Loin de ces précautions, ils et elles assènent aux lecteurs des conclusions présentées comme des évidences. Les formules employées ne trompent pas. Nul conditionnel, nul « peut-être » ou simple « probablement ». Le texte préfère le présent, les phrases affirmatives et les tournures qui donnent au douteux le caractère de l’évidence : « il s’agit de », « les deux principales motivations des personnes mobilisées apparaissent donc », « les revendications (...) sont très marginales, démentant l’idée », etc.

Plus problématique encore, une partie des conclusions sont totalement fantaisistes eu égard à l’enquête menée et aux questions posées. Trois phrases ont particulièrement été appréciées par les commentateur·es politiques, les camarades avides de preuves avalisant leur sympathie pour les gilets jaunes et présentées comme des vérités. Elles relèvent pourtant plus de l’imagination de leurs auteur·es que de la constatation.

• « Cette révolte est bien celle du “peuple” » affirment nos scientifiques. De quel « peuple » parle-t-on qui pourrait être défini par les réponses à un questionnaire ? Le simple fait que le « peuple » n’ait aucune définition scientifique rend cette phrase caduque. À travers les lignes, on comprend que les « 70 scientifiques » identifient les ouvrier·es et les employé·es au « peuple ». Comme nous l’avons vu, l’enquête est extrêmement fragile sur la construction de ces catégories, ce qui rend, de fait, cette conclusion doublement caduque.

• « La réponse dominante consiste à se déclarer comme apolitique, ou “ni de droite ni de gauche” (33 %) ». Ce caractère populaire semble également être appuyé par des « orientations politiques atypiques ». Si plusieurs analyses du mouvement dès mi-novembre font état de la variété des orientations politiques des participant·es au mouvement des gilets jaunes et considérant le brouillage actuel du clivage gauche/droite, on peut s’attendre à ce que la manière avec laquelle les sondé·es se situent politiquement ou que les marqueurs de ce positionnement soient questionnés. Dit autrement avec un exemple : ce n’est pas parce qu’une personne se situe à gauche qu’elle reprend et accepte tous les marqueurs de gauche, et peut-être même se dit-elle de gauche en défendant et reprenant des marqueurs de droite ou d’extrême-droite. Dans la confusion ambiante, ne pas questionner ces positionnements nous interroge.

• « Il est à noter que seulement 2 des 166 personnes interrogées ont mentionné la gestion de l’immigration dans leurs réponses aux deux questions présentées. Cela invite à reconsidérer les analyses qui font du mouvement une émanation de l’extrême droite » se réjouissent nos scientifiques. Il faut resituer cette phrase dans son contexte. Elle arrive plusieurs dizaines de lignes (496 mots pour être précis) après la phrase qui l’introduit et que voici : « Nous avons invité les participants à s’exprimer sur leurs motivations à travers une question ouverte en début du questionnaire (“Pourquoi manifestez-vous aujourd’hui ?”). ». Une seconde question ouverte portait sur les mesures à mettre en œuvre. Traduction : les « 70 scientifiques » s’appuient sur le fait que l’immigration soit faiblement mentionnée dans le cadre d’un questionnaire qui, d’une part, ne porte pas sur la question de l’immigration et, d’autre part, se penche sur un mouvement dont le mot d’ordre central — l’injustice fiscale — n’est pas directement lié à l’immigration, pour conclure que le mouvement n’est pas lié à l’extrême droite. L’imposture de cette interprétation est totale. D’abord parce que tirer une telle conclusion est aussi solide scientifiquement que de conclure que personne « n’aime la sauce au pesto » parce que personne n’a mentionné le pesto dans un questionnaire sur les plats à base de tomates. Ensuite, parce qu’identifier l’extrême droite à la seule question de l’immigration est un réductionnisme des plus navrants. Alors que ces recherches émanent de chercheur·es en sciences politiques, c’est même confondant d’inculture politique. L’extrême droite brasse historiquement bien plus large que la seule question de l’immigration. Par exemple, l’extrême droite milite historiquement pour la « réduction des impôts et des taxes » et contre la « pression fiscale », un thème qu’on spontanément mentionné 41,6 % des personnes interrogées lorsqu’elles ont répondu à cette même question...

De plus, transparaît derrière cette interprétation la condescendance de classe dont font preuve ces chercheur·es, qui dédaignent ici la différence entre ce qui est pensé et ce qui est exprimé. À aucun moment, ils et elles ne semblent imaginer que les gilets jaunes de leur panel puissent avoir eu des stratégies de réponse, que ce soit pour mettre en évidence une thématique, pour masquer une appartenance politique ou encore pour satisfaire les enquêteur·es [3]. Voilà pourtant trois biais de l’enquête bien connus et dont tout scientifique est supposé se méfier et faire mention.

Là encore, si cet article avait été un travail d’étudiant·es, la copie aurait écopé d’une note médiocre et d’un commentaire invoquant au minimum une sur-interprétation manifeste des « résultats ». Par la construction de leur enquête et par l’imaginaire qu’ils ont déployé pour en tirer des conclusions, ces « 70 scientifiques » ont enfreint un principe de base des sciences sociales : celui d’éviter la réification de leur objet. La réification, c’est la substitution de l’objet de recherche lui-même, ici le mouvement des gilets jaunes, par l’idée abstraite ce que les chercheur·es veulent y voir, ici un mouvement ancré à gauche et distant de l’extrême droite. La réification est un biais de l’enquête dont on apprend à se méfier au tout début de sa trajectoire universitaire et qui est totalement inexcusable chez des chercheur·es professionnel·les.

Par leurs interprétations, ces « 70 scientifiques » ont dessiné le mouvement des gilets jaunes plus qu’ils ne l’ont observé, orientant de la sorte toutes les lectures à venir. L’idée que les gilets jaunes sont de gauche se trouve avalisée par le truchement de la sélection effectuée en amont et d’une interprétation fantaisiste. C’est comme si un historien, pour parler d’un mouvement social, se contentait soit des archives militantes soit des archives ministérielles pour construire son argumentation : dans les deux cas la lecture en serait a priori partisane.

Une étude bien pratique pour avaliser un position politique discutable

Car c’est ici qu’intervient la problématique de la forme : nous nous trouvons confronté·es à la volonté d’un certain nombre de scientifiques d’asseoir une réalité désirée en utilisant la légitimité scientifique qu’ils tirent de leurs places d’universitaires. Autrement dit nous nous trouvons devant une tribune maquillée en enquête.

C’est sans doute ce qui explique une publication dans Le Monde et qu’ils et elles n’aient pas attendu la fin de l’expérience, ce qui est là encore vachement problématique en terme de démarche scientifique. C’est, en définitive, une prise de position politique claire nous enjoignant implicitement à rejoindre le mouvement.

Alors que les analyses qui dénoncent le caractère réactionnaire du mouvement des gilets jaunes sont accréditées par l’émergence du « Référendum d’Initiative Citoyenne » (RIC) comme revendication principale, quel peut bien être l’intérêt de repeindre, contre toute évidence, les gilets jaunes en rose ?

Le gouvernement, qui a d’autres sources d’informations que ces études biaisées, ne s’y trompe pas, lui. Quand il refuse d’augmenter le Smic au profit de bidouilles sur la prime d’activité, il rappelle qu’il s’agit aussi d’un mouvement en partie composé de petits patrons qui ne souhaitent pas la hausse de leurs « charges salariales ». Ce que confirme Maxime Nicolle au micro de RT et aux côtés de deux autres leaders historiques des Gilets jaunes, Ludovski et Drouet, samedi 15 décembre. Quand un mouvement est flou ou contradictoire, il est logique qu’un gouvernement de droite choisisse de ne satisfaire que les revendications qui lui conviennent.

Pour les personnes qui ont décidé de participer à ce mouvement, il s’agit avant tout de rester lucides pour ne pas se laisser avoir. C’est la seule manière d’avoir une chance infime de déborder ce flot populiste qui penche sévèrement à droite.

Pour notre part, nous pensons que cela n’est pas possible pour plusieurs raisons :

• La composition du mouvement qu’il faut accepter d’observer honnêtement ;
• Le travail idéologique mené par l’extrême droite depuis des années et qui trouve aujourd’hui son expression, nous laissant presque sans mots ;
• Sa capacité énorme de diffusion et de recrutement sur les réseaux sociaux, ce qui a soutenu les Gilets jaunes jusqu’à présent et lui permet de le faire virer de bord assez facilement comme on vient de le voir avec le RIC ;
• Le contexte massivement réactionnaire qui ne se change pas en quelques jours.

Si les sciences sociales peuvent nous aider, il s’agit de ne pas foncer tête baissée dans des positions politiques déguisées en recherches, qui, au final, n’aident pas en rajoutant de la confusion à une situation déjà bien brouillée. Pour notre part, nous préférons rappeler des positions aujourd’hui bien attaquées :

• Un antiracisme sans conditions ;
• Un internationalisme contre le retour du patriotisme ;
• Un antifascisme qui ne tolère pas d’alliance de circonstance ;
• Un anticapitalisme qui ne mélange pas carottes et salades, qui parte de chiffres concrets sur la société et non de sentiments de malaise ;
• Une solidarité de classe qui n’oublie pas l’exploitation ni les plus marginalisé·es et amène à (re)construire les outils d’autonomie ;
• Un idéal anti-autoritaire qui ne saurait se satisfaire d’un simulacre de démocratie à 70 millions.

Alors que les fausses informations sont légions sur les groupes Facebook des gilets jaunes et ont une influence évidente sur le mouvement, on saurait gré aux scientifiques de construire leurs enquêtes un peu plus solidement afin d’éviter d’alimenter une machine médiatique peu soucieuse de vérification. Alors que les sciences sociales font l’objet d’attaques régulières de politiciens de tout bord [4], on saurait gré aux chercheur·es de ne pas donner du grain à moudre à la machine à dénigrer dans le but d’avaliser une position politique plus que discutable.

Collectif Athéné Nyctalope