Dimanche 19 avril, l’Institut ODOXA a présenté un sondage sur la perception de Marion Maréchal Le Pen.[1] qui a donné lieu à plusieurs gros titres dans la presse Française.

– Le Parisien : " 40 % des Français ont désormais une bonne opinion de Marion Maréchal-Le Pen".

– 20 minutes : " Quatre Français sur dix ont « une bonne opinion » de Marion Maréchal-Le Pen" rajoutant juste après : " Marion Maréchal-Le Pen fait son chemin auprès de l’opinion."

– L’express : " "Sondage : la popularité de Marion Maréchal-Le Pen en forte hausse"

– Le Point : "40 % des Français ont une bonne opinion de Marion Maréchal-Le Pen"

Ces médias ont titré sur une amélioration importante au vu des 40% de Français qui déclareraient désormais avoir une opinion positive d’elle comparativement aux 28% qui le déclaraient en janvier dernier.
Mais d’où vient cette comparaison de résultats ?

1. Faute de base de comparaison, Odoxa compare des questions incompatibles

Les médias ont repris les commentaires étonnants de l’institut ODOXA qui parle de "progression spectaculaire" en comparant ses propres résultats avec ceux du baromètre IFOP-Fiducial de Janvier 2015 :

" Comme pour sa tante Marine, c’est en réalité l’évolution spectaculaire des jugements positifs à son égard – auprès des Français, et plus encore auprès des sympathisants de droite – qui interpelle.

Avec 40% de bonnes opinions, Marion Maréchal le Pen a progressé de 12 points en trois mois : elle ne disposait que de 28 % de bonnes opinions en janvier 2015 dans le sondage effectué par nos confrères de l’Ifop pour Paris Match et Sud Radio".

En matière de constat d’évolution, il y a pourtant une règle stricte : le constat doit être basé sur la reproduction de questions rigoureusement identiques pour permettre des résultats comparables.

Mais ODOXA ne disposait d’aucune question identique pour établir une comparaison. Il a donc été chercher la question d’un autre institut, le baromètre IFOP-Fiducial en omettant de préciser à quel point les deux questions de ces deux sondages étaient incompatibles.

ODOXA disposait pourtant de la question d’un sondage qu’il avait réalisé en novembre 2014 à l’occasion du congrès du FN et qui concluait à 33% de bonnes opinions pour MMLP [2]. Mais un chiffre qui ne permettait d’évoquer qu’une hausse plus faible.

2. Pourquoi les questions utilisées pour témoigner de cette hausse sont-elles incompatibles ?

Les scores obtenus par un sondage sont directement dépendant de la question posée et de l’échelle d’évaluation utilisée. Si les questions ou les échelles d’évaluation sont différentes, elles ne peuvent être comparées.

Nous allons montrer que la progression de popularité dont fait état ODOXA est basée sur la comparaison de questions qui ne pouvaient que produire des résultats différents. (...)

3. Une comparaison douteuse qui triple la progression de popularité de MMLP

ODOXA a donc réalisé ce sondage les 16 et 17 avril 2015 et compare les résultats qu’il obtient avec ceux d’un sondage incompatible réalisé par l’IFOP en janvier 2015.

Mais le sondage IFOP-Fiducial de janvier 2015 est un baromètre qui est reproduit périodiquement. Une nouvelle vague avec les mêmes questions et les mêmes échelles a été réalisée une semaine avant le sondage ODOXA, les 10 et 11 avril 2015[4]. Cette dernière vague qui elle, était parfaitement comparable avec la vague de Janvier 2015 n’a constaté pour MMLP que des différences faibles : 32% d’opinions positives en avril 2015 (contre 28% en janvier),
Ainsi avec une question identique, la différence de popularité de MMLP de janviers à avril 2015 n’est que de 4% (et non pas la hausse fantaisiste de 12% annoncée par ODOXA).

Compte tenu de l’intervalle de confiance et de la précision des 2 sondages, Cette différence de 4% peut-être considérée comme non-significative.
La preuve est donc faite que c’est bien la comparaison entre 2 sondages incompatibles comportant des échelles dissemblables qui détermine la majeure partie de la hausse annoncée et non pas une prétendue évolution.

On peut raisonnablement penser qu’ODOXA a intentionnellement mis en avant cette comparaison[5] pour faire apparaitre une hausse importante de résultats. Pourtant on ne peut pas imaginer qu’un sondeur compétent puisse "laisser passer" une telle accumulation de différences sans juger impossible la comparaison des 2 sondages.

4. La presse a-t-elle été bernée ou est-elle complice ? (...)

Nous savons tous que les sondages peuvent être manipulés ou instrumentalisés. Certains instituts sont dans ce domaine plus spécialisés que d’autres. Mais encore faut-il que les journalistes qui les diffusent puissent jouer leur rôle de filtre et de critique.

Ce constat entraine plusieurs conclusions :

1. Pour l’avoir constaté depuis plus de 30 ans, il est extrêmement facile d’abuser et de manipuler les journalistes qui connaissent très mal les sondages alors qu’ils sont censés les décrypter.

2. Par ailleurs, les journalistes semblent parfois peu vérifier leurs informations et il est urgent de renforcer la formation des élèves journalistes en matière de lecture et d’interprétation de sondages.