Optimisation et redressement des échantillons

barometre

Dans un contexte où, depuis la fin des années 60, la place des sondages s’est considérablement accrue, l’institut de sondage BVA a mené une expérimentation visant à améliorer la « représentativité » de ses échantillons.

La question de la représentativité des échantillons

La « représentativité » des échantillons sur lesquels s’appuient nombre de sondages publiés dans les médias fait l’objet de vives discussions. Cette question est particulièrement importante dans les cas où les chiffres sont très serrés.

Ces dernières années, il est apparu qu’environ 50% de la population ne peut pas être sondée car soit elle a seulement un téléphone portable (surtout pour les jeunes), soit parce qu’elle n’est pas, ou peu, présente chez elle aux heures où les sondeurs appellent.

Mais alors, comment tirer un échantillon « représentatif » de la population française tout en visant à amoindrir les coûts et le temps passé ? Comment définir cette notion de « représentativité » ? Et quelles sont les conclusions qui ont émergé des travaux conduits dans l’unique objectif d’améliorer la « représentativité » des échantillons BVA ?

Virginie Vilette

Virginie Vilette : "Le redressement améliore la représentativité des échantillons"

Un échantillon est dit représentatif lorsqu’il possède les mêmes caractéristiques que la population étudiée. Cette représentativité doit surtout se faire sur les caractéristiques pouvant influencer les réponses ; il est alors crucial de connaître le type et le champ de l’enquête réalisée. Dans le cadre de ses travaux, BVA a souhaité se concentrer sur les enquêtes omnibus. Le principe de l’omnibus consiste à interroger régulièrement un échantillon national « représentatif » de 1 000 personnes, soit à travers un entretien téléphonique de 20 minutes, soit en face à face au domicile de l’interrogé. Chaque semaine, ce sont près de 2 000 enquêtes qui sont réalisées par l’institut ; elles possèdent l’avantage de mutualiser les coûts en permettant à des petites, moyennes ou grandes entreprises, d’accéder à des échantillons représentatifs de la population. Le questionnaire comporte une signalétique commune à l’ensemble des vagues (comme le sexe, l’âge, la catégorie socio professionnelle du chef de famille, la taille d’agglomération et la région) et porte sur une série de sujets divers proposés par des entreprises. Ces enquêtes répondent à des besoins constants comme des baromètres de notoriété et d’image, des tests de concepts et de prix visant à améliorer la qualité de services des entreprises. Dans ces enquêtes omnibus, il est alors traditionnellement retenu que la notion de représentativité s’appuie sur les 5 critères énumérés précédemment ; cela suppose donc que ce sont ces variables qui discriminent les opinions ou les comportements des interviewés, ou, à minima, que la représentativité sur ces cinq variables suffit à garantir celle sur les autres variables de signalétique , dont certaines discriminent les réponses apportées aux différentes questions posées. Cette règle, qui remonte aux années 70, s’appuie sur une organisation de la société principalement basée sur la cellule familiale et la profession du père. Depuis, le développement du travail féminin, l’éclatement de la structure familiale et le développement des activités tertiaires ont profondément modifié le fonctionnement de notre société et l’on peut s’interroger aujourd’hui sur le sens donné à cette notion de représentativité et les variables qui la décrivent.

Les limites de la méthodes des quotas et de l’auto déclaration

Retenue comme principe de tirage des échantillons chez BVA, la méthode des quotas, basée sur un principe empirique, est couramment utilisée pour sa rapidité de mise en œuvre ; de plus, elle assure une structure « identique » (ou du moins s’en rapproche) à la population sur les cinq quotas imposés par l’institut. Mais cette méthode a ses limites ; en effet, le délai très court d’un sondage ne permet pas aux enquêteurs de toujours respecter ces quotas et entraîne donc un biais dans les résultats.

Afin de juger la représentativité des échantillons récoltés, nous avons confronté les effectifs obtenus sur plusieurs dizaines de vagues à ceux de l’INSEE en utilisant des tests statistiques. Il est ressorti que la déclaration du dernier diplôme obtenu était surévaluée par l’enquêté, provenant à la fois d’un effet d’image social mais aussi d’une confusion entre le diplôme obtenu et le niveau d’étude.

L’auto déclaration du statut de la personne de référence du ménage conduit à des écarts très forts. En effet, en moyenne, 36% des femmes se déclarent comme étant la personne de référence du ménage contre 26% dans les données de référence de l’Insee. Nous avons également fait ressortir des distorsions sur la CSP. Il semblerait notamment que le découpage en 6 postes choisi par BVA entraine des écarts sur certaines catégories et plus précisément au niveau des agriculteurs qui ne représentent que 2% de la population ; dans ces conditions, il s’avère alors très difficile de respecter les quotas imposés sur cette catégorie de la population. Afin de parer à ce problème, nous avons décidé de regrouper les agriculteurs avec les chefs d’entreprise et de séparer les retraités des autres inactifs.

Les différentes expérimentations nous ont également confortés dans notre idée que la formulation des questions joue un rôle clé en ce sens que cela peut influencer les réponses. Il s’avère, dans la réalité du terrain, que plus une question est longue, comprend beaucoup de mots, plusieurs phrases, moins elle est comprise, et donc plus le résultat est sujet à caution.

Le redressement des échantillons : une pratique courante

Quel que soit le domaine d’application des sondages, le redressement d’échantillon est devenu depuis longtemps pratique courante, en France comme à l’étranger. Il vise à mettre à profit toute l’information auxiliaire disponible à l’étape finale de l’estimation, dans un souci d’améliorer la précision des résultats.

Malgré tous les efforts fournis lors de la réalisation de l’enquête, on observe toujours en pratique un écart plus ou moins important avec les données de référence de l’Insee et pour cette raison, BVA emploie une technique de redressement afin de caler la structure de ses échantillons sur des sources externes. La mise en œuvre de différents calages menés au cours de diverses expérimentations, nous a permis d’identifier un choix de redressement qui améliore considérablement la représentativité des échantillons BVA dans le cadre des enquêtes omnibus. La recherche constante d’information individuelle permet de mieux comprendre le comportement des interviewés et c’est pour cette raison qu’il semble notamment important de redresser les échantillons, tant sur la CSP de la personne de référence du ménage, que sur la CSP de l’interviewé. Ce constat est d’autant justifié de par la modification de la structure familiale et notamment le développement des familles mono parentale.

Auteur : Virginie Vilette, chargée d’études statistiques à Pôle Emploi Midi-Pyrénées. Article réalisé en collaboration avec Hervé Tranger, Directeur Recherche et Process chez BVA.

Virginie Vilette, diplômée (mention très bien) du Master Statistiques et Econométrie de l’Université de Toulouse,  est une des lauréates des 3e Trophées Syntec des Etudes. Ce concours doté a pour objectif de récompenser les meilleurs mémoires étudiants de niveaux masters dans le domaine des études marketing et sondages d’opinion.

avatar
L'invité de Marketing Professionnel tient une Tribune Libre. Profil des invités et Tribunes Libres publiées.


Commentez !

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Vous pouvez utiliser ces balises et attributs HTML : <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>