Le test McNemar pour contrôler l’efficacité d’une action

Principe du test

Pour étudier l’efficacité d’une action marketing (changement de packaging, promotion sur lieu de vente ou publicité), d’une campagne de sensibilisation ou d’un traitement médical,  des questionnaires d’opinion ou d’attitude avant/après se présentent comme la solution idéale. Ceux-ci sont adressés aux mêmes répondants en deux vagues successives séparées par l’action entreprise.

La démarche vise à observer les variations (ou non) de réponse d’une vague à l’autre et par conséquent à évaluer la pertinence de l’action.

Exemple d’utilisation

On a demandé l’intention d’achat d’une huile alimentaire à base de chanvre à 250 personnes avant et après la diffusion d’un reportage télévisé sur la question. On souhaite savoir si le reportage a modifié les intentions d’achat des répondants.

Les données collectées ont permis de compter le nombre de réponses différentes entre les situations avant et après et le nombre de personnes n’ayant pas changé d’avis suite à la diffusion du reportage. Ci-dessous les résultats obtenus.

 Il est à noter que :

  • 62 personnes avaient l’intention d’acheter une huile alimentaire à base de chanvre avant le reportage mais ont changé d’avis après.
  • 92 personnes n’avaient pas l’intention d’acheter une huile alimentaire à base de chanvre avant le reportage mais ont changé d’avis après.

Les données collectées sont analysées grâce à un test statistique nommé McNemar, visant à identifier les variations des réponses suite à la diffusion du reportage et par conséquent l’effet de celui-ci sur l’intention d’achat de l’huile de chanvre alimentaire.

Application du test

Pour rappel, le test utilise la statistique suivante : ,

  • B correspond au nombre d’individus qui sont passés de l’état 1 à l’état 2 (ex. de « intention d’achat » à « pas d’intention d’achat »).
  • C correspond au nombre d’individus qui sont passés de l’état 2 à l’état 1 (ex. de « pas d’intention d’achat » à « intention d’achat »).

La valeur obtenue est comparée à la statistique de référence disponible dans la table de la loi Chi² (1 degré de liberté et risque α).

Lorsque la statistique observée dépasse la statistique de référence, cela veut dire que l’action mise en place a un effet sur l’opinion ou l’attitude du répondant.

Appliquons-le à notre exemple :

 Statistique de référence : Chi² = 3,84 avec ddl = 1 et α = 5%.

Statistique observée : Chi² = 5,46 avec ddl = 1 et α = 2%.

Le Chi² observé est supérieure au Chi² de référence, le α observé est inférieur α de référence.

Le test permet ainsi de démontrer que le reportage sur le chanvre a modifié l’intention d’achat des téléspectateurs. Le commanditaire de l’étude n’a donc plus qu’à adapter ses actions en fonction des conclusions formulées.

Il est à noter que les logiciels d’analyse de données proposant ce type de tests statistiques réalisent les calculs et les comparaisons nécessaires pour restituer à l’utilisateur le résultat qui l’intéresse : significativité (ou non) du test, autrement dit association (ou non) entre les variables étudiées.

>>> Plus d'informations sur www.lesphinx.eu

L’enseignement par les technologies de l’information avec Sphinx Campus

Sphinx Campus est une plateforme dédiée à l’enseignement des méthodes et techniques d’enquêtes. Outre la solution d’enquête en ligne qu’elle propose, sa spécificité consiste à mettre à la disposition des enseignants des ressources pédagogiques variées telles que des séquences de cours, des exercices adaptés aux travaux dirigés, des exemples d’enquêtes et des études de cas.

Les séquences de cours

Les séquences constituent le fil conducteur du cours : elles précisent les objectifs par séance, dressent la liste des activités possibles (leçons, exercices, démonstrations du logiciel) et des ressources disponibles (exercices corrigés et études de cas) ; elles rappellent également les concepts-clés qu’il convient d’aborder pendant la séance. Enfin, des références bibliographiques sont proposées systématiquement, aidant ainsi l’enseignant à préparer le contenu de sa présentation.

Figure 1 : Exemple de séquence

L’enseignant peut s’appuyer sur ces séquences pour construire un nouveau cours (volume horaire variant entre 20 et 30 heures) ou pour enrichir un enseignement déjà éprouvé

 Les exercices corrigés et les exemples d’enquêtes

Chaque séquence est accompagnée d’en moyenne deux exercices corrigés, tirés d’études réelles dans la majorité des cas, et adaptés à la thématique traitée. Ces exercices peuvent également se référer à l’une des enquêtes exemple disponibles sur la plateforme.

Six enquêtes exemples sont à la disposition des enseignants. Ceux-ci peuvent choisir d’illustrer les concepts traités pendant le cours par des enquêtes de consommation ou d’opinion selon leurs préférences. Les données relatives, accessibles depuis la plateforme, offrent des possibilités d’analyse et des pistes de réflexion à explorer par l’étudiant en autonomie ou avec l’orientation de l’enseignant.

Figure 2 : Extrait d’enquêtes exemples

 Les études de cas

Deux études de cas marketing sont proposées dans Sphinx Campus. La première, traitant de la problématique de l’image de marque et du packaging, est élaborée à partir d’une étude sur le reblochon, réalisée en 2012 par Le Sphinx pour le compte du laboratoire de recherche en gestion de l’université de Savoie (IREGE). La seconde porte sur une étude sur la culture et la consommation des boissons en Europe menée en 2010 dans le cadre du projet COBEREN auquel Le Sphinx a contribué.

Les deux études de cas sont construites d’une façon pédagogique : après une présentation du contexte de l’étude, elles rappellent les méthodologies suivies et détaillent les questionnaires utilisés. Le travail à faire, ainsi qu’un ensemble d’orientations pour bien le mener sont proposés.

Figure 3 : Extrait de l’étude de cas « reblochon »

 La solution d’enquête en ligne proposée

Il ne faut cependant pas omettre que Sphinx Campus est avant tout une application de gestion des enquêtes en ligne. L’utilisateur peut y créer facilement un questionnaire attractif en intégrant images et vidéos, en assurer la diffusion par emailing ou sur réseaux sociaux (la collecte des données via tablettes ou smartphone est également possible) et en analyser les résultats.

Cette dernière phase offre des possibilités variées en termes d’analyses quantitatives (tris à plat et croisements entre deux ou plusieurs variables) et qualitatives (consultation des verbatims, synthèse des réponses sous forme de nuage de mots).

Par ailleurs, le guide méthodologique mis à disposition ainsi que le mode opératoire d’utilisation de la solution permettent aux usagers de se familiariser rapidement avec l’outil. La solution se révèle ainsi particulièrement adaptée dans un contexte universitaire.

Il est à noter que les étudiants ont accès à une version qui leur est dédiée sur la plateforme. Celle-ci reprend l’ensemble des fonctionnalités précédemment citées sans comporter le détail des séquences de cours. Ils y trouvent ainsi les enquêtes exemples et les études de cas ainsi que la solution de création d’enquêtes en ligne.

Sphinx Campus propose une approche innovante, stimulante et interactive, dans la lignée du e-learning. Il favorise le travail en autonomie des étudiants tout en enrichissant l’enseignement traditionnel en présence.

>>> Plus d'informations sur www.lesphinx.eu