IA vs Humain,
qui comprend le mieux le client ?

Mais qui, de l’humain ou du LLM, est le mieux à même d’analyser les données qualitatives ? Une approche hybride combinant les deux pourrait-elle offrir des résultats supérieurs à ceux issus d’une analyse exclusivement humaine ou uniquement par LLM ? Réponse dans cet article !

I – L’adoption de l’IA des las études quali

a) L’essor de l’IA

Les gains de productivité liés à l’intelligence artificielle générative (GenAI) pourraient représenter des milliers de milliards de dollars de valeur ajoutée pour l’économie mondiale (selon l’étude McKinsey, 2023). Le cabinet de conseil souligne également que près de 75 % de cette valeur se concentrerait dans quatre grands domaines clés : les opérations clients, le marketing et les ventes, le développement logiciel, ainsi que la recherche et développement. 

L’intelligence artificielle générative (GenAI) et les grands modèles de langage (LLMs, pour Large Language Models) ont en effet connu une évolution considérable ces dernières années (Zhao et al., 2023). L’adoption rapide et massive de ChatGPT en constitue un exemple. Cette dynamique laisse présager un impact profond, voire transformationnel, de ces technologies sur le monde professionnel et la société dans son ensemble. Parmi les domaines concernés figure la recherche qualitative : un champ historiquement fondé sur l’analyse et l’interprétation humaine. 

b) L’impact de l’IA sur les études qualitatives

La recherche qualitative couvre une grande variété de problématiques : exploration des besoins, conception de nouveaux produits, test de messages publicitaires, etc. Elle mobilise différentes méthodes, telles que les entretiens approfondis ou les focus groups. L’essor de la digitalisation a par ailleurs largement contribué au développement des données textuelles générées par les consommateurs en ligne. Ainsi, il est désormais courant de commenter des produits sur des plateformes comme Amazon, de laisser des avis sur Tripadvisor, d’exprimer des opinions sur les réseaux sociaux, ou encore d’échanger dans des communautés en ligne à travers des blogs ou des forums (communautés de patients, fandoms, etc.).
Ces données, de nature qualitative et souvent non structurées, constituent une source d’information précieuse pour éclairer les chercheurs et les praticiens qui souhaitent mieux comprendre sur les comportements des consommateurs. 

Traditionnellement, leur analyse est assurée par des experts en recherche qualitative. Toutefois, les volumes croissants de contenus textuels rendent ce travail complexe et chronophage, ce qui ouvre la voie à l’intervention potentielle des LLMs. 

II – Alors qui, de l’humain ou du LLM, est le mieux à même d’analyser les données qualitatives ?

a) Une étude pour comparer

Les grands modèles de langage (LLMs) comptent plusieurs centaines de milliards de paramètres, entraînés sur d’immenses corpus non annotés. Grâce à cet apprentissage, ils acquièrent une compréhension contextuelle du langage et une capacité à produire des représentations sémantiques pertinentes. Leurs données d’entraînement peuvent atteindre plusieurs trillions de mots, issus de sources variées comme Common Crawl ou Wikipedia, à l’image de GPT-5 ou des modèles Llama 2. 

Pour évaluer la performance des LLMs dans l’analyse des données qualitatives, Arora et al. ont conduit une étude comparative entre analystes humains et un LLM, en leur confiant une tâche d’analyse thématique sur plusieurs corpus. L’analyse thématique comprend différentes étapes : lecture approfondie, extraction des verbatims significatifs, regroupement en concepts, itérations pour éliminer les redondances, et synthèse des grands thèmes.

b) Une approche hybride

Les résultats montrent que les analystes humains sélectionnent parfois des verbatims redondants, tandis que le LLM privilégie des verbatims distincts les uns des autres. Malgré ces différences dans le nombre et la nature des verbatims retenues, la similarité entre les verbatims sélectionnés par les analystes humains et ceux identifiés par le LLM reste élevée, suggérant suggère une convergence importante entre les deux types d’analystes (humain et LLM). Autrement dit, analystes humains et LLM « pensent » en grande partie que les mêmes passages sont importants. 

En matière de détection de thèmes, les LLMs produisent des résultats proches de ceux issus d’une analyse humaine. Mieux encore, ils sont parfois capables de faire émerger des thèmes nouveaux, passés inaperçus chez les analystes humains. Ces résultats indiquent que les LLMs ne se contentent pas d’imiter l’analyse humaine, mais qu’ils peuvent contribuer à l’enrichissement interprétatif du matériau qualitatif. 

Ainsi, les LLMs se révèlent performants dans l’analyse des données qualitatives : ils sont capables d’identifier les idées clés, de les regrouper en thèmes cohérents et d’en produire une synthèse de qualité, à un niveau comparable à celui des analystes humains. De plus, les LLMs parviennent parfois à faire émerger de nouveaux thèmes à partir des données qualitatives, des thèmes que les humains n’avaient pas nécessairement perçus. Enfin, les approches hybrides combinant analyse humaine et traitement par LLM semblent surpasser les analyses menées uniquement par des humains ou obtenu exclusivement par des LLMs. 

Conclusion

Finalement, l’avenir de l’analyse qualitative ne repose pas sur une opposition entre intelligence artificielle et intelligence humaine, mais dans leur complémentarité.  

Une « collaboration » entre les humains et les LLMs apparaît comme la voie la plus prometteuse, chaque partie apportant des atouts spécifiques au processus de production de connaissances. Si l’interprétation finale des résultats, fortement dépendante du contexte, demeure du ressort de l’humain, les LLMs peuvent être mobilisés efficacement en amont pour une exploration rigoureuse, rapide et systématique de grands volumes de données non structurées. 

Source: Survey Magazine

Rédigé par :

Emna CHERIF Professeure des universités à l’Université de Rouen NormandieDomaines d’expertise : marketing digital.Emna analyse l’effet des nouvelles technologies sur le comportement des consommateurs dans divers contextes : sites internet, assistants vocaux, publicité, e-commerce, e-santé, etc. Elle mobilise des méthodes qualitatives et quantitatives dans ses recherches.