<figure><img src="image_1.png" /></figure>

HAL
open science

Satisfaction client et TALN

Yolande Piris, Anne-Cécile Gay

► To cite this version:

Yolande Piris, Anne-Cécile Gay. Satisfaction client et TALN. Congrès International de l'AFM, May 2020, Biarritz, France. hal-03043758

HAL Id: hal-03043758

https://hal.science/hal-03043758

Submitted on 14 Dec 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
SATISFACTION CLIENT ET TALN

Yolande PIRIS*

Université Bretagne Sud - LEGO EA 2652
yolande.piris@univ-ubs.fr

Anne-Cécile GAY

Fondation Université Bretagne Sud
annececile.gay@gmail.com

* Auteur de correspondance : UFR DSEG - Institut de Management de l'Université de Bretagne Sud - Campus de Tohannic - BP 573 - 56017 VANNES - tél. +33 (0)2 97 01 26 90

**Résumé** : Cette recherche mobilise le TALN (Traitement Automatique du Langage Naturel) afin d'approfondir la connaissance sur la satisfaction client. 12 000 retours clients ont été analysés dont 6800 contenaient un retour qualitatif exprimé librement. Les résultats permettent de faire émerger huit thèmes permettant de mieux comprendre les facteurs influençant la satisfaction. On constate également que la satisfaction n'est pas verticale ou horizontale mais qu'elle peut être une combinaison plus ou moins importante de thèmes. Ce travail montre également un lien entre le niveau de satisfaction et le nombre de thèmes abordés remettant en cause les approches traditionnelles qui ne semblent pas distinguer les différences discursives entre les clients satisfaits et les clients peu satisfaits. Enfin, cette recherche pose les bases d'un traitement automatique et personnalisé des commentaires clients.

Mots clefs : « satisfaction » ; « expérience client » ; « TALN » ; « NPS » ; « Python »

CUSTOMER SATISFACTION AND NLP

**Abstract:** This research mobilizes NLP (Natural Language Processing) in order to deepen knowledge on customer satisfaction. 12,000 customer returns were analyzed, 6800 of which contained a freely expressed qualitative feedback. The results allow eight themes to emerge to better understand the factors influencing satisfaction. It is also noted that satisfaction is not vertical or horizontal but can be a more or less important combination of themes. This work also shows a link between the level of satisfaction and the number of themes addressed, challenging traditional approaches that do not seem to distinguish the discursive differences between satisfied and dissatisfied clients. Finally, this research lays the foundations for automatic and personalized processing of customer comments.

Keywords: « satisfaction »; « customer experience »; « NLP »; « NPS »; « Python »
# SATISFACTION CLIENT ET TALN

Dans un contexte de développement de stratégies omnicanal, mais aussi de prolifération de données clients, nous nous sommes interrogées sur la mesure et le traitement de la satisfaction client. Étroitement liée à l'expérience client, la satisfaction est également affectée par le contexte omnicanal dans lequel évoluent les clients. Aussi bien l'expérience client, considérée comme le traitement cognitif et affectif des liens directs et indirects entre une entreprise et ses clients (Klaus et Maklan, 2013; Verhoef et al., 2009), que la satisfaction sont abordées de façon quantitative. La satisfaction s'évalue comme un écart entre des attentes préexistantes et une expérience réelle tandis que l'expérience client ne s'évalue pas comme un écart de performance mais de façon plus globale, plus holistique (Verhoef et al., 2009).

Cette recherche questionne les limites des approches quantitatives pour évaluer mais aussi traiter l'expérience globale du client et sa satisfaction. Le parcours client devenant plus complexe et les expériences devenant de plus en plus globales, nous mettons en évidence l'intérêt de mobiliser des données qualitatives et les méthodologies du TALN (Traitement Automatique du Langage Naturel) tant dans la compréhension de la satisfaction des clients que dans son traitement opérationnel. En mobilisant un fichier client d'une banque comportant plus de 12 300 répondants, nous explorons plus de 6800 réponses qualitatives et notes de recommandation (Net Promotor Score). Ce recueil de données contrôlé (par opposition aux études portant sur des données diverses collectées sur internet) permet de mettre en évidence l'intérêt de recourir à des données qualitatives et de les traiter en masse de façon à mieux déceler les facteurs d'influence de la satisfaction des clients mais aussi à envisager un traitement automatique et individualisé.

## Expérience client et satisfaction

*Complexification du parcours client.* Si l'importance de favoriser une expérience client forte et positive a été mise en évidence très tôt dans la littérature (Pine et Gilmore, 1998; Hogan et al., 2002), on note aujourd'hui la nécessité de tenir compte de la démultiplication des points de contact (Lemon et Veroef, 2016). Définie par Schmitt (1999) comme une variable multidimensionnelle, l'expérience comporte cinq dimensions : sensorielle, affective, cognitive, physique et identitaire. Meyer et Schwager (2007) vont jusqu'à montrer que l'expérience est devenue si globale qu'elle doit intégrer tout contact direct et indirect (publicité, services, usages, etc.) avec le client.

Lemon et Veroef (2016), dans leur article de synthèse sur l'expérience client, proposent une revue de la littérature et un modèle de synthèse qui permet d'identifier la complexité de l'expérience client. Ils détaillent les étapes habituelles du processus d'achat en distinguant pour chacune les quatre types de points de contact possibles : ceux pour lesquels la marque a le contrôle et dont elle est directement à l'initiative (Brand-owned touch points) ; ceux que la marque contrôle en partie avec ses partenaires, comme les distributeurs (Partner-owned touch points) ; ceux qui ne sont contrôlés ni par la marque ni par ses partenaires et qui sont le fruit
des décisions du consommateur (*Customer-owned touch points*) et enfin ceux qui ne sont pas non plus contrôlés par la marque ou ses partenaires et qui sont le résultat des acteurs composant l'environnement social des consommateurs (*Social/external touch points*).

L'attention portée à l'expérience client s'explique par sa complexité croissante mais également par son rôle majeur dans la satisfaction des consommateurs (Fornell, 1992). L'expérience client serait un antécédent de la satisfaction (Shankar et al., 2003) laquelle est déterminante pour expliquer notamment la fidélité, le nombre d'achats, le montant moyen dépensé et la croissance de l'entreprise (Anderson et Sullivan, 1993 ; Anderson et Mittal, 2000). La satisfaction se définit à deux niveaux : le niveau horizontal et le niveau vertical (Oliver, 1997). Alors que le premier fait référence à la satisfaction liée à une action donnée (comme une transaction), le deuxième fait référence à l'agrégation des expériences liées à une marque ou une entreprise. On peut donc distinguer la satisfaction spécifique de la satisfaction relationnelle traduisant une évaluation de synthèse.

*Analyse et traitement de la satisfaction client.* Les travaux sur la mesure de la satisfaction sont nombreux (Hubbert et al, 1995 ; Oliver, 1997). Toutefois, au regard du contexte présenté dans la section précédente, il est difficile d'envisager que le consommateur puisse donner autre chose qu'une évaluation très globale plus ou moins affectée, selon la situation et le moment, par les éléments horizontaux et/ou verticaux définis par Oliver (1997). Llosa (1997) propose quatre familles d'attributs qui correspondent à des combinaisons entre la contribution à la satisfaction et la perception des consommateurs. L'intérêt d'une telle approche est de montrer la pluralité et peut-être la superposition des éléments qui contribuent à la satisfaction des consommateurs. Ainsi, on recense, les éléments « basiques » qui ne contribuent qu'à l'insatisfaction du client et ne sont pas déterminants dans la satisfaction. Les éléments « plus » ne jouent que sur la satisfaction globale du client et n'influencent pas son insatisfaction. Les éléments « clés » jouent fortement sur le degré de satisfaction, quelle que soit l'évaluation qui en est faite par le client et sont toujours déterminants. Enfin, les éléments « secondaires » n'ont pas de rôle dans la satisfaction globale et ne sont jamais déterminants.

Par ailleurs, ces approches se traduisent par des mesures qui visent soit à identifier les attributs qui posent problème (Anderson et Mittal, 2000) soit à comprendre de manière très globale le niveau de satisfaction en recourant à des mesures indirectes comme le score NPS (Net Promotor Score) (Reichheld, 2003). Les premières présentent des limites liées au caractère non symétrique et non linéaire entre les attributs et la satisfaction des consommateurs (Anderson et Mittal, 2000). Il est difficile de généraliser les approches quantitatives puisque, selon les situations (type d'entreprise, secteur, etc.), certains attributs peuvent contribuer au simple maintien de la satisfaction sans pour autant la favoriser et inversement (Anderson et Mittal, 2000).

En synthèse, les approches traditionnelles peinent à identifier des outils quantitatifs généralisables et transférables mais aussi à identifier des solutions opérationnelles pour le traitement de la satisfaction. Nous postulons que des données qualitatives en masse pourraient seules ou combinées à d'autres mesures permettre de tenir compte de manière plus précise de l'ensemble des éléments qui sont déterminants du point de vue du consommateur. Par ailleurs, cela permettrait également d'envisager un traitement automatique et personnalisé là où aujourd'hui le traitement reste global voire inexistant (Maxham et Netemeyer, 2002).
## TALN (Traitement Automatique du Langage Naturel)

**Design de la recherche.** Le premier objectif de cette étude est d'explorer de façon automatique les grands thèmes évoqués par les clients. Ceci a été réalisé à partir d'une méthode d'analyse automatique de langage naturel : la « *Latent Dirichlet Allocation* », modèle probabiliste qui permet de catégoriser un document par un nombre de thèmes déterminé a priori. L'analyse automatique du langage combine des ressources en linguistique, en informatique et en intelligence artificielle qui permettent d'envisager un traitement spécifique du discours qualitatif des clients. Le deuxième objectif de cette recherche est de rapprocher cette analyse des scores NPS de manière à envisager un traitement automatique de la satisfaction.

**Collecte données.** Les données utilisées pour cette analyse correspondent à un recueil contrôlé des données. Elles sont issues d'une enquête de satisfaction, envoyée par un établissement bancaire à ses clients de façon aléatoire. Les clients ont ainsi renseigné deux informations : **une note de recommandation**, de 0 à 10, utilisée dans le cadre du calcul du score NPS (*Net Promotor Score*); **un commentaire libre**, expliquant la note attribuée (champ facultatif). Plus de 12 000 retours clients ont été analysés. Parmi ceux-ci, plus de 6 800 (soit 55 % des répondants) contenaient un commentaire qualitatif relatif à leur intention de recommander ou non la marque.

**Pré-traitement des données.** L'objectif de cette phase est de faciliter les processus algorithmiques en diminuant le bruit présent dans les données et d'optimiser les temps de calculs en réduisant la taille du vocabulaire en amont. La première étape du pré-traitement des données consiste à **définir une liste d'expression multi-mots** formant des unités lexicales à part entière, ne devant pas être dissociées lors des traitements. Par la suite, **la segmentation** (également nommée *tokenisation*) consiste à découper le texte en unité de termes (comprenant les mots simples et les expressions multi-mots) afin de faciliter les étapes de pré-traitement suivantes. La ponctuation, l'accentuation et les majuscules sont supprimées. Il est nécessaire ensuite de **supprimer les mots-outils**, ou *stop-words*. Nous avons utilisé ici la liste « *stopwords* » du package NLTK du langage de programmation Python. Enfin, nous avons effectué une étape de **racinisation** afin de diminuer la complexité du vocabulaire du corpus. Cette étape consiste en une suppression du préfixe et/ou du suffixe de chaque mot. Pour cela, nous avons utilisé l'algorithme de racinisation *Snowball* de Martin Porter, implémenté dans la librairie NLTK de Python.

**Représentation des données.** Les algorithmes d'apprentissage automatique (*machine learning*) fonctionnent à partir de données numériques. Afin de pouvoir appliquer ces algorithmes, il est donc nécessaire de transformer les corpus textuels en nombres. Pour cela, nous utilisons la méthode dite du *sac de mots* ou *Bag Of Words* (BoW) : le corpus textuel est représenté par une matrice « termes / documents » contenant les commentaires clients en ligne et les mots utilisés en colonnes. Afin d'améliorer la différenciation des documents entre eux, une pondération de type *Terme Frequency - Inverse Document Frequency (TF - IDF)* est appliquée à la matrice termes / documents. L'objectif est de pénaliser les mots présents dans la
majorité des documents (mots apportant donc peu d'information) et de sur-pondérer les mots rares apparaissant dans un nombre restreint de documents (mots très informatifs en termes de différenciation).

Ainsi dans un corpus composé de D documents, la pondération TF-IDF du mot $w_i$ dans le document $d_j$ est calculée de la façon suivante :

$$TF-IDF(w_i, d_j) = TF(w_i, d_j) \times IDF(w_i)$$

avec $TF(w_i, d_j) = \text{fréquence d'apparition du terme } w_i \text{ dans le document } d_j$

et $IDF(w_i) = \log(\frac{D}{n_i}) \text{avec } n_i \text{ le nombre de documents contenant le terme } w_i$

*Analyse des données.* L'identification des thématiques est issue d'une modélisation par Latent Dirichlet Allocation (LDA). La modélisation LDA est une méthode probabiliste parfaitement générative (i.e. modèle capable d'inférer les thématiques sur tout nouveau document) qui a été proposée par Blei et al. (2003). C'est une méthode non supervisée qui permet de modéliser le contenu d'un document par un ensemble de thèmes non observés au préalable. Ces thèmes sont définis par des similarités de mots.

## Résultats et apports de la recherche

*Analyse des thèmes du corpus.* On constate tout d'abord que la rédaction d'un commentaire en sus de la note de recommandation traduit une moindre satisfaction du client : alors que le taux de clients promoteurs reste relativement constant, le taux de clients détracteurs est significativement plus élevé lorsqu'un verbatim est renseigné. Huit grands items émergent de l'analyse des données qualitatives. Afin d'interpréter les thèmes ainsi obtenus, nous utilisons la notion de pertinence (relevance) présentée par Sievert et Shirley (2014). Soit V le nombre de mots composant le vocabulaire du corpus. Soit w un mot du corpus ($w \in \{1,...,V\}$). On note $\Phi_{zw}$ la probabilité d'apparition du mot w dans la thématique z. On note $p_w$ la probabilité d'apparition du mot w dans le corpus.

La pertinence du mot w dans la thématique z étant donnée un paramètre $\lambda$ de pondération du mot ($0 \le \lambda \le 1$) s'écrit : $r(w, z | \lambda) = \log(\Phi_{zw}) + (1-\lambda) \log(\Phi_{zw} / p_w)$.

Cette méthode permet d'aboutir à la définition des huit thèmes : 1) Le site internet et les applications mobiles ; 2) Le fonctionnement courant des comptes et des contrats ; 3) La dimension relationnelle et humaine ; 4) Les moyens de communication ; 5) L'attitude à l'égard de l'établissement ; 6) L'agence physique ; 7) Les prêts immobiliers ; 8) Les tarifs.

*Lien NPS et thème évoqué.* D'une manière générale, les clients ont évoqué en moyenne 2,2 thèmes dans leur commentaire. Une analyse du nombre de thèmes évoqués selon le score NPS révèle que la non satisfaction est significativement associée à un nombre moyen de thèmes évoqués plus important. Cela conforte l'idée que l'évaluation est plutôt globale, que centrée sur un seul événement (Oliver, 1997). Cela montre également que l'expression de la satisfaction ou de la non satisfaction peuvent se caractériser de manière significativement différente. Une
analyse plus détaillée des différences significatives permet de constater que tous les thèmes ne semblent pas jouer le même rôle dans la satisfaction du client ce qui conforte les travaux de Llosa (1997) sur les catégories d'attributs et leur impact sur la satisfaction. On distingue ainsi quatre catégories de thèmes que l'on peut regrouper selon les quatre catégories identifiées par Llosa :

1. Des thèmes « basiques » (associés significativement à plus de détracteurs ou à moins de promoteurs, ils ne contribuent qu'à l'insatisfaction du client et ne sont pas déterminants dans la satisfaction) : la dimension relationnelle et humaine et l'agence physique ;

2. Des thèmes « clés » (associés significativement à plus de promoteurs mais aussi à moins de détracteurs, ils favorisent la satisfaction) : le site et les applications mobiles et les prêts immobiliers ;

3. Un thème « plus » (associé significativement à plus de promoteurs, il ne joue que sur la satisfaction globale du client et n'influence pas son insatisfaction) : les moyens de communication ;

4. Des thèmes « secondaires » (ils ne sont pas significativement associés à plus ou moins de détracteurs ou de promoteurs, leur rôle ne semble pas déterminant) : le fonctionnement courant des comptes et/ou contrats et la tarification.

*Apports de la recherche.* L'apport principal de cette recherche repose sur la méthodologie puisqu'elle permet de mettre en évidence l'intérêt de recourir au TALN afin de déceler sur mesure la nature des attributs qui affectent la satisfaction des consommateurs et pallier la difficulté des approches traditionnelles à détecter les éléments clés et la nature de leur impact (Anderson et Mittal, 2000). On constate ainsi que la satisfaction n'est pas verticale ou horizontale mais qu'elle peut être une combinaison plus ou moins importante de thèmes. Et, dans le cas des données étudiées, on constate ainsi que plus le niveau de satisfaction est faible et plus le nombre de thèmes abordés augmente. Ainsi, cette recherche permet de remettre en cause les approches traditionnelles de mesure de la satisfaction qui ne semblent pas distinguer les différences discursives entre les clients satisfaits et les clients peu satisfaits. Enfin, cette recherche pose les bases d'un traitement automatique et personnalisé des commentaires. Alors que les clients sont souvent sans réponse (Maxham et Netemeyer, 2002), cette recherche invite à développer le recours à l'intelligence artificielle pour automatiser le traitement des données qualitatives mais aussi pour prévoir des modèles de réponse aux clients. Ces méthodes permettent de distinguer les thèmes critiques, nécessitant un traitement et une réponse humaine à forte valeur ajoutée, et les thèmes plus secondaires qui pourraient être gérés de façon plus automatique. L'intelligence artificielle permettrait donc de répondre à l'ensemble des clients mais aussi de valoriser le temps humain des équipes opérationnelles qui pourront se concentrer sur les cas les plus sensibles.
Références

Anderson EW and Sullivan MW (1993) The antecedents and consequences of customer
satisfaction for firms. *Marketing Sci.* 12(2): 125–143.

Anderson EW and Mittal V (2000) Strengthening the satisfaction profit chain. *Journal of Service research* 3(2): 107-120.

Blei DM., Ng AY and Jordan MI (2003) Latent Dirichlet Allocation. *Journal of machine learning research* 3: 993–1022.

Fornell C (1992) A national customer satisfaction barometer: The Swedish experience. *Journal of Marketing* 56(1): 6–21.

Hogan JE, Lehmann DR, Merino M, Srivastava RK, Thomas JS and Verhoef PC (2002) Linking Customer Assets to Financial Performance. *Journal of Service Research* 5(1): 26–38.

Hubbert AR, Garcia Sehorn A and Brown SW (1995) Service expectations: the consumer
versus the provider. *International Journal of Service Industry Management* 6(1): 6–21.

Klaus P. and Maklan S (2013) Towards a Better Measure of Customer Experience.
*International Journal of Market Research* 55(2): 227–246.

Lemon KN and Verhoef PC (2016) Understanding Customer Experience Troughout the
Customer Journey. *Journal of Marketing* 80(6): 69-96.

Llosa S (1997) L'analyse de la contribution des éléments de service à la satisfaction : un modèle
tétraclassé, *Décisions Marketing* 10: 81-88.

Maxham JG III and Netemeyer RG (2002) A longitudinal study of complaining customers'
evaluations of multiple service failures and recovery efforts. *Journal of Marketing* 66(4): 57-
71.

Meyer C and Schwager A (2007) Understanding Customer Experience. *Harvard Business Review* 85 (2): 117–26.

Oliver RL (1997) *Satisfaction: on a behavioral perspective on the consumer*. New-York:
McGraw-Hill.

Pine BJ II and Gilmore JH (1998) *The Experience Economy: Work Is Theater and Every Business a Stage*. Cambridge MA: Harvard Business School Press.

Reichheld FF (2003) The one number you need to growth. *Harvard Business Review* 81: 46-54.

Schmitt BH (1999) *Experiential Marketing*. New York: The Free Press.
Shankar V Smith AK and Rangaswamy A (2003) Customer satisfaction and loyalty in online and offline environments. *International Journal of Research in Marketing* 20(2): 153–175.

Sievert C Shirley KE (2014) LDAvis: A method for visualizing and interpreting topics. [ACL Workshop on Interactive Language Learning, Visualization, and Interfaces](https://www.acl.org/2014/program/program-abstracts/lDAvis).

Verhoef P, Lemon K, Parasuraman A, Roggeveen A, Tsiros M and Schlesinger L (2009) Customer experience creation: determinants, dynamics and management strategies. *Journal of Retailing* 85(1): 31–41.