Approche exploratoire de l’utilisation de l’échelle des notes employeur par la méthode de la distance textuelle ( par Daniel Pélissier & Jérôme Bousquié)

 L'analyse décrite dans ce document n'est pas disponible dans la version 0.7 alpha 2 2020 d'iramuteq actuellement en ligne.

Donner son avis sur l’internet est devenu une habitude dans de nombreux domaines : après avoir essayé un nouveau restaurant, suite à une visite de musée, à la réception de son nouveau smartphone, etc. Les employeurs sont aussi concernés par cette tendance à l’évaluation tous azimuts. Des plateformes se sont spécialisées dans la publication d’avis de salariés anonymes, accompagnés de notes. L’arrivée de Glassdoor sur le territoire français à partir de 2014 a développé les usages de ce type de traces nouvelles pour des employeurs et des candidats à un recrutement jusque-là habitués aux seules communications institutionnelles, souvent orientées par la logique de marque employeur.

Ce phénomène en émergence se traduit notamment par la publication de notes, de scores, de mesures pour les employeurs, allant souvent de 1 à 5 (fig. 1). Ces repères sont censés servir aux candidats à un recrutement ou à un observateur externe afin de connaître en toute transparence la qualité de l’employeur. Parfois associées à Tripadvisor, ces plateformes proposent pour l’emploi ce que d’autres dispositifs fournissent depuis de nombreuse années pour des services et produits divers.

Figure 1. Extrait plateforme Indeed, adapté

Une première observation rapide de ces informations montre des notes regroupées entre les valeurs 3 et 4. La lecture des textes associés aux notes peut laisser dubitatif sur le sens de ces mesures. Par exemple, une note de 2 peut être accompagnée d’éléments très positifs alors qu’une note de 4 est associée à un commentaire plutôt critique. Ces premières observations que tout utilisateur peut réaliser questionnent sur le sens de ces notes.
Une possibilité pour comprendre leur logique est de rencontrer des salariés ayant utilisé ces dispositifs. Une autre est d’étudier les données massives accessibles sur ces plateformes en postulant que le texte associé à la note fournit des éléments d’explication de la construction de la note attribuée.
Cet article proposera des pistes de réponses sur cette problématique de la compréhension du sens des notes attribuées par des salariés à des employeurs.
Pour cela, nous utiliserons la méthode de la distance textuelle dont nous expliquerons rapidement les principes. Puis nous détaillerons la mise en œuvre de cette méthode et enfin discuterons les résultats obtenus.

Principes du concept de distance textuelle

Chaque note d’une plateforme d’avis employeur est associée à un texte, un commentaire et une évaluation expliquant le score publié. En principe et contrairement à certaines observations relatées précédemment, les textes associés à la note 1 devraient être très différents de ceux associés à la note 5 et sensiblement différents de ceux de la note 2, etc. Pour mesurer des différences entre textes, plusieurs méthodes sont possibles. Nous présenterons dans cette recherche, les principes de la distance textuelle.
Initiée notamment par Muller en 1967 et 1977 sous le nom de connexion lexicale (Labbé et Monière, 2010), la distance entre deux textes permet « d’évaluer et de représenter la proximité ou l’éloignement entre deux ou plusieurs textes en fonction de divers paramètres (dont le plus familier et le plus fréquemment étudié est leur lexique) » (Barthélémy, Luong et Mellet 2000, p. 1). En ce sens, elle peut être approchée par la mesure du nombre de formes communes : deux textes ayant peu de formes communes seront considérés comme distants et inversement. Dit autrement avec une logique d’ensembles (Labbé et Labbé, 2003), lorsque la réunion de deux textes correspond à leur intersection, les textes sont identiques, proches avec une faible distance. Inversement, lorsque la réunion de deux textes moins leur intersection est égale à leur réunion, les formes des deux textes sont complètement différentes, la distance est maximale. Le principe général de la mesure d’une distance textuelle sera ainsi une différence :

[Nombre de formes du texte 1+ Nombre de formes du texte 2 – Formes communes]

Pour mesurer une distance textuelle, cette première approche se heurte à la différence de taille des textes mesurée en nombre de formes qu’un texte contient. En effet, si un des textes comparés est beaucoup plus grand que l’autre, la distance tendra à grandir, le nombre de formes communes étant plus faible. Brunet propose (2003) de prendre en compte la taille de chaque texte pour réduire la comparaison à des échelles comparables selon la formule suivante (fig. 2)  :

Figure 2. Formule distance textuelle de Brunet (Labbé et Monière, 2000, p.2)

N _a ou _b = nombre de formes totales du texte a ou b
N _ab = nombre de formes communes

L’exemple suivant, avec les trois textes suivants, permettra de mieux suivre cette logique :

Texte 1 : l’arbre est en fleur (5 formes )
Texte 2 : la fleur a poussé cette nuit (6 formes)
Texte 3 : la nuit, les fleurs poussent (5 formes)

Distance texte 1 et texte 2 = ( ( 5-2)+(6-2 ) ) / (5+6)  = 7/11 = 0,63
Distance texte 2 et texte 3 =  ( ( 6-4)+(5-4 ) )  / (6+5)  = 3/11 = 0,27
Les textes 1 et 2 sont plus éloignés entre eux que les textes 2 et 3 considérés comme proches. Cette méthode permet aussi de ramener la distance à un indicateur compris entre 0 (faible distance, textes identiques) et 1 (forte distance, texte différents). « Égal à 0 (distance nulle), il [le calcul de la distance] signifie que les deux textes comparés sont en tous points identiques. Égal à 1 (distance maximale), cela signifie que les deux textes n’ont absolument rien en commun. Situé entre 0 et 1, cela signifie que les deux textes partagent un certain nombre de traits linguistiques (vocabulaire commun si la base du calcul est le vocabulaire, codes grammaticaux communs si l’on étudie la grammaire, etc.). » (Mayaffre et Luong, 2003, p. 5).
Comme pour la méthode de Muller, les différences de taille peuvent poser problème car le calcul sera orienté par la différence de taille Nb-Nab qui aura tendance à maximiser la distance. Pour éviter cette dérive, Labbé et Labbé (2001, 2003) proposent de mesurer forme par forme en utilisant la notion d’espérance de présence d’une forme, c’est-à-dire la fréquence ramenée à l’effectif (fig. 3)  :

Figure 3. Formule distance textuelle de Labbé et Labbé (2003)

Cette formule peut se lire de la façon suivante : la distance est la somme des valeurs absolues de la différence entre la fréquence « i » dans le texte « a » (Fia) et la fréquence ramenée à l’effectif de b (Eia(u)) rapportée à la somme des effectifs de a et b ; pour b calculé proportionnellement à l’effectif théorique de b par rapport à a.
Cette méthode permet de limiter l’influence de la taille des textes sur la mesure de la distance sans l’éliminer complètement puisque les auteurs recommandent un rapport de 10 maximum entre la taille des textes comparés (Labbé et Labbé, 2003, p. 6 et 8). Comme pour Brunet (2003), le résultat est un score compris entre 0 et 1 et se fonde sur le principe de Muller, d’une distance faible lorsque les formes communes sont nombreuses.
Cette approche permet ainsi de mesurer des différences de contenu de textes mais pas forcément de sens. En effet, deux textes utilisant des formes très différentes peuvent avoir un sens proche, la richesse et les nuances linguistiques pouvant permettre cette situation. Appliquée aux textes associés aux notes employeur, cette approche peut permettre de vérifier que les textes sont différents, distants ou pas…mais pas de valider une hypothèse de cohérence du texte d’évaluation avec la note associée.

Corpus et mise en œuvre du calcul de la distance dans Iramuteq

Afin d’explorer la distance entre les avis associés aux notes employeur, nous avons constitué un corpus d’avis des entreprises du CAC 40 à partir de la plateforme Indeed France qui regroupe des avis textuels associés à une note allant de 1 à 5. La collecte de ces données publiques a été réalisée sans créer de compte utilisateur en janvier 2021. Elle a été organisée en prenant en compte l’impact potentiel de cette collecte sur les serveurs de cette plateforme : étalement de la collecte dans le temps, nombre limité de requêtes, faible mobilisation des ressources du serveur, etc. Une fois les pages Indeed enregistrées localement, nous avons extrait du code HTML les données aux formats attendus par les logiciels de traitement statistique et d'analyse multidimensionnelle utilisés ensuite (tableur, Iramuteq).
Une fois le corpus nettoyé (suppression des avis en langue étrangère (anglais, chinois, espagnol)), nous avons obtenu 27215 avis en français associés à des notes pour 758440 occurrences et 34499 formes. La forme ‘travail’ est la plus utilisée (10693 citations) suivie d’’entreprise’, ‘équipe’ et ‘agréable’. La note employeur moyenne est de 3, 86 pour ces entreprises du CAC 40.
Le calcul de la distance textuelle dans Iramuteq (Ratinaud et Marchand, 2016) a utilisé la configuration suivante (fig. 4) :

Figure 4. Configuration du calcul de la distance textuelle dans Iramuteq

L’ensemble des formes a été utilisé (actives et supplémentaires) afin de souligner les différences potentielles et dans la logique de calcul de Labbé et Labbé (2003). Pour les mêmes raisons, la fréquence minimale a été fixée à 1. Enfin, l’indice n’a pas d’influence sur le calcul de la distance, en cohérence avec les principes expliqués précédemment. La distance a été calculée sur des formes lemmatisées conformément aux conseils des auteurs (Labbé et Labbé, 2003). Les textes n’ont, en revanche, pas été nettoyés des fautes de graphies ce qui peut tendre à augmenter artificiellement la distance entre eux. La taille du corpus limite cependant cet effet potentiel.
Enfin, les 'textes' comparés ont des tailles différentes (tableau 1)  mais inférieures à un facteur 10 conformément aux recommandations (Labbé et Labbé, 2003)

Tableau 1. Taille des textes étudiés

Résultats, respect de l’échelle des notes

Le résultat du calcul des distances textuelles entre les textes associés aux notes employeur est le suivant (tableau 2) :

Tableau 2. Distances textuelles entre les textes associés aux notes employeur

Par exemple, la distance textuelle entre les textes de la note 1 et de la note 5 est de 0,3026. Les distances varient de 0,1034 à 0,3026 avec une moyenne de 0,2057. Ces distances sont plutôt faibles et les textes sont assez peu différents selon ces notes, c’est-à-dire qu’ils utilisent beaucoup de formes communes.
En associant ces distances à une couleur, Iramuteq propose la matrice suivante (fig 5) :

 Figure 5. Matrice colorée des distances textuelles (Iramuteq)

Par ailleurs, les distances sont presque identiques d’une note à l’autre :
Note 1 à Note 2 : 0,1597 ; Note 2 à Note 3 : 0,1743 ; Note 3 à Note 4 : 0,1321 ; Note 4 à Note 5 : 0,1034
Les textes des notes 4 et 5 sont plus proches et semblent peu différenciés comme le résument aussi ces deux représentations graphiques (fig. 6 et 7) :

Figure 6. Graphe minimum, selon les distances textuelles entre notes

Figure 7. Représentation arborée d'une classification (méthode de Ward) sur les matrices de distances (indice de Labbé) pour les textes associés aux 5 notes employeur

Des auteurs différents, un sens à préciser

Selon cette représentation, deux ensembles de notes se distinguent : les notes 1 et 2 d’une part et les notes 3, 4 et 5 dont ces deux dernières sont proches d’autre part. Finalement, les salariés utilisent un vocabulaire plutôt homogène pour écrire ces avis, la thématique commune, le travail dans une entreprise, rapprochant les commentaires. Pour autant, les formes utilisées sont suffisamment différentes pour distinguer clairement et logiquement ces notes dont les textes associés se répartissent bien sur une échelle de 1 à 5. Les observations ponctuelles peuvent laisser apparaître des avis étonnants peu cohérents avec la note mais la tendance mise en évidence par ces données massives est plutôt une distinction entre les possibilités de score. Les notes 4 et 5 sont associées à des textes proches cependant. Les salariés semblent ainsi répartir leurs décisions d’évaluation entre de mauvaises notes (1 ou 2 avec des textes distincts), une note moyenne intermédiaire (3) et de bonnes notes (4 et 5 avec des textes proches), soit 3 possibilités plutôt que 5. Cette étude des distances textuelles entre commentaires de note fait apparaître des styles d’ « auteurs » différents comme dans certaines analyses d’œuvres littéraires (Labbé et Labbé, 2003 ; Ratinaud, 2018). Un auteur d’un texte associé à une note 1 a un style très différent d’un auteur d’une note 5 ce qui n’a rien d’étonnant mais que cette méthode prouve. Plus intéressant, les salariés-auteurs investissent des styles clairement différents pour chaque type de notes. Un lecteur avisé pourrait ainsi retrouver une note ou sa catégorie au moins ( ( 1,2) , 3 ou (4,5 ) ) en lisant un ensemble suffisant de textes qui sont bien, avec une approche de données massives, représentatifs d’un niveau d’évaluation.
Ce résultat souligne ainsi une rédaction associée aux notes différente pour la plupart des notes, la faible distance entre les textes laissant cependant supposer des distinctions basées sur quelques formes importantes différenciant ces commentaires.
Comme souligné précédemment, ce résultat ne permet pas de savoir si le sens donné à chaque texte est cohérent avec la note donnée (orientation négative pour la note 1 ou très positive pour la note 5, par exemple). D’autres méthodes comme la classification hiérarchique de Reinert ou l’analyse de spécificité devront compléter cette première approche qui montre surtout une utilisation de l’échelle des notes par les utilisateurs, sauf pour les notes hautes qui semblent plus confondues.
L’échantillon de 40 entreprises, spécifiques par leur forte capitalisation boursière, ne rend pas compte de la variété des situations possibles bien que le nombre d’avis permette des mesures statistiques valides. D’autres analyses avec plus d’entreprises et des organisations variées (taille, secteur, etc.) pourront permettre d’affiner ce premier résultat.
Une autre limite concerne les récepteurs de ces notes. La distance textuelle porte sur des données massives, plusieurs milliers de textes pour chaque note. Sur ces grands ensembles, des tendances se distinguent mais il semble peu probable qu’un lecteur prenne le temps de lire ces dizaines de milliers de textes pour construire une représentation d’une entreprise. Son analyse sera plus qualitative (Pélissier, 2020). L’approche adoptée ne permet pas d’inférer une interprétation de la valeur des notes et de leur sens pour les utilisateurs.
La méthode de la distance lexicale a été utilisée pour des textes de natures différentes dans des contextes très variés, de l’analyse de textes littéraires (Brunet, 2003 ; Labbé et Labbé, 2003 ; Ratinaud, 2018) aux discours politiques (Ratinaud et Marchand, 2016, 2017) ou encore la compréhension de tweets (Ratinaud et al., 2019). Son utilisation pour les discours économiques autour de problématiques d’organisations peut permettre de repérer des traits communs, comme une « novlangue managériale » et des différences liées aux énonciateurs. L’absence de différences peut aussi être un indicateur de normalisation du discours mais aussi du sens in fine, une fois la distance complétée par d’autres méthodes, ce qui peut guider le chercheur vers le repérage de représentations sociales. Les différences peuvent souligner des sous-cultures, des mondes sociaux parfois opposés que la méthode de la distance peut permettre d’explorer.

Bibliographie

Barthélémy, J.-P., Luong, X., & Mellet, S. (2003). Prenons nos distances pour comparer des textes, les analyser et les représenter. Corpus, 2, 1 10.

Labbé, Cyr, & Labbé, D. (2001). Inter-Textual Distance and Authorship Attribution. Corneille and Molière. Journal of Quantitative Linguistics, 8(3), 213 231.

Labbé, Cyril, & Labbé, D. (2003). La distance intertextuelle. Corpus, 2, 1 16.

Labbé, D., & Monière, D. (2000). La connexion intertextuelle Application au discours gouvernemental québécois. Dans 5es Journées Internationales d’Analyse Statistique des Données Textuelles (pp. 1 10).

Mayaffre, D., & Luong, X. (2003). Les discours de Jacques Chirac (1995-2002) Représentation arborée et généalogie politique. Histoire & mesure, XVIII(3/4), 1 19.

Pélissier, D. (2020). Communicateurs et mesure de l’employeur en situation de recrutement, des utilisations sous tension : ‘Les étoiles, ça peut cacher pas mal de choses’. Communication & Professionnalisation, 109 133.

Ratinaud, P. (2018). The Brilliant Friend(s) of Elena Ferrante : A Lexicometrical Comparison between Elena Ferrante’s Books and 39 Contemporary Italian Writers (pp. 98 111). Communication présentée au Drawing Elena Ferrante’s profile, Padova.

Ratinaud, P., & Marchand, P. (2016). Quelques méthodes pour l’étude des relations entre classifications lexicales de corpus hétérogènes : Application aux débats à l’Assemblée Nationale et aux sites web de partis politiques. Dans 13ème Journées internationales d’Analyse statistique des Données Textuelles (pp. 1 10).

Ratinaud, P., & Marchand, P. (2017). Entre distinctivité et acceptabilité, les contenus des sites Web de partis politiques. Réseaux, 204, 72 95.

Ratinaud, P., Smyrnaios, N., Figeac, J., Cabanac, G., Fraisier, O., Hubert, G., … Thonet, T. (2019). Structuration des discours au sein de Twitter durant l’élection présidentielle française de 2017. Réseaux, 214 215, 173 208.