Utilisation

Cet article présente les principales fonctionnalités de R.TeMiS. Un tutoriel pas à pas rédigé par Bénédicte Garnier (Ined) dans le cadre de ses enseignements est aussi disponible. Les méthodes statistiques proposées par R.TeMiS sont notamment présentées dans l’ouvrage classique Statistique textuelle de Ludovic Lebart et André Salem (1994, disponible en ligne).

Les sorties logiciel et les graphiques sont tirés de l’analyse du corpus Assange(fr) (protégé par mot de passe) qui comporte tous les articles de Libération, Le Figaro, L’Humanité, Le Parisien et l’Agence France Presse contenant le terme « Assange » en texte intégral (dans le titre pour les dépêches AFP), quelque soit la date de publication.

1. Lancement du programme

Si vous travaillez sous Windows et que avez installé R.TeMiS grâce à l’installateur tout-en-un, une icône R.TeMiS est disponible sur votre bureau, ainsi que dans le menu Démarrer.

Dans le cas contraire, lancez R et chargez le paquet RcmdrPlugin.temis depuis le gestionnaire de paquets de R (menu « Packages » sous Windows, « Packages et données » sous Mac OS X) ou avec l’instruction :

library(RcmdrPlugin.temis)

L’utilisateur obtient alors l’ouverture d’une fenêtre R Commander. Cette fenêtre contient un menu « Analyse textuelle » (à partir duquel l’analyse lexicale sera menée), une fenêtre de script qui permet de vérifier (et éventuellement modifier) la syntaxe soumise à R et une fenêtre de sortie qui permet de suivre la progression de l’analyse. L’utilisateur peut à tout moment intervenir directement dans la fenêtre de script et soumettre ses modifications à R par le bouton « Soumettre ».

Fig. 1 – La fenêtre R Commander avec le menu « Analyse Textuelle »

2. Importation du corpus

Trois types de corpus peuvent être importés dans R.TeMiS :

  • des fichiers de texte brut (au format .txt) ;
  • des fichiers tabulés tirés d’enquêtes par questionnaire (au format .csv, .xls ou .ods, où les lignes correspondent à des individus et les colonnes à des variables descriptives et une variable texte) ;
  • des fichiers en .html ou .xml structurés par la base d’articles de presse Factiva (voir la page « Exportation de corpus depuis Factiva »), LexisNexis ou Europresse.

L’utilisateur peut importer un fichier ou un ensemble de fichiers. Dans ce second cas, tous les fichiers sélectionnés sont fusionnés en un seul corpus dont les documents sont les fichiers .txt (dans le cas  de corpus texte) et les articles dans le cas de corpus Factiva. Les utilisateurs qui travaillent avec des fichiers texte doivent donc constituer autant de .txt qu’ils ont de documents. Chacun de ces fichiers sera caractérisé par la suite en fonction de la série de variables définie par l’utilisateur (à la différence d’autres logiciels, aucun codage n’est à réaliser dans le corps des fichiers texte).

Lors de l’importation l’utilisateur peut décider de découper son corpus en unités plus petites. L’unité choisie est le paragraphe. Si cette option est choisie chaque paragraphe sera considéré comme un document, ce qui peut permettre d’améliorer la qualité de l’analyse de données, notamment dans la perspective d’une classification ascendante hiérarchique. Le choix d’une segmentation en paragraphes vise à prendre en compte les formats d’écriture médiatique de façon moins arbitraire qu’avec un découpage en segments de longueur uniforme (Jenny, 1999). Par défaut les fichiers tabulés sont découpés en autant de documents qu’ils comportent de lignes.

Fig. 2 - La boîte de dialogue d'imporation de corpus
Fig. 2 – La boîte de dialogue d’importation de corpus

Lors de l’importation l’utilisateur définit le niveau de traitement lexical du corpus : passage des termes en minuscule, suppression de la ponctuation, suppression des  nombres, suppression des mots vides (stopwords) et lemmatisation. Celle-ci est réalisée par le paquet SnowballC (algorithme de Porter) : elle consiste à supprimer les racines des mots, qui deviennent ainsi dans notre terminologie des termes.

Il est aussi possible d’afficher le dictionnaire de lemmatisation et de le modifier avant de l’appliquer au corpus grâce à l’option « Éditer la lemmatisation manuellement ». Dans la fenêtre qui s’ouvre alors, on peut choisir de regrouper des mots en leur attribuant la même forme lemmatisée (« termes » dans le vocabulaire de R.TeMiS), ou au contraire de distinguer des mots en leur attribuant des termes différents; laisser un terme vide permet de l’éliminer du lexique.

Si l’importation de fichiers texte brut, tableur ou Alceste échoue (affichage d’une erreur, corpus vide ou incorrect, accents non respectés), essayez de préciser l’encodage du fichier. En effet, la détection automatique peut ne pas fonctionner à tous les coups. Si vous laissez le pointeur de la souris sur le champ « Encodage des fichiers », une info-bulle affichera les encodages les plus communs pour la langue sélectionnée. Pour le français par exemple, essayez successivement les valeurs suivantes : ISO-8859-1, Windows-1252, ISO-8859-15, UTF-8, UTF-16. Si cela ne fonctionne toujours pas, n’hésitez pas à nous contacter.

3. Gestion du corpus

3.1. Visualisation du corpus actif

Cette fonction permet à l’utilisateur de visualiser dans une fenêtre ad hoc le contenu du corpus actif, document par document.

Fig. 3 – Visualisation du corpus actif

3.2. Charger les variables du corpus

La façon de gérer les variables descriptives des documents du corpus dépend du type de celui-ci.

Fichiers texte brut

Dans le cas de corpus de fichiers texte brut l’utilisateur doit définir les variables lui-même pour caractériser chaque fichier .txt. Ces variables peuvent être importées depuis un fichier tableur à partir du menu Données -> Importer des données. Elles peuvent aussi être entrées directement dans R Commander, en ouvrant l’éditeur de variables (bouton « Éditer » au-dessus de la fenêtre de script) ; le jeu de variables est enregistré à la fermeture de l’éditeur. L’utilisateur peut le sauvegarder pour une utilisation ultérieure (Données -> Jeu de données actif -> Sauver le jeu de données actif) ou l’exporter dans un autre format (Données -> Jeu de données actif -> Exporter le jeu de données actif).

Attention, chaque ligne du jeu de variable est assignée à un document, dans l’ordre d’apparition. Puisque les fichiers textes sont importés dans l’ordre alphabétique, la manière la plus simple de respecter le même ordre pour les variables est de créer une colonne contenant les noms des documents correspondants, et de trier les lignes dans l’ordre alphabétique de cette colonne. N’oubliez pas de rajouter des zéros si nécessaire, de la forme « doc001.txt », « doct002.txt »… « doc010.txt »… « doc100.txt », car l’ordre ne serait pas correct sans eux (« doc10.txt » est classé avant « doc2.txt »).

Fichiers de type tableur

Dans le cas de fichiers de type tableur (Excel, CSV…), R.TeMiS utilise toutes les colonnes sauf la première comme des variables. La première ligne contient l’intitulé de la variable.

Fichiers Factiva

Dans le cas de fichiers .html générés par Factiva, les variables principales des documents sont importées automatiquement depuis le fichier(date, origine, auteur, section).

 

Lorsque l’on a édité les variables du corpus depuis R Commander, ou lorsqu’on les a importées depuis un fichier, il est nécessaire de charger ensuite ces données depuis le menu Analyse textuelle -> Gestion du corpus -> Charger les variables du corpus.

3.2 Sélectionner ou exclure des termes

L’utilisateur peut exclure de l’analyse des termes particuliers ou au contraire indiquer la liste des termes sur lesquels l’analyse doit porter. Cette fonction est particulièrement utile pour exclure des termes récurrents et non pertinents du corpus.

3.3. Restriction du corpus

A partir de ce menu l’utilisateur peut restreindre le corpus aux documents contenant un terme particulier ou au contraire exclure les documents contenant un (ou plusieurs) terme(s) particulier(s). Cette fonction est utile notamment lorsque l’on a segmenté le corpus pour sélectionner uniquement les paragraphes contenant un terme.

La restriction du corpus peut aussi être faite en fonction des modalités d’une variable (par exemple, il est possible de restreindre le corpus aux documents publiés à une certaine date ou dans certaines sources).

Une option permet d’enregistrer le corpus avant la restriction afin de revenir par la suite à la version non restreinte.

4. Analyse du corpus

On a regroupé dans cette partie du menu des opérations statistiques portant sur les documents et non sur les termes du corpus. Ces opérations permettent de caractériser le corpus en fonction des variables.

4.1. Tri à plat d’une variable

Donne le tri à plat des modalités d’une variable du corpus. Une représentation graphique est proposée sous forme de diagramme bâton ou circulaire.

Fig. 4 – Tri à plat de la variable « origine » dans le corpus Assange(fr)

4.2. Tableau à double entrée

Donne le tri croisé des modalités de deux variables du corpus. Une représentation graphique est aussi proposée.

4.3. Evolution temporelle

Cette fonction a été spécialement concue pour représenter la structure temporelle du corpus. Un tri à plat de la variable temporelle choisie est effectué et une courbe tracée. Le format de dates est paramétrable ; plusieurs courbes peuvent être superposées en fonction d’une variable (par exemple l’origine des documents) ; les valeurs retournées peuvent être remplacées par une moyenne flottante sur plusieurs unités temporelles.

Fig. 5 – Nombre de documents par origine (moyenne lissée sur 30 jours)

4.4. Mesure de la dissimilarité

La dissimilarité peut être calculée entre les documents du corpus (distance du Khi2 entre les lignes de la tdm) mais aussi entre modalités d’une variable (distance entre tous les documents correspondant à chaque modalité).

Sortie 2 - Dissimilarité entre modalités de la variable Origine dans le corpus Assange(FR)
                       AFP L'Humanité Le Figaro Le Parisien
L'Humanité             2.4                     
Le Figaro              1.2        2.4          
Le Parisien            1.9        2.8       1.9
Libération             1.1        2.3       1.2         1.9

5. Statistique lexicale

Cette partie du menu permet de réaliser des opérations simples de statistique lexicale sur les termes du corpus.

5.1. Bilan lexical

Il permet de caractériser de façon générale le corpus (par documents ou par variables). On a retenu le nombre de termes, de termes distincts, de hapax et la mesure des mots longs. Les calculs portant sur les termes tiennent compte de la lemmatisation si elle a été faite. Par contre, les calculs sut les mots sont sur texte brut (d’où les différences avec la sortie 1 et aussi un temps de calcul assez long).

Le ratio termes distincts / termes (pourcentage de termes distincts) permet de mesurer la variété du lexique. Le ratio hapax / termes (pourcentage de hapax) permet de mesurer la rareté du lexique employé. Enfin le ratio mots longs / mots (pourcentage de mots longs) donne une idée (approximative) de la complexité du lexique employé.

Le paramétrage permet d’obtenir ces données par document ou par variable. Il est aussi possible de calculer des effectifs par modalité ou des moyennes par document.

Sortie 3 - Bilan lexical du corpus Assange(fr) (valeurs absolues sur l’ensemble de la modalité)
Total par catégorie :                   AFP L'Humanité Le Figaro Le Parisien Libération     Corpus
  Nombre de termes                  61708.0     3957.0   19783.0      3561.0    32553.0   121562.0
  Nombre de termes distincts        44917.0     2957.0   14559.0      2848.0    23734.0    89015.0
  Pourcentage de termes distincts      72.8       74.7      73.6        80.0       72.9       73.2
  Nombre de hapax                   35041.0     2399.0   11567.0      2387.0    18913.0    70307.0
  Pourcentage de hapax                 56.8       60.6      58.5        67.0       58.1       57.8
  Nombre de mots                   107524.0     7068.0   34966.0      6227.0    59380.0   215165.0
  Nombre de mots longs              37565.0     2311.0   12311.0      2225.0    19183.0    73595.0
  Pourcentage de mots longs            34.9       32.7      35.2        35.7       32.3       34.2
  Nombre de mots très longs         10665.0      673.0    3868.0       707.0     5788.0    21701.0
  Pourcentage de mots très longs        9.9        9.5      11.1        11.4        9.7       10.1
  Longueur moyenne des mots             5.4        5.3       5.5         5.5        5.3        5.4
Sortie 4 - Bilan lexical du corpus Assange(fr) (valeurs moyennes par document)
Moyenne par document :                AFP L'Humanité Le Figaro Le Parisien Libération Corpus
  Nombre de termes                  192.8      232.8     210.5       137.0      252.3  205.1
  Nombre de termes distincts        140.4      173.9     154.9       109.5      184.0  151.9
  Pourcentage de termes distincts    72.8       74.7      73.6        80.0       72.9   77.0
  Nombre de hapax                   109.5      141.1     123.1        91.8      146.6  120.0
  Pourcentage de hapax               56.8       60.6      58.5        67.0       58.1   62.9
  Nombre de mots                    336.0      415.8     372.0       239.5      460.3  364.7
  Nombre de mots longs              117.4      135.9     131.0        85.6      148.7  125.6
  Pourcentage de mots longs          34.9       32.7      35.2        35.7       32.3   35.0
  Nombre de mots très longs          33.3       39.6      41.1        27.2       44.9   37.0
  Pourcentage de mots très longs      9.9        9.5      11.1        11.4        9.7   10.2
  Longueur moyenne des mots           5.4        5.4       5.5         5.5        5.4    5.4

5.2. Dictionnaire des termes

Renvoie le dictionnaire alphabétique des termes présents dans le corpus (utile pour vérifier la présence de termes après la réduction à la racine) ou la liste des n termes les plus fréquents selon une ventilation par variable (n étant choisi par l’utilisateur). Permet par exemple de comparer les termes les plus fréquents dans les articles de plusieurs auteurs ou tirés de différents journaux, etc.

5.3. Comparaison de fréquences

Renvoie un tableau donnant en ligne une liste de termes choisis par l’utilisateur et en colonne une variable (ou les documents). Les fréquences sont exprimées en pourcentages du nombre total de termes dans la catégorie.

Sortie 6 - Occurrences de 4 termes en fonction de l’Origine
                                     viol    guerr diplomat  journal
Agence France Presse                 0.64     0.16     0.44     0.28
L'Humanité                           0.13     0.56     0.28     0.66
Le Figaro                            0.28     0.33     0.37     0.33
Le Parisien-Aujourd'hui en France    0.28     0.20     0.73     0.34
Libération                           0.29     0.29     0.28     0.49

Une représentation graphique est proposée (diagramme bâtons).

Fig. 6 – Occurrences de termes en fonction de l’origine

5.5. Termes typiques

Liste de termes ayant le plus fort Khi2 par cellule dans la matrice document-termes ou dans une matrice modalités-termes. Ce khi 2 est affecté d’un signe négatif dans le cas des termes les plus significativement absents.

Sortie 7 - Termes typiques par modalités de Origine
$`Agence France Presse`
     assang     sued extradit     cour  britann     mard   mandat    arrêt  suédois    londr 
        177      141      110       94       80       76       76       72       67       62 
$`L'Humanité`
clearstream      den   robert    civil   coalit documentair  listing   mediapart  taliban    kieff 
        403      260      215      177      136         114       90          90       88       86 
$`Le Figaro`
       état     etat     neig     sued   assang   inform   sexuel     cour   patron aéroport 
        241      -84       46      -46      -45       41      -40      -40       39       39 
$`Le Parisien-Aujourd'hui en France`
     navigu   franc    gendarm   braqueur  delahouss    fukuyam   gouvieux humanitair     led     ois 
         96      87         83         64         64         64         64         64      64      64 
$Libération
     assang    sued   extradit    britann   londr       mard     julian australien    cour  fondateur 
       -111     -81        -71        -57     -54        -54        -46        -45     -45        -45

2.4.6. Cooccurrences de termes particuliers

Un terme et un coefficient de corrélation minimum sont indiqués par l’utilisateur. R.TeMiS retourne tous les termes ayant un coefficient de corrélation supérieur (la coprésence est mesurée à l’échelle du document). Ce résultat peut être ventilé en fonction d’une variable.

6. Classification Ascendante Hiérarchique

L’analyse est réalisée en deux temps. Une première étape permet de créer et d’afficher le dendrogramme ; une seconde de déterminer le nombre de classes choisi et de les interpréter.

6.1. Création du dendrogramme

L’utilisateur peut fixer le niveau de rareté (sparsity) des termes conservés dans l’analyse: les termes absents de plus d’un pourcentage donné des documents ne seront pas utilisés. Par défaut le pourcentage est choisi de manière à ce que les termes présents dans un seul document soient ignorés, puis arrondi vers le bas. Cette option permet d’éliminer des termes trop rares pour être significatifs, dont par exemple des fautes de frappe, et surtout de gagner en efficacité pour le traitement de gros corpus.

La distance du Khi2 est utilisée entre les documents et ceux-ci sont rapprochés par la méthode de Ward.

Fig. 7 – Dendrogramme du corpus Assange(fr) (corpus non lemmatisé)

6.2. Création et interprétation des classes

Une fois le dendrogramme affiché, l’utilisateur peut créer le nombre de classes qu’il souhaite et afficher pour chacune d’elle des documents et des termes les plus typiques. L’association des modalités des variables aux classes est aussi mesurée.

Fig. 8 – Aide à l’interprétation de la classification

7. Analyse des correspondances

Elle procède aussi en deux temps. L’analyse est d’abord réalisée et les données principales affichées dans la fenêtre sortie de R.TeMiS (inertie des axes, coordonnées et contribution des termes, des documents et des modalités de variables) ; elle peut ensuite être affichée.

7.1. Réalisation de l’analyse des correspondances

L’utilisateur peut fixer le niveau de rareté (sparsity) des termes conservés dans l’analyse. Cf.  le point 2.5.1. ci-dessus.

7.2. Affichage de l’analyse des correspondances

L’utilisateur détermine les axes à afficher, les éléments à afficher (variables, documents, termes), le nombre d’éléments à afficher et le choix de ces éléments (selon leur contribution à un axe ou aux deux). Enfin des symboles peuvent être dessinés ou pas pour les éléments affichés.

Fig. 9 – Analyse des correspondances sur le corpus Assange(fr) lemmatisé (le terme « pag » a été exclu)

8. Exportation des résultats

Ce menu permet d’exporter les derniers graphiques ou tableaux réalisés dans un fichier HTML. Pour plus de contrôle sur la qualité des graphiques, vous pouvez aussi utiliser le menu Graphes -> Enregistrer le graphe dans un fichier…