Progiciels BPI - Rubrique TCAO - Ventile

Ventile est un progiciel permettant de produire des statistiques textuelles sur les éléments constitutifs d'un texte. Comme élément textuel, Ventile permet de compter le nombre de paragraphes, le nombre de phrases, le nombre de vers, le nombre de mots et le nombre de caractères par fichier. À partir de la fréquence absolue de chaque élément textuel, Ventile établit une relation entre des éléments textuels et produit des statistiques sur les rapports suivants: nombre de paragraphes par texte; nombre de phrases par paragraphe; nombre de vers par strophe; nombre de mots par phrase; nombre de mots par ligne; nombre de caractères par mot.

Comme statistiques textuelles, Ventile produit les mesures de fréquence absolue des éléments textuels, trois mesures de tendance centrale (i.e. le mode, la médiane et la moyenne arithmétique) et cinq mesures de dispersion (i.e. le minimum, le maximum, l'écart quartile, l'écart moyen et l'écart type). Les résultats statistiques sont affichés numériquement sous la forme d'un tableau et graphiquement sous la forme d'un histogramme.

Comme données d'entrée, Ventile peut dépouiller et traiter un ou plusieurs fichiers textuels à la fois. Ces fichiers peuvent être soit en format plein texte, soit en format HTML ou soit en tout format SGML. Tout comme les progiciels Vocable, Concorde et Alibi, le progiciel Ventile supporte la notion de régions textuelles à l'aide de «raffineurs internes» et de «raffineurs externes».

Les statistiques calculées par Ventile sont des «statistiques descriptives» par opposition aux «statistiques inductives» qui font appel à des notions de sondage, d'échantillonnage et d'hypothèses. Pour mieux comprendre les commandes d'appel de Ventile formulées dans les prochains exemples, consultez le Menu d'aide de Ventile.

Exemple 1 - Un compte-mots

La commande suivante demande de lire le fichier xlinfr.l1, de calculer les statistiques sur les mots de ce texte (selon le raffineur interne W) et de produire un histogramme sur une largeur de 65 colonnes (selon l'option -w65). Dans le domaine de la traduction, une telle commande est fort utile et très usuelle puisque cette commande est en fait un compte-mots.

Pour tout calcul statistique, Ventile produit deux blocs d'information. Le premier bloc présente numériquement les résultats tandis que le deuxième bloc présente graphiquement ces résultats à l'aide d'un histogramme. Comme premier bloc, on retrouve un tableau subdivisé en groupes de lignes et en deux colonnes. Les premiers groupes de lignes présentent successivement les valeurs de chacune des variables observées tandis que le dernier groupe de lignes présente un rapport (ou une relation) entre deux variables. En terme de colonnes, on retrouve dans la première colonne de ce tableau la valeur de fréquence des variables observées ainsi que la valeur des trois mesures de tendance centrale et, dans la deuxième colonne, figure la valeur des cinq mesures de dispersion.

Dans la première colonne de ce tableau de résultats, la variable Fichier a une fréquence de 1 puisque la commande d'appel ne fournit qu'un seul fichier en entrée. Ce fichier xlinfr.l1 contient ainsi un total de 552 mots (voir la valeur de la variable W) et un total de 2830 octets (voir la valeur de la variable Octet). En moyenne, il y a 5,13 octets par mot, la valeur de la médiane pour un mot est de 4 octets, et la valeur modale pour un mot est de 1 octet.

La commande plus haut demande à Ventile de produire un histogramme sur une largeur de 65 colonnes (option -w65). En l'absence de l'option -w, la largueur par défaut pour un histogramme est de 79 colonnes. En l'absence de l'option -h, Ventile détermine automatiquement, en fonction de la distribution des données, le nombre de pigeonniers à créer ainsi que la valeur des intervalles pour chaque pigeonnier. Par exemple à la gauche de l'histogramme plus haut, on retrouve une légende comptant sept pigeonniers dont chacun est représenté respectivement par les sept intervalles suivants: 1-8; 9-16; 17-24; 25-32; 33-40; 41-48; 49-56. Dans les pigeonniers, les résultats obtenus sont représentés par des symboles * et la valeur unitaire pour chaque astérisque * est indiquée entre crochets, en haut de l'histogramme, au bout de la ligne Nombre de `Octet' dans chaque `W'.

Dans un histogramme, le crochet en angle < a une signification particulière. Un symbole < après un symbole * marque tout simplement la fin des valeurs. Un symbole < au tout début d'un pigeonnier indique la présence d'une valeur qui est plus grande que zéro mais qui est toutefois plus petite que la valeur unitaire d'un astérisque *. Si un pigeonnier ne contient pas de symbole < au début cela signifie qu'il est vide, c'est-à-dire la valeur zéro.

Exemple 2 - Compte-mots sur un ensemble de fichiers

La commande suivante permet de démontrer que Ventile peut traiter et calculer plusieurs fichiers d'entrée à la fois. Cette commande demande de produire des statistiques sur les mots (raffineur W) à partir des cinq textes en français des fichiers d'entrée suivants: xbamfr.l1; xengfr.l1; xfulfr.l1; xlinfr.l1; xwolfr.l1.

Dans ces résultats, on retrouve trois ensembles de statistiques: le nombre de mots `W' par `Fichier'; le nombre d'octets par `Fichier'; et le nombre d'octets par mot `W'. Par exemple, on peut observer qu'il y a une fréquence de 5 fichiers contenant un total de 8235 mots. Le fichier le plus court contient 552 mots (i.e. valeur minimum) tandis que le fichier le plus long contient 2330 mots (i.e. valeur maximum). Ces cinq fichiers contiennent en moyenne 1647 mots. La longueur moyenne de ces 8235 mots est de 5,13 octets par mot.

Exemple 3 - Relation paragraphes / phrases / mots

La commande suivante utilise une liste de raffineurs (P,S,W) pour demander de produire des statistiques sur les mots (raffineur W), sur les phrases (raffineur S) et sur les paragraphes (raffineur P) du texte anglais contenu dans le fichier d'entrée xeng.l1. Rappelons que pour ces progiciels de TCAO une liste de raffineurs a un sens hiérarchique: les mots dans une phrase, les phrases dans un paragraphe, et les paragraphes dans un texte.

Cette commande demande en plus de produire les histogrammes avec un maximum de 10 pigeonniers (option -h10). Avec l'option -h suivi d'un nombre entier, l'utilisateur fixe ainsi le nombre de pigeonniers qu'il désire obtenir dans un histogramme. Cette option -h produit un histogramme de dimension variable verticalement tout en ayant un effet conséquent sur la redistribution des astérisques. De son côté, l'option -w permet elle aussi de produire un histogramme de dimension variable. Avec cette option, la dimension de l'histogramme est variable horizontalement tout en ayant elle aussi un effet conséquent sur la redistribution proportionnelle des astérisques. Cette commande produit les résultats statistiques qui suivent.

Dans ces derniers résultats, on retrouve six ensembles de statistiques. Parmi ces ensembles, on peut observer par exemple que ce texte anglais xeng.l1 contient un total de 36 paragraphes, de 83 phrases, de 1697 mots et de 9059 octets. Il y a en moyenne 2,31 phrases par paragraphe et 47,14 mots par paragraphe. De plus, comme longueur de phrase, il y a en moyenne 20,45 mots par phrase et les mots ont en moyenne une longuer de 5,34 octets. Le mot le plus long contient 24 octets.

Exemple 4 - Compte-mots HTML

Dans les exemples précédents, Ventile avait à traiter des fichiers d'entrée en format plein texte. Dans le prochain exemple, Ventile traite un fichier d'entrée en format HTML. Ce fichier resums.html est formellement conforme à la grammaire DTD de la norme HTML 3.2.

Les fichiers sgmlisés contiennent des balises qui peuvent être exploitées comme région textuelle. Dans notre terminologie TCAO, le terme raffineur externe est utilisé pour désigner les balises SGML contenues dans un fichier d'entrée. Cet exemple de fichier en HTML nous permet d'expliquer plus précisément le calcul des octets et des caractères que Ventile effectue lors d'une commande d'appel. Un fichier est constitué d'un ensemble d'octets et parmi ces octets certains font partie des caractères résiduels tandis que d'autres sont des caractères comptabilisés en fonction de la commande d'appel. Par exemple dans le calcul d'un élément mot, le caractère espace (ou le blanc) fait partie des caractères du paragraphe mais il ne fait pas partie du mot proprement dit. Par rapport aux caractères d'un mot, le blanc est un caractère résiduel. Lorsqu'on examine les résultats statistiques sur les octets, il faut se rappeler cette distinction entre un caractère comptabilisé et un caractère résiduel par rapport à la taille totale d'un fichier en kilo-octets.

La commande suivante utilise la liste de raffineurs (title,W) pour spécifier les régions textuelles désirées. Le raffineur externe title désigne la balise d'ouverture <title> et la balise de fermeture </title> propre au langage de balisage HTML. Cette commande demande alors à Ventile de ne comptabiliser que les mots (raffineur interne W qui se trouvent entre ces deux balises HTML. De plus, cette commande demande de ne pas produire d'histogramme à cause de l'option -h0.

Les résultats de cette commande indique que ce fichier resums.html contient 1 seul titre et que ce titre contient un total de 26 mots. De plus, les statistiques indiquent que ce fichier ne contient qu'un total de 143 octets. En fait, Ventile n'a pas comptabilisé dans ce cas-ci les octets qui se trouvaient à l'extérieur du mot et ceux à l'extérieur de la balise title car ces octets ont été considérés comme étant des caractères résiduels.

Ventile présuppose que l'utilisateur connaît les étiquettes et le sens des balises HTML afin qu'il puisse formuler les raffineurs externes de manière pertinente et qu'il puisse interpréter adéquatement les statistiques produites.

Progiciels de TCAO - Ventile - Exemples

Table des matières - Ventile - Exemples

Résumé

Exemple 1 - Un compte-mots

Exemple 2 - Compte-mots sur un ensemble de fichiers

Exemple 3 - Relation paragraphes / phrases / mots

Exemple 4 - Compte-mots HTML

ANNEXE 1 - Menu d'aide Ventile