Progiciels BPI - Rubrique TCAO - Vocable

Le progiciel Vocable permet de produire des listes du vocabulaire des mots contenus dans des fichiers textuels. Ces listes de vocables peuvent être triées selon divers critères: en ordre alphabétique habituel (de gauche à droite), en ordre alphabétique inverse (de droite à gauche), en ordre de fréquence décroissante. Chaque vocable peut être accompagné de la fréquence de ses occurrences et de la liste de toutes les références de type nom-de-fichier:ligne pour chaque occurrence. Des options permettent de produire ces listes de vocables sous divers formats: en une colonne selon une largeur désirée; en plusieurs colonnes par tranche de n lignes.

Comme données d'entrée, Vocable accepte un ou plusieurs fichiers textuels en même temps. Ces fichiers peuvent être soit en format plein texte, soit en format HTML ou soit en tout format SGML. Tout comme les progiciels Ventile, Concorde et Alibi, le progiciel Vocable supporte la notion de régions textuelles à l'aide de raffineurs internes et de raffineurs externes.

Vocable permet de trier alphabétiquement les vocables d'un texte écrit dans l'une ou l'autre des 13 langues indo-européennes suivantes: français, allemand, anglais, danois, espagnol, féroïen, finnois, irlandais, islandais, italien, norvégien, portugais, suédois. À ces langues indo-européennes s'ajoutent les 12 langues africaines suivantes: bambara, éwondo, fulfulde-sokoto, fulfulde-adamawa, fulfulde-maasina, fulfulde-jelgoore, fuuta-jalon, fulfulde-pulaar, lingala, sango, sango-riverain, wolof. Pour mieux comprendre les commandes d'appel de Vocable formulées dans les prochains exemples, consultez le Menu d'aide de Vocable.

Exemple 1 - Vocabulaire français en ordre alphabétique avec références au contexte

Lors de la production de listes de vocabulaire, Vocable doit trier alphabétiquement les vocables. Avant de s'exécuter, Vocable s'assure que les variables d'environnement DEFAULT_CHARSET et COLLATE_LANGUAGE ont été initialisées. Si ces variables d'environnement n'ont pas une valeur appropriée, alors Vocable produit un diagnostic d'erreur. Pour plus de détails, voir Variables d'environnement.

La commande suivante demande de lire le fichier français xlinfr.l1, de produire une liste alphabétique des vocables de ce texte (selon le raffineur interne W), de produire pour chaque vocable une référence au numéro de ligne de chaque occurrence (option -r), et d'afficher les résultats sur une largeur de 70 colonnes (selon l'option -w70).

La liste du vocabulaire suivant est un extrait de la liste originale produite avec cette commande.

Les résultats de cette commande nécessitent quelques commentaires. Dans cette liste de vocabulaire, les vocables sont triés en ordre alphabétique et les signes de ponctuation ne sont pas détachés du vocable. Une référence aux occurrences est constitué du nom du fichier d'entrée, d'un deux-points et d'une liste de chiffres. Ces chiffres correspondent à la numérotation des lignes que Vocable a faite automatiquement en lisant le fichier source xlinfr.l1. Dans cette liste de chiffres, chaque chiffre est le numéro d'une ligne du fichier source qui contient une occurrence du vocable correspondant.

Pour dresser la liste des vocables, Vocable utilise des routines d'équivalence afin de déterminer si un mot donné est soit une occurrence d'un vocable déjà identifié ou soit un nouveau vocable à ajouter à la liste de vocabulaire. Pour illustrer le comportement de ces routines d'équivalence, examinons le cas du vocable après, (avec la virgule) qui se trouve dans la liste plus haut. Dans le texte xlinfr.l1 les occurrences orthographiques de ce vocable sont les suivantes: après, (à ligne 65); Après (à ligne 27); Après (à ligne 46). Vocable considère que ces trois formes orthographiques sont des occurrences du même vocable après et, pour l'affichage des résultats, il sélectionne parmi les occurrences d'un vocable la forme qui possède le poids le plus élevé en terme de tri alphabétique. Dans ce cas-ci, c'est la forme après, qui a été retenue pour figurer dans la liste des vocables. Si la forme après (sans virgule) avait été actualisée dans le texte d'entrée, elle aurait été retenue à la place de la forme après, que l'on retrouve dans cet exemple-ci.

Exemple 2 - Vocabulaire bambara en ordre de fréquence

La commande suivante demande de lire le fichier bambara xbam.bra, de produire une liste des vocables de ce texte (selon le raffineur interne W), et de trier ces vocables par ordre de fréquence décroissante (option -f).

La liste du vocabulaire suivant est un extrait de la liste originale produite avec cette dernière commande.

Cette dernière liste de vocabulaire contient trois extraits de la liste produite originalement. Nous avons séparés ces extraits avec un symbole ... et, à l'aide de ces extraits, on peut noter qu'une telle liste de fréquence est constituée de deux tris:

Par exemple dans la liste plus haut, les vocables ayant une occurrence de 1 sont triés alphabétiquement entre eux mais, en plus, ils se retrouvent après les vocables ayant une fréquence de 2 occurrences. Sur un corpus de grande taille, les mots avec une faute d'orthographe se retrouvent habituellement dans la liste des vocables de fréquence 1.

Exemple 3 - Vocabulaire sango en ordre alphabétique inverse

Le but du prochain exemple consiste d'une part à montrer un cas de traitement du sango avec Vocable et, d'autre part, à examiner de plus près le tri alphabétique inverse des digraphes et des trigraphes africains en se servant du sango comme exemple. Avant d'exécuter la prochaine commande sur un texte en sango, rappelons que la valeur des variables d'environnement ont été initialisée avec les commandes suivantes:

La commande suivante demande de lire le fichier sango xsaj.lin, de produire la liste des vocables de ce texte (raffineur interne W), de trier ces vocables par ordre alphabétique inverse (option -i), d'afficher les résultats sur une largeur de 70 colonnes (option -w70), et enfin de paginer cette liste en plusieurs colonnes par tranche de 10 lignes à la fois (option -p10).

La liste du vocabulaire suivant est un extrait de la liste originale produite avec cette dernière commande.

Avant d'examiner ces résultats, rappelons que les digraphes et les trigraphes sango sont les suivants: gb, kp, mb, mv, nd, ng, ngb, ny, nz. Dans le premier bloc de 10 lignes, on peut constater que le digraphe kp dans le vocable kerekpâ est trié après le vocable zûsûka mais avant le vocable lâ. Ainsi la lettre p du digraphe kp se trouve avant la lettre l du vocable lâ. Comme autre exemple dans le deuxième bloc de 10 lignes, le vocable ngûnzapä est trié avant le vocable papa car le digraphe nz est une lettre avant la lettre p.

Cette dernière liste de résultats démontrent que Vocable est en mesure de trier correctement par ordre alphabétique inverse les digraphes et les trigraphes. Notons que le tri inverse de digraphes et de trigraphes n'est pas une chose simple à programmer. En effet, dans un tri inverse, le mot est examiné physiquement de droite à gauche pendant qu'en terme logique un digraphe ou un trigraphe doit plutôt se lire de droite à gauche.

Dans cette liste, il y a par contre le vocable Ngbonga et le vocable ngbonga qui sont en fait deux variantes orthographiques d'un même mot. Que se passe-t-il? L'explication est fort simple. Dans le vocable ngbonga, le ng a été analysé comme un digraphe tandis que dans le vocable Ngbonga, le Ng a été analysé comme deux caractères distincts. Cette chaîne Ng est une instance du digraphe ng se trouvant dans un mot en début de phrase, ce qui justifie le N majuscule.

Dans la déclaration de d'alphabet du sango, les digraphes et trigraphes sont uniquement les variantes en minuscule et en majuscule suivantes: gb, GB, kp, KP, mb, MB, mv, MV, nd, ND, ng, NG, ngb, NGB, ny, NY, nz, NZ. Selon cette déclaration d'alphabet, la variante Ng n'est donc pas un digraphe.

Pour résoudre ce genre de phénomène typographique, il faudrait convertir les variantes textuelles en normalisant la chaîne Ng en ng pour en faire un digraphe. De plus, une telle normalisation devrait se faire au moment de la lecture d'un texte pendant l'identification des lettres de l'alphabet de la langue de ce texte. Convertir au vol la chaîne Ng en digraphe ng n'est pas du ressort des routines d'équivalence et ni du ressort du programme Vocable. À notre avis, la tâche de convertir une simple majuscule en minuscule appartient plutôt à une grammaire de pré-édition textuelle car tout texte est écrit selon une quelconque grammaire typographique. Ne serait-ce que pour l'usage des signes de ponctuation et les conventions de majuscule et de minuscule selon la région textuelle, par exemple: en début de phrase, dans un titre, dans une énumération, dans un nom propre, dans un acronyme.

Ce petit exemple nous permet de signaler qu'une grammaire de pré-édition automatique de langues africaines pourrait servir entre autres à normaliser ce genre de variantes typographiques des digraphes et des trigraphes.

Exemple 4 - Vocabulaire extrait de plusieurs fichiers

La commande suivante demande de lire cinq fichiers de textes en français, de produire la liste alphabétique des vocables de ces textes (raffineur interne W), et de fournir la référence des occurrences pour chaque vocable (option -r).

La liste du vocabulaire suivant est un extrait de la liste originale produite avec cette dernière commande.

Dans les résultats affichés plus haut, les vocables sont triés par ordre alphabétique. À chaque vocable est associée une liste des références aux occurrences dans laquelle chaque fichier d'entrée est identifié suivi d'un numéro de ligne pour chaque occurrence de ce vocable.

Exemple 5 - Vocabulaire espagnol extrait d'un fichier HTML

Dans une commande d'appel de Vocable, si une balise HTML est utilisée comme raffineur externe, alors cette balise sera utilisée par Vocable comme étant une borne contextuelle et cette dite balise fera alors partie de la structure textuelle plutôt que de la structure du mot. Dans le cas d'un fichier d'entrée en format HTML, c'est en fait l'utilisateur qui décide si une balise doit faire partie ou non d'un vocable. Le présent exemple a été formulé afin d'illustrer l'usage des raffineurs externes et leur traitement avec le progiciel Vocable.

La commande suivante demande de lire le fichier espagnol resums.html, de produire la liste des vocables de ce texte (raffineur interne W), d'afficher les résultats sur une largeur de 70 colonnes (option -w70), et enfin de paginer cette liste en plusieurs colonnes par tranche de 10 lignes à la fois (option -p10).

Dans cette commande, la liste de raffineurs html,tr+th+td,p+font+P,S+F+a+i,W sera expliquée plus bas. Notons en passant qu'il n'est pas obligatoire de spécifier une telle liste de raffineurs externes pour obtenir des résultats à partir de fichiers en format HTML.

La liste du vocabulaire suivant est un extrait de la liste originale produite avec cette dernière commande.

Dans une liste de raffineurs telle que html,tr+th+td,p+font+P,S+F+a+i,W énoncée dans la commande plus haut, chaque élément de cette liste est séparé par une virgule. Logiquement, cette dernière liste définit cinq niveaux textuels où chaque niveau est délimité par une virgule. De plus, selon la syntaxe d'une commande TCAO, un même niveau textuel peut contenir plus d'un raffineur. Dans un tel cas, pour distinguer chaque raffineur entre eux, il faut utiliser le signe + entre chaque raffineur. En d'autres mots, la liste de raffineurs html,tr+th+td,p+font+P,S+F+a+i,W peut être paraphrasée de la façon suivante:

L'utilisateur doit toutefois avoir une certaine connaissance des balises HTML et du niveau textuel auquel ces balises font référence afin de mieux profiter des possibilités TCAO pouvant effectuer un tel balayage sélectif de régions textuelles.

Progiciels de TCAO - Vocable - Exemples

Table des matières - Vocable - Exemples

Résumé

Exemple 1 - Vocabulaire français en ordre alphabétique avec références au contexte

Exemple 2 - Vocabulaire bambara en ordre de fréquence

Exemple 3 - Vocabulaire sango en ordre alphabétique inverse

Exemple 4 - Vocabulaire extrait de plusieurs fichiers

Exemple 5 - Vocabulaire espagnol extrait d'un fichier HTML

ANNEXE 1 - Menu d'aide Vocable