Ze script :

Maintenant commence les choses sérieuses, nous avons constitué la liste des urls, la nature de notre projet nous amèneras à générer 4 tableaux après :

• Un tableau qui regroupera les sites en tunisiens transcrit en arabe
• Un tableau qui regroupera les sites en tunisiens transcrit en français
• Un tableau qui regroupera les sites en Algériens transcrit en arabe
• Un tableau qui regroupera les sites en tunisiens transcrit en français

La première étape sera de constituer notre espace de travail pour cela il faut dérouler le script qui va créer les répertoires du projet qui sont comme suit :

• URLS : un dossier qui va regrouper l'ensemble des urls de toutes les langues à traiter.
• TABLEAUX : ce dossier contiendra les tableaux générés par notre script.
• PROGRAMMES : contiendra le script que nous construisons pour notre projet; c'est à partir de ce dossier que notre script sera exécuté en ligne de commande.
• PAGES-ASPIREES : un fichier qui contiendra les fichiers issus de l'aspiration des urls contenues dans le dossier "URLs".
• FICHIER GLOBAUX : contiendra les contextes globaux, les dump globaux, les index contextes, les index dump.
• LDUMP TEXT : contiendra les fichiers ".txt" issus du traitement sur les pages aspirées.
• CONTEXTE : contiendra des fichiers obtenus par extraction contextuelles des mots traités dans le dump text.  

Dans le fichier URLS nous allons mettre les fichiers contenant les urls que nous allons aspirer avec notre programme.

Maintenant avec le script, notre premier script consistera à parcourir les fichiers contenant les urls, et pour chaque fichier créer un tabl

Maintenant nous allons améliorer notre script pour en faire un tableau à 4 colonnes, avec dans la première colonne le numéro de la colonne dans la deuxième le lien du site dans la troisième le lien vers la page aspirée et dans la dernière un lien vers un fichier txt contenant le contenu de la page.

Dans cette phase nous allons aspirer une page sur internet à partir d’un lien et pour cela il faut utiliser la commande wget, et pour la dumper dans un fichier txt on découvre la commande lynx.

eau contenant que les urls.

Le résultat sera un tableau html stocké dans l’emplacement indiqué.

Avec 23 lignes on se dit que c’est plutôt facile mais ça va grimper en flèche dès qu’on passe à l’encodage.

En gros, il faut détecter l’encodage avec un programme fort sympathique (detect-encoding.exe),

• Si l’encodage est en utf-8 :
  • On dump les fichiers
• Sinon :
  • Si iconv reconnais le codage :
    • On convertit en UTF-8
    • On dump les fichiers
  • Sinon :
    • Si on peut récupérer l’encodage à partir du charset :
      • On convertit en UTF-8
      • On dump les fichiers
    • Sinon :
      • On ne fait rien

Voilà c’est suffisant pour faire passer notre Script à 103 lignes.

Avec un résultat final de 4 tableaux mais aussi en mettant tout ce qu’il faut comme fichier là où il faut dans les répertoires

Maintenant il faut voir le résultat d’abord en constituant un nuage de mots, pour cela nous avons utilisé les résultats stockés dans les dump globaux, en effet en y trouve 4 fichiers,

algTranscAr.txt : regroupant les résultats dump des motifs algériens transcrit en arabe

algTranscFr.txt : regroupant les résultats dump des motifs algériens transcrit en français

tunTranscAr.txt : regroupant les résultats dump des motifs tunisiens transcrit en arabe

tunTranscFr.txt : regroupant les résultats dump des motifs tunisiens transcrit en français

mais les résultats sont très ambigüe, en effet en y trouve des caractères français dans les fichiers arabes, et des caractères arabes dans les fichiers français, on y trouve aussi du français et de l’arabe classique alors que nous voulons observes que du dialecte, pour nettoyer tout ça l’idée est de concocter une petite application python qui va parcourir les fichiers arabes et enlever tous les autres caractères, idem pour les fichiers français, aussi et en se basant sur des fichiers regroupant des corpus anglais français et arabe classique, nettoyer les fichiers en laissant que du dialecte (enfin cela dépendra du corpus).

Et pour finir nous allons ressortir 2 fichiers un contenant tous les mots restants avec toutes les occurrences et un fichier avec tous les mots sans répétition.

Le résultat peut être observé ci-dessous

Algérien transcrit en alphabet arabe, différentes occurences pour chaque mot

Algérien transcrit en alphabet arabe, une seule occurence pour chaque mot

Algérien transcrit en alphabet latin, différentes occurences pour chaque mot

Algérien transcrit en alphabet latin, une seule occurence pour chaque mot

Tunisien transcrit en alphabet arabe, différentes occurences pour chaque mot

Tunisien transcrit en alphabet arabe, une seule occurence pour chaque mot

Tunisien transcrit en alphabet latin, différentes occurences pour chaque mot

Tunisien transcrit en alphabet latin, une seule occurence pour chaque mot

Remarques :

Malgré le nettoyage il reste encore quelques mots en français en anglais et en arabes classique, cela est dû à une carence dans le corpus utilisé pour le nettoyage qui peut gérer peut être un bon nombre de mots mais pas dans toutes les flexions, l’utilisateur maghrébin utilise énormément de mots en français.

On constate aussi que notre démarche nous à aider à obtenir des mots propres à chaque dialecte, et ceci est constatable par un natif surtout au niveau des wordCloud avec une seule occurrence pour chaque mot.