Aller au contenu

Image 1 sur 1

Normalisation et nettoyage de corpus textuels arabes, image 1

Description détaillée

J’analyse le corpus pour repérer les problèmes : encodages, doublons, langues mélangées, arabizi, bruit. Je définis avec vous les règles de normalisation, puis je les applique avec CAMeL Tools et des scripts dédiés. La détection de langue sépare ou étiquette les passages. Je livre le corpus, les statistiques avant et après et le script de traitement. Je limite volontairement le nombre de commandes en parallèle pour tenir ce délai. Outils utilisés : fastText, CAMeL Tools, Python, pandas. Délai indicatif : 12 jours à partir de la réception de tous les éléments.

Problème résolu

Vos textes mélangent écritures, diacritiques, émojis, doublons et variantes orthographiques. Tout traitement en aval donne des résultats incohérents.

Résultat promis

Un corpus nettoyé et normalisé selon des règles documentées, avec des statistiques avant et après et un script réutilisable pour les prochaines collectes.

Fonctionnalités

  • diagnostic du corpus
  • règles de normalisation documentées
  • corpus nettoyé et étiqueté par langue
  • script de traitement réutilisable

En bref

Domaine d'activité
Éducation
Plateformes et compatibilités
  • Linux
  • Windows
  • macOS
Technologies
  • Python
  • pandas
  • CAMeL Tools
  • fastText
Langues de l'interface
Français · Arabe
Wilaya
Aïn Defla

Confiance

  • Fiche relue et validée par l'équipe myElite

Conditions

Support

Adaptation du script à un nouveau lot dans le mois suivant.

Remboursement

Paiement en deux fois : la moitié au lancement, le reste à la livraison validée.

Créations similaires