Detailed description

J’analyse le corpus pour repérer les problèmes : encodages, doublons, langues mélangées, arabizi, bruit. Je définis avec vous les règles de normalisation, puis je les applique avec CAMeL Tools et des scripts dédiés. La détection de langue sépare ou étiquette les passages. Je livre le corpus, les statistiques avant et après et le script de traitement. Je limite volontairement le nombre de commandes en parallèle pour tenir ce délai. Outils utilisés : fastText, CAMeL Tools, Python, pandas. Délai indicatif : 12 jours à partir de la réception de tous les éléments.

Problem solved

Vos textes mélangent écritures, diacritiques, émojis, doublons et variantes orthographiques. Tout traitement en aval donne des résultats incohérents.

Promised outcome

Un corpus nettoyé et normalisé selon des règles documentées, avec des statistiques avant et après et un script réutilisable pour les prochaines collectes.

Features

• diagnostic du corpus
• règles de normalisation documentées
• corpus nettoyé et étiqueté par langue
• script de traitement réutilisable

At a glance

Industry

Education

Platforms and compatibility

• Linux
• Windows
• macOS

Technologies

• Python
• pandas
• CAMeL Tools
• fastText

Interface languages

French · Arabic

Wilaya

Aïn Defla

Trust

• Listing reviewed and approved by the myElite team

Terms