Aller au contenu

Image 1 sur 1

Banc d’évaluation pour vos consignes et vos modèles, image 1

Description détaillée

Je définis avec vous les critères qui comptent : exactitude, format, ton, refus appropriés, longueur. Je construis le jeu de cas, les vérifications automatiques et un modèle juge dont je mesure l’accord avec des notations humaines. Le tout est branché à votre intégration continue. Un rapport lisible accompagne chaque exécution, avec les régressions mises en évidence. C'est une prestation que je fais très régulièrement, ce qui me permet d'annoncer un délai fiable. Délai indicatif : 11 jours à partir de la réception de tous les éléments.

Problème résolu

Votre équipe modifie les consignes à l’intuition. Lors d’un changement de version du modèle, personne ne sait si le comportement a changé jusqu’aux plaintes des utilisateurs.

Résultat promis

Un banc d’évaluation intégré à votre dépôt de code, lancé à chaque modification, avec critères automatiques et notation par modèle juge validée par des humains.

Fonctionnalités

  • grille de critères
  • jeu de cas versionné
  • modèle juge calibré
  • intégration à l’intégration continue
  • rapport automatique par exécution

En bref

Domaine d'activité
Autre
Plateformes et compatibilités
  • API
Technologies
  • GitHub Actions
  • promptfoo
  • Python
  • Langfuse
Langues de l'interface
Français · Arabe · Anglais
Wilaya
Adrar

Confiance

  • Fiche relue et validée par l'équipe myElite

Conditions

Support

Deux mois d’assistance pour faire évoluer le jeu de cas.

Remboursement

Paiement en deux fois : la moitié au lancement, le reste à la livraison validée.

Créations similaires