L'évaluation des IAs : Comment passer du POC à la production
En octobre dernier, nous avons eu le plaisir d’assister au Forum PHP 2025, la plus importante conférence française dédiée à PHP. Une édition qui célébrait non seulement l’écosystème PHP, mais aussi plusieurs anniversaires majeurs : 30 ans de PHP, 25 ans de l’AFUP, 20 ans de Symfony et 10 ans d’API Platform.
Un des temps fort a été la conférence « L’évaluation des IAs : la recette secrète des agents pas trop bêtes » de François Zaninotto, CEO de Marmelab.
Vous retrouvez le replay ici :
YouTube might track you and we would rather have your consent before loading this video.
Cette conférence reprend et développe les thèmes abordés dans notre article The Secret to Reliable AI Agents: Mastering Eval.
Les défis du déploiement des agents IA
Développer un agent IA ne s’arrête pas au prototype, au contraire ! C’est le passage du prototype à la production qui constitue le vrai travail : Optimiser le coût, la rapidité et la pertinence représente souvent 90 % du temps de développement.
Les principaux défis sont :
- Le choix du bon modèle pour chaque cas d’usage.
- Garantir la fiabilité et éviter les hallucinations.
- Comparer efficacement les performances entre différentes versions.
C’est là qu’intervient la phase d’évaluation (eval), souvent négligée mais cruciale. Avec une multitude de paramètres (taille du modèle, prompts, stratégies de récupération, etc.) le fine-tuning d’un agent peut prendre des semaines.
L’objectif est simple : obtenir un agent le moins “bête” possible, capable de fournir des résultats pertinents, reproductibles, rapidement et à moindre coût.
La solution : les bons outils
La bonne nouvelle ? Les outils et frameworks d’évaluation simplifient considérablement ce processus.
Ils permettent de :
- Tester systématiquement différentes configurations.
- Suivre des indicateurs clés tels que la pertinence, le coût ou la vitesse.
- Trouver rapidement le juste équilibre entre performances et ressources.
Dans sa conférence, François partage des outils clés ainsi que des retours d’expérience concrets pour améliorer et affiner vos modèles.
À propos de Marmelab
Marmelab est une agence web basée à Nancy, spécialisée dans le développement d’applications web et mobiles sur mesure. L’agence se distingue par son expertise en développement full-stack (PHP, TypeScript, React) et en IA, ainsi que par son engagement dans l’open source.
Vous voulez évaluer un de vos agents IA ? Réalisons-le ensemble !
Authors
Marketing Manager, Caroline works to increase the visibility of Marmelab and the products we publish, especially react-admin and Atomic CRM. She has many talents: avoid challenging her at foosball!
