PandaProbe - plateforme open source d’ingénierie d’agents

PandaProbe est une plateforme open-source d’ingénierie d’agents conçue pour construire, tester et surveiller des agents IA en environnement de production. Elle se concentre sur l’observabilité et l’évaluation des systèmes d’agents en capturant des traces d’exécution complètes, en analysant les comportements de longue durée et en fournissant des métriques d’évaluation structurées. La plateforme est destinée aux développeurs travaillant avec des agents basés sur des LLM qui ont besoin d’analyses plus approfondies sur l’utilisation des outils, les chemins de décision et la régression des performances dans le temps.

1. Traçage des agents et observabilité

   Capture des trajectoires complètes des agents, y compris les appels d’outils, les interactions avec le LLM, les métadonnées et les branches de décision. Prend en charge une instrumentation en une ligne sur les principaux frameworks d’agents.

2. Évaluations et métriques du comportement des agents

   Fournit des métriques d’évaluation basées sur la recherche pour analyser l’incertitude, la dérive et les performances sur des sessions complètes d’agents plutôt que sur des requêtes isolées. Inclut un scoring LLM-as-judge avec des retours structurés.

3. Surveillance et détection des régressions

   Permet des exécutions d’évaluation planifiées (horaire, quotidien ou basé sur cron) pour détecter les régressions de performance et la dérive comportementale dans les systèmes en production.

4. Intégration multi-framework et LLM

   Fonctionne avec des frameworks comme LangChain, LangGraph, CrewAI, Google ADK, Claude Agent SDK et OpenAI Agents SDK, ainsi qu’avec des fournisseurs tels que OpenAI, Anthropic, Gemini, Mistral et AWS Bedrock.

5. CLI conviviale pour développeurs et système Skills

   Inclut un outil CLI pour la gestion des traces et des évaluations, ainsi qu’une intégration “Skills” permettant aux agents de développement (ex. Cursor, Claude Code) d’interagir avec PandaProbe via des workflows en langage naturel.

6. Flexibilité de déploiement (Cloud ou auto-hébergé)

   Prend en charge l’utilisation cloud gérée ainsi que l’auto-hébergement open-source complet sous licence Apache 2.0.

• Installer l’intégration de skill agent avec :
  • npx skills add chirpz-ai/pandaprobe-skills
• Instrumenter les agents Google ADK au démarrage en initialisant l’adaptateur avant de créer les agents.
• Utiliser les commandes CLI pour gérer les workflows :
  • pandaprobe traces list
  • pandaprobe evals runs create
  • pandaprobe evals scores list
• Planifier régulièrement des exécutions d’évaluation pour détecter rapidement les régressions en production.
• Combiner traçage + évaluation au lieu de les utiliser séparément pour une meilleure couverture de débogage.

Qu’est-ce que PandaProbe ?

PandaProbe est une plateforme open-source pour surveiller et évaluer des agents IA, fournissant des outils de traçage, de métriques et d’analyse des performances.

À quoi sert PandaProbe ?

Il permet de suivre le comportement des agents, de déboguer l’utilisation des outils, d’évaluer des workflows longs et de détecter des problèmes de performance avant qu’ils n’affectent les utilisateurs.

Peut-on utiliser uniquement le traçage sans les autres fonctionnalités ?

Oui, le traçage peut être utilisé indépendamment comme couche fondamentale pour collecter les données d’exécution des agents.

Quelles options de déploiement existent ?

Il prend en charge l’utilisation hébergée dans le cloud ainsi que l’auto-hébergement complet sous une licence open-source.

L’auto-hébergement est-il réellement gratuit ?

Oui, les fonctionnalités principales peuvent être auto-hébergées gratuitement sous la licence Apache 2.0.

Quels frameworks sont pris en charge ?

Il prend en charge LangChain, LangGraph, CrewAI, Google ADK, Claude Agent SDK, OpenAI Agents SDK, et plus encore.

Quel est l’impact sur la latence ?

Non spécifié explicitement dans le contenu fourni.

Comment démarrer ?

Vous pouvez installer le package CLI/skills, intégrer le traçage dans votre framework d’agents et commencer à exécuter des évaluations sur les sessions d’agents.

Comment fonctionne la tarification ?

La tarification est structurée en plusieurs niveaux : Hobby (gratuit), Pro (29 $/mois), Startup (299 $/mois), Enterprise (sur mesure) et une option open-source auto-hébergée.

PandaProbe se distingue comme une couche spécialisée d’observabilité et d’évaluation pour les agents IA, particulièrement utile pour les équipes construisant des workflows LLM en production. Son principal avantage est une capacité de traçage approfondie combinée à des métriques d’évaluation structurées, ce qui rend le débogage des agents multi-étapes nettement plus simple.

En revanche, la plateforme peut sembler complexe pour les débutants qui n’ont besoin que d’un simple logging ou d’un monitoring basique. De plus, certaines fonctionnalités avancées dépendent d’une configuration d’intégration correcte et d’une utilisation à l’échelle de production, ce qui peut introduire une surcharge lors de l’onboarding.

Dans l’ensemble, c’est une solution solide pour les équipes d’ingénierie axées sur la fiabilité, la discipline d’évaluation et la mise à l’échelle des systèmes d’agents au-delà des prototypes.