Évaluation de produits et systèmes intégrant l'intelligence artificielle

Activités attendues

• Définition et formalisation d'une méthodologie et d'un protocole d'évaluation (objectifs, périmètre, scénarios de test, métriques de qualité/robustesse/sécurité, critères d'acceptation).
• Conception et préparation des jeux d'essai et des jeux de données nécessaires aux évaluations (spécifications, anonymisation, traçabilité des données, conditions de reproductibilité).
• Réalisation d'essais et d'expérimentations techniques (exécution des tests, collecte des résultats, analyse comparative des performances et des vulnérabilités).
• Évaluations spécifiques liées à la sécurité, la robustesse, l'explainability et la conformité aux règles applicables (identification des risques fonctionnels et non fonctionnels liés à l'IA).
• Rédaction de livrables techniques structurés : protocoles de test, rapports d'essais détaillés, fiches de résultats/métriques, synthèses et recommandations d'amélioration.
• Organisation et animation de réunions de suivi techniques (réunion de lancement, revues d'étape, réunions de validation des livrables) et échanges techniques pour validation des livrables.
• Mise à disposition de la documentation nécessaire à la reproductibilité des évaluations (méthodologie, scripts, jeux de données de test ou spécifications d'accès).

Exigences de rendu

• Livrables documentés et traçables (protocoles, comptes rendus d'essais, rapports finaux, recommandations opérationnelles).
• Préconisations opérationnelles et plan d'actions pour remédier aux vulnérabilités identifiées et améliorer la conformité des produits/systèmes évalués.

Contraintes techniques

• Nécessité de rigueur méthodologique, d'outils de test adaptés et de capacités à produire des indicateurs mesurables de performance/robustesse/sécurité.
• Respect des bonnes pratiques de gestion et de protection des données utilisées pour les évaluations.