Développement d’agents LLM et services associés

Le marché porte sur des prestations à la commande, mobilisables en tout ou partie : conception et développement d’agents LLM et de workflows agentiques, intégration aux systèmes existants, évolution et optimisation des solutions, ainsi qu’assistance technique et expertise. Le besoin peut couvrir des fonctions de prédiction, simulation, classification, extraction ou génération ; les fonctions Text-to-Speech et Speech-to-Text sont réalisées lorsqu’un bon de commande les prévoit.

Agents, recherche documentaire et intégration

Les agents doivent avoir un périmètre fonctionnel, des règles d’usage et une gestion des erreurs explicites. Les chaînes RAG peuvent comprendre la collecte et la qualification des documents, leur préparation et indexation, la recherche hybride, le reranking, les citations, la mise à jour, l’archivage et la suppression des sources. L’origine et la version des documents doivent être identifiables.

Les prestations comprennent aussi l’intégration dans des applications web ou mobiles, des API et des systèmes existants, ainsi que le développement de contrôles des entrées, sorties et usages. L’architecture recherchée est modulaire, documentée, maintenable, réutilisable et portable, avec faible couplage aux modèles et fournisseurs, configuration externalisée, gestion des versions et possibilité de retour arrière lorsque nécessaire.

L’environnement de référence comprend notamment Python, Django et FastAPI ; React, React Native, HTML5 et CSS3 ; PostgreSQL, PostGIS et pgVector ; des LLM propriétaires ou open source et des outils RAG ; API REST/OpenAPI, GitLab et Docker. Les outils de qualité cités sont Pytest, Playwright et SonarQube. Des technologies équivalentes ou complémentaires peuvent être proposées si elles sont justifiées et validées.

Maîtrise des réponses, sécurité et qualité

Les mesures attendues comprennent garde-fous et validation des entrées et sorties, réduction des hallucinations, citation des sources lorsque le cas d’usage le permet, gestion des refus et incertitudes, supervision humaine pour les actions ou décisions sensibles et tests face aux formulations adversariales. Les agents n’accèdent qu’aux outils, connecteurs et autorisations strictement nécessaires.

La sécurisation traite notamment les risques de prompt injection, fuite de données, divulgation d’instructions, détournement d’usage, accès excessif aux outils, empoisonnement des données et dépendances vulnérables. Les accès sont limités au besoin d’en connaître ; aucun secret ne doit apparaître en clair dans le code, la documentation ou les journaux. Les dépendances et licences sont inventoriées et font l’objet d’une veille de vulnérabilités. Les vulnérabilités critiques sont signalées immédiatement.

Les tests peuvent couvrir les volets unitaires, intégration, API, fonctionnel, non-régression, sécurité, performance, charge, endurance et robustesse des agents. Un référentiel de scénarios représentatifs est constitué ou enrichi ; le volume cible indiqué pour un produit mature est de l’ordre de 100 scénarios. Les indicateurs sont définis pour chaque cas d’usage ; les seuils de performance dépendent du contexte et, à défaut de seuil contractuel, le titulaire mesure les résultats, identifie les écarts et propose des optimisations sans garantie de résultat absolu.

Expertise, exploitation et livrables

Les prestations d’assistance et d’expertise peuvent inclure le cadrage de cas d’usage, l’étude de faisabilité, l’estimation de charges, le prototypage, l’analyse de risques, la définition d’indicateurs, l’accompagnement à la conformité et la préparation de décisions techniques. Sont également prévus l’optimisation des réponses, modèles, appels, cache et consommation de tokens, le monitoring et l’observabilité, les audits et revues techniques, les benchmarks, les migrations de modèles ou frameworks, l’assistance au maintien en condition opérationnelle et la correction d’anomalies.

Les livrables sont adaptés à chaque commande, tenus à jour et remis dans des formats ouverts et modifiables, avec une version PDF lorsqu’elle est demandée. Ils peuvent comprendre notes de cadrage, estimations, plannings, spécifications, schémas d’architecture, code source, scripts, configurations, pipelines, documentation des modèles et prompts, corpus et règles d’indexation, plans et résultats de tests, analyses de risques, rapports de vulnérabilités, guides d’installation et d’exploitation, supports de formation et bilan de clôture. Toute évolution significative entraîne la mise à jour des documents concernés.

Les données, prompts, documents, codes, configurations et résultats sont confidentiels selon les stipulations du marché ; leur réutilisation pour entraîner, améliorer ou évaluer un service tiers requiert une autorisation écrite préalable. Les lieux d’hébergement et de traitement, sous-traitants, transferts éventuels et conditions d’utilisation des fournisseurs de modèles sont documentés. Les résultats dépendent notamment de la qualité des données, des environnements, des droits d’accès et des services tiers ; toute dépendance affectant charges, délais, performances ou conformité doit être signalée sans délai.