Modernisation des contrôles qualité et workflows de données halieutiques

La prestation consiste à documenter, harmoniser, automatiser et moderniser les procédures de validation et trois workflows de traitement de données de la CTOI. Les outils et traitements doivent être modulaires, reproductibles, testés et documentés, préserver les méthodes scientifiques validées et pouvoir s’intégrer au système d’information redessiné. Toute évolution méthodologique doit être documentée et soumise à validation institutionnelle ; aucune modification directe des données ou déploiement en production sans autorisation et contrôles applicables.

Contrôle qualité et validation

• Cartographier les contrôles manuels et automatisés, de la soumission à la publication ; repérer incohérences, doublons, lacunes et dépendances entre jeux de données, modèles de déclaration, bases et systèmes.
• Harmoniser les règles avec le catalogue de données de référence, les métadonnées et les modèles de déclaration ; créer un modèle de règles avec identifiants uniques, définitions, niveaux de gravité, jeux concernés, références requises et résultats attendus, ainsi qu’un registre versionnable.
• Examiner et refactoriser les outils existants (R, Shiny, procédures de bases de données et scripts) dans un cadre modulaire R ; développer des contrôles intra- et inter-jeux et l’accès aux listes de codes et métadonnées approuvées.
• Uniformiser les rapports d’erreurs, avertissements et informations, le suivi des résultats, corrections, nouvelles soumissions et versions de jeux ; tester sur des données historiques et d’essai, comparer aux outils existants et documenter les écarts.

Modernisation de trois workflows de traitement

Les pipelines R doivent reproduire les résultats existants, être validés sur des sorties historiques et rendre explicites les sources, hypothèses, décisions et contrôles.

• Désagrégation des captures nominales : traiter les agrégats taxonomiques et d’engins vers des estimations par espèce et niveau d’engin ; documenter les liens avec les jeux de niveaux 0, 1 et 2, les tables de correspondance, compositions historiques, pêcheries de référence et proxy, règles d’allocation et solutions de repli ; prévoir un cadre structuré et versionné.
• Conversion des captures géoréférencées entre nombres et poids : expliciter les méthodes utilisant poids moyens annuels, fréquences de tailles, captures nominales et facteurs de conversion liés à la forme du produit ; traiter les valeurs indisponibles, incomplètes ou non plausibles et définir une hiérarchie d’estimation, ses conditions et indicateurs de qualité. Spécifier une structure de base de données pour les poids, facteurs, méthodes, indicateurs et métadonnées de traitement.
• Extrapolation spatiale des captures et de l’effort : rapprocher captures et effort géoréférencés des captures nominales annuelles ; documenter facteurs de redressement, y compris les cas où les captures géoréférencées dépassent ou sont inférieures aux captures nominales, et les substitutions par zones statistiques CWP ou pêcheries proxy. Développer une méthode prototype d’extrapolation de l’effort pour certaines pêcheries palangrières et de surface, avec paramètres et règles spatiales versionnés.

Intégration, essais et transfert

Définir les interfaces, séquences, dépendances et conventions communes (identifiants, nommage, versions, dépôts, configuration et publications) ; assurer la cohérence des références et la compatibilité avec l’architecture et les services du système d’information remanié. Mettre en place des essais intégrés de la soumission à la production des résultats, des critères d’acceptation, des comparaisons avec les systèmes existants (notamment ROS), des essais d’acceptation utilisateur et une planification du déploiement par étapes. Fournir documentation opérationnelle, code, configurations, modèles de métadonnées, jeux d’essai et recommandations de gouvernance, maintenance et évolutions ; organiser démonstrations et transfert de connaissances.

Livrables et exigences de réalisation

Six ensembles sont prévus : D1 cadre de contrôle qualité (rapport, mois 1–8) ; D2 workflows de validation et composants logiciels (ensemble, mois 6–24) ; D3 désagrégation des captures (ensemble, mois 1–3) ; D4 conversion nombres-poids (ensemble, mois 3–6) ; D5 extrapolation spatiale des captures et de l’effort (ensemble, mois 6–9) ; D6 intégration et opérationnalisation, avec rapport final (ensemble, mois 1–24). Les versions finales sont en anglais, dans des formats éditables et réutilisables ; le code est documenté et versionné et chaque ensemble comprend documentation et matériel de test. Le Secrétariat de la CTOI assure la revue technique, Expertise France le suivi contractuel et l’acceptation formelle.

L’offre doit prévoir plusieurs missions de terrain aux étapes critiques, en précisant leur nombre et leur calendrier et en intégrant leurs frais au budget ; les frais de déplacement sont à la charge du prestataire. L’expertise proposée doit couvrir collectivement les qualifications avancées requises (master ou supérieur), les systèmes de données halieutiques, les méthodes statistiques et les compétences de développement R, bases de données, tests, versionnement et documentation. Si une équipe est proposée, son expert principal doit justifier d’au moins 8 ans d’expérience pertinente ; l’anglais courant est obligatoire.