Plateforme fédérée de gestion des données drone

Concevoir, développer, documenter, déployer et mettre en production un entrepôt distribué et ses services numériques pour gérer des données massives et multimodales issues d’acquisitions par drone. Les workflows doivent être automatisés, reproductibles, traçables et déployables sur les infrastructures distribuées Data Terra, avec stockage objet S3 et calcul HPC/Cloud. Les composants doivent être ouverts, portables et réversibles, sans dépendance à un fournisseur cloud commercial ni logiciel propriétaire.

Cycle de vie des données

• Ingestion et validation : dépôts par interface web (glisser-déposer) ou par SSH/API REST ; détection des types et vérification des formats, intégrité et valeurs aberrantes ; organisation en données brutes, qualifiées et dérivées ; extraction des métadonnées disponibles (EXIF, en-têtes LAS, GeoTIFF, notamment), complément à partir du modèle pivot CNRS/Data Terra et première indexation STAC des produits N1.
• Traitement et transformation : conversion automatique vers des formats ouverts, génération des produits dérivés, enrichissement des métadonnées de traitement et traçabilité de leur provenance. Les produits attendus comprennent, en N2, des nuages de points classés et cartes de densité et, en N3, des modèles numériques de terrain et de surface ainsi que des ortho-images si des images N1 sont disponibles. Les traitements doivent être appelables depuis une interface graphique et par API.
• Catalogage FAIR et découverte : création des collections et Items STAC, génération et contrôle qualité des métadonnées, préparation du dépôt de DOI et mise à jour automatique des catalogues à chaque dépôt ou nouvelle version. La recherche couvre le texte multicritère, l’emprise spatiale, le temps, la plateforme drone, le capteur et le niveau de traitement. Les catalogues doivent être moissonnables par le métacatalogue fédéré Data Terra et accessibles par des API ouvertes.

Les standards et outils recommandés incluent OGC, ISO 19115-3/19115-2, STAC, stockage S3 et orchestration par Airflow, Prefect ou Argo Workflows ; pour les traitements, LAS/LAZ/COPC/EPT, COG/Zarr, OpenDroneMap, PDAL, GDAL, Rasterio ou Open3D ; pour la traçabilité, W3C PROV et RO-Crate. Des adaptations restent possibles si elles sont justifiées.

Interfaces, déploiement et livrables

Développer deux interfaces web intégrées aux composants Data Terra/GAIA Data : une interface de dépôt avec authentification fédérée SSO Earth-Data/EduGAIN, routage vers l’espace de données approprié, saisie et préremplissage des métadonnées puis validation avant lancement ; et une interface d’administration pour gérer espaces, collections, groupes et droits, suivre et relancer les workflows, consulter l’historique, les journaux, les volumes et les métriques d’utilisation. L’architecture cible comprend un frontend web moderne, un backend REST, une orchestration de workflows et des échanges avec le stockage S3, les catalogues et l’authentification fédérée ; les composants sont conteneurisés et déployables sur les infrastructures Data Terra.

Les livrables comprennent les workflows et leur documentation technique, les codes sources, la documentation détaillée et une présentation des outils. Les fichiers Docker/Kubernetes et playbooks Ansible sont à transmettre, ainsi que les fichiers Terraform s’ils sont utilisés. Le déploiement comporte une préproduction avec rapport de tests unitaires, puis une mise en production avec rapport de montée en charge, manuels utilisateurs et guides d’exploitation. Les vérifications quantitatives et qualitatives de la pile logicielle durent 2 mois à compter de sa mise à disposition.

La visualisation interactive des données N2/N3 est une PSE facultative à chiffrer séparément : navigation 2D/3D dans nuages de points, modèles numériques de terrain/surface et ortho-images, affichage progressif de très grands volumes, superposition de couches et accès aux métadonnées depuis la visualisation, compatible avec les principaux navigateurs et utilisable sans logiciel spécifique.