Agrology

Où ils en étaient

Agrology est une plateforme agro-tech qui offre aux producteurs et institutions financières une visibilité sur le cycle agricole, de la semence au port. Ils avaient des données de deux des ERP les plus importants pour alimenter des tableaux de bord BI à destination des producteurs, pour qu’ils puissent prendre des décisions éclairées. Bien qu’ils aient une base de connaissances solide, l’infrastructure de données n’avait pas suivi : stored procedures monolithiques, processus d’ingestion locaux et manuels, inefficience en coûts, et un modèle de données dépassé pour les besoins actuels du projet.

Ce que nous avons trouvé

L’ingestion des données était manuelle et fragile. Ils n’avaient pas encore de data warehouse moderne, mais une base de données transactionnelle, sans couches de staging et sans séparation des responsabilités. La standardisation des valeurs saisies par les producteurs (qui entraient des données de manière incohérente entre les ERP) se faisait à la main. L’équipe avait essayé Athena mais l’avait abandonné car l’outillage leur semblait étrange. Le vrai décalage : beaucoup d’ambition numérique, zéro architecture de données.

Ce que nous avons construit

Un datalake serverless sur AWS, à partir de zéro, comme source de vérité au niveau de l’entreprise. S3 comme colonne vertébrale de stockage avec quatre couches clairement définies : Landing, Vault, Raw et Stage. Fonctions Lambda gérant l’ingestion et l’orchestration, pour une automatisation event-driven. Glue Jobs utilisés pour la transformation : renommage des colonnes au standard Agrology, normalisation des données saisies par les producteurs, et chargement dans Redshift. DataMarts segmentés par unité métier pour que chaque utilisateur ne voie que ce dont il a besoin. Toute l’infrastructure déployée avec AWS SAM, avec infra as code, reproductible et versionnable. Chaque Lambda et chaque Glue Job notifie Slack en temps réel.

Ce qu’ils peuvent faire maintenant

L’équipe BI interroge un vrai warehouse au lieu de consommer du transactionnel. Les nouvelles sources de données se “branchent” sur le même modèle de pipeline, standardisant les processus. DataMarts donne aux équipes leurs propres vues segmentées sans se marcher dessus. L’architecture est documentée et l’équipe peut l’étendre. Quand Agrology a eu besoin de faire évoluer la plateforme davantage, la base était suffisamment solide pour construire dessus.