Agrology

Dónde estaban

Agrology es una plataforma agro-tech que le da visibilidad a productores e instituciones financieras sobre el ciclo agropecuario, desde la siembra hasta el puerto. Contaban con datos de dos de los ERPs más importantes para alimentar tableros de BI de cara a los productores, para que éstos puedan decisiones informadas. Aunque tenían una sólida base de conocimiento, la infraestructura de datos no acompañaba: stored procedures monolíticos, procesos de ingesta locales y manuales, ineficiencia en costos y un modelo de datos desactualizado para las necesidades actuales del proyecto.

Qué encontramos

La ingesta de datos era manual y frágil. No tenían aún un data warehouse moderno, sino una base de datos transaccional, sin capas de staging y sin separación de responsabilidades. La estandarización de valores que cargaban los productores (que ingresaban datos de forma inconsistente entre ERPs) se hacía a mano. El equipo había probado Athena pero la abandonó porque el tooling les resultaba ajeno. La brecha real: mucha ambición digital, cero arquitectura de datos.

Qué construimos

Un datalake serverless en AWS, desde cero, como fuente de verdad a nivel de compañía. S3 como columna vertebral de storage con cuatro capas bien definidas: Landing, Vault, Raw y Stage. Funciones Lambda manejando la ingesta y la orquestación, para una automatización event-driven. Se usó Glue Jobs para la transformación: renombrar columnas al estándar de Agrology, normalizar datos ingresados por productores y cargar en Redshift. DataMarts segmentados por unidad de negocio para que cada usuario vea solo lo que necesita. Toda la infraestructura desplegada con AWS SAM, con infraestructura como código, reproducible y versionable. Cada Lambda y cada Glue Job notifica a Slack en tiempo real.

Qué pueden hacer ahora

El equipo de BI consulta un warehouse real en vez de consumir del transaccional. Nuevas fuentes de datos se “enchufan” al mismo patrón de pipeline, estandarizando procesos. Los DataMarts le dan a los equipos sus propias vistas segmentadas sin pisarse entre sí. La arquitectura está documentada y el equipo puede extenderla. Cuando Agrology necesitó evolucionar la plataforma más adelante, la base era lo suficientemente sólida para construir encima.