Servicio
IA generativa y agentes que aguantan usuarios reales
Todos quieren un agente de IA. Una demo sale en un fin de semana. Un producto que atiende a miles de usuarios sin que exploten los costos, se desvíen las respuestas o se acumulen los tickets de soporte es otro proyecto.
Una demo no es un producto
Lograr que un modelo de lenguaje responda bien una pregunta es fácil. Lograr que responda miles de preguntas distintas, de personas que no anticipaste, a un costo que cierre, con respuestas que puedas defender: ese es el trabajo. La mayoría de los proyectos de GenAI se traban entre esos dos puntos.
Tratamos GenAI como cualquier otro sistema productivo: una definición clara de éxito, datos listos, evaluación antes del lanzamiento y monitoreo después.
Lo que pusimos en producción
- En MODO construimos features de IA generativa para una app con más de 19 millones de usuarios. La búsqueda contextual salió un año antes que la competencia y no tuvo ningún incidente en producción desde el lanzamiento.
- En Techint desplegamos en 2023 un asistente RAG sobre más de 20.000 artículos corporativos multilingües, cuando esto todavía no era práctica establecida. Lo usan 80 comunicadores en todo el mundo y redujo un 15% el tiempo de búsqueda por consulta.
- En SIDOM el soporte técnico asistido por IA llevó las respuestas de 26,5 horas de resolución manual a 1,1 minutos en promedio, y le devolvió 215 horas al equipo en el período medido.
Cuándo tienen sentido los agentes
Los agentes sirven cuando una tarea tiene varios pasos, herramientas claras y una forma barata de verificar el resultado. Son una mala idea cuando un error es caro y difícil de detectar. Te vamos a decir cuál es tu caso antes de que inviertas.
Costos y control
Los costos de tokens crecen con el uso, y un diseño que es barato en un piloto puede salir caro a escala. Medimos el costo por interacción desde la primera versión, cacheamos lo que se puede cachear y derivamos los pedidos simples a modelos más chicos. Vas a saber cuánto cuesta cada respuesta antes de que aparezca en la factura.
Qué te llevás
Un caso de uso que vale la pena
Verificamos si GenAI es la herramienta correcta. A veces un buscador o un modelo clásico lo resuelve mejor y más barato.
Respuestas basadas en tus datos
Recuperación sobre tus documentos, tickets o base de conocimiento, para que el sistema responda desde tus fuentes y no desde lo que el modelo recuerda.
Evaluación antes del lanzamiento
Sets de prueba armados con preguntas reales, para medir la calidad y detectar regresiones antes de que las vean los usuarios.
Producción con costos bajo control
Despliegue, monitoreo de uso y de costos, y límites claros para lo que el sistema nunca debería hacer.
Cómo trabajamos
Diagnóstico
El problema real no siempre es el aparente a simple vista. Vemos la situación sin el sesgo de estar adentro de la organización.
Solución justa
Proponemos la solución más simple y adecuada que resuelva tu problema concreto. Nunca una bazooka para matar un mosquito.
Capacidad instalada
Cuando terminamos, tu equipo tiene ownership completo de la solución. Si seguimos trabajando juntos es porque querés y te podemos ayudar, no porque te tenemos cautivo con una caja negra.
Casos relacionados
Fintech
MODO
Procesamiento de big data, plataforma de experimentos y features de GenAI para los 4+ millones de users de la billetera digital líder de Argentina.
Comercio Exterior
SIDOM
Soporte técnico asistido por IA para la plataforma de comercio exterior líder de Argentina: respuestas que pasaron de 26 horas a menos de 2 minutos.
Industrial
Techint
Asistente RAG sobre la memoria institucional de uno de los grupos industriales más grandes de Latinoamérica, deployado en producción en 2023, cuando casi nadie sabía todavía cómo hacer esto.
Para seguir leyendo
¿Cuánto cuesta un proyecto de datos con una consultora? Variables, rangos y lo que nadie te dice
Nadie en la industria habla de precios. En este artículo desglosamos las cinco variables que afectan el costo de un proyecto de datos en un entorno productivo para generar transparencia total respecto del costo de la inversión.
La diferencia entre una PoC y un MVP (y por qué confundirlos te sale caro)
La mayoría de proyectos de IA fracasan porque no hay una conversación clara sobre si necesitás probar que algo se puede hacer o que efectivamente funcione en producción. Acá contamos cómo evitar ese error.
Por qué la mayoría de los proyectos de IA no llegan a nada
Hay cuatro errores que aparecen una y otra vez en proyectos de IA que quedan en la nada: buscar respuestas sin preguntas, dejar desamparado al equipo interno, no definir el éxito y confundir diagnóstico con ejecución. Los que funcionan, saben cómo sortear estos obstáculos.
Preguntas frecuentes
¿Un chatbot es la respuesta para nosotros?
Muchas veces no. Muchos problemas que parecen de chatbot son de búsqueda, clasificación o automatización de un flujo. Arrancamos por la tarea y el usuario, y después elegimos la interfaz.
¿Cómo manejan las alucinaciones?
Basando las respuestas en tus propias fuentes, midiendo la calidad contra preguntas reales antes del lanzamiento y diseñando qué pasa cuando el sistema no sabe. Un modelo de lenguaje no se puede volver infalible, pero sus errores sí se pueden hacer visibles y baratos.
¿Puede funcionar sin mandar nuestros datos afuera?
Depende de tus restricciones. Construimos tanto con APIs hosteadas como con modelos locales; nuestra guía para sumar un LLM local a Grafana muestra el segundo enfoque.
¿Cuánto tarda en estar en producción?
El asistente de soporte de SIDOM llevó 5 meses; el asistente de Techint, 9 meses, allá por 2023. El alcance, la calidad de los datos y las integraciones pesan más en los tiempos que el modelo.