Datos actualizados para agentes de IA con David Yaffe de Estuary

  • Jordi Torras
  • Podcast
  • inglés

¿Qué sucede cuando un agente de IA tiene un buen modelo y una visión desactualizada del negocio? En este episodio del Torras AI Podcast, converso con David Yaffe, cofundador y CEO de Estuary, sobre la infraestructura de datos que hace útil a la IA. Hablamos de la rapidez con la que deben moverse los datos, cómo preservar su significado durante ese movimiento y cómo dar a los agentes acceso a la información sin dejar de proteger los sistemas de producción.

David cofundó Arbor, que fue adquirida por LiveRamp, y posteriormente ocupó el cargo de COO de LiveRamp. Anteriormente desempeñó funciones de producto en Invite Media y DoubleClick Bid Manager. En Estuary, trabaja en conectar los sistemas donde se originan los datos con los sistemas que necesitan utilizarlos.

Ver la conversación

De los datos publicitarios a Estuary

David sitúa los orígenes de Estuary en un problema práctico de Arbor. En publicidad, el valor de una señal puede cambiar rápidamente. Una persona que está considerando una compra puede tomar una decisión en cuestión de minutos, por lo que la información que llega mucho después puede perder la oportunidad de ayudar. Esto llevó al equipo a desarrollar una infraestructura de streaming y un sistema de código abierto llamado Gazette, que se convirtió en una de las bases de Estuary.

Hablamos de cómo facilitar el uso de esa infraestructura. Los equipos necesitan conectar fuentes y destinos, mantener los datos en movimiento y recuperarse cuando algo sale mal. David describe el objetivo de Estuary como hacer accesibles los flujos de datos en streaming sin exigir que cada cliente gestione la complejidad subyacente.

Elegir el momento adecuado para los datos

David explica el uso que hace Estuary de la expresión «datos en el momento adecuado». La velocidad necesaria depende del trabajo al que sirven los datos. Un equipo de análisis puede querer una visión consolidada de un cliente o de una empresa. Una aplicación que reacciona a un nuevo evento puede necesitar el cambio de inmediato.

Su ejemplo es el de un usuario que recibe acceso a un nuevo entorno. Una aplicación orientada a eventos puede actuar sobre ese cambio en el momento en que ocurre. Para otra tarea, la representación útil puede ser un registro actualizado que reúna los permisos actuales del usuario. Elegir el momento también significa elegir cómo interpretarán los datos quienes los consumen.

La actualidad de los datos y su gobernanza son importantes para los agentes

Un agente que actúa para una empresa necesita información actualizada y un acceso apropiado. David describe la actualidad de los datos y la gobernanza como cuestiones distintas que requieren atención. Los datos actualizados pueden hacer que un agente sea útil en una interacción con un cliente, mientras que unos permisos excesivos pueden permitirle dañar los sistemas con los que interactúa.

También hablamos de la calidad de los datos en origen. Los equipos de análisis llevan mucho tiempo utilizando transformaciones y modelos para sortear las imperfecciones de los datos de origen. David sostiene que esas soluciones alternativas se vuelven más difíciles cuando un agente debe actuar operativamente con rapidez. Los equipos necesitan comprender qué registros son lo bastante fiables como para fundamentar una decisión.

Una transacción debe llegar con su significado intacto

Uno de los ejemplos más concretos se refiere a una transacción de base de datos que actualiza dos tablas relacionadas. Un nuevo usuario y un nuevo entorno podrían crearse conjuntamente. Si los consumidores posteriores ven una actualización antes que la otra, pueden observar un estado parcial que nunca existió como estado confirmado en el origen.

David explica cómo el entorno de ejecución más reciente de Estuary aborda la entrega conjunta de cambios relacionados. También describe el almacenamiento temporal y la compresión de datos en disco para dar soporte a destinos que se actualizan con menos frecuencia. Esta es su descripción del diseño y las capacidades de la plataforma, ilustrada a través de los compromisos que analizamos en la entrevista.

Por qué los agentes deberían consultar una copia de los datos de producción

Un agente que explora una base de datos desconocida puede realizar muchas consultas mientras averigua cómo responder a una pregunta. Esa exploración puede aumentar la carga de una aplicación de producción. Con permisos más amplios, los errores también pueden afectar a los datos subyacentes.

Para las preguntas de análisis, David recomienda dar al agente acceso a una réplica o a un almacén de datos adecuado. Para las acciones operativas, describe un flujo de datos más controlado que reacciona a eventos relevantes. Exploramos cómo mantener la utilidad de la información mientras se controla el efecto que el agente puede tener en la aplicación.

Reaccionar a los eventos dentro del flujo de datos

A continuación, consideramos los agentes que responden a eventos mientras se mueven los datos. David utiliza como ejemplo la actividad sospechosa en una cuenta. Un nuevo registro seguido de una exploración de la API inusualmente rápida podría ser una señal para que un sistema investigue o intervenga. En ese contexto, el tiempo de respuesta está directamente relacionado con lo que el sistema puede lograr.

El ejemplo ayuda a explicar por qué algunas aplicaciones se benefician de un flujo continuo de eventos. El diseño sigue teniendo que considerar la acción que se lleva a cabo y las consecuencias de una decisión incorrecta.

Crear un conector es el comienzo del trabajo

La IA facilita poner en marcha una integración inicial. David señala que operar un flujo de datos también implica ocuparse de los cambios de esquema, los cambios de API y los fallos a lo largo del tiempo. Según su experiencia, el mantenimiento representa gran parte del trabajo.

Hablamos de cómo eso cambia la decisión de desarrollar o comprar. Un pequeño experimento puede justificar un flujo de datos sencillo desarrollado por el equipo. Una empresa que depende de un flujo de datos continuo y fiable debe tener en cuenta tanto el trabajo de ingeniería permanente como la implementación inicial.

Ingenieros de datos y valor empresarial

David es prudente a la hora de predecir dónde estará la IA dentro de varios años. Su observación actual es que la automatización puede permitir que las personas dediquen más tiempo a los problemas de negocio que sus sistemas ayudan a resolver. Para los ingenieros de datos, eso incluye comprobar la precisión, comprender las necesidades del negocio y tomar decisiones sobre la información que recibe.

Nuestra conversación vuelve a una pregunta práctica para cualquiera que desarrolle con IA. ¿Qué necesita saber el sistema, cuán actualizados deben estar esos conocimientos y qué se le debería permitir hacer con ellos?

También señala un coste que puede pasarse por alto fácilmente. Revisar el trabajo de los agentes supone una carga adicional, y observa que las personas pueden estar trabajando más a medida que cambian sus responsabilidades. La carga cognitiva de comprobar los resultados sigue siendo parte del trabajo.

Para profundizar

Descubre más sobre Estuary, lee los artículos de David o explora el proyecto de código abierto Gazette. David también menciona la comunidad pública de Slack de Estuary, accesible a través de su sitio web.

Haz que la IA trabaje para ti

Empodera tu visión con nuestra experiencia. Mi equipo y yo nos especializamos en convertir conceptos en realidad, ofreciendo soluciones a medida que redefinen lo posible. Desbloqueemos juntos todo el potencial de la IA. De manera efectiva.

Contáctanos