Dades actualitzades per als agents d’IA amb David Yaffe d’Estuary

  • Jordi Torras
  • Podcast
  • anglès

Què passa quan un agent d'IA té un bon model i una visió desactualitzada del negoci? En aquest episodi del Torras AI Podcast, parlo amb David Yaffe, cofundador i CEO d'Estuary, sobre la infraestructura de dades que hi ha darrere d'una IA útil. Parlem de la rapidesa amb què s'han de moure les dades, de com preservar-ne el significat mentre es mouen i de com donar als agents accés a la informació tot protegint els sistemes de producció.

David va cofundar Arbor, que va ser adquirida per LiveRamp, i més tard va ocupar el càrrec de director d'operacions de LiveRamp. Anteriorment havia treballat en funcions de producte a Invite Media i DoubleClick Bid Manager. A Estuary, treballa per connectar els sistemes on s'originen les dades amb els sistemes que les han d'utilitzar.

Mireu la conversa

De les dades publicitàries a Estuary

David situa els orígens d'Estuary en un problema pràctic a Arbor. En publicitat, el valor d'un senyal pot canviar ràpidament. Una persona que es planteja fer una compra pot prendre una decisió en qüestió de minuts, de manera que la informació que arriba molt més tard pot perdre l'oportunitat de ser útil. Això va portar l'equip a construir una infraestructura de flux de dades i un sistema de codi obert anomenat Gazette, que es va convertir en una de les bases d'Estuary.

Parlem de com fer que aquesta infraestructura sigui més fàcil d'utilitzar. Els equips han de connectar fonts i destinacions, mantenir les dades en moviment i recuperar-se quan alguna cosa falla. David descriu l'objectiu d'Estuary com el de fer accessibles els fluxos de dades en temps real sense exigir que cada client gestioni la complexitat subjacent.

Triar el moment adequat per a les dades

David explica com Estuary fa servir l'expressió «dades en el moment adequat». La velocitat necessària depèn de la feina a què donen suport les dades. Un equip d'analítica pot voler una visió consolidada d'un client o d'una empresa. Una aplicació que reacciona a un esdeveniment nou pot necessitar el canvi immediatament.

El seu exemple és el d'un usuari que rep accés a un nou entorn de client. Una aplicació basada en esdeveniments pot actuar sobre aquest canvi en el moment que es produeix. Per a una altra tasca, la representació útil pot ser un registre actualitzat que combini els permisos vigents de l'usuari. Triar el moment també vol dir triar com interpretaran les dades els sistemes que les consumeixen.

L'actualització i la governança són importants per als agents

Un agent que actua en nom d'una empresa necessita informació actualitzada i un accés adequat. David descriu l'actualització i la governança com a qüestions diferenciades que totes dues requereixen atenció. Les dades actualitzades poden fer que un agent sigui útil en una interacció amb un client, mentre que uns permisos excessius poden permetre-li danyar els sistemes amb què interactua.

També parlem de la qualitat de les dades a la font. Els equips d'analítica fa temps que utilitzen transformacions i models per compensar les imperfeccions de les dades d'origen. David sosté que aquestes solucions alternatives es tornen més difícils quan un agent ha de prendre mesures operatives ràpidament. Els equips han d'entendre quins registres són prou fiables per fonamentar una decisió.

Una transacció ha d'arribar amb el significat intacte

Un dels exemples més concrets tracta d'una transacció de base de dades que actualitza dues taules relacionades. Un usuari nou i un nou entorn de client es podrien crear alhora. Si els sistemes que consumeixen les dades aigües avall veuen una actualització abans que l'altra, poden observar un estat parcial que mai no va existir com a estat confirmat a la font.

David explica com l'entorn d'execució més recent d'Estuary aborda el lliurament conjunt de canvis relacionats. També descriu com s'emmagatzemen temporalment i es comprimeixen les dades al disc per donar suport a destinacions que s'actualitzen amb menys freqüència. Aquesta és la seva explicació del disseny i les capacitats de la plataforma, il·lustrada amb les decisions de compromís que comentem a l'entrevista.

Per què els agents haurien de consultar una còpia de les dades de producció

Un agent que explora una base de dades que no coneix pot fer moltes consultes mentre esbrina com respondre una pregunta. Aquesta exploració pot afegir càrrega a una aplicació de producció. Amb permisos més amplis, els errors també poden afectar les dades subjacents.

Per a preguntes d'analítica, David recomana donar a l'agent accés a una rèplica o a un magatzem de dades adequat. Per a les accions operatives, descriu un flux més deliberat que reacciona als esdeveniments rellevants. Explorem com mantenir la utilitat de la informació alhora que es controla l'efecte que l'agent pot tenir sobre l'aplicació.

Reaccionar als esdeveniments dins del flux de dades

A continuació, considerem agents que responen als esdeveniments mentre les dades es mouen. David posa com a exemple l'activitat sospitosa en un compte. Un nou registre seguit d'una exploració de l'API inusualment ràpida podria ser un senyal perquè un sistema investigui o intervingui. En aquest context, el temps de resposta està directament relacionat amb allò que el sistema pot aconseguir.

L'exemple ajuda a explicar per què algunes aplicacions es beneficien d'un flux continu d'esdeveniments. El disseny també ha de tenir en compte l'acció que s'està duent a terme i les conseqüències d'una decisió incorrecta.

Construir un connector és el començament de la feina

La IA facilita posar en marxa una integració inicial. David assenyala que operar un flux de dades també implica gestionar els canvis d'esquema, els canvis de les API i les fallades al llarg del temps. Segons la seva experiència, el manteniment representa una gran part de la feina.

Parlem de com això canvia la decisió de construir o comprar. Un experiment petit pot justificar un flux senzill construït per l'equip. Una empresa que depèn d'un flux de dades continu i fiable ha de tenir en compte tant la feina d'enginyeria continuada com la implementació inicial.

Enginyers de dades i valor per al negoci

David és prudent a l'hora de predir on serà la IA d'aquí a uns quants anys. Actualment observa que l'automatització pot permetre que les persones dediquin més temps als problemes de negoci que els seus sistemes ajuden a resoldre. Per als enginyers de dades, això inclou comprovar l'exactitud, entendre què necessita el negoci i prendre decisions sobre la informació que li arriba.

La nostra conversa torna a una pregunta pràctica per a qualsevol persona que desenvolupi amb IA. Què necessita saber el sistema, com d'actualitzat ha de ser aquest coneixement i què se li hauria de permetre fer amb aquesta informació?

També assenyala un cost que pot passar fàcilment desapercebut. Revisar la feina dels agents comporta una càrrega pròpia, i observa que les persones poden estar treballant més a mesura que canvien les seves responsabilitats. La càrrega cognitiva de comprovar els resultats continua formant part de la feina.

Per aprofundir-hi

Obteniu més informació sobre Estuary, llegiu els articles de David o exploreu el projecte Gazette de codi obert. David també esmenta la comunitat pública d'Slack d'Estuary, accessible a través del seu lloc web.

Fes que l'IA treballi per a tu

Empodera la teva visió amb la nostra experiència. Jo i el meu equip estem especialitzats en convertir conceptes en realitat, oferint solucions a mida que redefineixen el que és possible. Desbloquegem el ple potencial de l'IA. Efectivament.

Contacta'ns