
Des données à jour pour les agents d’IA avec David Yaffe d’Estuary
Que se passe-t-il lorsqu’un agent d’IA dispose d’un bon modèle, mais d’une vision dépassée de l’entreprise ? Dans cet épisode du Torras AI Podcast, je m’entretiens avec David Yaffe, cofondateur et PDG d’Estuary, au sujet de l’infrastructure de données nécessaire à une IA utile. Nous discutons de la rapidité à laquelle les données doivent circuler, de la manière de préserver leur sens pendant leur transfert et des moyens de donner aux agents accès à l’information tout en protégeant les systèmes de production.
David a cofondé Arbor, qui a été rachetée par LiveRamp, avant de devenir directeur des opérations de LiveRamp. Il a auparavant occupé des fonctions produit chez Invite Media et DoubleClick Bid Manager. Chez Estuary, il travaille à relier les systèmes où les données sont produites à ceux qui doivent les utiliser.
Regarder la conversation
Des données publicitaires à Estuary
David fait remonter les origines d’Estuary à un problème concret rencontré chez Arbor. Dans la publicité, la valeur d’un signal peut changer rapidement. Une personne qui envisage un achat peut prendre sa décision en quelques minutes : une information qui arrive bien plus tard peut donc manquer l’occasion d’être utile. Cela a conduit l’équipe à construire une infrastructure de streaming et un système open source appelé Gazette, qui est devenu l’un des fondements d’Estuary.
Nous parlons des moyens de rendre cette infrastructure plus facile à utiliser. Les équipes doivent connecter des sources et des destinations, assurer la circulation des données et rétablir le fonctionnement en cas de problème. David explique que l’objectif d’Estuary est de rendre les pipelines de streaming accessibles sans obliger chaque client à gérer leur complexité sous-jacente.
Choisir le bon moment pour les données
David explique pourquoi Estuary utilise l’expression « données au bon moment ». La vitesse nécessaire dépend de l’usage auquel les données sont destinées. Une équipe d’analyse peut souhaiter une vue consolidée d’un client ou d’une entreprise. Une application qui réagit à un nouvel événement peut avoir besoin de la modification immédiatement.
Il prend l’exemple d’un utilisateur qui reçoit l’accès à un nouveau tenant. Une application pilotée par les événements peut agir sur ce changement dès qu’il se produit. Pour une autre tâche, la représentation utile peut être un enregistrement mis à jour qui rassemble les autorisations actuelles de l’utilisateur. Choisir le moment de disponibilité des données revient aussi à choisir comment les systèmes qui les utilisent les interpréteront.
Actualité des données et gouvernance comptent toutes deux pour les agents
Un agent qui agit pour une entreprise a besoin d’informations à jour et d’un accès approprié. David présente l’actualité des données et la gouvernance comme deux questions distinctes qui exigent toutes deux une attention particulière. Des données actualisées peuvent rendre un agent utile lors d’une interaction avec un client, tandis que des autorisations excessives peuvent lui permettre d’endommager les systèmes auxquels il accède.
Nous abordons également la qualité des données à la source. Les équipes d’analyse utilisent depuis longtemps des transformations et des modèles pour contourner les imperfections des données sources. Selon David, ces solutions de contournement deviennent plus difficiles à utiliser lorsqu’un agent doit prendre rapidement une mesure opérationnelle. Les équipes doivent savoir quels enregistrements sont suffisamment fiables pour servir de base à une décision.
Une transaction doit arriver sans avoir perdu son sens
L’un des exemples les plus concrets concerne une transaction de base de données qui met à jour deux tables liées. Un nouvel utilisateur et un nouveau tenant peuvent être créés ensemble. Si les systèmes en aval voient une mise à jour avant l’autre, ils peuvent observer un état partiel qui n’a jamais existé comme état validé à la source.
David explique comment le nouveau moteur d’exécution d’Estuary permet de transmettre ensemble les modifications liées. Il décrit aussi la mise en mémoire tampon et la compression des données sur disque afin de prendre en charge les destinations mises à jour moins fréquemment. Il présente ainsi la conception et les capacités de la plateforme, en les illustrant par les compromis que nous abordons dans l’entretien.
Pourquoi les agents devraient interroger une copie des données de production
Un agent qui explore une base de données qu’il ne connaît pas peut lancer de nombreuses requêtes pour déterminer comment répondre à une question. Cette exploration peut accroître la charge sur une application de production. Avec des autorisations plus étendues, des erreurs peuvent également affecter les données sous-jacentes.
Pour les questions d’analyse, David recommande de donner à l’agent accès à une réplique ou à un entrepôt de données adapté. Pour les actions opérationnelles, il décrit un pipeline conçu de manière plus ciblée, qui réagit aux événements pertinents. Nous examinons comment préserver l’utilité des informations tout en contrôlant l’effet que l’agent peut avoir sur l’application.
Réagir aux événements à l’intérieur du pipeline
Nous nous intéressons ensuite aux agents qui réagissent aux événements pendant que les données circulent. David prend l’exemple d’une activité suspecte sur un compte. Une nouvelle inscription suivie d’une exploration anormalement rapide de l’API pourrait constituer un signal incitant un système à enquêter ou à intervenir. Dans ce contexte, le temps de réponse détermine directement ce que le système peut accomplir.
Cet exemple aide à comprendre pourquoi certaines applications tirent parti d’un flux continu d’événements. Leur conception doit néanmoins tenir compte de l’action entreprise et des conséquences d’une décision incorrecte.
Construire un connecteur n’est que le début du travail
L’IA facilite la mise en place d’une première intégration. David souligne que l’exploitation d’un pipeline implique aussi de gérer au fil du temps les changements de schéma, les modifications d’API et les défaillances. D’après son expérience, la maintenance représente une grande partie du travail.
Nous discutons de la manière dont cela influe sur le choix entre construire et acheter. Une petite expérimentation peut justifier un pipeline simple construit par l’équipe. Une entreprise qui dépend d’un flux de données continu et fiable doit tenir compte du travail d’ingénierie permanent aussi bien que de la mise en œuvre initiale.
Ingénieurs de données et valeur pour l’entreprise
David reste prudent quant à l’évolution de l’IA dans plusieurs années. Il constate aujourd’hui que l’automatisation peut permettre aux personnes de consacrer plus de temps aux problèmes métier auxquels leurs systèmes répondent. Pour les ingénieurs de données, cela comprend la vérification de l’exactitude, la compréhension des besoins de l’entreprise et les décisions concernant les informations qui lui parviennent.
Notre conversation revient à une question pratique pour quiconque développe avec l’IA. Que doit savoir le système, à quel point ces connaissances doivent-elles être à jour et que doit-il être autorisé à en faire ?
Il souligne également un coût qui peut facilement passer inaperçu. La vérification du travail des agents constitue une charge en soi, et il observe que les personnes peuvent travailler davantage à mesure que leurs responsabilités évoluent. La charge cognitive liée au contrôle des résultats reste une composante du travail.
Pour aller plus loin
Découvrez-en davantage sur Estuary, lisez les articles de David ou explorez le projet open source Gazette. David mentionne également la communauté Slack publique d’Estuary, accessible depuis son site web.





