Torras.ai

¿Quién decide qué permitimos que haga la inteligencia artificial? En este episodio del Torras AI Podcast, hablo con Francesc Aguilera, manager de gobernanza de IA y privacidad en una de las principales instituciones financieras de Europa. Francesc participa en esta conversación a título personal. Las opiniones expresadas son propias y no representan a la institución donde trabaja. Hablamos de cómo las organizaciones pueden poner la IA a trabajar mientras protegen los datos, eligen riesgos aceptables y mantienen a las personas responsables de las decisiones.

Francesc aporta tres décadas de experiencia en grandes organizaciones y una formación técnica que evolucionó hacia el trabajo en gobernanza de datos, privacidad e IA. Su perspectiva conecta la tecnología con las personas y los procesos que determinan si aporta valor. La conversación es en catalán. A continuación aparece un resumen de la conversación.

Ver la conversación

Aspectos destacados de la conversación

La curiosidad conecta la tecnología con el negocio

Francesc empezó en la informática y sintió curiosidad por cómo funcionaban realmente las grandes empresas. Un MBA le ayudó a entender su mecánica, mientras que los puestos en proyectos le enseñaron a traducir las necesidades del negocio en requisitos técnicos. Esa combinación de curiosidad y la capacidad de hablar ambos lenguajes acabó llevándolo al big data, la privacidad y la gobernanza de la IA.

Describe una gran organización como algo parecido a un organismo vivo. Pasar de un puesto a otro puede sentirse como cambiar de empresa, con nuevos problemas que entender y nuevas personas de quienes aprender. Su carrera recuerda que comprender una organización es una parte continua del trabajo con su tecnología.

La gobernanza de la IA empieza por decidir qué hacer

Francesc da a la gobernanza un alcance amplio. Incluye seleccionar los usos de la IA que apoyan la estrategia de la empresa, decidir qué riesgos son aceptables, identificar y mitigar esos riesgos, y desarrollar el conocimiento que los empleados necesitan para utilizar bien la tecnología.

Por ejemplo, una organización puede decidir que un sistema puede hacer recomendaciones mientras una persona conserva la decisión final. Ese límite es una decisión de gobernanza. También lo es la decisión de desarrollar una aplicación y dejar otra de lado. Estas decisiones deben formar parte del trabajo cotidiano de los equipos de negocio, los desarrolladores y las personas que utilizan la IA.

La gobernanza se gana su lugar aportando valor

Cuando pregunto cómo puede la gobernanza ayudar a la innovación sin convertirse en burocracia, la respuesta de Francesc es directa: el equipo de gobernanza debe aportar algo útil. Involucrarse a medida que se desarrolla una idea permite detectar riesgos, aclarar requisitos y ayudar al equipo a construir un sistema en el que pueda confiar.

Señala la confianza como una contribución central: la confianza de que un sistema cumple las normas y los compromisos éticos de la organización, además de sus obligaciones legales. También hablamos del Marco de Gestión de Riesgos de IA del NIST, un marco voluntario para incorporar la fiabilidad al diseño, desarrollo, uso y evaluación de sistemas de IA.

De la productividad personal al uso organizativo

Francesc distingue entre los usos individuales y organizativos de la IA. Un empleado puede utilizar la IA para realizar un trabajo conocido de forma más rápida o mejor, mientras que un equipo puede incorporarla a un paso específico de un proceso existente. Ambos enfoques comienzan por comprender el trabajo e identificar dónde puede ayudar la tecnología.

Antes de compartir datos con la IA, pregúntate si son necesarios

La primera pregunta sobre privacidad que propone Francesc es sencilla: ¿necesita el sistema esta información? ¿Podría completarse la tarea con menos datos o con información que no identifique a una persona? Darle a un modelo todo lo disponible no debería ser la opción por defecto.

Hablamos de minimización de datos, de la finalidad del tratamiento y de la importancia de revisar cómo se utilizará la información personal. La explicación de la Comisión Europea sobre los principios del RGPD proporciona un contexto útil sobre estos temas.

Francesc también hace hincapié en la clasificación y los metadatos. Un sistema necesita información utilizable sobre qué datos son personales, internos o confidenciales si la organización espera que se apliquen normas de tratamiento diferentes. Esto conecta la gobernanza de la IA con el trabajo que los equipos de datos llevan años realizando.

Elige deliberadamente la autonomía y mantén visible la responsabilidad

Un asistente que redacta un correo electrónico y un agente que lo envía generan consecuencias distintas. Francesc plantea la elección en términos de beneficios y riesgos aceptables. Su preferencia personal hoy es utilizar la IA para preparar trabajo, comprobar información y verificar resultados, manteniendo el control humano sobre las acciones con consecuencias.

Nuestra conversación sobre la responsabilidad plantea preguntas difíciles sobre quién construyó, adaptó, desplegó y utilizó un sistema, y cómo establecer una conexión entre sus acciones y un resultado perjudicial. Exploramos esas preguntas sin tratarlas como resueltas. Decir que una IA actuó por sí sola no explica los permisos, las instrucciones y las decisiones que hicieron posibles sus acciones.

Mantén el juicio humano cuando un sistema suena humano

La conversación también aborda nuestra tendencia a atribuir cualidades humanas a sistemas que se comunican con fluidez. Francesc advierte contra la suposición de que la IA actual tiene juicio humano o conciencia social. Exploramos brevemente cuestiones especulativas sobre la consciencia, manteniendo la discusión práctica centrada en los sistemas que las personas utilizan ahora.

Comparo el software convencional con conducir un coche y trabajar con IA con montar a caballo: dirigir no siempre produce la misma respuesta predecible. La analogía nos lleva de nuevo a la necesidad de comprender los límites de un sistema y pensar cuidadosamente en las acciones que le permitimos realizar.

Surfea la ola eligiendo problemas que merezcan la pena resolver

Francesc considera que la velocidad y el alcance de esta tecnología son una diferencia definitoria respecto a olas anteriores. Las nuevas capacidades llegan directamente a las manos de las personas, lo que presiona a las organizaciones para tomar decisiones rápidamente. Compara el desafío con el surf: el momento, la dirección y el juicio determinan si la ola te lleva hacia delante.

Las grandes organizaciones pueden generar un enorme número de ideas. Seleccionar entre ellas comienza preguntando qué problema resuelve cada idea y qué valor podría crear. Los costes también forman parte de esa evaluación. Hablamos de los tokens como un gasto operativo real y de la importancia de elegir un modelo que sea suficiente para la tarea, en lugar de asumir que toda aplicación necesita la opción más capaz.

Conecta con Francesc Aguilera

Francesc recomienda LinkedIn como la forma más fácil de contactar con él. Gracias, Francesc, por compartir tu experiencia y ayudar a concretar la gobernanza de la IA: elegir trabajo útil, comprender los datos y decidir dónde corresponde el juicio humano.