Torras.ai

Qui décide de ce que nous permettons à l'intelligence artificielle de faire ? Dans cet épisode du Torras AI Podcast, je m'entretiens avec Francesc Aguilera, manager de la gouvernance de l'IA et de la confidentialité au sein de l'une des principales institutions financières européennes. Francesc participe à cette conversation à titre personnel. Les opinions exprimées sont les siennes et ne représentent pas l'institution où il travaille. Nous abordons la manière dont les organisations peuvent mettre l'IA au travail tout en protégeant les données, en choisissant des risques acceptables et en maintenant les personnes responsables des décisions.

Francesc apporte trois décennies d'expérience dans de grandes organisations ainsi qu'une formation technique qui l'a conduit à travailler sur la gouvernance des données, la confidentialité et l'IA. Son point de vue relie la technologie aux personnes et aux processus qui déterminent si elle apporte de la valeur. La conversation est en catalan. Un résumé de la conversation figure ci-dessous.

Regarder la conversation

Points forts de la conversation

La curiosité relie la technologie à l'entreprise

Francesc a commencé dans l'informatique et s'est intéressé à la façon dont les grandes entreprises fonctionnaient réellement. Un MBA l'a aidé à comprendre leurs mécanismes, tandis que des rôles en gestion de projets lui ont appris à traduire les besoins métier en exigences techniques. Cette combinaison de curiosité et de capacité à parler les deux langages l'a finalement conduit vers le big data, la confidentialité et la gouvernance de l'IA.

Il décrit une grande organisation comme une sorte d'organisme vivant. Passer d'un rôle à un autre peut donner l'impression de changer d'entreprise, avec de nouveaux problèmes à comprendre et de nouvelles personnes dont il faut apprendre. Son parcours rappelle que comprendre une organisation est une composante continue du travail avec sa technologie.

La gouvernance de l'IA commence par décider quoi faire

Francesc donne à la gouvernance un champ d'application large. Elle comprend la sélection des usages de l'IA qui soutiennent la stratégie de l'entreprise, la décision des risques qui sont acceptables, l'identification et l'atténuation de ces risques, ainsi que le développement des connaissances dont les employés ont besoin pour bien utiliser la technologie.

Par exemple, une organisation peut décider qu'un système peut formuler des recommandations tandis qu'une personne conserve la décision finale. Cette limite constitue un choix de gouvernance. Il en va de même de la décision de poursuivre une application et d'en laisser une autre de côté. Ces choix doivent s'inscrire dans le travail quotidien des équipes métier, des développeurs et des personnes qui utilisent l'IA.

La gouvernance justifie sa place en apportant de la valeur

Lorsque je demande comment la gouvernance peut aider l'innovation sans devenir bureaucratique, la réponse de Francesc est directe : l'équipe de gouvernance doit apporter quelque chose d'utile. S'impliquer à mesure qu'une idée se développe permet de repérer les risques, de clarifier les exigences et d'aider l'équipe à construire un système auquel elle peut faire confiance.

Il désigne la confiance comme une contribution centrale : la confiance qu'un système respecte les normes et les engagements éthiques de l'organisation, ainsi que ses obligations légales. Nous abordons également le cadre de gestion des risques liés à l'IA du NIST, un cadre volontaire destiné à intégrer la fiabilité dans la conception, le développement, l'utilisation et l'évaluation des systèmes d'IA.

De la productivité personnelle à l'utilisation organisationnelle

Francesc distingue les usages individuels et organisationnels de l'IA. Un employé peut utiliser l'IA pour effectuer un travail familier plus rapidement ou mieux, tandis qu'une équipe peut l'intégrer dans une étape spécifique d'un processus existant. Les deux approches commencent par la compréhension du travail et l'identification des endroits où la technologie peut aider.

Avant de partager des données avec l'IA, demandez-vous si elles sont nécessaires

La première question de confidentialité que propose Francesc est simple : le système a-t-il besoin de cette information ? La tâche pourrait-elle être accomplie avec moins de données, ou avec des informations qui n'identifient pas une personne ? Donner à un modèle tout ce qui est disponible ne devrait pas être la solution par défaut.

Nous discutons de la minimisation des données, de la finalité du traitement et de l'importance d'examiner la manière dont les informations personnelles seront utilisées. L'explication de la Commission européenne sur les principes du RGPD fournit un contexte utile sur ces sujets.

Francesc souligne également l'importance de la classification et des métadonnées. Un système a besoin d'informations exploitables sur les données qui sont personnelles, internes ou confidentielles si l'organisation prévoit d'appliquer des règles de traitement différentes. Cela relie la gouvernance de l'IA au travail que les équipes de données accomplissent depuis des années.

Choisissez délibérément l'autonomie et maintenez la responsabilité visible

Un assistant qui rédige un e-mail et un agent qui l'envoie entraînent des conséquences différentes. Francesc présente ce choix en termes de bénéfices et de risques acceptables. Sa préférence personnelle aujourd'hui est d'utiliser l'IA pour préparer le travail, vérifier les informations et valider les résultats, tout en conservant le contrôle humain sur les actions importantes.

Notre discussion sur la responsabilité soulève des questions difficiles concernant les personnes qui ont conçu, adapté, déployé et utilisé un système, ainsi que sur la façon d'établir un lien entre ses actions et un résultat préjudiciable. Nous explorons ces questions sans les considérer comme résolues. Dire qu'une IA a agi seule n'explique pas les autorisations, les instructions et les décisions qui ont rendu ses actions possibles.

Conservez le jugement humain lorsqu'un système semble humain

La conversation porte également sur notre tendance à attribuer des qualités humaines aux systèmes qui communiquent avec aisance. Francesc met en garde contre l'hypothèse selon laquelle l'IA actuelle possède un jugement humain ou une conscience sociale. Nous abordons brièvement des questions spéculatives sur la conscience, tout en gardant la discussion pratique centrée sur les systèmes que les gens utilisent aujourd'hui.

Je compare les logiciels conventionnels à la conduite d'une voiture et le travail avec l'IA à l'équitation : diriger ne produit pas toujours la même réponse prévisible. Cette analogie nous ramène à la nécessité de comprendre les limites d'un système et de réfléchir attentivement aux actions que nous lui permettons d'accomplir.

Surfez sur la vague en choisissant des problèmes qui valent la peine d'être résolus

Francesc considère la vitesse et la portée de cette technologie comme une différence déterminante par rapport aux vagues précédentes. De nouvelles capacités arrivent directement entre les mains des gens, mettant les organisations sous pression pour faire des choix rapidement. Il compare le défi au surf : le timing, la direction et le jugement déterminent si la vague vous porte vers l'avant.

Les grandes organisations peuvent générer un nombre énorme d'idées. Les sélectionner commence par se demander quel problème chaque idée résout et quelle valeur elle pourrait créer. Les coûts font également partie de cette évaluation. Nous discutons des jetons comme d'une véritable dépense d'exploitation et de l'importance de choisir un modèle suffisant pour la tâche, plutôt que de supposer que chaque application a besoin de l'option la plus performante.

Se connecter avec Francesc Aguilera

Francesc recommande LinkedIn comme le moyen le plus simple de le contacter. Merci, Francesc, d'avoir partagé votre expérience et contribué à rendre la gouvernance de l'IA concrète : choisir un travail utile, comprendre les données et décider où le jugement humain a sa place.