Samantha rougit : les biais et préjugés de l'intelligence artificielle

La voix de Scarlett Johansson vous est sûrement familière. Il doit y avoir peu de voix d'actrices que l'on reconnaisse autant que la sienne, surtout après le film Her (Her était le nom original), dans lequel Scarlett incarnait non pas un être humain mais la voix d'une assistante virtuelle, dont le protagoniste du dont le film est tombé follement amoureux.

Il y a quelques semaines, la dernière version de Chat GPT a été lancée et elle avait la nouveauté d'inclure une voix et cette voix était très similaire à celle de Scarlett Johansson, si similaire qu'elle a signalé que la sienne avait été utilisée sans son consentement. Et bien qu’il y ait eu de nombreuses discussions sur la propriété intellectuelle et l’éventuelle utilisation non autorisée de sa voix, le fait que cette voix appartenait à une femme est passé inaperçu. Si vous y réfléchissez, vous vous rendrez compte que la plupart des voix et noms des assistants virtuels sont des femmes.

Il y a quelques années, la banque Bradesco au Brésil a détecté que son assistante virtuelle, qui portait le nom d'une femme BIA, recevait de nombreux messages de harcèlement et d'abus. Il a reçu plus de 100 000 messages au cours de ses premiers jours de fonctionnement !

Cette situation l'a amené à se tourner vers l'UNESCO pour solliciter son soutien dans une campagne de sensibilisation, mais aussi pour analyser en détail la manière dont BIA a réagi lorsqu'elle a reçu ces messages de harcèlement et pour se rendre compte que dans sa formation BIA avait été préparée à répondre de manière utile, sans réagir à d’éventuelles violences verbales.

Le cas Bradesco nous amène à un sujet très pertinent en matière d’IA : quels sont les biais des algorithmes ? L'UNESCO a franchi une étape très importante : la première recommandation mondiale sur l'éthique de l'IA signée par 194 pays. Mais allons-nous vers un avenir meilleur ou reproduisons-nous les préjugés et les préjugés que nous avons aujourd’hui dans notre société ?

C'est de cela dont nous allons parler dans ce cinquième épisode de Ghosts in Algorithms avec Eleonora Lamm, responsable du domaine des sciences sociales et humaines pour l'Amérique latine et les Caraïbes à l'UNESCO. Elle est titulaire d'un doctorat en droit et bioéthique et est chargée de la mise en œuvre de cette recommandation en Amérique latine.

C'est ce que Siri, l'assistant virtuel d'Apple, a répondu au commentaire "tu es une garce" et c'est le nom du rapport de l'UNESCO qui a analysé les différentes réponses données par les assistants virtuels. Ce qui est intéressant à ce sujet, c'est qu'à partir de la décision prise par Bradesco que BIA cesse de répondre automatiquement, mais réagisse, une campagne a été menée au cours de laquelle de nombreuses entreprises qui disposaient de ce type de technologie ont également commencé à mettre à jour les réponses données par le virtuel. assistants.

Cela a conduit à une action massive de sensibilisation sur la violence de genre au Brésil. Selon Eleonora, « les discriminations, les injustices, les différences qui existent dans le monde analogique se transforment et sont transférées telles quelles dans le monde numérique ».

Une autre question que l’on néglige souvent dans les débats sur l’intelligence artificielle est son impact environnemental. La possibilité que les systèmes et modèles de prévision basés sur l’IA contribuent à lutter contre la crise climatique est déjà une réalité. En fait, comme cela a été publié ces jours-ci dans la revue scientifique Nature , un modèle de Google appelé NeuralGCM a réalisé une percée qui pourrait constituer une étape importante dans la prévision climatique soutenue par l'IA.

Il est également très vrai qu’à mesure que la puissance de calcul des systèmes d’IA augmente de façon exponentielle, leur consommation d’énergie et d’eau augmente également, et c’est pourquoi la recommandation de l’UNESCO comprenait un chapitre environnemental, des recommandations pour rendre ce problème visible et y remédier.

Eleonora le dit très simplement en chiffres : « Le chat GPT nécessite de boire une grande bouteille d'eau pour répondre à 20 questions. Imaginez si pour 20 questions posées dans le chat GPT, une bouteille d’eau était utilisée, quel impact l’intelligence artificielle a sur l’environnement ! »

Nous avons également discuté avec Eleonora de ce que font les gouvernements face à cette révolution technologique et dans quelle mesure et comment ils devraient être réglementés. Selon elle, la question n’est pas de réguler ou de ne pas réguler mais de comment le faire.

«C'est arrivé à un moment donné avec tout ce que nous avons mis sur le marché. Nous n'avons pas remis en question l'analyse visant à déterminer si le produit pourrait causer des dommages avant de pouvoir être vendu. Cependant, avec l’intelligence artificielle, il y a tellement de pouvoir derrière elle, pour ainsi dire, qu’il semble que ce contrôle pourrait être empêché d’exister », a-t-il réfléchi.

Lamm soutient que « la réglementation doit être suffisamment flexible pour comprendre qu’il s’agit d’une technologie qui progresse à pas de géant ». « Ce que nous disons comme une solution aujourd’hui ne le sera peut-être pas demain. Je pense qu’une telle rapidité de changement ne nous est jamais arrivée avec aucune autre technologie auparavant », a prévenu le spécialiste.

L’Union européenne a approuvé la législation réglementaire la plus ambitieuse jamais réalisée. L’Amérique latine doit-elle suivre le modèle de régulation européen ou trouver sa propre voie ? Selon Eleonora, « l’Amérique latine cherche sa propre régulation ».

« Je pense que notre réalité est également une réalité très différente de la réalité européenne. L’Amérique latine doit d’abord cesser d’être un acheteur d’intelligence artificielle ou de main-d’œuvre de certaines intelligences artificielles pour commencer à être un producteur d’intelligence artificielle », a-t-il souligné.

Dans le prochain épisode, nous continuerons à parler de réglementation, un sujet qui fait l'objet de nombreux débats, et nous aurons la vision d'Armando Guio Español, directeur exécutif du réseau de centres Internet et société et chercheur associé au Centre Berkman Klein. de l'Université de Harvard.

La recommandation de l'UNESCO sur l'intelligence artificielle ; « Je rougirais si je pouvais » dit le rapport de l'UNESCO sur les inégalités entre les sexes ; et le film dont nous parlions au début de l'épisode est Her , de Spike Jonze.

Ne manquez pas les épisodes précédents de Ghosts in Algorithms, où nous parlons de ce qu'est l'IA, de son impact sur le travail et l'éducation ; et comment utiliser ses outils pour prendre de meilleures décisions au quotidien. Vous pouvez y accéder à partir d'ici.

*Julia Pomares est co-fondatrice de la section latino-américaine de GIDE (The Global Initiative for Digital Empowerment) et professeure invitée à la School of Government de l'Université Di Tella.