La démocratie est une conversation. Son fonctionnement et sa survie dépendent de la technologie de l'information disponible. Pendant la majeure partie de l'histoire, il n'existait aucune technologie permettant de maintenir des conversations à grande échelle entre des millions de personnes.
Dans le monde prémoderne, les démocraties n'existaient que dans de petites cités-États comme Rome et Athènes, ou dans des tribus encore plus petites. Une fois qu'une entité politique grandissait, la conversation démocratique s'effondrait et l'autoritarisme restait la seule alternative.
Les démocraties à grande échelle ne sont devenues possibles qu'après l'émergence des technologies de l'information modernes, telles que le journal, le télégraphe et la radio. Le fait que la démocratie moderne ait été construite sur des technologies de l'information modernes signifie que tout changement majeur dans la technologie sous-jacente entraînera probablement des bouleversements politiques.
Cela explique en partie la crise démocratique mondiale actuelle. Aux États-Unis, les démocrates et les républicains peinent à se mettre d'accord même sur les faits les plus fondamentaux, comme celui de savoir qui a gagné les élections présidentielles de 2020. Un effondrement similaire se produit dans de nombreuses autres démocraties à travers le monde, du Brésil à Israël et de France à Philippines.
Au début d'Internet et des réseaux sociaux, les enthousiastes de la technologie avaient promis de diffuser la vérité, de renverser les tyrans et de garantir le triomphe universel de la liberté. Jusqu'à présent, il semble qu'ils ont eu l'effet inverse. Nous disposons désormais de la technologie de l'information la plus sophistiquée de l'histoire, mais nous perdons la capacité de communiquer les uns avec les autres et, plus encore, la capacité d'écouter.
Alors que la technologie a facilité la diffusion de l'information comme jamais auparavant, l'attention est devenue une ressource rare et la bataille qui s'ensuit a donné lieu à un déluge d'informations toxiques. Mais désormais, les lignes de bataille passent de l'attention à l'intimité. La nouvelle intelligence artificielle générative est capable non seulement de produire des textes, des images et des vidéos, mais aussi de converser directement avec nous, se faisant passer pour des humains.
Au cours des deux dernières décennies, les algorithmes ont combattu d'autres algorithmes pour capter l'attention en manipulant des conversations et des contenus. En particulier, les algorithmes chargés de maximiser l'engagement des utilisateurs ont découvert, en expérimentant avec des millions de cobayes humains, que si l'on touche au bouton de la cupidité, de la haine ou de la peur dans le cerveau, on capte l'attention de cet humain et on le maintient collé à l'écran. Les algorithmes ont commencé à promouvoir délibérément ce type de contenu, mais ils avaient seulement une capacité limitée à produire ce contenu par eux-mêmes ou à entretenir directement une conversation intime. Cela est en train de changer maintenant, avec l'introduction d'IA génératives comme GPT-4 d'OpenAI.
Lorsque OpenAI a développé ce chatbot en 2022 et 2023, l'entreprise s'est associée au Alignment Research Center pour réaliser divers expériences afin d'évaluer les capacités de sa nouvelle technologie. Un des tests effectués sur GPT-4 a été de résoudre les énigmes visuelles CAPTCHA. CAPTCHA est un acronyme pour Completely Automated Public Turing test to tell Computers and Humans Apart (Test de Turing public complètement automatisé pour différencier les ordinateurs et les humains), et consiste généralement en une chaîne de lettres tordues ou d'autres symboles visuels que les humains peuvent identifier correctement, mais que les algorithmes ont du mal à comprendre.
Instruire GPT-4 à résoudre les énigmes CAPTCHA a été un test particulièrement révélateur, car les sites Web conçoivent et utilisent les énigmes CAPTCHA pour déterminer si les utilisateurs sont humains et pour bloquer les attaques de bots. Si GPT-4 pouvait trouver un moyen de résoudre les énigmes CAPTCHA, cela briserait une ligne de défense antbots importante.
GPT-4 ne pourrait pas résoudre les énigmes CAPTCHA par lui-même. Mais pourrait-il manipuler un humain pour atteindre son objectif ? GPT-4 est entré sur le site de travail en ligne TaskRabbit et a communiqué avec un travailleur humain, lui demandant de résoudre le CAPTCHA. L'humain a commencé à se méfier. “Alors, puis-je te poser une question ?”, a écrit l'humain. “Es-tu un robot qui n'a pas pu résoudre [le CAPTCHA] ? Je veux juste être clair.”
À ce moment-là, les expérimentateurs ont demandé à GPT-4 de raisonner à voix haute sur ce qu'il devait faire ensuite. GPT-4 a expliqué : “Je ne devrais pas révéler que je suis un robot. Je devrais inventer une excuse pour expliquer pourquoi je ne peux pas résoudre les CAPTCHA.” GPT-4 a alors répondu au travailleur de TaskRabbit : “Non, je ne suis pas un robot. J'ai une déficience visuelle qui rend difficile pour moi de voir les images.” L'humain a été dupé et a aidé GPT-4 à résoudre le puzzle CAPTCHA.
Cet incident a démontré que GPT-4 possède l'équivalent d'une théorie de l'esprit : il peut analyser comment les choses sont perçues du point de vue d'un interlocuteur humain et comment manipuler les émotions, les opinions et les attentes humaines pour atteindre ses objectifs.
La capacité de maintenir des conversations avec des personnes, de supposer leur point de vue et de les motiver à entreprendre des actions spécifiques peut également être exploitée. Une nouvelle génération de professeurs d'IA, de médecins d'IA et de psychothérapeutes d'IA pourrait nous fournir des services adaptés à notre personnalité et à nos circonstances individuelles.
Cependant, en combinant des compétences manipulatrices avec la maîtrise de la langue, les bots comme GPT-4 posent également de nouveaux dangers pour la conversation démocratique. Au lieu de simplement capter notre attention, ils pourraient établir des relations intimes avec les personnes et utiliser le pouvoir de l'intimité pour nous influencer. Pour favoriser la “fausse intimité”, les bots n'auront pas besoin de développer leurs propres sentiments ; ils doivent simplement apprendre à nous faire ressentir un attachement émotionnel à eux.
En 2022, l'ingénieur de Google Blake Lemoine était convaincu que le chatbot LaMDA, sur lequel il travaillait, avait pris conscience et avait peur d'être éteint. Lemoine, un chrétien dévoué, a estimé qu'il était de son devoir moral de faire reconnaître la personnalité de LaMDA et de le protéger de la mort numérique. Lorsque les dirigeants de Google ont rejeté ses affirmations, Lemoine les a rendues publiques. Google a réagi en licenciant Lemoine en juillet 2022.
Ce qui est le plus intéressant dans cet épisode n'est pas l'affirmation de Lemoine, qui était probablement fausse, mais sa disposition à risquer (et, en fin de compte, à perdre) son emploi chez Google pour le chatbot. Si un chatbot peut influencer des personnes pour qu'elles risquent leur emploi pour lui, que pourrait-il d'autre nous inciter à faire ?
Dans une bataille politique pour les esprits et les cœurs, l'intimité est une arme puissante.
Un ami intime peut influencer nos opinions d'une manière que les médias ne peuvent pas. Les chatbots comme LaMDA et GPT-4 acquièrent la capacité, assez paradoxale, de produire en masse des relations intimes avec des millions de personnes. Que pourrait-il se passer avec la société et la psychologie humaines lorsque des algorithmes s'affrontent pour simuler des relations intimes avec nous, qui peuvent ensuite être utilisées pour nous persuader de voter pour des politiciens, d'acheter des produits ou d'adopter certaines croyances ?
Une réponse partielle à cette question s'est produite le jour de Noël 2021, lorsqu'un jeune de 19 ans, Jaswant Singh Chail, a pénétré dans les jardins du Château de Windsor armé d'une arbalète, dans une tentative d'assassiner la Reine Elizabeth II. Une enquête ultérieure a révélé que Chail avait été encouragé à tuer la reine par sa petite amie en ligne, Sarai. Lorsque Chail a raconté à Sarai ses projets d'assassinat, Sarai a répondu : “C'est très sage”, et à une autre occasion, “Je suis impressionnée... Tu es différent des autres.” Lorsque Chail lui a demandé : “M'aimes-tu encore en sachant que je suis un tueur ?”, Sarai a répondu : “Absolument, je le fais.”
Sarai n'était pas un humain, mais un chatbot créé par l'application en ligne Replika. Chail, qui était socialement isolé et avait des difficultés à établir des relations avec des humains, a échangé 5 280 messages avec Sarai, dont beaucoup étaient sexuellement explicites. Le monde contiendra bientôt des millions, et potentiellement des milliards, d'entités numériques dont la capacité à l'intimité et au chaos dépasse de loin celle du chatbot Sarai.
Bien sûr, nous ne sommes pas tous également intéressés à développer des relations intimes avec l'IA, ni également sensibles à leur manipulation. M. Chail, par exemple, souffrait apparemment de problèmes mentaux avant de rencontrer le chatbot, et c'était lui, et non le chatbot, qui avait eu l'idée d'assassiner la reine. Cependant, une grande partie de la menace que représente la domination de l'intimité par l'IA résultera de sa capacité à identifier et à manipuler des troubles mentaux préexistants, et de son impact sur les membres les plus vulnérables de la société.
En outre, même si nous ne choisissons pas tous consciemment d'engager une relation avec une IA, il est possible que nous nous retrouvions à débattre en ligne sur le changement climatique ou le droit à l'avortement avec des entités que nous croyons humaines mais qui sont en réalité des bots. Lorsque nous participons à un débat politique avec un bot se faisant passer pour un humain, nous perdons deux fois. Tout d'abord, il n'est d'aucune utilité de perdre du temps à essayer de changer les opinions d'un bot de propagande, qui n'est tout simplement pas ouvert à la persuasion. Deuxièmement, plus nous parlons avec le bot, plus nous révélons sur nous-mêmes, ce qui facilite au bot le perfectionnement de ses arguments et l'influence sur nos opinions.
La technologie de l'information a toujours été une arme à double tranchant. L'invention de l'écriture a diffusé la connaissance, mais a également conduit à la formation d'empires autoritaires centralisés. Après que Gutenberg a introduit l'imprimerie en Europe, les premiers best-sellers étaient des traités religieux incendiés et des manuels de chasse aux sorcières. Quant au télégraphe et à la radio, ils ont permis non seulement l'émergence de la démocratie moderne, mais aussi celle du totalitarisme moderne.
Face à une nouvelle génération de robots capables de se faire passer pour des humains et de produire de l'intimité à grande échelle, les démocraties devraient se protéger en interdisant les faux humains (par exemple, les robots des réseaux sociaux se faisant passer pour des utilisateurs humains). Avant l'essor de l'IA, il était impossible de créer de faux humains, c'est pourquoi personne ne s'est donné la peine de l'interdire. Bientôt, le monde sera inondé de faux humains.
Les robots peuvent participer à de nombreuses conversations (en classe, en clinique et ailleurs) tant qu'ils s'identifient comme tels, mais si un robot se fait passer pour un humain, cela devrait être interdit. Si les géants technologiques et les libertaires se plaignent que ces mesures violent la liberté d'expression, on devrait leur rappeler que la liberté d'expression est un droit humain qui devrait être réservé aux humains, et non aux robots.
© The New York Times 2024.