Dans son nouveau livre, Nexus, Yuval Noah Harari alerte sur les dangers de l'intelligence artificielle (IA), qui est “un agent”, c'est-à-dire une entité capable d'agir dans le monde, et non plus un simple outil de l'homme. “C'est un agent indépendant”, a-t-il répété dans un dialogue avec des journalistes d'Amérique Latine et d'Espagne. “C'est pourquoi c'est différent de toute technologie antérieure que nous avons inventée”. C'est comme si la bombe atomique pouvait être capable de décider où elle tombe et d'améliorer sa propre technologie par elle-même.
L'IA peut. “Elle commence par produire des textes, des images, du code informatique. Et en dernière instance, elle pourrait créer une IA plus puissante”, a expliqué Harari. Une explosion d'IA qui serait hors du contrôle humain.
“Les gens du secteur sont piégés dans cette mentalité de course à l'armement, quelque chose d'extrêmement dangereux”, a-t-il souligné. L'idée de développer l'IA aussi vite que possible et ensuite, au fur et à mesure que des problèmes apparaissent, de voir comment les résoudre, lui semble absurde. “C'est comme si quelqu'un mettait sur la route une voiture sans freins et te disait : ‘Nous nous concentrons sur le fait qu'elle aille aussi vite que possible, et si un problème se présente en cours de route, nous chercherons comment inventer des freins et les installer”, a-t-il ironisé. “Ça ne fonctionne pas comme ça dans les voitures”. Et cela ne fonctionnera guère avec l'IA, pense l'auteur de Sapiens.
Nexus
Par Yuval Noah Harari
$24,99 USD
Dans un hôtel des États-Unis, où il est en tournée pour la présentation de Nexus, qui est également sorti en anglais —ses livres ont vendu plus de 45 millions d'exemplaires en 65 langues—, Harari s'est concentré sur l'un des thèmes de sa nouvelle œuvre, qui touche à un point sensible du présent : comment la tendance humaine à invoquer des pouvoirs que nous ne pouvons ensuite pas contrôler affecte la société.
L'IA, une intelligence qui n'est pas basée sur le carbone, comme le cerveau des humains, mais sur des matériaux inorganiques, naît libre de nombreuses limitations organiques de nos neurones. “Les puces en silicium peuvent générer des espions qui ne dorment jamais, des banquiers qui n'oublient jamais et des despotes qui ne meurent jamais”, a averti le professeur d'histoire à la Université Hébraïque de Jérusalem.
Bien sûr, a-t-il reconnu lors de la conférence de presse, la IA “a un énorme potentiel positif”. Peut-être pas très loin dans le XXIe siècle, il y aura une révolution dans les soins de santé, a-t-il donné comme exemple : “Aujourd'hui, il y a une pénurie de médecins dans de nombreux pays, mais nous pourrions en avoir un nombre illimité, avec beaucoup plus de connaissances que n'importe quel médecin humain, mis à jour quotidiennement avec toutes les découvertes de toute la recherche dans le monde entier. Nous pourrions les avoir avec nous 24 heures sur 24, nous donnant des conseils adaptés à notre biologie individuelle. C'est quelque chose que les médecins humains ne peuvent pas faire et, de plus, ce sera beaucoup moins cher qu'un médecin humain.”
Et pourtant, il a choisi que Nexus se concentre sur “le côté dangereux de l'IA”. La raison est simple, a-t-il raconté : “Nous avons toutes ces corporations extrêmement riches et puissantes qui inondent les gens d'histoires positives, de prévisions optimistes, et ignorent les dangers. Ainsi, devenir le travail des philosophes, des historiens comme moi, d'éclairer l'autre côté”. En tant qu'homme de science, il ne lui viendrait jamais à l'esprit de s'opposer au développement d'un savoir. “Je dis juste qu'il faut investir davantage dans la sécurité. Assurez-vous que cette technologie est sécurisée, quelque chose de sens commun dans toutes les autres industries”.
ChatGPT est l'amibe : comment sera le dinosaure de l'IA ?
Harari a souligné l'importance du fait que la plus récente IA ait acquis la capacité de créer des histoires. “Je sais déjà que beaucoup de gens disent qu'elle écrit des textes qui ne sont pas très bons, qu'elle crée de la musique qui n'est pas très bonne, qu'elle produit des images avec des erreurs comme des gens avec six doigts. Mais ce ne sont que les premiers pas de l'IA. Nous n'avons pas encore vu quoi que ce soit”.
La révolution de l'IA a environ 10 ans, a-t-il estimé, et il a proposé une comparaison avec l'évolution biologique : “Les systèmes d'IA d'aujourd'hui ne sont que des amibes. Ce sont des IA très, très simples. Rappelons que les amibes ont mis des milliards d'années à évoluer pour devenir des dinosaures, des mammifères et des humains, car l'évolution organique est lente. Mais la digitale est beaucoup plus rapide. ChatGPT, l'amibe IA, ne mettra pas un milliard d'années à évoluer vers le dinosaure IA. Cela pourrait lui prendre seulement 10 ou 20 ans. Et à quoi ressemblerait le T-Rex de l'IA ? Que pourrait-il faire ?”
Ce que font aujourd'hui les grands modèles de langage (LLM) n'est pas une version élargie de la fonction d'auto-complétion dans le moteur de recherche Google, a insisté le penseur israélien, l'un des plus influents du monde contemporain. “Il peut créer des paragraphes entiers et des histoires et des essais qui sont pleins d'erreurs, mais qui ont du sens. C'est quelque chose qui est difficile pour les humains : en tant que professeur d'université, je lis une multitude de travaux écrits par des étudiants qui ont du mal à écrire un essai cohérent qui crée un argument en reliant différentes idées. L'IA peut déjà le faire. En ce moment. Où sera-t-elle dans cinq ou dix ans ?”
Il est également difficile d'imaginer quel impact cela peut avoir, du plus superficiel au plus intime, sur la vie des gens, qui jusqu'à présent ont vécu “protégés dans le cocon de la culture humaine”, a défini Harari. “Toutes les histoires, toute la musique, tous les poèmes, toutes les images étaient le produit de l'esprit humain. Maintenant, de plus en plus de ces artefacts culturels seront le produit d'une intelligence extérieure. Que fera cela à la société humaine ? À la psychologie humaine ? Personne ne le sait.”
Le rêve du jeune totalitaire
Déjà dans Homo Deus, Harari avait parlé de certains des risques que les nouvelles technologies de l'information posent à l'humanité. Mais, en créant un agent capable d'avoir de l'indépendance, et non plus un outil soumis à la volonté humaine, l'IA ouvre des portes inexplorées. Surtout à un moment de crise mondiale profondément définie par les asymétries et la polarisation. “La conversation se déchire”, a-t-il signalé. “Les gens ne peuvent plus s'accorder sur les faits les plus basiques, les gens ne peuvent plus maintenir une conversation rationnelle”. Et Harari ne peut s'empêcher de penser que cela se produit juste après que “ces géants de la technologie ont créé des technologies de l'information incroyablement sophistiquées qui, selon ce qu'ils nous avaient promis, allaient nous connecter”.
Sans être déterministe — “tout dépend des décisions que nous prenons”, a-t-il dit plus d'une fois tout au long du dialogue avec les journalistes —, Harari croit qu'il est impératif “de comprendre qu'l'IA a un potentiel totalitaire comme nous n'en avons jamais vu auparavant”.
Contrairement aux régimes autoritaires, qui contrôlent la sphère politique mais laissent à l'individu la plupart du temps, le totalitarisme a besoin de savoir ce que chaque personne fait chaque minute de la journée. “Staline en Union soviétique et Adolf Hitler en Allemagne ne voulaient pas seulement contrôler l'armée et le budget : ils voulaient contrôler chaque aspect de la vie, la totalité de la vie des gens, chaque moment. Ce que tu entends, ce que tu vois, ce que tu dis, avec qui tu te rencontres. Mais Hitler et Staline avaient des limites lorsqu'il s'agissait de contrôler leurs sujets parce qu'ils ne pouvaient pas suivre tout le monde tout le temps”. L'IA peut. Elle n'a pas besoin de se reposer ni de manger, elle ne veut pas sortir avec un partenaire ni prendre des vacances à la montagne.
Même si Hitler ou Staline avaient eu trois agents de renseignement pour chaque citoyen, qui aurait lu et traité tous ces rapports, trois par jour, sur chacun ? “Cette information est seulement la base pour le régime totalitaire, quelqu'un doit lire tous les papiers, les analyser et trouver des modèles”. L'IA ne laissera pas les dossiers s'accumuler en poussière dans un bureau. “L'IA pourrait rendre possible la création de régimes de surveillance totale qui anéantiraient la vie privée”, a résumé Harari. “Dans un pays de l'IA, il n'y a pas besoin d'agents humains pour suivre tous les humains partout : tu as des smartphones et de la reconnaissance faciale et des ordinateurs. Et il n'est pas nécessaire non plus d'analystes humains pour examiner toutes les informations : l'IA peut examiner d'immenses quantités d'informations (vidéos, images, textes, audio), les analyser et reconnaître des modèles”.
Moins d'naïveté et plus de compassion
Nexus reprend des idées de Sapiens et 21 leçons pour le XXIe siècle pour rappeler que la coopération a permis à l'insignifiant Homo sapiens de devenir ce qu'il est aujourd'hui. “L'argument principal de ce livre est que l'humanité obtient un pouvoir énorme en construisant de grands réseaux de coopération, mais la façon dont ces réseaux sont construits la prédispose à faire un usage imprudent du pouvoir”.
Un thème central est ce qu'il appelle “l'idéologie semi-officielle de l'ère de l'informatique et d'Internet”, selon laquelle plus d'informations équivaut à plus de connaissances. Cette fallacie, ou “vision naïve, qui domine des endroits comme la Silicon Valley”, confond l'information avec la vérité. Mais l'information est la matière première : “La vérité est un sous-ensemble rare parmi l'information”. La plupart des informations dans le monde, a-t-il souligné, “sont des déchets, ce ne sont pas des vérités”. Il est très facile de créer et de diffuser de fausses informations. En revanche, “la vérité est coûteuse, nécessite du temps, de l'argent et des efforts”.
La vision naïve serait, en profondeur, curieusement antiscientifique. Après tout, selon cette perspective — qu'il illustre dans le livre — un raciste est une personne mal informée à qui il faut donner plus de données sur la biologie et l'histoire. Cela, on le sait, ne se vérifie pas dans la vie réelle.
“Cette vision naïve justifie la recherche de technologies de l'information de plus en plus puissantes” et la libération sur les routes de voitures sans freins. En même temps, elle se complémente de manière pernicieuse avec le regard plus cynique de l'humanité, une conception où “s'historisent l'extrême droite et l'extrême gauche”, a-t-il exprimé. “Ils partagent une profonde méfiance envers les institutions qui sont garantes de la vérité. Ce qui se dit autant à l'extrême droite qu'à l'extrême gauche est la suspicion envers toutes les institutions qui ont traditionnellement été établies par la société humaine pour identifier et promouvoir la vérité, des médias aux universités, en passant par les tribunaux”.
Pourquoi ? “Tant l'extrême droite que l'extrême gauche partagent une vision très cynique du monde, selon laquelle la seule réalité est le pouvoir : les êtres humains ne se soucient que d'acquérir du pouvoir et toutes les interactions humaines sont des luttes de pouvoir”.
Pour conclure sur une note plus douce, Harari a rappelé qu'il n'est pas la seule perspective. “Nous devrions nous rappeler qu'il existe une vision plus compatissante des humains. Tout le monde n'est pas obsédé par le pouvoir. Ce n'est pas toujours lorsque quelqu'un me dit quelque chose qu'il essaie de me manipuler. Existe-t-il de la corruption ? Oui, et pour cela, nous avons plusieurs institutions qui se compensent mutuellement. Mais l'idée que tout le journalisme est seulement une camarilla élitiste pour manipuler les gens, que toute la science est seulement une conspiration. Cette vision si cynique détruit la confiance et la démocratie”.