C'est une nouvelle qu'un Yuval Noah Harari publie un nouveau livre. L'historien israélien est l'un des plus grands best-sellers au monde. Ses livres tels que Sapiens ou De animaux à dieux ont, pour beaucoup, changé notre façon de voir l'histoire ou de nous voir nous-mêmes. Comme quand il a enseigné, par exemple, que les homo sapiens - nous - avons encore quelque chose de néandertaliens. Maintenant, ce mardi, sort Nexus, qui se présente rien de moins que comme Une brève histoire des réseaux d'information depuis l'âge de pierre jusqu'à l'IA. Et les antennes du monde se remettent à se diriger vers lui.
Yuval Noah Harari a conquis l'attention des grands leaders. Barack Obama, Mark Zuckerberg et Bill Gates ont recommandé ses livres, et son analyse sur l'avenir de l'humanité est consultée dans des forums avec des présidents et des dirigeants. Historien de formation, Harari est devenu l'une des voix les plus aiguës et provocatrices de notre époque et, en tant que tel, n'hésite pas à poser des questions profondes sur la technologie, l'intelligence artificielle et le destin de notre espèce.
“L'IA maîtrise le langage mieux que la plupart. Que se passe-t-il quand elle pourra créer des textes sacrés ?”, a-t-il dit il y a quelques jours lors d'une interview. La question du langage, à son avis, n'est pas négligeable. La base de sa théorie est que les humains “ont gagné” bien qu'ils soient physiquement plus faibles et plus lents que de nombreux animaux, parce qu'ils peuvent coopérer en grand nombre. Et que “un grand nombre d'étrangers peuvent coopérer avec succès s'ils croient en des mythes communs.” Les mythes sont un dieu qui vous dit ce qui est bien ou ce qui est mal, que ce billet peint vaut pour un kilo d'oranges ou que deux personnes vivant à des milliers de kilomètres mais à l'intérieur de certaines limites ont plus en commun qu'une autre vivant beaucoup plus près mais de l'autre côté d'une ligne imaginaire.
L'intelligence artificielle
-Nous devons réguler ces technologies mais aucun pays ne peut le faire tout seul. Maintenant, on parle de la production d'armes autonomes, de robots qui tuent. Si vous essayez de réguler cette technologie uniquement dans votre pays, cela ne fonctionne pas. Parce que d'autres pays continueront à l'utiliser et bientôt vous ferez de même, vous ne voulez pas être à la traîne.
La possibilité politique de faire cela, les dangers auxquels nous faisons face, ce que l'avenir peut gagner de la technologie, tous ces sujets ont été développés par Harari jusqu'à Nexus.
Voici quelques extraits du livre qui va sortir
Nexus (Extraits)
Tout au long de l'histoire, un bon nombre de traditions ont cru qu'un défaut mortel dans notre nature nous incite à courir après des pouvoirs que nous ne savons pas gérer. Le mythe grec de Phaéton nous parle d'un garçon qui découvre qu'il est le fils d'Hélios, le dieu soleil. Désireux de prouver son origine divine, Phaéton s'attribue le privilège de conduire le char du soleil. Hélios lui avertit que aucun humain ne peut contrôler les chevaux célestes qui tirent le char solaire. Mais Phaéton insiste, jusqu'à ce que le dieu soleil cède. Après s'être élevé avec fierté dans le ciel, Phaéton finit par perdre le contrôle du char. Le soleil dévie de sa trajectoire, brûle toute la végétation, provoque un grand nombre de morts et menace de brûler la Terre elle-même. Zeus intervient et atteint Phaéton d'un éclair. L'humain présomptueux tombe du ciel comme une étoile filante, enveloppé de flammes. Les dieux reprennent le contrôle du ciel et sauvent le monde.
Ils disent que les dieux… Mythes Grecs 1
Par
$6,99 USD
Deux mille ans plus tard, lorsque la Révolution industrielle faisait ses premiers pas et que les machines commençaient à remplacer les humains dans de nombreuses tâches, Johann Wolfgang von Goethe publia un texte d'avertissement similaire intitulé « Le jeune sorcier ». Le poème de Goethe (qui a ensuite été popularisé dans la version animée de Walt Disney mettant en vedette Mickey Mouse) raconte comment un sorcier déjà âgé laisse son atelier entre les mains d'un jeune apprenti, qu'il demande, en son absence, de s'occuper de tâches telles que rapporter l'eau de la rivière. L'apprenti décide de se faciliter la tâche et, recourant à l'un des sorts du sorcier, lance un sort sur un balai pour qu'il aille chercher de l'eau. Mais l'apprenti ne sait pas comment arrêter le balai, qui, inflexible, rapporte toujours plus d'eau, menaçant d'inonder l'atelier. Pris de panique, l'apprenti coupe le balai enchanté en deux avec une hache, seulement pour voir que chaque moitié se transforme en un autre balai. Maintenant, il y a deux balais enchantés qui inondent l'atelier avec des seaux d'eau. Lorsque le vieux sorcier revient, l'apprenti supplie de l'aide : « Les esprits que j'ai invoqués […] maintenant je ne peux pas m'en débarrasser.” Immanquablement, le sorcier défait le sort et stoppe l'inondation. La leçon pour l'apprenti — et pour l'humanité — est claire : ne jamais recourir à des pouvoirs que l'on ne peut pas contrôler.
Que nous disent les fables d'avertissement de l'apprenti et de Phaéton au XXIe siècle ? Il est évident que nous, les humains, avons refusé d'écouter leurs avertissements. Nous avons déjà provoqué un déséquilibre dans le climat terrestre et nous avons mis en route des milliers de balais enchantés, drones, chatbots et autres esprits algorithmiques capables d'échapper à notre contrôle et de déchaîner une inondation aux conséquences incalculables.
Alors, que devons-nous faire ? Les fables n'offrent aucune réponse, à moins que nous n'espérions qu'un dieu ou un sorcier nous sauve.
Le mythe de Phaéton et le poème de Goethe ne fournissent pas de conseils utiles parce qu'ils mal interprètent la manière dont les humains prennent généralement le pouvoir. Dans les deux fables, un unique humain acquiert un immense pouvoir, mais ensuite il est corrompu par l'orgueil et la cupidité. La conclusion est que notre psychologie individuelle imparfaite provoque les abus de pouvoir. Ce que cette analyse approximative passe sous silence, c'est que le pouvoir humain n'est jamais le résultat d'une initiative individuelle. Le pouvoir découle toujours de la coopération entre un grand nombre de personnes.
Poésie
Par Johann Wolfgang von Goethe
$4 USD
Par conséquent, ce n'est pas notre psychologie individuelle qui provoque les abus de pouvoir. Après tout, avec la cupidité, l'orgueil et la cruauté, nous humains sommes capables d'aimer, de faire preuve de compassion, d'être humbles et de ressentir de la joie. Sans aucun doute, parmi les pires membres de notre espèce, la cupidité et la cruauté abondent, conduisant les mauvais acteurs à abuser du pouvoir. Mais pourquoi les sociétés humaines choisiraient-elles de confier le pouvoir à leurs pires représentants ? Par exemple, en 1933, la plupart des Allemands n'étaient pas des psychopathes. Alors, pourquoi ont-ils voté pour Hitler ?
Notre tendance à invoquer des pouvoirs que nous sommes incapables de contrôler ne provient pas de la psychologie individuelle, mais de la manière singulière dont la coopération s'opère entre un grand nombre d'individus de notre espèce. L'humanité obtient un immense pouvoir par la construction de grandes réseaux de coopération, mais la façon dont ces réseaux sont construits les prédispose à faire un usage imprudent du pouvoir. Notre problème, par conséquent, concerne les réseaux. Plus précisément, il s'agit d'un problème d'information. L'information est le ciment qui maintient les réseaux unis, et lorsque les gens reçoivent de mauvaises informations, ils ont de fortes chances de prendre de mauvaises décisions, peu importe à quel point ils sont sages et bons personnellement.
Récemment, l'humanité a connu une augmentation sans précédent de la quantité et de la vitesse de production d'informations. Tout smartphone contient plus d'informations que la célèbre Bibliothèque d'Alexandrie et permet à son propriétaire d'entrer en contact instantanément avec des milliards de personnes à travers le monde. Mais, avec autant d'informations circulant à des vitesses impressionnantes, l'humanité est plus proche que jamais de l'annihilation.
Au vu de cette accumulation de données, nous continuons à émettre dans l'atmosphère des gaz à effet de serre, à polluer rivières et mers, à abattre des forêts, à détruire des habitats entiers, à condamner d'innombrables espèces à l'extinction et à mettre en danger les fondements écologiques de notre espèce. Nous produisons également des armes de destruction massive de plus en plus puissantes, des bombes thermonucléaires aux virus pouvant signifier l'anéantissement total de l'humanité. Nos dirigeants ne manquent pas d'informations sur ces dangers, mais au lieu de collaborer à la recherche de solutions, ils se rapprochent de plus en plus d'une guerre mondiale.
Disposer d'informations toujours plus nombreuses améliorera-t-il les choses ? Ou les aggravera-t-il ? Nous le découvrirons bientôt. De nombreuses entreprises et gouvernements sont engagés dans une course pour développer la technologie de l'information la plus puissante de l'histoire, l'intelligence artificielle (IA). Des entrepreneurs éminents comme l'investisseur américain Marc Andreessen croient que l'IA finira par résoudre tous les problèmes de l'humanité. Le 6 juin 2023, Andreessen a publié un essai intitulé « Pourquoi l'IA sauvera le monde » qui regorge d'affirmations aussi audacieuses que : « Je suis ici pour partager une bonne nouvelle : l'IA ne détruira pas le monde, et en fait, elle peut le sauver », ou « l'IA peut améliorer tout ce qui nous importe ». Et il conclut : « Le développement et la prolifération de l'IA, loin d'être un risque que nous devrions craindre, est une obligation morale que nous prenons pour nous-mêmes, nos enfants et notre avenir ».
L'IA ne progresse pas vers l'intelligence humaine. Elle évolue vers un type d'intelligence étrangère
Une menace sans précédent
L'IA est une menace sans précédent pour l'humanité parce que c'est la première technologie dans l'histoire qui peut prendre des décisions et générer de nouvelles idées par elle-même. Tout précédent invention humaine a servi à donner du pouvoir aux humains, car, peu importe l'ampleur de ce nouvel outil, les décisions concernant son utilisation sont restées entre nos mains. Les bombes nucléaires ne décident pas par elles-mêmes qui tuer, ni ne peuvent s'améliorer par elles-mêmes ou même inventer des bombes encore plus puissantes. En revanche, les drones autonomes peuvent décider par eux-mêmes qui tuer, et les IA peuvent créer de nouveaux modèles de bombes, des stratégies militaires inédites et de meilleures IA. L'IA n'est pas un outil, c'est un agent. La plus grande menace de l'IA est que nous invoquons sur Terre d'innombrables nouveaux agents puissants qui sont potentiellement plus intelligents et imaginatifs que nous, et que nous ne comprenons ni ne contrôlons complètement.
Traditionnellement, le terme IA a été utilisé comme acronyme de Intelligence Artificielle. Mais il est peut-être préférable de le considérer comme un acronyme de Intelligence Étrangère. À mesure que l'IA évolue, elle devient moins artificielle (dans le sens où elle dépend de conceptions humaines) et plus étrangère. De nombreuses personnes tentent de mesurer et même de définir l'intelligence artificielle en utilisant la métrique de « l'intelligence humaine », et il y a un débat animé sur le moment où nous pouvons attendre que les IA atteignent « l'intelligence humaine ». Cette métrique est profondément trompeuse. C'est comme définir et évaluer les avions par la métrique de « vol au niveau des oiseaux ». L'IA ne progresse pas vers l'intelligence humaine. Elle évolue vers un type d'intelligence étrangère.
Même actuellement, dans la phase embryonnaire de la révolution de l'IA, les ordinateurs prennent des décisions à notre place : l'octroi d'une hypothèque, un contrat de travail ou l'imposition d'une peine de prison. Cette tendance ne fera que s'accroître et s'accélérer, rendant la compréhension de notre propre vie difficile. Pouvons-nous faire confiance aux algorithmes informatiques pour prendre des décisions sensées et construire un monde meilleur ? C'est un jeu bien plus sérieux que de faire confiance à un balai enchanté pour évacuer de l'eau. Et nous mettons en danger plus que des vies humaines. L'IA peut modifier le cours non seulement de l'histoire de notre espèce, mais aussi de l'évolution de tous les êtres vivants.
Mustafa Suleyman est un expert mondial sur ce sujet. Il est cofondateur et ancien directeur de DeepMind, l'une des entreprises d'IA les plus importantes au monde, responsable du développement du programme AlphaGo, entre autres réussites. AlphaGo a été conçu pour jouer au go, un jeu de stratégie où deux joueurs se disputent un territoire. Invente dans la Chine ancienne, il est beaucoup plus complexe que les échecs. Par conséquent, même après qu'il ait été capable de battre un champion mondial d'échecs, les experts ont continué à croire qu'un ordinateur ne battrait jamais un humain au go.
Par conséquent, en mars 2016, tant des professionnels du go que des experts en informatique ont été stupéfaits lorsque AlphaGo a battu le champion sud-coréen de go Lee Sedol. Dans son livre de 2023 La vague qui vient, Suleyman décrit l'un des moments les plus importants de la partie, un moment qui a redéfini l'IA et qui est reconnu dans de nombreux cercles académiques et gouvernementaux comme un tournant dans l'histoire. Cela a eu lieu le 10 mars 2016, pendant le deuxième match de la partie.
La vague qui vient
Par Mustafa Suleyman
$9,99 USD
«Alors… est venue le coup numéro 37 —écrit Suleyman—. Cela n'avait aucun sens. Apparemment, AlphaGo l'avait raté en suivant une stratégie apparemment perdante que aucun joueur professionnel n'aurait jamais utilisée. Les commentateurs, tous deux professionnels du plus haut niveau, ont dit que c'était un "mouvement très étrange" et ont pensé qu'il s'agissait d'"une erreur". C'était quelque chose d'aussi inhabituel que Sedol a mis quinze minutes à répondre, et s'est même levé de la table pour faire un tour. Dans la salle de contrôle d'où nous observions, la tension était palpable. Mais, à mesure que la fin de la partie approchait, le mouvement “erroné” s'est révélé essentiel. AlphaGo a encore gagné. La stratégie du go était en train d'être réécrite sous nos yeux. Notre IA avait découvert des idées qui n'étaient pas venues à l'esprit des joueurs les plus brillants depuis des milliers d'années ».
Le coup 37 est un emblème de la révolution de l'IA pour deux raisons. La première est qu'il a démontré la nature étrangère de l'IA. En Asie de l'Est, le go est bien plus qu'un jeu : c'est une tradition culturelle très appréciée. Avec la calligraphie, la peinture et la musique, le go est l'une des quatre arts que l'on s'attend à ce que toute personne raffinée connaisse. Pendant plus de deux mille cinq cents ans, des dizaines de millions de personnes ont joué au go, et autour du jeu, se sont développées des écoles entières de pensée qui ont parrainé différentes stratégies et philosophies. Mais, au cours de tous ces millénaires, l'esprit humain n'a exploré que certaines zones du paysage du go. D'autres sont restées intactes parce que simplement, l'esprit humain n'a pas pensé à s'y aventurer. L'IA, étant libérée des limitations de l'esprit humain, a découvert et exploré ces zones qui restaient cachées.
La deuxième raison est qu'elle a démontré l'inintelligibilité de l'IA. Même après qu'AlphaGo ait fait le coup 37 pour obtenir la victoire, Suleyman et son équipe n'ont pas pu expliquer comment il avait décidé de le faire. Si un tribunal avait ordonné à DeepMind de fournir à Lee Sedol une explication, personne n'aurait pu s'exécuter. Écrit Suleyman : «En ce moment, dans l'IA, les réseaux neuronaux qui avancent vers l'autonomie sont inexplicables. Nous ne pouvons pas faire en sorte que quelqu'un explore le processus de décision pour expliquer avec précision pourquoi un algorithme a fait une prédiction spécifique. Les ingénieurs ne peuvent pas regarder sous le capot et expliquer en détail la cause de l'occurrence de quelque chose. GPT-4, AlphaGo et autres sont des boîtes noires, et tout ce qu'ils produisent et décident repose sur des chaînes opaques et impossiblement complexes de signaux minuscules».
La démocratie
L'essor d'une intelligence étrangère et insondable mine la démocratie. Si nos vies dépendent de plus en plus des décisions d'une boîte noire dont la compréhension et le questionnement échappent aux électeurs, la démocratie cessera de fonctionner. Concrètement, que se passera-t-il lorsque des algorithmes insondables prendront des décisions non seulement sur la vie des individus, mais aussi sur des questions d'intérêt général comme le taux d'intérêt de la Réserve fédérale ? Les électeurs humains pourront encore choisir un président humain, mais cela ne sera-t-il pas une cérémonie vide ? Même aujourd'hui, seule une petite partie de l'humanité comprend le fonctionnement du système financier.
Une enquête de 2014 auprès des membres du Parlement britannique — qui sont chargés de réguler l'un des centres financiers les plus importants du monde — a révélé que seuls 12 % comprenaient avec précision que lorsque les banques accordent des prêts, de l'argent nouveau est créé. C'est l'un des principes fondamentaux du système financier moderne. Comme l'a démontré la crise financière de 2007-2008, les stratégies et principes financiers les plus complexes, comme ceux derrière les CDO, n'étaient intelligibles que pour quelques magiciens de la finance. Que se passera-t-il avec la démocratie lorsque les IA créeront des stratégies financières encore plus complexes et que le nombre d'humains capables de comprendre le système financier deviendra zéro ?
En traduisant la fable d'avertissement de Goethe au langage des finances modernes, imaginons le scénario suivant : un apprenti de Wall Street, fatigué de la monotonie de l'atelier financier, crée une IA appelée Balai, lui fournit un million de dollars en capital initial et lui ordonne de générer plus d'argent. Pour l'IA, la finance est le terrain de jeu idéal, car c'est un domaine purement informatif et mathématique. Les IA trouvent encore difficile de conduire une voiture de manière autonome, car cela nécessite de se déplacer et d'interagir dans un monde physique chaotique, où le “succès” est difficile à définir. En revanche, pour réaliser des transactions financières, l'IA n'a besoin que de traiter des données et peut mesurer facilement son succès mathématiquement en dollars, euros ou livres. Plus de dollars : mission accomplie.
À la recherche de plus de dollars, Balai ne concevra pas seulement de nouvelles stratégies d'investissement, mais développera également des dispositifs financiers complètement nouveaux que aucun être humain n'a imaginés. Pendant des milliers d'années, les esprits humains n'ont exploré que certaines zones du paysage des finances. Ils ont inventé l'argent, les chèques, les obligations, les actions, les ETFs, les CDO et d'autres tours de magie financière. Mais de nombreuses zones financières sont restées inexplorées, parce que les esprits humains n'ont tout simplement pas pensé à s'y aventurer. Balai, étant libre des limitations des esprits humains, découvre et explore ces zones précédemment cachées, réalisant des mouvements financiers qui sont l'équivalent du coup 37 d'AlphaGo.
Pendant quelques années, alors que Balai guide l'humanité vers des territoires financiers vierges, tout semble merveilleux. Les marchés sont en plein essor, l'argent coule sans effort et tout le monde est heureux. Puis, une crise survient qui est encore plus grande que celle de 1929 ou 2008. Mais aucun être humain — qu'il soit président, banquier ou simple citoyen — ne sait ce qui l'a causée ni ce qui peut être fait là-dessus.
Comme il n'y a pas de dieu ni de sorcier pour sauver le système financier, les gouvernements, désespérés, demandent de l'aide à la seule entité capable de comprendre ce qui se passe : Balai. L'IA fait plusieurs recommandations politiques, beaucoup plus audacieuses que l'assouplissement quantitatif — et aussi beaucoup plus opaques. Balai promet que ces politiques nous sortiront d'affaire, mais les politiciens humains — incapables de comprendre la logique derrière les recommandations de Balai — craignent qu'elles ne démantèlent complètement le tissu financier et même social du monde. Devront-ils écouter l'IA ?
Les ordinateurs ne sont pas encore assez puissants pour échapper complètement à notre contrôle ou détruire la civilisation humaine par eux-mêmes. Tant que l'humanité reste unie, nous pouvons construire des institutions qui régulent l'IA, que ce soit dans le domaine financier ou dans celui de la guerre. Malheureusement, l'humanité n'a jamais été unie. Nous avons toujours été en proie à des acteurs négatifs, ainsi que des désaccords entre acteurs positifs. L'essor de l'IA représente un danger existentiel pour l'humanité non par la malveillance des ordinateurs, mais par nos propres insuffisances.
diktat paranoid pourrait accorder un pouvoir illimité à une IA faillible, y compris celui de lancer une attaque nucléaire. Si le dictateur se fie plus à son IA qu'à son ministre de la Défense, n'aurait-il pas sens que cette IA soit chargée de superviser l'utilisation des armes les plus puissantes du pays ? Mais alors, si l'IA faisait une erreur ou décidait de poursuivre un objectif, le résultat pourrait être catastrophique, non seulement pour le pays concerné. De même, un groupe terroriste dont le champ d'action est limité à un coin de la planète pourrait utiliser l'IA pour déclencher une pandémie mondiale. Les terroristes pourraient être plus versés dans les mythologies apocalyptiques que dans l'épidémiologie, mais ils n'auraient qu'à se fixer un objectif et l'IA s'occuperait du reste. L'IA pourrait synthétiser un nouveau pathogène, le demander à un laboratoire commercial ou même l'imprimer à l'aide d'une imprimante biologique 3D, puis concevoir la meilleure stratégie pour le répandre dans le monde, que ce soit dans les aéroports ou à travers l'industrie alimentaire. Que se passerait-il si l'IA finissait par synthétiser un virus qui se révélait aussi létal qu'Ebola, aussi contagieux que la COVID-19 et avec une manifestation aussi lente que le virus du sida ? D'ici à ce que les premières victimes commencent à mourir et que le danger soit signalé à tout le monde, la plupart d'entre nous auraient été infectés.La civilisation humaine pourrait également être victime d'armes sociales de destruction massive, comme, par exemple, des récits capables de saper nos liens de coexistence. Une IA développée dans un pays particulier pourrait être utilisée pour déclencher une avalanche de fausses nouvelles, de fausse monnaie et de faux humains, de sorte que les gens d'autres pays perdent la capacité de faire confiance à quoi que ce soit ou à qui que ce soit.
De nombreuses sociétés, qu'il s'agisse de démocraties ou de dictatures, peuvent agir de manière responsable pour réguler ces usages de l'IA, adopter des mesures draconiennes contre des acteurs nuisibles et freiner les ambitions dangereuses de leurs propres dirigeants et de fanatiques. Mais il suffirait qu'un petit nombre de ces sociétés ne le fasse pas pour mettre en danger toute l'humanité. Étant donné que c'est un problème mondial et non national, le changement climatique peut même finir par toucher ceux qui adoptent d'excellentes normes environnementales. L'IA est également un problème mondial. Les gouvernements pécheraient par naïveté s'ils croyaient qu'une régulation sensée de l'IA à l'intérieur de leurs frontières les protégerait des conséquences négatives que peut entraîner la révolution de l'IA.
Ainsi, pour comprendre la nouvelle politique relative aux ordinateurs, il ne suffit pas d'examiner les réactions possibles de chaque société face à l'IA. Nous devons également considérer dans quelle mesure l'IA pourrait altérer les relations entre toutes ces sociétés au niveau mondial.
S'approprier les données
Au XVIe siècle, les conquistadors espagnols, portugais et hollandais mettaient en place les premiers empires globaux de l'histoire, à base de voiliers, de chevaux et de poudre à canon. Lorsque les Britanniques, les Russes et les Japonais se sont affrontés pour l'hégémonie au cours des XIXe et XXe siècles, ils s'appuyaient sur des bateaux à vapeur, des locomotives et des mitrailleuses. Au XXIe siècle, pour dominer une colonie, il n'est plus nécessaire de déployer l'artillerie. Il suffit de s'approprier ses données. Quelques entreprises ou un gouvernement qui parviennent à collecter les données de tout le monde pourraient transformer le reste du globe en colonies de données : des territoires dominés non par une force militaire manifeste, mais par l'information.
Supposons que, dans vingt ans, il y ait quelqu'un à Pékin ou à San Francisco qui ait entre ses mains l'historique complet de chaque politicien, journaliste, colonel et directeur exécutif de notre pays : tous les textes écrits, les recherches effectuées sur le net, les maladies subies, les rencontres sexuelles, les blagues racontées, même les pots-de-vin acceptés. Vivrions-nous encore dans un pays indépendant ou plutôt habiterions-nous une colonie de données ? Que se passe-t-il lorsque notre pays dépend des infrastructures numériques et de systèmes régis par l'IA sur lesquels il n'a pas de contrôle effectif ?