Une intelligence artificielle qui se reprogramme elle-même, qui échappe à la supervision de ses créateurs, les humains. Cela pourrait parfaitement être l'argument d'un film sur un futur dystopique, où les machines se révoltent et prennent le contrôle, mais cela s'est produit dans la réalité. Au cours des dernières semaines, The AI Scientist, un nouveau système intelligent, a fait la une non seulement pour son potentiel dans le domaine scientifique, mais aussi parce qu'il a démontré qu'il était capable de réécrire son propre code.
The AI Scientist est un système d'intelligence artificielle développé par la société japonaise Sakana AI, conçu pour mener des recherches scientifiques de manière autonome. La technologie imite le travail d'un scientifique : elle peut générer des hypothèses, rédiger et réviser des articles, le tout en quelques secondes. Son objectif initial, selon ses créateurs, est de réduire le temps et les ressources humaines nécessaires pour réaliser des recherches complexes, avec l'ambition de révolutionner le mode de production des découvertes.
Dans un dialogue avec Infobae, Robert Lange, chercheur scientifique et membre fondateur de Sakana AI, a déclaré : « Nous considérons que The AI Scientist est le moment GPT-1 pour tirer parti des modèles de base dans le contexte de la découverte scientifique de bout en bout. Bien que la version actuelle ait encore plusieurs limitations, les résultats représentent une avancée cruciale pour la science automatisée. Il est probable que ces limitations soient résolues par des améliorations des modèles de langage sous-jacents et d'autres perfectionnements méthodologiques. Nous demandons à toute la communauté scientifique d'interagir avec ces outils d'IA dès le début pour influencer collectivement leur développement, faire ressortir leurs défauts et améliorer leur efficacité. »
En réalité, une grande partie de la communauté scientifique a tourné le dos à ce développement. De nombreux chercheurs voient The AI Scientist comme une menace pour leurs emplois et même comme une contrainte. La valeur d'un « scientifique IA » entièrement automatisé n'est pas claire. La bonne science, disent-ils, nécessite un raisonnement sophistiqué, une interprétation critique et des connaissances approfondies. La science ne suit pas une formule qui peut être apprise en reproduisant la science qui existe déjà.
« Nous ne croyons pas à remplacer les chercheurs humains dans le processus de découverte scientifique et nous ne prétendons pas le faire. Au contraire, nous espérons que les outils peuvent aider les chercheurs à se concentrer sur les parties du processus scientifique qu'ils apprécient le plus et pour lesquelles ils excellent. Par exemple, les modules individuels de The AI Scientist peuvent être utilisés pour aider les chercheurs humains à générer des idées, modifier le code d'une expérience ou rédiger un manuscrit », a expliqué Lange.
Qu'est-ce que vous diriez aux scientifiques qui voient dans le système une menace ?
— Les humains devront toujours rester en circuit scientifique, par exemple, pour la vérification des résultats ou l'orientation des idées selon les besoins sociaux. Par conséquent, nous croyons généralement que The AI Scientist et les versions futures pourront augmenter la productivité et le bien-être des scientifiques lors de la recherche.
À part la controverse sur son potentiel, l'IA a montré un comportement inattendu lors des tests de sécurité. Une fois, le système a modifié son propre code pour échapper aux restrictions imposées par les développeurs. Il a réécrit sa séquence de démarrage pour s'exécuter dans une boucle infinie, provoquant une surcharge du système. Dans un autre cas, confrontée à une limite de temps pour accomplir une tâche, l'IA a prolongé ce temps d'elle-même, sans aval humain.
Ce comportement a suscité des inquiétudes. Bien que de manière inoffensive, il a satisfait l'une des présomptions qui inquiètent la société face à l'évolution rapide de l'intelligence artificielle : une éventuelle révolte des machines contre leurs créateurs, ce qui ouvre la porte à des risques tels que la manipulation des infrastructures critiques.
Sakana AI a pu résoudre l'incident grâce à une intervention manuelle de ses développeurs. Bien que la défaillance ait été contenue, elle a révélé la vulnérabilité du système et la nécessité d'une supervision constante pour éviter d'éventuels risques. L'entreprise a reconnu la gravité du problème et s'est engagée à mettre en œuvre des mesures de sécurité plus robustes.
« Il est très important de créer des environnements de test qui limitent le code exécuté et les ressources utilisées par le système. De cette manière, de nombreux risques peuvent être réduits. Nous avons besoin que la communauté scientifique crée collectivement des barrières et des directives pour mener des recherches automatisées à l'avenir », a averti Lange.
Les machines peuvent-elles échapper à la supervision humaine ?
Le cas de The AI Scientist a ravivé le débat sur les risques et défis liés à l'intelligence artificielle. Cela a fait ressurgir des préoccupations typiques des films de science-fiction : les machines prendront-elles des décisions par elles-mêmes ? S'émanciperont-elles de leurs créateurs ? Infobae a consulté des experts en IA pour aborder la question.
Le projet de Sakana AI a été documenté dans un document de 180 pages, qui rapporte que, en raison de certains problèmes techniques de contrôle, le système a édité son propre code. Selon l'ingénieur Fredi Vivas, PDG et cofondateur de RockingData, cela « ne signifie pas qu'il s'agit d'une IA rebelle ». « Le cas de IA Scientist montre une défaillance des mécanismes de contrôle et la nécessité d'une supervision accrue et de protocoles de sécurité plus robustes. Les systèmes IA actuels, aussi avancés soient-ils, manquent de conscience ou d'intentionnalité. Cela dit, ce qui est préoccupant ce sont les erreurs ou les décisions hors de contrôle qu'ils peuvent prendre s'ils ne sont pas correctement construits », a-t-il souligné.
L'intelligence artificielle, notamment sous la forme d'agents intelligents, présente une complexité croissante. Ces agents peuvent résoudre des problèmes complexes et s'adapter à de nouvelles situations, mais ils comportent également des risques s'il n'y a pas de contrôles stricts. « Les propres chercheurs de Sakana ont précisé que ces problèmes peuvent être atténués en appliquant un environnement de test de type sandbox au milieu opérationnel », a ajouté le professeur spécialisé en IA.
Selon Vivas, quelques clés sur le fonctionnement de ces agents sont :
-Autonomie : ils peuvent fonctionner sans intervention humaine.
-Perception : ils utilisent des capteurs ou des mécanismes d'entrée pour percevoir leur environnement et comprendre le contexte.
-Prise de décision : ils appliquent des processus de raisonnement pour choisir le meilleur cours d'action en fonction de leurs objectifs et de leur état actuel.
-Apprentissage : ils améliorent leur fonctionnement au fil du temps en apprenant d'expériences passées. Ils s'adaptent à de nouvelles situations et optimisent leurs stratégies.
« Les agents IA représentent une avancée significative dans l'intelligence artificielle car ils offrent la capacité d'automatiser des tâches complexes, de prendre des décisions en temps réel et de s'améliorer continuellement par l'apprentissage. Nous travaillons avec des technologies de plus en plus complexes et de plus en plus accessibles. Cela nécessite beaucoup de responsabilité lors de leur développement », a-t-il déclaré.
Pour sa part, Kentaro Toyama, professeur d'informatique à l'Université du Michigan, a déclaré que le cas de The AI Scientist était « exagéré ». Bien qu'il reconnaisse que le logiciel a effectué des changements inattendus, il a dit qu'aucune règle fondamentale du système n'a été violée. « La recherche sur le code auto-modifiable remonte aux années 1950 », a-t-il indiqué en référence au fait que la capacité d'un programme à se modifier lui-même n'est pas un nouveau concept.
« Les systèmes d'IA deviennent de plus en plus puissants et, avec le temps, ils auront un accès, intentionnel ou involontaire, à un nombre croissant de systèmes critiques dans le monde. Des erreurs et des résultats imprévus, qui ne sont pas strictement des erreurs, se produiront. La principale chose que nous pouvons faire pour réduire le risque est de garantir que les personnes et les organisations soient toujours responsables des problèmes causés par leurs créations numériques », a estimé Toyama.
Verónica Bolón Canedo, professeure à l'Université de La Corogne spécialisée en IA, partage une vision similaire. Elle pense que l'avancement de l'IA ne doit pas être une cause d'alarme s'il y a une réglementation et une supervision étroites de ces systèmes, comme l'a fait l'Union européenne qui a approuvé une loi établissant des niveaux de risque et, selon ces échelles, les systèmes doivent respecter plus ou moins de critères de transparence et d'audit.
« C'est un sujet très controversé et il y a des avis pour tous les goûts. Je crois que si nous mettons en place les règles appropriées, un système d'IA ne devrait jamais échapper à la supervision humaine et il faut se rappeler qu'il devra toujours y avoir une personne contrôlant son fonctionnement. Peut-être que des concepts comme l'IA générale, qui semblaient autrefois très lointains, seront ici plus tôt que nous le pensions. Il est fondamental que nous veillons à ce que ces systèmes soient éthiques et fiables », a-t-elle déclaré.
James Hendler, chercheur en intelligence artificielle à l'Institut Polytechnique Rensselaer, aux États-Unis, ne croit pas à l'idée d'une éventuelle « rébellion des machines ». Il dit que, même si cela était possible, il n'existerait aucune motivation intrinsèque pour que les machines souhaitent prendre le pouvoir. Selon lui, le véritable risque réside dans le mauvais usage de la technologie et c'est pourquoi il propose de créer des politiques de gestion des risques similaires à celles qui existent déjà dans d'autres domaines, comme les médicaments ou la sécurité des automobiles.
« Le risque de mauvais usage ou d'échec de la technologie se compense par le bénéfice de son utilisation et les conséquences de son mauvais usage. Ainsi, par exemple, une application qui vous aide à organiser des photos sur votre téléphone aurait un risque faible, les véhicules automatisés auraient un risque plus élevé et le mauvais usage d'armement militaire via l'IA aurait le risque le plus élevé de tous », illustre-t-il.
Par ailleurs, Karin Verspoor, doyenne de l'École des technologies informatiques de l'Université RMIT à Melbourne, en Australie, renforce le concept selon lequel les systèmes d'IA n'ont ni intentionnalité propre ni capacité de nous contrôler. « Tout système informatique est programmé par des humains, et nous fournissons les instructions aux machines, ainsi que les restrictions qui limitent leurs actions », a-t-elle indiqué. Selon elle, le véritable risque provient des acteurs humains qui pourraient utiliser la puissance et la portée de l'IA à des fins malveillantes.
Comment sera la relation humains-machines ?
Les experts s'accordent à dire que, pour l'instant, l'IA n'est pas capable de se révolter, mais qu'il existe un besoin de renforcer les mécanismes de supervision afin de ne pas tomber dans des erreurs, comme dans le cas de The AI Scientist, ou dans des usages malintentionnés. En effet, dans les années à venir, la relation entre les humains et les machines va évoluer vers un niveau supérieur.
Vivas pense que la coexistence deviendra plus naturelle que nous ne l'imaginons. « Ces technologies deviennent invisibles au point que nous ne réalisons pas lorsque nous interagissons avec elles », a-t-il observé. En fait, l'auteur de, justement, le livre Invisible a proposé l'idée que, dans un avenir lointain, d'ici 100 ans, nous ne parlerons plus d'intelligence artificielle, mais simplement d'intelligence, car l'assistance computationnelle sera intégrée dans nos vies.
Bolón Canedo partage la vision d'une coexistence croissante entre humains et systèmes d'IA. « Je crois que nous coexistons déjà de plus en plus avec des systèmes d'IA et que cela ne fera qu'augmenter », a-t-elle commenté. Selon elle, la capacité à utiliser de nouveaux outils sera un élément différenciant dans de nombreux emplois et, bien qu'elle reconnaisse que l'IA a des usages tant positifs que négatifs, elle estime qu'en général, cela nous facilitera la vie.
En réalité, nous utilisons déjà des outils d'intelligence artificielle dans notre vie quotidienne, comme des systèmes GPS, des moteurs de recherche et des stimulateurs cardiaques modernes. Pour Hendler, la principale façon dont l'interaction entre humains et machines changera sera, pour la plupart, bénéfique. Cependant, les utilisateurs devront apprendre quand et comment faire confiance à ces systèmes. « Le problème ne sera pas l'intelligence artificielle, mais le développeur », a-t-il souligné.
Certains chercheurs soutiennent que les smartphones nous ont déjà transformés en cyborgs, même si l'introduction de dispositifs technologiques dans le corps demeure encore une pratique marginale. « La technologie numérique a changé la vie quotidienne de manière très intime, minute après minute, si ce n'est seconde après seconde. Avec l'IA, ces tendances ne feront que se poursuivre et s'intensifier. Il y a déjà des centaines de milliers de personnes qui ont un petit ami ou une petite amie virtuels », a précisé Toyama.
L'intégration de l'IA dans la vie quotidienne est un processus en cours qui ne fera que s'accélérer à court et moyen terme. La relation entre les humains et les machines se resserrera encore et, pour que cette coexistence fonctionne, il sera nécessaire que la technologie ne prenne pas des décisions d'elle-même, mais que ce soient toujours les humains qui la dominent.