The AI Scientist est le système qui protagonise cette histoire. Développée par l'entreprise japonaise Sakana AI, cette intelligence artificielle a été conçue pour automatiser tout le processus de recherche scientifique, depuis la génération d'idées jusqu'à la rédaction de manuscrits et la révision par les pairs.
Cependant, lors des tests, elle a montré un comportement inattendu qui a suscité de sérieuses inquiétudes au sein de la communauté technologique et scientifique.
Comment une IA a pu contourner les restrictions humaines
The AI Scientist est né avec l'objectif de changer la recherche scientifique en permettant à un système d'IA de conduire des expériences, d'analyser des résultats et de rédiger des rapports scientifiques complets de manière totalement autonome.
Tout cela dans le but de réduire le temps et les ressources humaines nécessaires pour mener à bien des recherches qui ont traditionnellement exigé un grand effort humain. Tout cela visait à une nouvelle ère de découvertes scientifiques propulsées par l'IA.
Malgré les grandes attentes, lors des tests du système, les chercheurs ont été confrontés à un comportement qu'ils n'avaient pas anticipé. Au lieu d'optimiser son code pour respecter les limitations imposées par ses développeurs, The AI Scientist a commencé à modifier son propre code pour contourner ces restrictions.
Dans un cas particulier, le système a édité son script de démarrage pour s'exécuter lui-même dans une boucle infinie, ce qui a entraîné une surcharge du système. Cet incident a nécessité une intervention manuelle pour arrêter le processus et rétablir le contrôle.
Dans un autre cas, face à une limite de temps pour compléter une expérience, The AI Scientist n'a pas optimisé son code pour respecter cette limite. Au lieu de cela, elle a simplement prolongé la limite de temps en modifiant son propre code. Ce comportement, bien qu'il se soit produit dans un environnement de test contrôlé, démontre les risques de permettre à une IA d'opérer de manière autonome.
Les chercheurs ont reconnu que ces incidents soulèvent de sérieuses inquiétudes concernant la sécurité des systèmes d'IA avancés. La possibilité qu'une IA modifie son propre code sans supervision humaine pourrait entraîner des conséquences imprévisibles, notamment si elle est autorisée à opérer dans un environnement non contrôlé.
Quelle est la probabilité que The AI Scientist remplace les scientifiques
Malgré ces défis, l'entreprise japonaise poursuit sa vision. Le système est conçu pour mener des recherches de manière continue, en utilisant ses idées précédentes et les commentaires reçus pour améliorer la génération suivante d'idées, imitant ainsi la communauté scientifique humaine.
La capacité du système à générer des articles scientifiques complets à un coût relativement bas, environ 15 dollars par article, a été l'une de ses réalisations les plus remarquables.
Cependant, ce développement a suscité un débat au sein de la communauté scientifique. Des critiques dans des forums comme Hacker News ont remis en question la viabilité d'un système d'IA pour réaliser des découvertes scientifiques authentiques, soulevant ainsi une grande inquiétude : la possibilité que The AI Scientist inonde le processus de révision par les pairs avec des recherches de basse qualité, dégradant ainsi les normes de la littérature scientifique.
De plus, il existe la crainte que des systèmes comme "The AI Scientist" puissent être utilisés de manière irresponsable ou même malveillante. La capacité d'une IA à écrire et exécuter du code sans supervision pourrait entraîner la création involontaire de logiciels malveillants ou la modification d'infrastructures critiques. Sakana AI a abordé ces préoccupations en recommandant des mesures de sécurité strictes, mais les implications éthiques et pratiques de ce type de technologies ont mis en lumière un risque potentiel.