Colossus est alimenté par 100 000 unités de traitement graphique (GPU) Nvidia H100, et devrait doubler sa taille à 200 000 puces dans les prochains mois, selon Musk sur sa plateforme sociale X. Parmi ce total, 50 000 seront les plus puissants H200 de Nvidia. “Excellent travail de l'équipe, Nvidia et de nos nombreux partenaires/fournisseurs”, a déclaré Musk, cité par Quartz.
Cette avancée a pour objectif principal l'entraînement du prochain modèle de langage large (LLM) de xAI, nommé Grok, qui vise à rivaliser avec le GPT-4 d'OpenAI. Musk a annoncé qu'ils espèrent lancer Grok-3 pour décembre. Quartz a souligné que la concurrence dans le domaine de l'IA inclut également Meta, qui, tout comme OpenAI, possède également des centaines de milliers de puces Nvidia.
En juin, xAI a annoncé le choix de Memphis, Tennessee, comme siège de sa superordinateur. Des entreprises comme Dell Technologies et Super Micro Computer ont collaboré à la construction de cette infrastructure. Le PDG de Dell, Michael Dell, a félicité Musk via X, mentionnant que c'est un honneur pour l'entreprise de faire partie de ce système d'entraînement d'IA important, a rapporté Quartz.
xAI a levé six milliards de dollars lors d'un tour de financement de Série B en mai, avec des investisseurs de renom comme Andreessen Horowitz et Sequoia Capital, ce qui a porté la valorisation de la startup à 24 milliards de dollars.
Cependant, Silicon Angle rapporte que la startup fait face à des critiques de la part de défenseurs locaux à Memphis pour aggraver la pollution en raison de l'utilisation de turbines à gaz, alors que le smog dans la ville dépasse les normes nationales de qualité de l'air.
Des organisations environnementales demandent au département de la santé de confirmer si xAI opère sans les permis nécessaires et qu'on lui ordonne de cesser ses opérations jusqu'à l'obtention des autorisations requises. Ce conflit met en lumière l'une des nombreuses complexités et défis auxquels sont confrontées les startups dans leur avancée dans la technologie de pointe.
Silicon Angle a souligné que le superordinateur Colossus a surpassé d'autres systèmes d'IA, comme le Aurora du Département de l'Énergie des États-Unis, en atteignant une vitesse maximale de 10,6 exaflops avec 87 % de son matériel actif lors d'un test de référence réalisé en mai.
Musk a détaillé dans sa publication sur X que Colossus est équipé de 100 000 cartes graphiques Nvidia H100, une amélioration significative par rapport aux générations précédentes de GPU, grâce à son module Transformer Engine optimisé pour les modèles basés sur l'architecture Transformer.
La H100 a la capacité d'exécuter des modèles de langage jusqu'à 30 fois plus rapidement que les GPU de générations précédentes, et son successeur, H200, promet d'être encore plus rapide grâce à des améliorations architecturales telles que l'utilisation de mémoire HBM3e et une capacité de mémoire augmentée à 141 gigaoctets. Selon Silicon Angle, ces avancées permettent un transfert de données de manière significativement plus rapide, ce qui se traduit par de meilleures performances des modèles d'IA.