Explosion computationnelle : l'ia défähie les lois de l'évolution
Mustafa Suleyman, figure emblématique de Microsoft et de l’IA, lance un avertissement : l’intelligence artificielle ne suit pas les règles de l’évolution linéaire. Une rupture radicale, une véritable explosion computationnelle, voilà comment il décrit le phénomène.
Le calcul, une transformation exponentielle
Suleyman, témoin direct de cette métamorphose depuis 2010, pointe une augmentation vertigineuse du pouvoir de calcul. On parle ici de plus de 1026 FLOPS pour les modèles les plus avancés, une augmentation de plus de 100 000 fois par rapport aux premiers systèmes, qui ne dépassaient les 10¹⁴ FLOPS.
Il ne s’agit pas d’un simple accroissement, mais d’une véritable accélération exponentielle. Il compare l'entraînement de l'IA à une salle bondée de personnes effectuant des calculs avec des calculatrices. Jusqu’à récemment, l’amélioration de la puissance de l’IA consistait à multiplier le nombre de personnes équipées de ces outils, avec les conséquences en termes de temps mort inhérentes.
La révolution : au-delà de la simple vitesse
La véritable révolution, selon Suleyman, réside dans la capacité à faire fonctionner ces calculatrices simultanément, créant une « intelligence collective ». Ce changement majeur est rendu possible par trois avancées majeures :
Des puces qui dépassent les attentes
Premièrement, les puces Nvidia ont connu une progression spectaculaire, passant de 312 teraflops en 2020 à 2 250 teraflops aujourd'hui. Le nouveau chip Maia 200 de Microsoft offre même un 30% de performance supplémentaire par euro comparé à ses concurrents. Deuxièmement, la mémoire HBM (High Bandwidth Memory) permet d'alimenter ces processeurs à une vitesse fulgurante. La nouvelle génération HBM3 triplique la bande passante de l’ancienne, éliminant les temps morts. Troisièmement, des technologies comme NVLink et InfiniBand connectent des centaines de milliers de GPU dans des superordinateurs de taille industrielle, transformant ces machines en une seule entité de traitement.
L'avertissement d'eric schmidt
Eric Schmidt, ancien PDG de Google, confirme cette accélération avec un constat saisissant : « Nous sommes entre le 10 et le 15% des effets de tout cela. Ses capacités sont immenses. »
Un croissance qui ne fait que déboucher
Les laboratoires investissent massivement, avec une croissance du calcul de l'IA d'environ 4x annuel. Entre 2020 et aujourd'hui, le volume de calcul a augmenté de 5x chaque année. Les prévisions pour 2027 sont vertigineuses : on prévoit l'utilisation équivalente à 100 millions de puces H100, soit une augmentation de 10 fois en trois ans. Microsoft, Nvidia et la course à la superintelligence.
Cette course, menée par Microsoft et Nvidia, conduit à des infrastructures colossales : des clusters de 100 000 GPU, des racks de la taille d'une réfrigérateuratrant 120 kilovatios et des centres de données consommant l'équivalent de la production énergétique combinée du Royaume-Uni, de la France et de l'Allemagne. Ces infrastructures, déjà en construction aux États-Unis et dans le monde, visent une seule et même ambition : la superintelligence.
Un futur à contrebalancer
Mustafa Suleyman conclut avec une affirmation percutante : « Ils continueront de se surprendre. Le boom computationnel est l'histoire technologique de notre époque, et il ne fait que commencer. »