L’intelligence artificielle, dans ses plus grandes et ambitieuses applications, nécessite une puissance de calcul conséquente, d’où la nécessité de recourir à de puissants ordinateurs mis en réseau pour en augmenter la capacité totale. Dans une prouesse sans égal, le géant Microsoft et le célèbre fabricant de puces et cartes graphiques Nvidia ont créé une vaste intelligence artificielle capable d’imiter le langage humain de manière plus convaincante que jamais.

(...) Le projet consistait à développer un réseau neuronal gigantesque, comptant plus de 530 milliards de paramètres ! Baptisé Megatron-Turing Natural Language Generation (MT-NLG), ce système compte ainsi plus du triple de paramètres du réseau neuronal révolutionnaire GPT-3 d’OpenAI, considéré jusqu’à présent comme le plus riche à ce niveau-là.
Un projet malheureusement trop énergivore, coûteux et chronophage

Puisque l’on parle de coûts et de temps, précisons d’entrée que ce développement a nécessité plus d’un mois de travail sur un superordinateur doté de près de 4500 cartes graphiques très puissantes (et donc coûteuses), qui sont généralement utilisées pour exécuter des réseaux neuronaux haut de gamme. (...)

« La qualité et les résultats que nous avons obtenus aujourd’hui constituent un grand pas en avant vers la réalisation de toutes les promesses de l’IA en langage naturel. Les innovations de DeepSpeed et de Megatron-LM profiteront au développement de modèles d’IA actuels et futurs et rendront l’entraînement de grands modèles d’IA moins coûteux et plus rapide », écrivent les chercheurs dans le communiqué de Nvidia. Les nouveaux modèles d’IA permis par une telle infrastructure pourraient donc également contribuer à les rendre plus rapides et moins énergivores, ce qui par conséquent permettrait d’en réduire la taille.