Qu'est-ce que le Nvidia H100?

Présentation du NVIDIA H100

Le GPU NVIDIA H100 Tensor Core est un appareil de calcul haute performance conçu pour les centres de données. Il offre des performances, une évolutivité et une sécurité sans précédent, ce qui en fait un élément clé pour les charges de travail AI et HPC à grande échelle. Le H100 est construit sur l'architecture GPU NVIDIA Hopper de pointe, qui introduit plusieurs innovations qui le rendent plus puissant, efficace et programmable que n'importe quel GPU précédent.

Caractéristiques et spécifications clés

Le GPU H100 a une puissance thermique de conception maximale (TDP) allant jusqu'à 700W, qui est configurable à 300-350W. Il prend en charge jusqu'à 7 GPU Multi-Instance (MIGs) à 10 Go chacun. Le GPU H100 dispose de Tensor Cores de quatrième génération, qui effectuent des calculs matriciels plus rapidement et plus efficacement que jamais. Cela permet au H100 de gérer une gamme plus large de tâches AI et HPC avec facilité.

Le GPU H100 offre jusqu'à 5 fois plus de vitesse d'entraînement AI et 30 fois plus de vitesse d'inférence AI sur les grands modèles de langage par rapport à la génération A100 précédente. Il accélère également les charges de travail exascale avec un moteur de transformation dédié pour les modèles de langage à un billion de paramètres.

Le GPU H100 peut être partitionné en partitions GPU Multi-Instance (MIG) de la bonne taille pour les petits travaux. Avec Hopper Confidential Computing, cette puissance de calcul évolutive peut sécuriser les applications sensibles sur l'infrastructure de centre de données partagée.

L'architecture NVIDIA Hopper, sur laquelle le H100 est construit, offre des performances, une évolutivité et une sécurité sans précédent à chaque centre de données. Hopper s'appuie sur les générations précédentes avec de nouvelles capacités de cœur de calcul, comme le moteur de transformation, et un réseau plus rapide pour alimenter le centre de données avec une accélération d'un ordre de grandeur par rapport à la génération précédente.

Performance

Le GPU H100 a établi de nouveaux records sur les huit tests des derniers benchmarks d'entraînement MLPerf, excellant sur un nouveau test MLPerf pour l'IA générative. Il a délivré la plus haute performance sur chaque benchmark, y compris les grands modèles de langage, les recommandations, la vision par ordinateur, l'imagerie médicale et la reconnaissance vocale.

Le GPU H100 a également établi de nouveaux records de performance à grande échelle pour l'entraînement AI. Les optimisations à travers la pile technologique complète ont permis une mise à l'échelle des performances presque linéaire sur le test exigeant LLM alors que les soumissions passaient de centaines à des milliers de GPU H100.

Cas d'utilisation

Le GPU H100 convient à une large gamme de cas d'utilisation. Il est idéal pour les applications qui nécessitent un calcul haute performance, comme les modèles AI complexes et la recherche scientifique. Il est également parfaitement adapté aux expansions PCIe et aux serveurs GPU.

Le GPU H100 est particulièrement efficace pour l'IA générative et les grands modèles de langage (LLM). Il a été utilisé pour établir de nouveaux records dans les benchmarks d'entraînement MLPerf, démontrant sa performance supérieure dans ces domaines.

Conclusion

Le GPU NVIDIA H100 Tensor Core représente une avancée significative dans la technologie GPU. Avec son architecture avancée, ses Tensor Cores de quatrième génération et sa capacité à offrir des accélérations d'entraînement et d'inférence AI ultra-rapides sur les grands modèles de langage, c'est l'un des GPU les plus puissants, programmables et économes en énergie à ce jour. C'est un excellent choix pour les organisations qui nécessitent des capacités de calcul haute performance, ce qui en fait une solution révolutionnaire pour ceux qui travaillent avec des modèles AI complexes.