Le choix d’un GPU NVIDIA pour data center IA dépend d’abord de la charge à exécuter et du format de serveur disponible. L’entraînement de grands modèles manipule des volumes massifs de paramètres et réclame une mémoire HBM très rapide. L’inférence vise souvent le débit, la latence et le coût par requête, avec des besoins de mémoire plus variables. Entre les A100, H100, H200, L40S et T4, l’écart se joue autant sur l’interconnexion que sur le nombre de gigaoctets. L’entraînement de grands modèles favorise les GPU H100 ou H200, dotés de mémoire HBM et d’interconnexions rapides entre accélérateurs. L’inférence à fort…