AWS détaille comment déployer Nemotron 3.5 Super VL pour des agents multimodaux

1Présentation

AWS publie une architecture de référence pour exécuter NVIDIA Nemotron 3.5 Super VL sur des clusters Kubernetes gérés avec Amazon EKS ou SageMaker HyperPod EKS. Ce modèle multimodal traite du texte, des images, des documents et des vidéos, puis produit du texte pour des usages d’agent, de recherche ou d’analyse.

Le guide décrit les configurations minimales de GPU selon la précision, le stockage partagé des poids et la séparation possible entre préparation et génération des tokens. Il présente aussi une méthode pour mesurer le délai avant la première réponse, la latence entre tokens et le débit selon le nombre de requêtes simultanées.

2Ce qui change

Le billet relie les caractéristiques de Nemotron 3.5 Super VL à une architecture de déploiement et à une méthode de dimensionnement sur AWS.

Héberger un modèle multimodal ouvert

Nemotron 3.5 Super VL compte 120 milliards de paramètres, dont 12 milliards activés par token. Il combine texte, image, document et vidéo. AWS décrit son service avec vLLM ou NVIDIA Dynamo sur EKS et SageMaker HyperPod EKS.

Séparer les étapes de l’inférence

L’architecture peut regrouper la préparation du contexte et la génération sur un même nœud ou les répartir. L’encodage des images et vidéos peut également être isolé afin d’ajuster les ressources à chaque phase.

Mesurer avant de dimensionner

Le guide suit le délai avant le premier token, la latence entre tokens et le débit. Des essais à plusieurs niveaux de concurrence servent à estimer le nombre de réplicas nécessaire pour respecter un objectif de service.

3Fonctionnement

Le déploiement associe stockage partagé, nœuds GPU, moteur d’inférence et mesures de charge afin de relier une configuration matérielle à un niveau de service.

4Usages possibles

L’apport concerne les plateformes qui veulent héberger un modèle multimodal et garder la maîtrise de l’infrastructure, avec une capacité de test reproductible avant la mise en production.

5Accès et limites

Le billet est un guide de déploiement daté du 29 octobre, pas la preuve du premier lancement mondial du modèle. Les scores de benchmarks sont ceux de NVIDIA. Les résultats d’inférence concernent des configurations AWS et NVIDIA précises. Les besoins matériels restent élevés, jusqu’à plusieurs GPU H100 ou H200 selon la précision. Les coûts, la licence exacte du checkpoint et les performances sur un usage propre doivent être vérifiés séparément.

Conditions d’accès. Déploiement dans un compte AWS avec modèles et GPU compatibles. Coûts d’infrastructure et conditions des poids à vérifier.

6Pour votre projet

Mesurer les contraintes de mémoire, la latence et le débit sur la charge réelle avant de retenir une précision ou une topologie de service.

• La configuration choisie respecte-t-elle la mémoire requise par le checkpoint et sa précision ?
• La latence et le débit restent-ils dans l’objectif lorsque plusieurs requêtes arrivent ensemble ?

Les scripts de référence ne remplacent pas une validation de sécurité, de licence et de coût dans son propre environnement.