Ant Group et vLLM publient Humming pour exécuter les modèles compressés sur plusieurs GPU
L’essentiel de l’annonce
Ant Group et la communauté vLLM publient Humming, une bibliothèque de calcul pour l’inférence quantifiée. Elle cherche à transformer la réduction de mémoire des modèles en vitesse réelle, sans maintenir une implémentation différente pour chaque format et matériel. Le code est public sous Apache 2.0 et intégré aux installations CUDA de vLLM à partir de la version 0.29.0.
- Date de publication de la source
- Catégorie
- Agents et développement
- Périmètre et accès
- Annonce originale du 21 octobre 2026. Disponibilité précisée dans l’article.
- Sujet du contenu
- Transformer une économie de mémoire en calcul utile
- Entreprises / organismes
- Ant Group, vLLM
- Technologies
- Exécution d’un modèle
Comment cela fonctionne
La quantification stocke les nombres du modèle avec moins de précision. Elle réduit la mémoire, mais le processeur graphique doit encore savoir exploiter ce format. Humming décrit les nombres séparément des choix d’exécution, puis assemble et conserve des noyaux de calcul adaptés à la charge. Les auteurs rapportent 14 à 43 % de débit supplémentaire sur DeepSeek-V4.1-Flash avec huit H20. La comparaison modifie aussi la précision des valeurs intermédiaires, de W4A16 à W4A8. Elle ne mesure pas le logiciel seul à réglages identiques.
Identifier le format numérique
La bibliothèque représente les poids et leur précision.
Choisir les opérations compatibles
Le noyau est préparé pour le matériel et la charge.
Observer le service complet
La comparaison inclut les délais et les réponses produites.
Choisissez une étape pour lire son explication.
Identifier le format numérique
La bibliothèque représente les poids et leur précision.
Choisir les opérations compatibles
Le noyau est préparé pour le matériel et la charge.
Observer le service complet
La comparaison inclut les délais et les réponses produites.
Illustration simplifiée. Les dessins ne montrent pas de résultats mesurés.
Points techniques et opérationnels
- Conserver les formats numériques et la charge dans toute comparaison.
- Vérifier la qualité des réponses en plus du débit de calcul.
Ce que cela pourrait changer
Exemples possibles. L’annonce ne démontre pas de gains pour ces usages.
Exemple pédagogique
Un exemple pour comprendre
Une équipe fictive réduit la taille d’un modèle, mais son serveur répond moins vite. Elle doit examiner le coût des conversions et les opérations disponibles sur ses GPU. La petite taille du fichier ne suffit pas à expliquer le débit du service.
Deux questions pour évaluer l’intérêt
- Conserver les formats numériques et la charge dans toute comparaison.
- Vérifier la qualité des réponses en plus du débit de calcul.
Qui peut l’utiliser, avec quelles limites ?
Disponible dans le périmètre annoncé
Ces mesures proviennent des auteurs et ne garantissent ni qualité inchangée ni baisse équivalente des coûts. Le support dépend du matériel et du format. La recherche automatique des meilleurs réglages reste prévue. Installation et exploitation nécessitent des ressources, sans service hébergé gratuit annoncé.
Conditions d’accès : Bibliothèque ouverte à installer. GPU et formats compatibles nécessaires, sans essai effectué.
La portée de l’annonce
Interprétation éditoriale à partir de l’annonce.
Compresser les poids et accélérer le service ne sont pas deux résultats interchangeables. La vitesse finale dépend aussi des conversions, des transferts et du nombre de demandes simultanées.
Les mots utiles pour comprendre
Sources et vérifications
Ant Group et communauté vLLM - Ant Group et vLLM publient Humming pour exécuter les modèles compressés sur plusieurs GPU
Source vérifiée le . Synthèse originale. Les résultats annoncés restent attribués à leur source. Les dessins expliquent le principe ; les exemples présentent un usage possible.
Sources primaires publiques relues le 22 octobre 2026. Lecture documentaire, sans essai du produit.
Publié sur ce site le . Mis à jour le . Rédaction : Boris Shutov, avec l’aide de ChatGPT. Notre méthode éditoriale.