Xyntetik Runner étend l’inférence locale aux GPU Apple et NVIDIA

1Présentation

Xyntetik Runner est un moteur d’inférence développé par la société suédoise Zenova AB. Il charge des modèles au format GGUF sur un ordinateur, puis expose des interfaces compatibles avec certaines requêtes OpenAI et Anthropic.

La version 1.10.0, publiée le 1er novembre, élargit les chemins d’exécution sur Apple Silicon et NVIDIA. Elle ajoute aussi des traces pour observer le routage des modèles à experts et des outils pour comparer les effets de la quantification, qui réduit la taille d’un modèle.

2Ce qui change

Runner 1.10 ajoute des chemins GPU précis et rend plusieurs compromis d’exécution plus visibles.

Étendre l’exécution sur GPU

Des modèles denses compatibles peuvent utiliser davantage le GPU Apple, tandis que certains formats NVIDIA profitent de chemins CUDA accélérés.

Observer les choix des modèles à experts

Les traces enregistrent le routage des experts sur CUDA afin de comparer ou rejouer une exécution avec les mêmes choix.

Mesurer la compression

Les outils de quantification évaluent l’erreur par tenseur pour préparer un plan de réduction de taille sans promettre une qualité universelle.

3Fonctionnement

Le moteur charge un fichier de modèle, choisit le chemin CPU ou GPU compatible, puis expose le résultat et des éléments de mesure.

4Usages possibles

Ces fonctions concernent surtout les développeurs et équipes de recherche qui veulent exécuter et comparer des modèles sur leur propre matériel.

5Accès et limites

La compatibilité dépend du modèle, de son format et du matériel. Sur Apple, certaines exécutions exigent que le modèle tienne entièrement dans la mémoire du GPU. Plusieurs fonctions restent propres à CUDA ou à des familles précises. Les mesures de vitesse et de qualité viennent de l’éditeur et ne constituent pas une évaluation indépendante. Le moteur est sous Apache 2.0, mais chaque modèle conserve sa propre licence. Les coûts du matériel et de l’électricité restent à la charge de l’utilisateur. Aucun logiciel installé ni audit de sécurité réalisé.

Conditions d’accès. Moteur Apache 2.0 pour Apple Silicon, NVIDIA, Windows et Linux. Matériel et modèles compatibles requis.

6Pour votre projet

Comparer la compatibilité et les mesures sur le matériel réellement utilisé avant de retenir un format ou un niveau de compression.

• Le modèle et son format sont-ils compatibles avec le matériel visé ?
• Les mesures publiées correspondent-elles à la charge réelle du projet ?

Les exécutables macOS ne sont pas encore notariés selon l’éditeur.