Exécuter un modèle consiste à lui envoyer une demande et à utiliser du calcul pour produire son résultat. Le délai dépend du modèle, du matériel et des autres tâches en cours. Une mise à jour du logiciel peut modifier ce fonctionnement sans changer les connaissances du modèle.
Comprendre le mécanisme
De votre demande à la réponse calculée
Exécuter un modèle, aussi appelé inférence, consiste à appliquer un modèle déjà entraîné à une nouvelle demande. Pour un texte, le logiciel traite des fragments appelés tokens, puis calcule ceux qui formeront la réponse. Le matériel participe à ce calcul.
Pour un essai fictif, une équipe pourrait demander cinq décisions à partir de notes de réunion. Elle comparerait les mêmes notes avec les mêmes réglages, en chronométrant la réponse entière. Une formulation rapide serait ensuite relue pour repérer les décisions inventées.
Exécution et entraînement
L’entraînement modifie les paramètres appris du modèle. Une exécution ordinaire les utilise, sans apprendre automatiquement de votre demande.
Dans un projet
Une demande devient une réponse
Un chef de projet peut envoyer ses notes à un modèle pour préparer un compte rendu. Le logiciel charge le modèle et calcule sa réponse. Le matériel et la longueur des notes influencent le temps nécessaire.
Vous fournissez
Notes fictives et demande de préparer cinq décisions.
Vous contrôlez le résultat
Brouillon de décisions à comparer aux notes originales.
Exemple fictif. Il illustre un usage, sans résultat mesuré.
Les points à vérifier
Vérifiez la compatibilité du modèle, les ressources nécessaires et le délai sur vos propres documents.
Délai completMesurer les secondes jusqu’à la dernière ligne, pas seulement la première.
Ressources mobiliséesRelever mémoire utilisée ou coût des demandes sur un même lot.
Décisions fidèlesCompter les décisions étayées par les notes, puis les ajouts injustifiés.
Des chercheurs proposent de réutiliser des morceaux de réponses pendant l’entraînement d’une IA. Leur méthode, NgramRL, vise à réduire les calculs répétés. Elle concerne les équipes qui entraînent des modèles et reste un travail de recherche.
Recherche publiéeTarif à vérifier
Accès
Prépublication de recherche
À prévoir
L’article de recherche est public. La méthode demande une intégration dans les logiciels d’entraînement. Aucun service prêt à l’emploi n’est établi ici.
Hugging Face ajoute à Speech-to-speech des mesures pour repérer ce qui ralentit un assistant vocal. Le projet propose aussi Phonon pour produire la voix sans carte graphique à cette étape. Ces nouveautés s’adressent aux développeurs et ne garantissent pas, à elles seules, des réponses plus rapides.
DisponibleTarif à vérifier
Accès
Mise à jour publique
À prévoir
Python 3.11 ou plus récent. Composants et licences à choisir. Phonon par défaut soumis à conditions et non commercial.
LocalAI durcit le traitement des URL d’images, d’audio et de vidéo fournies par les utilisateurs. La destination est vérifiée à chaque redirection avant la connexion.
DisponibleTarif à vérifier
Accès
Correctif 4.12.1 publié
À prévoir
Version disponible pour le logiciel auto-hébergé. Mise à jour à planifier selon le déploiement. Tarif non précisé.
NVIDIA publie un petit modèle orienté conversation et appels d’outils sur appareils locaux. Il propose un contexte de 64 000 tokens et un raisonnement activable.
DisponibleTarif à vérifier
Accès
Modèle et formats quantifiés annoncés
À prévoir
Poids et formats quantifiés annoncés pour exécution locale. Compatibilité, licence et coût matériel à vérifier selon le déploiement.
Decider for Mac fait tourner localement le modèle de décision pplx-decider-flash-v1.2. Il classe du texte ou des images et renvoie une probabilité par une API (interface de communication entre logiciels) locale.
DisponibleTarif à vérifier
Accès
Application Mac annoncée
À prévoir
Téléchargement annoncé sans clé Perplexity ni facturation à l’usage. Matériel compatible et téléchargement du modèle nécessaires.
OpenAI rend Decisions API (interface de communication entre logiciels) généralement disponible avec GPT-6 Luna. L’interface évalue des éléments fournis par une application et renvoie une probabilité, un choix ou un score. Elle accepte désormais jusqu’à 400 questions indépendantes par requête, des images propres à chaque question et des données JSON structurées.
DisponibleTarif à vérifier
Accès
Disponibilité générale annoncée le 22 octobre 2026
À prévoir
Accès par l’API (interface de communication entre logiciels) OpenAI avec GPT-6 Luna. Le tarif détaillé n’a pas été revérifié dans cette annonce.
L’équipe GameScaling, qui associe miHoYo, Tsinghua et plusieurs universités, publie une étude sur l’apprentissage d’agents dans des jeux vidéo. Elle fait varier la taille des modèles, les heures de jeu et le mélange des environnements. Les résultats montrent surtout des progrès dans les mondes proches de l’entraînement, avec un rôle décisif du temps de réponse.
Recherche publiéeTarif à vérifier
Accès
Étude et ressources de recherche publiques
À prévoir
Client d’inférence et poids annoncés. Hébergement et ressources matérielles nécessaires, corpus d’entraînement non publié.
Google annonce Agent Compute Engine, un service cloud qui conserve l’environnement de travail d’un agent entre ses interventions. Une petite machine virtuelle peut être mise en pause pendant l’attente, puis reprise avec son état. Le service fonctionne déjà pour des agents Google, mais sa préversion destinée aux clients reste prévue dans les prochains mois.
Annonce / accès prévuTarif à vérifier
Accès
Annonce, accès prévu
À prévoir
Préversion clients prévue dans les prochains mois. Tarifs et accès à préciser.
Google Cloud rend la fonction AI.TRANSLATE généralement disponible dans BigQuery. Une requête SQL peut traduire une chaîne ou une colonne avec le moteur neuronal standard ou un modèle de langage spécialisé. Le résultat peut inclure le texte traduit, le statut de l’opération et les erreurs éventuelles.
DisponibleTarif à vérifier
Accès
Disponibilité générale annoncée le 22 octobre 2026
À prévoir
Fonction BigQuery faisant appel à Cloud Translation. Les tarifs et quotas doivent être vérifiés selon le projet.
