Une ingénieure NVIDIA assemble un personnage vocal et visuel sur une station locale

1Présentation

Maryam Motamedi, ingénieure chez NVIDIA, décrit MonsterHouse, une projection interactive conçue pour Halloween. Le personnage écoute les visiteurs, prépare une réponse vocale et anime une bouche virtuelle.

Le récit du 30 octobre explique comment elle assemble des modèles NVIDIA avec une logique de conversation et des réponses préenregistrées. L’intérêt est de comprendre les compromis d’un agent vocal et visuel sur une station locale, pas de présenter un nouveau service commercial.

2Ce qui change

MonsterHouse combine reconnaissance vocale, dialogue, synthèse et animation pour un personnage d’Halloween. Le récit explique l’orchestration locale et ses compromis, sans annoncer un produit prêt à déployer.

Une chaîne complète de conversation

La parole devient texte, puis une réponse est produite et synthétisée. Audio2Face-3D utilise la voix propre pour animer le personnage dans Unreal Engine.

Des choix d’orchestration visibles

L’auteure sépare les calculs de dialogue et de rendu sur deux cartes. Des textes et sons en cache évitent de tout générer à chaque rencontre et une logique applicative conserve l’état de la conversation.

3Fonctionnement

Le montage coordonne plusieurs traitements qui doivent rester synchronisés. La réactivité dépend autant de la gestion des tours de parole, du cache et du rendu que du modèle de dialogue.

4Usages possibles

Concepteurs d’expériences interactives et équipes qui étudient l’assemblage d’agents vocaux avec animation. Définir d’abord le parcours d’interaction et les conditions d’essai avant de choisir les modèles et le matériel.

5Accès et limites

Prototype personnel décrit par une salariée NVIDIA, pas évaluation indépendante. Station équipée de deux cartes professionnelles, code propre à MonsterHouse non empaqueté pour diffusion. Les temps de réponse sont des mesures de l’auteure sur son montage. La reconnaissance des costumes est illustrée par une vidéo synthétique, pas par une validation en conditions nocturnes réelles. Les tests avec de vrais groupes et la distribution automatique de friandises restent à réaliser. L’accès et les licences des composants doivent être vérifiés séparément. Fonctionnement local ne signifie pas sécurité ou confidentialité certifiées.

Conditions d’accès. Prototype documenté, pas de produit commercial. Code spécifique non publié sous forme prête à l’emploi, accès aux composants à vérifier.

6Pour votre projet

Définir d’abord le parcours d’interaction et les conditions d’essai avant de choisir les modèles et le matériel.

• Les conditions d’accès et le périmètre correspondent-ils au projet ?
• Les résultats et limites ont-ils été vérifiés dans le contexte réel ?

Le son destiné à l’animation peut rester séparé des effets entendus par le public.