Voix hors ligne pour l’IA embarquée : ASR et TTS sans le nuage

L’IA vocale hors ligne est la boucle qui manquait autour des modèles de langage embarqués : entendre l’utilisateur, répondre localement, parler en retour, sans un aller-retour…

05-hero-offline-voice

Taper dans une fenêtre de dialogue locale est utile. Parler à un téléphone dans le métro, au marché ou dans une zone blanche, c’est ainsi que les gens veulent vraiment que les assistants fonctionnent. C’est pourquoi la reconnaissance vocale embarquée et la synthèse vocale embarquée comptent autant que les petits modèles de langage auxquels elles sont associées.

Le 10 novembre 2026, l’équipe Google AI Edge et l’équipe Android ML ont annoncé la reconnaissance automatique de la parole (ASR) et la synthèse vocale (TTS) au sein de Google AI Edge Gallery. Le billet de Google présente ce travail comme un moyen d’exécuter une ASR multilingue et une TTS expressive entièrement sur l’appareil, dans une empreinte mémoire réduite, à faible latence et complètement hors ligne, puis d’associer ces modèles de parole à de petits modèles de langage embarqués tels que Gemini Nano et Gemma 4, afin que les applications puissent diffuser des transcriptions en direct et synthétiser des réponses parlées localement.

Cet article s’en tient à cette chaîne vocale. Il ne reprend pas le détail interne de LiteRT ; pour la couche d’exécution de l’inférence embarquée, voir notre guide de la pile d’exécution de l’IA embarquée. Tous les chiffres de latence, de précision et de taille ci-dessous sont des affirmations de Google, sauf lorsqu’une fiche de modèle est citée pour une licence.

Ce que Google a mis entre les mains des développeurs

Google décrit deux chemins complémentaires :

  • Android, via ML Kit : des modèles de parole système gérés par AICore et les services de parole embarqués de Google. Google indique que ML Kit assure une transcription multilingue sur plus de 100 langues à une vitesse de 10 fois le temps réel, associée à un modèle de TTS par diffusion en quelques étapes qui commence à parler en environ 100 ms et synthétise un audio à 24 kHz à jusqu’à 50 fois le temps réel. Les deux modèles, selon Google, sont intégrés au système d’exploitation et n’ajoutent 0 Mo à l’APK.
  • Web, bureau et autres plateformes, via MediaPipe Tasks et LiteRT : des paquets de parole .litertlm optimisés, dont Parakeet-TDT 0.6B, PocketTTS 100M, Kokoro-82M et Phonon 31M. Google affirme qu’ils offrent une transcription en flux en temps réel et une synthèse à faible latence dans une empreinte mémoire compacte, et qu’ils peuvent tourner aux côtés de petits modèles de langage embarqués sans se disputer le calcul.

L’application Gallery en est la vitrine : une démonstration XR Language Teacher et un AI Chat vocal. Les briques sont aussi documentées comme API ML Kit, MediaPipe Tasks et paquets LiteRT.

Pourquoi une pile vocale séparée l’emporte encore

Google relève que des modèles multimodaux tels que Gemma 4 peuvent traiter l’audio directement, mais l’entreprise livre une conception modulaire, en cascade : des modèles ASR et TTS légers autour d’un modèle de langage. Les raisons avancées sont la latence et la souplesse : on peut changer de reconnaisseur ou de voix sans réentraîner le petit modèle de langage, et planifier la synthèse pour qu’elle ne dispute pas la mémoire à la génération de jetons.

Cette architecture est, en 2026, la définition pratique de l’IA vocale hors ligne : garder la boucle interne sur l’appareil, maintenir les modèles assez petits pour cohabiter, et traiter le nuage comme une option pour les tâches plus lourdes, non comme le premier saut du microphone.

Boucle filaire cyan reliant un microphone, une forme d’onde, un cube neuronal compact et un haut-parleur, avec le contour à peine visible d’une caméra sur un fond sombre.

ML Kit sur Android : des modèles système, des chiffres de Google

Pour les Android haut de gamme, Google oriente les développeurs vers les API GenAI Speech Recognition et Text-to-Speech de ML Kit. Le billet indique que les modèles sous-jacents sont gérés par AICore, de sorte que les applications bénéficient d’une accélération matérielle sur les backends NPU et TPU lorsqu’ils sont disponibles, ainsi que de mises à jour de modèles en arrière-plan, sans incorporer les poids dans l’APK.

Reconnaissance vocale embarquée (affirmations de Google)

Le billet du 10 novembre de Google indique que les dernières avancées en ASR embarquée offrent :

  • une reconnaissance multilingue sur plus de 100 langues ;
  • un taux d’erreur de mots (WER) de 8,0 % à 9,0 % sur FLEURS (fourchette rapportée par Google) ;
  • une transcription 10 fois plus rapide que l’audio en temps réel, décrite comme environ 300 ms pour 3 secondes de parole ;
  • une réduction de 35 % à 44 % des temps d’attente de la traduction vocale de bout en bout.

L’API, selon le même billet, diffuse en direct des transcriptions partielles et finales, et peut accepter l’audio du microphone intégré ou de flux externes tels que des lunettes connectées.

La documentation officielle de ML Kit ajoute des contraintes qui comptent en production. L’API GenAI Speech Recognition est proposée en version alpha, « non soumise à un SLA ni à une politique de dépréciation », et peut évoluer de façon à rompre la rétrocompatibilité. Elle prend en charge les modes Advanced et Basic ; le mode Advanced utilise un modèle GenAI pour une couverture linguistique plus large et, selon la documentation, n’est disponible que sur certains appareils. Le SDK exige minSdkVersion 26 ou plus. Ce sont des faits de documentation, non des affirmations de performance.

Synthèse vocale embarquée (affirmations de Google)

Sur la TTS, le billet de Google décrit un modèle compact de diffusion en quelques étapes, accéléré sur NPU, qui :

  • commence à parler en environ 100 ms ;
  • génère une parole naturelle à 24 kHz avec 8 voix expressives et 21 locales, à jusqu’à 50 fois le temps réel ;
  • synthétise un paragraphe de 27 secondes en seulement environ 500 ms ;
  • réduit de plus de 50 % la consommation électrique active de l’appareil par rapport aux modèles TTS autorégressifs classiques ;
  • inclut un support intégré des earcons (signaux sonores).

La documentation GenAI Text-to-Speech de ML Kit est également en version alpha, avec le même avertissement « pas de SLA / risque de rupture ». Elle dresse la liste de huit voix nommées et de 21 locales, ce qui correspond aux décomptes du billet. Elle dresse aussi une liste précise d’appareils pris en charge (Pixel 8 à 11 et, au moment de la documentation, certains Samsung Galaxy S25, S26, Z Fold8, Z Fold8 Ultra et Z Flip8) et exige la dernière application Speech Recognition & Synthesis (com.google.android.tts) depuis Google Play, avec minSdk 26. Il convient de traiter les chiffres de vitesse et de consommation du billet comme des mesures de Google, et la documentation comme le critère de livraison pour les téléphones qui peuvent appeler l’API aujourd’hui.

Des paquets multiplateformes, et ce que « ouvert » veut vraiment dire

Le billet de Google range Parakeet-TDT 0.6B, PocketTTS 100M, Kokoro-82M et Phonon 31M parmi des paquets de parole « open-weight » conditionnés en fichiers .litertlm pour MediaPipe Tasks et LiteRT. « Open-weight » est un raccourci marketing. Les licences figurent sur les fiches de modèles. Nous les avons vérifiées plutôt que de reprendre l’adjectif sans contrôle.

Parakeet-TDT 0.6B — CC BY 4.0

Google nomme ensuite Parakeet-TDT-0.6B-v3 comme exemple d’ASR multilingue dans la discussion sur le conditionnement LiteRT. La fiche Hugging Face de NVIDIA pour nvidia/parakeet-tdt-0.6b-v3 indique que l’usage du modèle est régi par la licence CC BY 4.0 et décrit un modèle ASR multilingue de 600 millions de paramètres. C’est une licence permissive, soumise à l’attribution, et non une autorisation « de tout faire, sans condition ». Il faut créditer NVIDIA et conserver l’avis de licence.

PocketTTS 100M — CC BY 4.0 (accès contrôlé ; limites d’usage supplémentaires)

La fiche de Kyutai pour kyutai/pocket-tts déclare la licence CC BY 4.0. Le dépôt est à accès contrôlé et comporte un avis d’usages interdits : l’usage doit respecter la loi et ne doit pas impliquer d’activité illégale, nuisible ou trompeuse, y compris l’imitation ou le clonage de voix sans consentement explicite et licite, la désinformation et les préjudices connexes. La page de conversion LiteRT Community des paquets MediaPipe/LiteRT attribue de même l’architecture, les poids et les plongements de voix d’origine à Kyutai sous CC-BY-4.0. Le dépôt GitHub de Kyutai pour le projet est indiqué comme MIT pour le code, distinct de la licence des poids. Il ne faut pas fondre le tout sous une seule étiquette « ouvert ».

Kokoro-82M — Apache 2.0

La fiche Hugging Face de hexgrad/Kokoro-82M déclare Apache 2.0 dans ses métadonnées et décrit des « poids sous licence Apache ». C’est une licence logicielle permissive standard, avec des exigences d’attribution et d’avis. Google présente Kokoro-82M comme une option TTS multilingue dans la vitrine MediaPipe.

Phonon 31M — Apache 2.0 (cette variante seulement)

La fiche de gradium/phonon-31m-en indique que les poids, le tokenizer et les voix de ce dépôt sont publiés sous Apache 2.0. Le billet de Google cite Phonon 31M comme exemple de TTS anglais ultra-léger et revendique un Time-to-First-Audio (TTFA) inférieur à 100 ms sur la plupart des appareils et plateformes : là encore, une affirmation de Google sur l’expérience conditionnée, et non un chiffre recopié de la fiche Gradium.

Une réserve de licence importe ici : le tableau de famille de Gradium place les variantes phonon-40m sous CC BY-NC 4.0, une licence peu favorable à un usage commercial. Si l’on passe du point de contrôle anglais 31M à un Phonon 40M ou multilingue, on n’est plus sous Apache 2.0. Il faut vérifier la fiche du dépôt exact que l’on expédie.

Google mentionne aussi un catalogue plus large LiteRT Community sur Hugging Face (les exemples du billet incluent Whisper, Qwen3-ASR, Moonshine, Qwen3-TTS et Matcha). Ces noms sont des pointeurs, non un audit de licences ; il faut vérifier chaque fiche avant d’expédier.

Ce que Gallery démontre réellement

XR Language Teacher

Google a conçu la vitrine XR Language Teacher pour montrer que vision, langage et parole peuvent fonctionner ensemble à 100 % en local sur un téléphone, sans connexion réseau. Le scénario : pointer la caméra vers un objet ou un menu inconnu, demander « Qu’est-ce que c’est, et comment est-ce que je le commande ? », et entendre une explication dans sa langue ainsi que la prononciation dans la langue locale.

Selon la description de Google :

  • l’ASR embarquée diffuse la question parlée en temps réel, en même temps que l’image de la caméra, vers Gemini Nano sur Android, ou Gemma 4 sur les autres plateformes, en une seule passe ;
  • un schéma de sortie structuré balise les expressions en langue étrangère afin que la TTS puisse changer de voix et d’accent en milieu de phrase, avec une fiche de vocabulaire à l’écran.

Google indique que la même expérience peut tourner de façon autonome sur un téléphone et s’étendre à des lunettes connectées mains libres, l’inférence s’exécutant sur un téléphone apparié, et renvoie à une intervention de l’Android Dev Summit sur les expériences audio d’abord pour les lunettes intelligentes avec Gemini Nano. C’est une démonstration de produit, non un banc d’essai de précision publié.

La voix dans AI Chat

Google a aussi branché l’ASR et la TTS sur la fonction AI Chat principale de Gallery, afin que Gemini Nano et Gemma 4 puissent proposer une interface vocale hors ligne. Les comportements documentés comprennent :

  • le choix des chaînes ASR et TTS, des voix préréglées et des packs de langue téléchargés dans Model Management ;
  • une lecture à voix haute avec surlignage des phrases en direct, y compris une barre TTS flottante et un saut au toucher ;
  • une implémentation de référence qui retire le Markdown, ignore les blocs non destinés à être lus tels que le code et les tableaux, et planifie la synthèse au niveau de la phrase pour éviter la contention de calcul et de mémoire pendant la génération de jetons du modèle de langage.

Ces notes d’implémentation sont plus utiles qu’un slogan. La voix hors ligne échoue dans les faits lorsque la TTS tente de lire un bloc JSON, ou lorsque le synthétiseur et le modèle de langage se disputent le même accélérateur.

Une lecture prudente des affirmations

Les chiffres de Google sont d’une précision inhabituelle (WER sur FLEURS, 300 ms pour 3 secondes d’audio, TTS à 50 fois le temps réel, 500 ms pour un paragraphe de 27 secondes, baisse de consommation de plus de 50 % face à une TTS autorégressive). Ce restent des mesures du fournisseur, dans les conditions de Google. Ce ne sont pas des résultats de laboratoire indépendants, et les API ML Kit qui exposent les modèles système sont explicitement en version alpha.

Pour les équipes, les leçons de conception durables sont plus simples qu’un classement :

  1. Garder la parole et le langage comme des étapes séparées, sauf raison mesurée de nourrir un seul modèle multimodal avec de l’audio brut.
  2. Budgéter la coexistence. L’implémentation de référence de Google pour le chat consiste précisément à empêcher la TTS et la génération de jetons de se télescoper.
  3. Ne pas supposer que tout téléphone Android figure dans l’ensemble pris en charge par la TTS de ML Kit. Lire la liste d’appareils en vigueur et l’exigence de l’application Speech Recognition & Synthesis.
  4. Licencier les poids que l’on expédie réellement. CC BY 4.0, Apache 2.0 et CC BY-NC 4.0 ne sont pas interchangeables ; l’avis d’usages interdits de Pocket TTS, lié à l’accès contrôlé, fait partie des conditions acceptées.
  5. Traiter le hors ligne comme une promesse de produit. Si l’ASR, le petit modèle de langage et la TTS tournent tous localement, la fonction doit encore marcher lorsque la radio est éteinte, et pas seulement lorsqu’une démonstration est filmée dans un laboratoire bien connecté.

En résumé

L’IA vocale hors ligne est la manière dont les assistants embarqués quittent le clavier. La publication de Google du 10 novembre 2026 place la reconnaissance vocale embarquée et la synthèse vocale embarquée dans Google AI Edge Gallery, avec des modèles système ML Kit sur Android et des paquets MediaPipe/LiteRT pour les autres plateformes, destinés à siéger aux côtés de Gemini Nano et Gemma 4. Google revendique une ASR sur plus de 100 langues à 10 fois le temps réel, des démarrages de TTS de l’ordre de moins de 100 millisecondes, et un incrément d’APK de zéro octet pour le chemin système. Ce sont des affirmations de Google, et les API ML Kit sont encore en version alpha.

Les licences des poids tiers conditionnés sont vérifiables : Parakeet-TDT 0.6B-v3 sous CC BY 4.0, PocketTTS sous CC BY 4.0 avec un avis d’usages interdits et un accès contrôlé, Kokoro-82M sous Apache 2.0, et Phonon 31M anglais sous Apache 2.0 (avec d’autres tailles Phonon sous CC BY-NC 4.0). Il faut embarquer la boucle vocale sur l’appareil, la planifier avec honnêteté, et soigner les formalités autant que le budget de latence.


Références / sources

  1. Google Developers Blog — On-Device Speech Recognition and Text-to-Speech in Google AI Edge Gallery (10 nov. 2026) : https://developers.googleblog.com/on-device-speech-recognition-and-text-to-speech-in-google-ai-edge-gallery/
  2. Google for Developers — ML Kit GenAI Speech Recognition API (Android) : https://developers.google.com/ml-kit/genai/speech-recognition/android
  3. Google for Developers — ML Kit GenAI Text-to-Speech API (Android) : https://developers.google.com/ml-kit/genai/text-to-speech/android
  4. NVIDIA Hugging Face model card — parakeet-tdt-0.6b-v3 (CC BY 4.0) : https://huggingface.co/nvidia/parakeet-tdt-0.6b-v3
  5. Kyutai Hugging Face model card — pocket-tts (CC BY 4.0 ; avis d’usages interdits, accès contrôlé) : https://huggingface.co/kyutai/pocket-tts
  6. LiteRT Community — PocketTTS 100M for MediaPipe & LiteRT (attribue les poids d’origine à Kyutai, CC-BY-4.0) : https://huggingface.co/litert-community/pocket-tts
  7. hexgrad Hugging Face model card — Kokoro-82M (Apache 2.0) : https://huggingface.co/hexgrad/Kokoro-82M
  8. Gradium Hugging Face model card — phonon-31m-en (Apache 2.0 ; le tableau de famille indique CC BY-NC 4.0 pour les variantes 40m) : https://huggingface.co/gradium/phonon-31m-en

Partager cet article

Images : illustrations originales créées pour AndBeyond.Tech ; aucun logo ni aucune personne réelle n’y figurent.