C'est quoi un mixture of experts (MoE) ?

Le mixture of experts est une façon de construire un modèle d'IA en le découpant en plusieurs sous-réseaux appelés experts. Pour chaque morceau de texte traité (chaque token), un petit aiguilleur appelé routeur n'active que deux ou trois experts pertinents au lieu de tout le modèle. Résultat : un modèle qui contient beaucoup de connaissances, mais qui ne fait travailler qu'une fraction de ses neurones à chaque fois.

Quelle différence entre un modèle MoE et un modèle dense ?

Un modèle dense fait passer chaque token par la totalité de ses paramètres : tout le réseau calcule à chaque mot. Un modèle MoE n'active que les experts choisis par le routeur, donc une petite partie du total. Le MoE peut ainsi être beaucoup plus gros en capacité totale tout en coûtant le prix de calcul d'un modèle bien plus petit à l'usage.

Est-ce que le MoE rend l'IA moins chère pour moi ?

Indirectement, oui. Comme un modèle MoE coûte moins de calcul par requête qu'un modèle dense de capacité équivalente, le fournisseur le sert pour moins cher et plus vite. Ces économies se retrouvent souvent dans des tarifs d'API plus bas et une latence réduite, donc des réponses plus rapides dans les outils que tu utilises.

Le MoE rend-il les réponses moins bonnes ?

Non, c'est même l'inverse du compromis qu'on pourrait craindre. À budget de calcul égal, un modèle MoE égale ou dépasse souvent un modèle dense, parce que ses experts se spécialisent. La principale contrainte n'est pas la qualité mais la mémoire : tous les experts doivent rester chargés, même si seuls quelques-uns travaillent à chaque token.

Concepts · Architecture des modèles

MoE (mixture of experts) : comment les gros modèles restent rapides

11 juillet 2026 · 6 min de lecture

Illustration de l'architecture mixture of experts (MoE) d'un grand modèle

Un modèle mixture of experts (MoE) reste rapide malgré sa taille parce qu'il n'active que quelques sous-réseaux spécialisés par token, au lieu de faire travailler tout le réseau à chaque mot. Tu obtiens un modèle plus gros en capacité, mais aussi cher à faire tourner qu'un modèle bien plus petit.

C'est devenu l'une des architectures dominantes des grands modèles récents. Voici comment elle marche, et pourquoi ça change concrètement tes tarifs et ta latence.

Le problème que le MoE résout

Un grand modèle de langage (LLM) est fait de paramètres : des milliards de nombres ajustés pendant l'entraînement, qui encodent ce que le modèle « sait ». Plus il y a de paramètres, plus le modèle peut emmagasiner de connaissances et de nuances.

Le souci, c'est le coût. Dans un modèle dit dense, chaque mot que tu envoies traverse la totalité des paramètres. Un modèle deux fois plus gros coûte donc grosso modo deux fois plus de calcul à chaque réponse. La qualité monte, mais la facture et le temps d'attente montent avec.

Le calcul se compte en tokens, les unités de texte qu'un modèle lit et écrit (un mot court vaut souvent un token). Activer tous les paramètres pour chaque token, c'est ce qui rend un gros modèle dense lent et cher.

L'idée : ne faire travailler que les bons spécialistes

Le mixture of experts découpe une partie du réseau en plusieurs sous-réseaux appelés experts. Pense à un cabinet de conseil : tu n'as pas besoin de réunir les vingt associés pour chaque dossier, tu consultes seulement les deux ou trois dont la spécialité colle au problème.

Pour décider qui consulter, le modèle utilise un routeur (ou gating) : un petit aiguilleur qui, pour chaque token, choisit les quelques experts les plus pertinents et leur passe le travail. Les autres restent au repos pour ce token.

On parle de paramètres actifs par opposition aux paramètres totaux. Un modèle MoE peut contenir des centaines de milliards de paramètres au total, mais n'en activer qu'une fraction à chaque token. Il paie alors le coût de calcul d'un petit modèle tout en gardant la mémoire d'un gros.

Concrètement, beaucoup de modèles MoE récents activent deux experts par token parmi plusieurs dizaines, voire plusieurs centaines disponibles. Les chiffres exacts varient d'un modèle à l'autre et changent vite, donc retiens le principe plutôt qu'un nombre précis.

Plus gros, mais plus rapide : pourquoi ce n'est pas contradictoire

La taille totale d'un modèle gouverne ce qu'il peut savoir. La taille active gouverne ce qu'il coûte par réponse. Le MoE découple les deux.

Une recherche de Google sur l'architecture GLaM a montré dès 2021 qu'un MoE pouvait dépasser un modèle dense de référence sur des tâches variées tout en utilisant à peu près la moitié du calcul à l'inférence. Le principe tient toujours en 2026 : à budget de calcul égal, un MoE égale ou bat souvent un modèle dense, parce que ses experts se spécialisent au lieu de tout mélanger.

La contrepartie est réelle et tient en un mot : la mémoire. Même si seuls quelques experts travaillent par token, tous doivent rester chargés en mémoire, prêts à être appelés. Un modèle MoE économise du calcul, pas de la place. C'est un compromis que les fournisseurs gèrent côté serveur, pas toi.

	Modèle dense	Modèle MoE
Paramètres actifs par token	tous	quelques experts seulement
Coût de calcul par réponse	élevé	réduit pour une capacité donnée
Mémoire nécessaire	proportionnelle à la taille	doit tenir tous les experts
Effet pour toi	gros = lent et cher	gros possible sans exploser le coût

Pourquoi ça compte pour toi : tarifs et latence

Tu ne choisis pas l'architecture d'un modèle, et tu n'as pas à la voir. Mais elle se ressent dans deux choses très concrètes : ce que tu paies et le temps que tu attends.

Un modèle MoE coûte moins de calcul par requête qu'un modèle dense de capacité comparable. Ce calcul, c'est exactement ce que facture un fournisseur via son API, et c'est ce qui détermine la vitesse de réponse. Moins de calcul par token, c'est donc un levier direct sur des tarifs plus bas et une latence plus courte.

C'est l'une des raisons pour lesquelles les outils d'IA sont devenus à la fois plus capables et plus abordables ces dernières années. Le MoE n'est pas le seul facteur, mais il fait partie de ceux qui permettent de servir des modèles très grands sans répercuter un coût démesuré sur l'utilisateur.

L'exemple de Maisons&Mobilia

Maisons&Mobilia (M&M), une enseigne de meubles, a équipé ses équipes d'un assistant IA en libre-service. Sophie, à la compta, lui fait résumer des relevés. Antoine, au marketing, lui fait reformuler des fiches produit. Le service tourne toute la journée, pour des centaines de salariés.

Au moment de chiffrer l'abonnement, Pierre, le dirigeant, s'attendait à une note salée : le modèle retenu est l'un des plus capables du marché. La surprise, c'est que le coût par requête reste contenu, et que les réponses arrivent vite même aux heures de pointe.

L'explication tient en partie à l'architecture MoE du modèle choisi. Quand Sophie demande un résumé comptable, le routeur sollicite les experts utiles à ce type de texte, pas l'intégralité du réseau. M&M paie donc le calcul réellement consommé, pas celui d'un mastodonte qui s'allumerait en entier à chaque phrase. Pierre n'a jamais entendu parler de « routeur » ni d'« experts », mais c'est ce qui rend l'abonnement de M&M tenable à grande échelle.

Une brique parmi d'autres

Le MoE n'est pas une recette magique, c'est un choix d'ingénierie pour mieux placer le curseur entre capacité et coût. Il se combine avec d'autres : la façon dont un modèle raisonne avant de répondre, ou le choix entre un modèle open source ou propriétaire selon tes contraintes.

Pour ton usage, l'essentiel tient en une phrase : grâce à des architectures comme le MoE, « gros modèle » ne veut plus dire « forcément lent et hors de prix ». C'est ce qui rend les meilleurs modèles utilisables au quotidien, y compris dans une app comme saisir.ai.

Aller plus loin

C'est quoi un LLM ? pour les bases avant de parler d'architecture.
Token et context window pour comprendre l'unité de calcul que le MoE économise.
Combien coûte l'IA générative ? pour relier l'architecture à ta facture.
Les modèles qui raisonnent pour une autre brique d'architecture moderne.
Open source ou propriétaire ? pour choisir un modèle selon tes besoins.

Questions fréquentes

C'est quoi un mixture of experts (MoE) ?: Le mixture of experts est une façon de construire un modèle d'IA en le découpant en plusieurs sous-réseaux appelés experts. Pour chaque morceau de texte traité (chaque token), un petit aiguilleur appelé routeur n'active que deux ou trois experts pertinents au lieu de tout le modèle. Résultat : un modèle qui contient beaucoup de connaissances, mais qui ne fait travailler qu'une fraction de ses neurones à chaque fois.
Quelle différence entre un modèle MoE et un modèle dense ?: Un modèle dense fait passer chaque token par la totalité de ses paramètres : tout le réseau calcule à chaque mot. Un modèle MoE n'active que les experts choisis par le routeur, donc une petite partie du total. Le MoE peut ainsi être beaucoup plus gros en capacité totale tout en coûtant le prix de calcul d'un modèle bien plus petit à l'usage.
Est-ce que le MoE rend l'IA moins chère pour moi ?: Indirectement, oui. Comme un modèle MoE coûte moins de calcul par requête qu'un modèle dense de capacité équivalente, le fournisseur le sert pour moins cher et plus vite. Ces économies se retrouvent souvent dans des tarifs d'API plus bas et une latence réduite, donc des réponses plus rapides dans les outils que tu utilises.
Le MoE rend-il les réponses moins bonnes ?: Non, c'est même l'inverse du compromis qu'on pourrait craindre. À budget de calcul égal, un modèle MoE égale ou dépasse souvent un modèle dense, parce que ses experts se spécialisent. La principale contrainte n'est pas la qualité mais la mémoire : tous les experts doivent rester chargés, même si seuls quelques-uns travaillent à chaque token.