Concepts · Architecture des modèles
Petits modèles, grand impact : la distillation
29 juillet 2026 · 6 min de lecture
La distillation transfère le savoir-faire d'un gros modèle « professeur » vers un petit modèle « élève ». L'élève apprend à imiter les réponses du professeur sur une tâche donnée. Tu obtiens un modèle plus petit, plus rapide et moins cher, qui garde l'essentiel de la qualité là où tu en as besoin.
C'est l'une des raisons pour lesquelles des petits modèles open source deviennent étonnamment compétents : beaucoup ont été distillés à partir de modèles bien plus lourds.
Le principe : un professeur, un élève
Un grand modèle de langage (LLM) coûte cher à faire tourner. Il est lent et gourmand en calcul. Pour un usage précis et répété, c'est souvent surdimensionné.
La distillation répond à ce déséquilibre. On prend un gros modèle déjà entraîné, le professeur. On lui fait produire des réponses sur un grand nombre d'exemples. Puis on entraîne un modèle bien plus petit, l'élève, à reproduire ces réponses.
Point clé : l'élève n'apprend pas seulement la bonne réponse. Il apprend la façon dont le professeur hésite. Quand un LLM répond, il ne choisit pas un seul mot d'un coup, il évalue plusieurs options avec des degrés de confiance différents (ces options sont des tokens, les unités de texte que le modèle manipule). L'élève apprend à copier cette distribution de confiance, pas juste le mot gagnant. C'est ce signal riche qui lui permet de bien généraliser malgré sa petite taille.
Pourquoi ça compte pour toi
Un modèle plus petit change quatre choses concrètes.
Le coût d'abord. Moins de calcul par réponse veut dire une facture plus basse, surtout quand le volume d'appels est élevé.
La latence ensuite. Un petit modèle répond plus vite. Pour un assistant qui traite des centaines de messages, la différence se voit.
La possibilité de tourner en local. Un modèle distillé assez compact peut s'exécuter sur ton propre ordinateur ou un serveur interne, sans dépendre d'une API externe.
La confidentialité enfin. Si le modèle tourne chez toi, les données ne sortent pas. Pour des documents sensibles, c'est décisif.
Comment ça marche, en bref
Le déroulé tient en trois temps.
- Choisir le professeur. Un gros modèle, performant sur la tâche visée.
- Générer des exemples. Le professeur traite un grand jeu de cas représentatifs et produit ses réponses (et sa confiance sur chaque option).
- Entraîner l'élève. Un petit modèle apprend à reproduire ces sorties jusqu'à coller au professeur sur cette tâche.
Le résultat est un modèle figé, spécialisé, prêt à tourner là où le gros ne pouvait pas.
L'exemple de Maisons&Mobilia
Maisons&Mobilia (M&M), une enseigne de meubles, reçoit chaque jour un flot d'emails au service après-vente : retards de livraison, demandes de remboursement, questions sur le montage, réclamations sur un produit abîmé.
Sophie, à la compta, et l'équipe support passent un temps fou à trier manuellement. Pierre, le dirigeant, veut automatiser le tri, mais deux contraintes coincent. Les emails contiennent des données clients (noms, adresses, numéros de commande) qu'il préfère ne pas envoyer à un service externe. Et le volume est tel qu'appeler un gros modèle pour chaque email reviendrait cher.
La distillation règle les deux. M&M prend un gros modèle, lui fait étiqueter plusieurs milliers d'emails passés par catégorie (livraison, remboursement, montage, réclamation), puis entraîne un petit modèle élève à reproduire ce classement. Ce modèle distillé est assez léger pour tourner sur un poste interne. Il classe chaque email entrant directement sur place, sans que la moindre donnée client ne quitte les serveurs de M&M.
Le petit modèle ne sait pas rédiger un poème ni résumer un roman. Mais sur la seule tâche de trier les emails du SAV, il est rapide, peu coûteux, et il garde les données à la maison. C'est exactement le compromis que la distillation rend possible.
Les limites à garder en tête
Un modèle distillé n'est pas une version miniature magique du professeur.
L'élève n'égale pas le professeur partout. Plus la tâche est large ou exige du raisonnement, plus l'écart se creuse. La distillation brille sur des tâches étroites et bien définies, pas sur « tout faire aussi bien, en plus petit ».
L'élève hérite aussi des défauts du professeur. S'il avait des biais ou des angles morts, l'élève les reprend. La distillation copie le comportement, qualités et défauts compris.
Enfin, distiller demande un effort initial : générer les exemples, entraîner l'élève, vérifier sa qualité. Ce n'est rentable que si l'usage est répété et bien cerné. Pour un besoin ponctuel, appeler un gros modèle à la demande reste plus simple.
| Gros modèle (professeur) | Petit modèle distillé (élève) | |
|---|---|---|
| Vitesse | Plus lente | Rapide |
| Coût par réponse | Élevé | Faible |
| Polyvalence | Très large | Étroite, spécialisée |
| Tourne en local | Difficilement | Souvent oui |
| Données qui sortent | Vers une API externe | Restent chez toi |
Distillation, MoE, fine-tuning : ne pas confondre
Trois techniques visent l'efficacité, mais ne font pas la même chose.
La distillation crée un nouveau modèle plus petit qui imite un plus gros.
Le mixture of experts (MoE) garde un gros modèle mais n'active qu'une partie de ses « experts » à chaque requête, pour réduire le calcul sans réduire la taille totale.
Le fine-tuning spécialise un modèle existant sur tes propres exemples, sans forcément le rétrécir. Souvent on combine : distiller pour la taille, fine-tuner pour le métier.
Aller plus loin
Pour les bases, commence par c'est quoi un LLM. Si l'idée de faire tourner un modèle chez toi t'intéresse, lis l'IA en local sur ton ordinateur. Pour comprendre l'écosystème des petits modèles, vois le coût des LLM open source. Côté architecture, le mixture of experts est l'autre grand levier d'efficacité. Et pour cadrer le calcul économique avant de te lancer, combien coûte l'IA générative pose les bons repères.
Dans l'app saisir.ai, plusieurs modules abordent ces arbitrages de taille, de coût et de confidentialité avec des exemples jouables.
Questions fréquentes
- C'est quoi la distillation d'un modèle d'IA ?
- C'est une technique qui transfère le savoir-faire d'un gros modèle « professeur » vers un petit modèle « élève ». L'élève apprend à imiter les réponses du professeur sur une tâche donnée. Résultat : un modèle plus petit, plus rapide et moins cher, qui garde l'essentiel de la qualité sur cette tâche.
- Un modèle distillé est-il aussi bon que le gros modèle d'origine ?
- Pas partout. L'élève rattrape rarement le professeur sur l'étendue complète des sujets. Il devient surtout bon quand il est spécialisé sur une tâche précise, comme classer des emails ou extraire des informations d'un document. Sur cette tâche ciblée, l'écart de qualité est souvent faible, alors que le gain de vitesse et de coût est important.
- Quelle différence entre distillation et fine-tuning ?
- Le fine-tuning ajuste un modèle existant sur tes propres exemples pour le spécialiser. La distillation, elle, crée un modèle plus petit qui apprend à reproduire les sorties d'un modèle plus gros. Les deux peuvent se combiner : on distille pour réduire la taille, puis on fine-tune l'élève sur ses données métier.
- Pourquoi distiller un modèle plutôt qu'utiliser le gros directement ?
- Pour le coût, la latence et la confidentialité. Un petit modèle distillé répond plus vite, coûte moins cher par appel, et peut tourner en local sur un ordinateur ou un serveur interne sans envoyer les données à un fournisseur externe. C'est utile quand le volume d'appels est élevé ou que les données sont sensibles.