Pourquoi les IA grossissent : les lois d'échelle

Les lois d'échelle, ou scaling laws, décrivent comment la performance d'un modèle d'IA s'améliore de façon assez prévisible quand on augmente trois ingrédients : la quantité de données d'entraînement, le nombre de paramètres et la puissance de calcul utilisée pour l'entraîner. C'est l'idée qui a guidé la course aux gros modèles depuis 2020.

Si tu utilises un assistant comme ChatGPT, Claude ou Gemini et que tu le trouves plus capable de mois en mois sans avoir rien changé, ces lois sont une grande partie de l'explication.

Trois leviers, une courbe

Commençons par les mots. Un paramètre, c'est un des réglages internes ajustés pendant l'entraînement d'un modèle de langage ; les grands modèles en comptent des dizaines à des centaines de milliards. Un token, c'est un fragment de texte (un mot court, un bout de mot) : la quantité de données d'entraînement se mesure en milliers de milliards de tokens. Le calcul, c'est le temps de processeurs spécialisés consommé pour ajuster tous ces paramètres.

L'apport des lois d'échelle est qu'on n'augmente pas ces leviers à l'aveugle. La performance suit une courbe régulière : l'erreur du modèle baisse selon une relation mathématique stable à mesure que chaque levier grandit.

C'est ce qu'ont formalisé des chercheurs d'OpenAI dans l'étude Scaling Laws for Neural Language Models (Kaplan et al., publiée en janvier 2020). Leur résultat marquant : sur une large plage, l'erreur diminue de façon prévisible quand on agrandit le modèle, les données et le calcul. Le progrès devenait en partie planifiable, ce qui change tout pour qui décide où mettre l'argent.

Chinchilla rééquilibre la recette

Une première lecture de ces lois a poussé à construire des modèles toujours plus gros. En 2022, une étude de DeepMind a corrigé le tir.

Dans Training Compute-Optimal Large Language Models (Hoffmann et al., mars 2022), l'équipe montre que beaucoup de modèles de l'époque étaient sous-alimentés : trop gros pour la quantité de données sur laquelle on les entraînait. Leur règle empirique, surnommée Chinchilla : pour un budget de calcul fixé, il faut équilibrer taille et données, en visant environ 20 tokens d'entraînement par paramètre.

La démonstration est nette. Pour un même budget de calcul, leur modèle Chinchilla de 70 milliards de paramètres, entraîné sur davantage de données, a battu Gopher, un modèle de 280 milliards entraîné sur moins de données. Quatre fois moins de paramètres, de meilleurs résultats. La leçon : la taille seule ne suffit pas, il faut nourrir le modèle.

Ce que ça change chez M&M

Pierre dirige Maisons&Mobilia, une enseigne de meubles. Il a abonné son équipe à un assistant IA en début d'année. Sophie, à la compta, l'utilise pour reformuler des relances de paiement ; Antoine, au marketing, pour brouillonner des fiches produit.

Au printemps, Antoine remarque que l'assistant comprend mieux les consignes longues et fait moins d'erreurs sur les chiffres, sans qu'il ait changé d'abonnement ni d'application. Ce n'est pas magique. Le fournisseur a remplacé le modèle sous le capot par une version plus récente, entraînée avec plus de données, plus de paramètres ou plus de calcul. Les gains des lois d'échelle arrivent chez Pierre par simple mise à jour.

Pour lui, la conséquence pratique est sobre : inutile de se précipiter pour changer d'outil à chaque annonce. Une grande part des progrès lui parvient gratuitement, du moment qu'il reste sur un produit activement maintenu.

La fin de la croissance facile ?

Grossir a longtemps été le levier le plus sûr. En 2026, le tableau est plus nuancé, pour trois raisons.

D'abord, les rendements se tassent : chaque doublement de taille rapporte un gain de plus en plus mince, alors que son coût en calcul, lui, continue de grimper. Ensuite, la donnée de qualité n'est pas infinie. Une grande partie du texte public utile a déjà servi à l'entraînement, et il devient difficile d'en trouver beaucoup plus.

Enfin, l'industrie déplace son effort vers l'efficacité plutôt que la seule masse. Le mixture-of-experts n'active qu'une fraction des paramètres à chaque requête, pour la puissance d'un gros modèle au coût d'un plus petit. La distillation transfère le savoir d'un grand modèle vers un modèle compact. Et les modèles qui raisonnent investissent davantage de calcul au moment de répondre, pas seulement à l'entraînement : ils prennent le temps de dérouler des étapes avant de conclure.

Levier de progrès	Idée	Limite actuelle (2026)
Plus de paramètres	Un modèle plus grand capte plus de régularités	Rendements qui se tassent, coût qui s'envole
Plus de données	Nourrir le modèle, façon Chinchilla	La donnée de qualité se raréfie
Plus de calcul à l'entraînement	Ajuster plus finement, plus longtemps	Très coûteux en énergie et en matériel
Calcul au moment de répondre	Le modèle raisonne avant de conclure	Réponses plus lentes et plus chères par requête

Les lois d'échelle restent valables : elles décrivent une tendance réelle. Elles ne promettent simplement pas une croissance gratuite à l'infini. La question n'est plus seulement « combien c'est gros », mais « où placer chaque euro de calcul ».

Aller plus loin

Pour situer ce dont on parle, vois d'abord ce qu'est un LLM et comment une IA apprend pendant son entraînement. Côté efficacité, le mixture-of-experts et la distillation montrent comment faire plus avec moins. Et si tu te demandes jusqu'où tout cela peut mener, l'article sur l'AGI prolonge le débat.

Tu peux aussi tester ces idées en pratique dans l'app saisir.ai, qui décompose les concepts de l'IA générative en modules courts.