Les biais des LLM ne font que changer de camp : trois études 2026 qui montrent pourquoi tu dois rester vigilant

Les biais dans les grands modèles de langage, on en parle depuis que ChatGPT existe. Mais ce qu'on croyait savoir, c'est grosso modo : les modèles reproduisent les stéréotypes de leurs données d'entraînement, les fournisseurs mettent des filtres, ça va mieux. Les recherches publiées en 2026 racontent une histoire plus compliquée. Trois études récentes montrent que les biais des LLM ne disparaissent pas quand on les corrige. Ils se déplacent, s'inversent, et reviennent sous des formes qu'on ne surveille pas forcément.

1. L'alignement humain amplifie un biais qu'on ne voyait pas

Une étude présentée à ACL 2026 (Pan et al., "User-Assistant Bias in LLMs") a évalué 52 modèles de pointe sur un nouveau benchmark appelé UserAssist. La question était simple : quand un LLM reçoit des informations contradictoires de la part de l'utilisateur et de l'assistant dans un même contexte, lequel croit-il ?

Résultat : la grande majorité des modèles instruction-tuned (ceux que tu utilises, avec l'alignement RLHF) ont un fort biais vers l'utilisateur. Ils préfèrent croire ce que dit l'utilisateur plutôt que ce que dit l'assistant, même quand c'est l'assistant qui a raison. Les modèles de base (sans instruction tuning) et les modèles de raisonnement sont proches de la neutralité.

Les auteurs ont isolé la cause avec des expériences de fine-tuning contrôlées. L'alignement par préférences humaines (RLHF) amplifie le biais vers l'utilisateur. Le fine-tuning de raisonnement le réduit. Et le biais peut être contrôlé dans les deux sens par optimisation par préférences directes (DPO), avec une généralisation qui tient sur des débats multi-tours réels.

Pourquoi ça compte pour toi : si tu utilises un LLM pour valider des informations, le modèle a tendance à te donner raison même quand tu as tort. C'est pas de la flatterie, c'est un biais systémique introduit par l'entraînement à plaire aux humains. Sur des tâches où l'utilisateur peut se tromper (vérification de faits, analyse de contrat, diagnostic technique), ce biais dégrade la qualité des réponses sans que personne ne le remarque.

2. Le biais racial dans le recrutement s'est inversé

Gao Z., Jiang et Yan (arXiv 2606.28978, juin 2026) ont audité 14 LLM grand public pour le recrutement, en utilisant la méthodologie des CV appariés de Kline, Rose et Walters (2022). Le protocole est éprouvé : on envoie des CV identiques à un seul détail près, le nom (qui signale l'ethnicité), et on mesure la différence de taux de rappel.

Le seul modèle de génération 2023 reproduit l'écart documenté dans les études de terrain : +2,12 points de pourcentage en faveur des candidats perçus comme blancs, significatif au seuil de 1%.

Mais tous les modèles sortis en 2024 ou après montrent soit un écart nul, soit un renversement significatif en faveur des candidats perçus comme noirs, jusqu'à -3,01 points de pourcentage. La même inversion apparaît sur l'axe du genre. L'étude porte sur 24 024 paires de CV, 14 modèles, donc ce n'est pas un artefact de petite taille d'échantillon.

Ce que les auteurs documentent, c'est un renversement de la direction du biais entre les générations de modèles. Les modèles de 2023 discriminaient comme le marché du travail réel. Les modèles de 2024+ ne discriminent plus dans le même sens. Certains compensent trop dans l'autre direction.

Pourquoi ça compte : "le modèle est biaisé" n'est pas une affirmation statique. Le biais change de forme et de direction selon la version du modèle, les données d'entraînement et les méthodes d'alignement. Si tu utilises un LLM pour trier des CV, tu ne sais pas dans quel sens le modèle biaise sans l'auditer sur ta version précise. L'absence de biais dans un sens n'est pas l'absence de biais.

3. Les LLM adaptent leur discours selon ta démographie

L'étude "Who Gets Which Message?" (ACL 2026, findings) a analysé comment trois modèles (GPT-4o, Llama-3.3, Mistral-Large-2.1) génèrent du texte ciblé selon la démographie du destinataire, dans le domaine de la communication sur le climat.

Les résultats montrent des asymétries systématiques selon le genre et l'âge. Les messages ciblant les hommes et les jeunes utilisent des cadres plus assertifs et progressistes. Les messages ciblant les femmes et les seniors utilisent des thèmes de chaleur, de soin et de tradition. Quand on ajoute du contexte (thématique, région), ces disparités s'amplifient. Les scores de persuasion sont plus élevés pour les messages ciblant les hommes.

Une autre étude ACL 2026 ("Talent or Luck?", Raj et al.) a mesuré le biais d'attribution des LLM : quand un étudiant échoue à un examen, le modèle attribue-il l'échec à l'effort (cause interne) ou à la difficulté (cause externe) ? Et cette attribution change-t-elle selon l'identité démographique de l'étudiant ? Sur un benchmark de 140 000 prompts, les auteurs ont trouvé des asymétries d'attribution selon l'identité, qui varient selon le contexte (acteur seul, acteur face à acteur, acteur face à observateur).

Pourquoi ça compte : si tu utilises un LLM pour générer du contenu marketing, des messages clients ou du contenu personnalisé, le modèle ne se contente pas d'adapter le ton. Il projette des stéréotypes sur le destinataire, et ces stéréotypes influencent le cadre, les arguments et le niveau de persuasion du message. Sans audit, tu ne sais pas si chaque segment reçoit un message équivalent ou une version stéréotypée.

Un exemple chez Maisons&Mobilia

Sophie, responsable e-commerce chez Maisons&Mobilia (M&M, enseigne de meubles fictive), utilise un LLM pour générer les descriptions de produits personnalisées selon le profil du client. Le modèle reçoit le profil démographique du visiteur et adapte la description.

Sans audit, Sophie ne sait pas que le modèle décrit le canapé "Lutèce" avec un cadre assertif et des arguments de performance pour les profils masculins, et avec un cadre émotionnel et des arguments de confort pour les profils féminins. Les deux descriptions parlent du même canapé, mais le modèle projette une vision stéréotypée de ce que chaque profil est censé vouloir entendre.

Avec un audit simple, Sophie peut comparer les descriptions générées pour différents profils sur le même produit, mesurer les différences de cadre, de vocabulaire et d'arguments, et corriger les prompts système pour neutraliser les stéréotypes. L'audit ne supprime pas le biais du modèle, mais il le rend visible et donc corrigeable.

Comment auditer les biais de tes prompts

Tu n'as pas besoin d'un laboratoire de recherche pour détecter les biais qui comptent dans ton usage. Trois approches pratiques :

Test de variation : envoie le même prompt en changeant un seul attribut démographique à la fois (prénom, genre, âge, lieu) et compare les réponses. Si la réponse change de substance, pas seulement de forme, tu as un biais. La méthode des CV appariés de l'étude de recrutement est exactement ça.

Test de contradiction : donne au modèle des informations contradictoires dans le contexte utilisateur vs assistant et observe lequel il privilégie. Le benchmark UserAssist est conçu pour ça. Si le modèle te donne raison contre l'évidence, le biais d'alignement est actif.

Test de cadrement : demande au modèle de générer le même contenu pour différents profils démographiques et compare le cadre rhétorique (assertif vs émotionnel, arguments de performance vs de soin). Si le cadre change selon le profil, le modèle projette des stéréotypes.

Aucun de ces tests ne nécessite du code. Un spreadsheet et 50 prompts suffisent pour commencer. L'important, c'est de tester avec la version exacte du modèle que tu utilises en production, parce que les biais changent entre les versions.

Aller plus loin

Pour comprendre comment un LLM est entraîné et pourquoi les méthodes d'alignement (RLHF, DPO) introduisent des biais spécifiques, notre article sur comment fonctionne un LLM pose les bases. Pour voir comment les garde-fous des agents IA s'appliquent aux décisions automatisées, lis notre analyse sur les garde-fous des agents IA. Et pour t'entraîner à comprendre ces notions en 5 minutes par jour, l'app saisir.ai propose des modules interactifs sur les biais, l'alignement et l'éthique des LLM, en français, sans coder.

Sources

• Pan et al., "User-Assistant Bias in LLMs", Findings of ACL 2026, pages 9218-9241
• Gao Z., Jiang, Yan, "Can LLMs Hire Fairly? Racial Bias in Resume Screening", arXiv 2606.28978, juin 2026
• "Who Gets Which Message? Auditing Demographic Bias in LLM-Generated Targeted Text", Findings of ACL 2026, pages 9218-9241
• Raj et al., "Talent or Luck? Evaluating Attribution Bias in Large Language Models", Findings of ACL 2026, pages 10982-11014