Faire tourner une IA en local sur ton ordinateur, sans cloud

Tu peux faire tourner un modèle d'IA directement sur ton ordinateur, sans passer par un service en ligne : tes données restent chez toi, il n'y a pas de coût par token, mais le modèle est plus petit et moins puissant qu'un modèle cloud de pointe. C'est un compromis clair, et selon ton besoin, il penche d'un côté ou de l'autre.

« Modèle open weights », le point de départ

Un modèle « open weights » est un modèle dont les poids sont librement téléchargeables. Les poids, ce sont les milliards de nombres qui constituent le cerveau entraîné du modèle : une fois que tu les as sur ton disque, tu exécutes le modèle toi-même, sur ta machine, sans demander la permission à personne et sans connexion.

C'est ce qui rend l'IA en local possible. À l'inverse, un modèle cloud de pointe garde ses poids sur les serveurs de l'entreprise qui l'a créé : tu lui envoies ta question, il te renvoie une réponse, et tes données transitent par ses machines. Avec un modèle open weights, tout se passe sur ton appareil. C'est la différence de fond, et tout le reste en découle.

À ne pas confondre avec « open source » au sens strict : open weights veut dire que tu peux télécharger et exécuter les poids, pas forcément que toute la recette d'entraînement et les données sont publiques. La nuance compte juridiquement, moins pour un usage pratique.

Les outils pour démarrer

Plusieurs logiciels rendent l'installation simple, même sans être technicien. Ollama s'utilise en ligne de commande, reste simple et est très populaire chez les développeurs. LM Studio offre une interface graphique, idéale pour débuter sans toucher au terminal. Jan et GPT4All sont open source et pensés pour le hors-ligne. Sous le capot, beaucoup de ces outils s'appuient sur le même moteur, llama.cpp : ce sont des surcouches plus accueillantes du même cœur.

Outil	Pour qui
LM Studio	Débutant, interface graphique, zéro ligne de commande
Ollama	À l'aise avec le terminal, populaire chez les devs
Jan, GPT4All	Open source, orientés hors-ligne
llama.cpp	Le moteur sous-jacent, pour les curieux techniques

Le geste de départ est le même partout : tu choisis un modèle, l'outil le télécharge une fois, puis tu discutes avec lui comme avec un service en ligne, sauf que tout reste chez toi.

Quels modèles tournent vraiment en local

Le paysage bouge vite, donc raisonne par familles plutôt que par numéros de version. Côté ouvert, tu croiseras Llama (Meta), Mistral et Mistral Small, Gemma (Google), Qwen (Alibaba), DeepSeek, et Phi (Microsoft). Ces familles sortent régulièrement de nouvelles versions ; ce qui compte, c'est qu'elles existent en formats téléchargeables et exécutables localement.

Une tendance technique vaut d'être connue : les architectures « MoE » (mixture of experts, mélange d'experts). L'idée : un modèle peut avoir beaucoup de paramètres au total, mais n'en activer qu'une petite partie à chaque requête. Résultat, il est plus rapide et plus léger à faire tourner qu'un modèle classique de même taille apparente. C'est l'une des raisons pour lesquelles l'IA en local devient de plus en plus accessible.

La réalité matérielle, sans jargon

C'est ici que tout se joue concrètement. Un modèle de 7 à 8 milliards de paramètres « quantizé » tient dans environ 4 à 5 Go et tourne sur un ordinateur portable correct. La quantization, c'est le fait de compresser le modèle (un format courant s'appelle Q4) : on réduit fortement la mémoire nécessaire pour une perte de qualité faible. C'est elle qui permet à un modèle de tenir sur une machine ordinaire au lieu d'exiger un serveur.

Les modèles plus gros demandent en revanche un bon GPU (la carte graphique) ou beaucoup de RAM (la mémoire vive). Plus le modèle est gros, plus il est capable, mais plus il réclame de mémoire. Les Mac à puce Apple Silicon ont ici un avantage : leur mémoire est « unifiée », c'est-à-dire que le processeur et la partie graphique partagent la même mémoire, ce qui aide à charger de plus gros modèles sans carte graphique dédiée.

En clair : pour débuter, vise un modèle de 7 à 8 milliards de paramètres quantizé. Il te montrera de quoi l'IA locale est capable sans investir dans du matériel.

Pierre chez Maisons&Mobilia

Pierre, qui dirige Maisons&Mobilia, doit dépouiller des contrats fournisseurs confidentiels : conditions de paiement, clauses d'exclusivité, pénalités. Il hésite à les envoyer à un service d'IA en ligne, car ces documents ne doivent pas sortir de l'entreprise. Cette inquiétude touche directement les questions de confidentialité et de RGPD : envoyer un contrat sensible à un fournisseur externe, c'est lui confier des données.

Sa solution : installer un modèle open weights sur un bon poste de bureau. Pour un premier tri (repérer les clauses de pénalité, résumer les conditions de paiement, signaler les contrats à relire en priorité), un modèle local de taille moyenne fait largement l'affaire, et rien ne quitte la machine. Pour les analyses plus exigeantes, où il a besoin de la pleine puissance, il garde un modèle cloud sous la main, sur des documents non sensibles. Le local couvre le confidentiel et le volume, le cloud prend le pointu : c'est rarement l'un contre l'autre, plutôt les deux selon la tâche.

Quand ça vaut le coup, et quand non

Le local gagne sur trois terrains : la confidentialité (tes données restent sur l'appareil), l'absence de coût par token (tu paies ton matériel une fois, pas chaque requête), et le fonctionnement hors-ligne (ni connexion ni dépendance à un fournisseur). Pour du traitement de documents sensibles ou un usage répété à fort volume, ces arguments pèsent lourd.

En face, deux inconvénients réels. Les modèles que tu fais tourner chez toi restent plus petits et plus faibles que les modèles cloud de pointe : sur les tâches les plus difficiles, l'écart se voit. Et il y a un effort de configuration initial, même réduit par les outils modernes. Sur la dimension purement économique, le calcul cloud contre local mérite d'être posé à part : c'est le sujet de combien coûte un LLM open source.

La bonne approche n'est presque jamais « tout local » ou « tout cloud ». C'est de placer le confidentiel et le répétitif en local, et de garder le cloud pour les tâches qui exigent la pleine puissance. Pour arbitrer plus largement entre les deux mondes, open source ou propriétaire déroule les critères.

Aller plus loin

Sur saisir.ai, le module sur les modèles ouverts te fait toucher du doigt cette différence entre exécuter un modèle chez toi et appeler un service en ligne. Pour le volet financier, combien coûte un LLM open source compare les coûts réels. Et si la motivation principale est de garder tes données, IA générative et RGPD explique précisément ce qui se joue quand tu envoies, ou non, tes documents à un service externe.