● Mixture of Experts (MOE), fusion de modèles ou Retrieval augmented generation (RAG) sont certaines des techniques employées pour rendre l’IA suffisamment compacte pour permettre leur déploiement sur smartphone ou en edge computing.
● Les modèles plus petits ne sont cependant pas épargnés par le classique effet rebond énergétique et ils disposent de capacités plus limitées.
Si les grands modèles de langage actuels (LLM) sont extrêmement puissants, leur empreinte carbone pose question, comme le confiait la chercheuse Sascha Luccioni dans Hello Future en juin 2025. Pour répondre à ces enjeux, plus légers et plus spécialisés, les SLM – les small language models – constituent une alternative prometteuse. « Lorsqu’on parle d’IA, on a souvent l’image d’un grand modèle unique et monolithique qui sait tout faire, mais c’est justement cette polyvalence qui coûte. » Augmentés d’outils tels que le retrieval augmented generation (RAG) ou le tool calling (capacité des modèles à interagir avec des outils et ressources externes), ces plus petits modèles pourraient opérer une assistance client ou assurer certains pans de l’apprentissage personnalisé.
Il serait possible que l’IA se souvienne des échanges passés, un peu comme nous sollicitons régulièrement notre mémoire
Promesses et enjeux de la personnalisation
« Attention toutefois, reprend Gwénolé Lecorvé, personnaliser et rapetisser un LLM sont deux sujets distincts, même s’ils se rejoignent parfois. » La personnalisation ne consiste pas nécessairement à créer un modèle par individu, mais à ajouter des « surcouches, des modules qui adaptent le comportement du modèle à un contexte, une thématique ou un utilisateur ». Ces couches permettent d’orienter la génération de textes sans modifier le modèle de base.
« Ceci dit, il existe des techniques pour personnaliser, mais on se heurte à un écueil » : la mémoire. « La capacité d’un modèle est fixe. Autrement dit, s’il apprend quelque chose de nouveau, il est probable que certaines de ses connaissances ou capacités s’en trouvent affaiblies. » Contrairement au cas du cerveau humain, on ignore dans les modèles Transformers quelles parties encodent les connaissances ou les aptitudes. Le recours à des sources externes de connaissances (par exemple, comme dans les techniques de RAG ou de deep research) facilite cette quête.
Ainsi, en stockant les historiques d’échanges (directement ou sous formes encodées), il est possible de constituer une source de connaissances exploitables par ces techniques. « Si on interagit souvent avec un modèle, explique le chercheur, il serait donc possible qu’il se souvienne des échanges passés, un peu comme nous avec notre mémoire. » Cette mémoire prendrait donc la forme d’un système externe dans lequel le modèle pourrait puiser pour contextualiser au mieux – et donc personnaliser ses réponses.
Modularité et hybridité
Il existe d’autres techniques pour faire advenir une intelligence artificielle plus spécialisée et, parfois, plus légère, poursuit Gwenolé Lecorvé. Notamment le principe du MoE (Mixture of experts). « Au lieu d’un seul grand réseau, les modèles MoE combinent plusieurs sous-modèles spécialisés, experts. Pour une question, seul un petit nombre d’experts sont activés, ce qui réduit de fait les besoins en calcul et en mémoire. » Llama 4 ou certaines versions de Qwen3, GPT-OSS ou de Mistral s’appuient déjà sur ce principe.
Attention à l’effet rebond et à un miroir aux alouettes énergétique, tempère le chercheur. « Rien n’empêche que ces experts (MoE) soient eux-mêmes des modèles assez gros –, par exemple jusqu’à 20 milliards de paramètres. » C’est d’ailleurs ce que raconte aussi la stratégie favorisée et soutenue par Yann Le Cun, lui-même : celle du « world model », le JEPA. Le principe ? Un modèle qui comprend et anticipe les actions dans le monde physique. Si, pour anticiper des situations, le modèle n’a besoin que de 62h de données, son pré-entraînement absorbe de grandes quantités de données.
A cette myriade d’alternatives – pour beaucoup prospectives – s’ajoute la fusion de modèles (« model merging »), reprend Gwenolé Lecorvé. On associe des modèles spécialisés pour créer un système plus complet. « Ça reste expérimental, on ne sait pas toujours comment les paramètres internes vont interagir. Fusionner deux modèles revient un peu à superposer deux dessins. On ignore si le résultat sera harmonieux. »
Et demain ?
Pour le chercheur, le futur des LLMs sobres et performants loge dans un mot : l’hybridité. « Comme pour les voitures thermiques et électriques, on pourrait imaginer un système à plusieurs niveaux : un petit modèle pour les tâches simples, un moyen pour les cas intermédiaires et un grand pour les requêtes complexes. » Ce mécanisme de routage est déjà à l’œuvre dans certains modèles comme GPT-5. « Les petits modèles traiteraient localement 90% des tâches sur smartphone et, pour les 10% restants, la requête serait envoyée à un plus grand modèle via le réseau. » Cela permettrait d’alléger les systèmes de manière intelligente. Toutes les briques existent, insiste Gwenolé Lecorvé. Encore reste-t-il à les assembler. « Ça demande de l’expertise et du savoir-faire. » A bon entendeur…
