IA frugale : quand peuvent rimer sobriété et qualité

• Deep learning
• Machine learning
• RSE

Partager sur Twitter : IA frugale : quand peuvent rimer sobriété et qualité (Nouvelle fenêtre) Partager sur Linkedin : IA frugale : quand peuvent rimer sobriété et qualité (Nouvelle fenêtre)

L’IA frugale : continuité des bonnes pratiques plutôt que révolution

Dans le monde des sciences des données (Data Science), une révolution silencieuse est en marche, bien qu’elle s’ancre en réalité dans le « patrimoine algorithmique » existant. Contrairement à l’idée reçue selon laquelle les systèmes les plus performants sont nécessairement les plus gourmands en énergie, une étude comparative de plusieurs solutions techniques, met en évidence des résultats empiriques qui tendent à démontrer l’inverse. En analysant un corpus de tweets issus de commentaires clients dans le domaine du voyage aérien, les chercheurs d’Orange ont comparé différentes approches pour prédire la catégorie d’une insatisfaction client (bagages perdus, vol retardé, qualité du service à bord, etc.). Résultat sans appel : les approches les plus frugales peuvent surpasser les systèmes les plus énergivores, y compris les IA génératives les plus récentes.

La frugalité n’est pas un arbitrage au détriment de la qualité. Au cas par cas, on gagne souvent sur les deux tableaux !

Les approches comparées

L’étude a évalué trois familles d’approches, classées ci-dessous de la plus énergivore à la plus frugale :

1. Les « LLMs » (Large Language Models), autrement dit, les IA génératives (type ChatGPT). Quatre de ces solutions ont été comparées : GPT-4.1-nano, GPT-4.1-mini, GPT-4.1, et Claude Sonnet 4.
Les essais ont été effectués dans deux principaux cas de figure.
D’abord sans exemples fournis (la technique de « prompt » s’appelle le « zero-shot ») : on fournit uniquement le tweet à l’IA et on lui demande de donner la catégorie de ce tweet, en la contraignant néanmoins à choisir parmi une liste définie de catégories (bagages perdus, vol retardé, qualité du service à bord, etc.). Ensuite, avec quelques exemples fournis (ce que l’on appelle le « few-shots ») : on commence par donner, dans le « prompt », un certain nombre d’exemples à l’IA, en spécifiant que tel tweet correspond à telle catégorie, tel autre tweet correspond à telle autre catégorie, etc. Puis, comme précédemment, on lui fournit le tweet ainsi que la liste des catégories et on lui demande de donner la catégorie de ce tweet, en se basant sur les exemples fournis.

2. Les « embeddings » + machine learning :
Cette approche utilise des algorithmes statistiques considérés comme classiques dans le domaine de la prédiction et des probabilités : « Light GBM », « Random Forest » et la « Régression Logistique ». Il en existe bien d’autres. Ces algorithmes se basent sur le « machine learning » (apprentissage machine). Ils ont en commun la nécessité de devoir subir un « entraînement ». Autrement dit, il faut d’abord fournir une grande quantité d’exemples à ces systèmes, exemples constitués de tweets et de leur catégorisation, afin que ces systèmes « apprennent » à reconnaître les tweets, pour ensuite être en mesure de « reconnaître » des tweets qu’ils n’ont jamais vus. Ces algorithmes ne traitent que des données numériques et non du texte. Il est donc nécessaire de transformer les différents tweets en vecteurs constituant une représentation mathématique de ces tweets ; chaque tweet sera donc « converti » sous forme vectorielle (pour les matheux : en dimension 512, ou plus) : c’est ce que l’on nomme l’« embedding » (ou encapsulation). Cette transformation en vecteurs, apparue dès 2013 avec « word2vec » [https://arxiv.org/abs/1301.3781], est néanmoins énergétiquement assez coûteuse, car elle utilise des techniques de « deep learning » (apprentissage profond par des « réseaux de neurones ») nécessitant plusieurs (centaines de) milliers de calculs. Précisons au passage que ces vecteurs n’ont strictement rien de directement interprétable pour un être humain. Ce sont ensuite ces vecteurs (représentant les tweets) qui pourront être traités par les algorithmes statistiques pour en prédire la catégorie (bagages perdus, vol retardé, qualité du service à bord, etc.).

3. La « baseline » naïve : Elle utilise le logiciel Khiops (solution open source « by Orange » [https://khiops.org/]), une solution open source développée par Orange pour l’analyse de données et le machine learning qui se distingue par sa simplicité et son efficacité. Notre étude a comparé les versions 10 et 11 de Khiops, en utilisant tels quels les mots présents dans les tweets (sans calcul d’embedding) et les suites de mots consécutifs, qui apportent un surplus d’information. Exemple : la présence du terme « mal » dans un texte ne suggère pas forcément un sens négatif, au contraire… s’il apparaît justement dans la suite de mots « pas mal », encore faut-il donc faire l’inventaire de ces combinaisons et non des mots pris isolément.

Des résultats éloquents

Les conclusions de cette étude sont particulièrement éclairantes :

• Performance prédictive : La seconde famille d’approches (embeddings + algorithmes statistiques) est de loin la plus performante en qualité prédictive (« rappel », « précision » et « F1-score » [https://fr.wikipedia.org/wiki/Précision_et_rappel]), et ce, même devant le plus gros modèle de LLM.
• Robustesse : Cette famille de solutions reste performante même pour les classes « fourre-tout » (celles qui n’ont pas une thématique homogène : « l’insatisfaction pendant le vol », par exemple, peut avoir mille raisons différentes), alors que les performances des LLMs s’y effondrent (mais c’est logique et inexorable : nul algorithme ne saurait attribuer à un texte une catégorie intrinsèquement floue au départ, à moins de disposer d’un nombre très considérable d’exemples).
• Efficacité énergétique : Plus de 99% du coût énergétique de l’usage de la solution embeddings + modèle statistique est dû aux embeddings eux-mêmes (ce qui est logique, puisque le calcul d’un vecteur conceptuel reste du deep learning !). Les LLMs consomment à l’usage entre 1,6 et 18 fois plus d’énergie que cette famille de solutions.
• La solution naïve : La solution Khiops 10 avec sacs-de-mots indifférenciés est légèrement inférieure en qualité prédictive aux LLMs (certes, 72% vs. 82% sur la classe ciblée prioritairement… et 66% vs. 68% sur la moyenne des 5 classes principales), avec une énergie consommée entre 150 et 1500 fois inférieure ! À noter que cette solution consomme également près de 100 fois moins que la solution embeddings + modèle statistique, avec certes une dégradation au niveau des résultats.
• Temps de réponse : Khiops effectue une prédiction entre 1 et 2 millisecondes (ms) sur un PC portable professionnel. Sur le même matériel, la solution avec embeddings exige entre 30 et 40 ms (c’est en quasi-totalité le coût du calcul du vecteur). La requête vers le LLM (pour laquelle on peut raisonnablement ignorer la latence due au réseau) approche quant à elle les 400 ms.
• Remarque adventice : En s’éloignant légèrement de l’objectif initialement visé (l’identification des tweets de la catégorie « bagages perdus »), on relève enfin que sur l’ensemble des cinq catégories principales, la version 11 de Khiops, qui ne traite ici que de simples groupes de mots non vectorisés, produit (d’une très courte tête) de meilleures prédictions en moyenne générale que l’ensemble des LLMs…

Tableau de synthèse comparative

Vers une IA plus responsable

Ces résultats confirment la nécessité de savoir choisir « le bon modèle pour le bon usage » et de savoir raisonner en dehors du « tout-IA-générative ». Ils ouvrent la voie à une IA plus responsable, où performance et sobriété énergétique ne sont pas envisagées comme un arbitrage inévitable mais peuvent au contraire avoir simultanément droit de cité.

Il n’est pas question d’imaginer que l’IA frugale résout tous les problèmes. Il n’y aurait pas d’IA générative tout court si tel était le cas. Les LLMs s’avèrent indispensables pour tout contenu « intrinsèquement génératif » (génération de code informatique, « raisonnement » sur un texte, plus généralement toute consigne non analysable par l’algorithmique statistique traditionnelle (y compris par le deep learning antérieur à la génération des LLMs). L’objectif est plutôt de mettre en œuvre des bonnes pratiques de choix d’IA la plus frugale possible partout où elles peuvent s’appliquer. Pour ce faire, il faut disposer d’ensembles de données annotées pour pouvoir faire de l’apprentissage et dédier un peu de temps. Cela exige un peu de volontarisme, mais les gains en maîtrise des coûts, en impact environnemental et en explicabilité peuvent être considérables à l’arrivée.

Aller vers une IA responsable c’est aussi savoir faire preuve de discernement quant aux usages et surtout aux niveaux de performance réellement nécessaires.

Cette étude révèle que Khiops offre des résultats comparables aux grands modèles de langage (LLMs), tout en réduisant la consommation énergétique de 150 à 1500 fois. Si par ailleurs on le compare avec les techniques combinant « embeddings » et modèles statistiques, l’outil Khiops, même s’il est un peu moins précis, consomme environ 100 fois moins d’énergie. Face à ces chiffres impressionnants, une question s’impose : avons-nous vraiment besoin de cette petite différence de performance qu’offrent les solutions plus gourmandes en énergie ? Est-ce que cette légère différence de qualité justifie de consommer 100 fois plus de ressources ?

Les chercheurs d’Orange prévoient d’ores et déjà d’étendre ces études dans deux directions complémentaires :

• le contexte nouveau amené par l’IA agentique ;
• la possibilité de détecter au fil du temps des situations de « run » où l’IA frugale peut théoriquement être pertinente (enjeu de rationalisation et de maîtrise des coûts).

Nous espérons pouvoir vous en reparler courant 2026 !