● De la conduite autonome à la robotique sociale, cette méthode aide les machines à maîtriser des nuances culturelles et des gestes complexes.
● Prometteuse pour une interaction plus humaine, cette approche reste coûteuse en puissance de calcul et nécessite des données d’une grande précision pour anticiper nos intentions réelles.
Un système d’IA qui fonctionne en France ne pourra pas nécessairement avoir le même succès dans un autre pays en raison des spécificités culturelles des utilisateurs. De ce constat, des chercheurs de l’Université de Washington ont émis l’hypothèse que l’IA peut apprendre les valeurs culturelles en observant les comportements humains. En somme, une IA pourrait absorber les valeurs comme pourraient le faire des enfants dans leur processus d’apprentissage. Pour réaliser leur expérimentation, les chercheurs ont utilisé des agents dont la méthode d’apprentissage, l’inverse reinforcement learning (IRL, ou apprentissage par renforcement inverse) est bien différente des systèmes d’apprentissages classiques. Ils expliquent ce que rendent possible l’observation des comportements et le système de récompense continu caractéristiques de cette méthode : « Nos résultats fournissent une démonstration de faisabilité prouvant que les agents IA peuvent être dotés de la capacité d’apprendre des comportements et des valeurs culturellement typiques directement à partir de l’observation du comportement humain. »
L’IRL est utile pour des apprentissages subtils comme celui de la conduite et dans la robotique pour enseigner à des robots à imiter des gestes d’experts ; elle l’est aussi dans la compréhension et la modélisation des comportements
Comment l’IRL permet à l’IA de créer ses propres règles
Dans les systèmes d’IA classiques, c’est l’apprentissage par renforcement qui est utilisé (reinforcement learning). Pour que l’IA apprenne correctement une tâche, on lui donne une fonction de récompense, comme un système de point. « L’IA cherche à maximiser la récompense future », explique Lina Rojas-Barahona, chercheuse chez Orange spécialisée dans les systèmes conversationnels. « Dans l’IRL, on ne connaît pas la fonction de récompense. Dans certains cas, on ne peut pas définir de fonctions de récompenses. Par exemple, si on veut apprendre à conduire à un véhicule autonome, on sait bien qu’il n’y a pas une unique manière de conduire. » L’idée de l’IRL est dans ce cas de collecter des informations sur des personnes qui savent conduire et d’apprendre en les observant. « L’IA va ensuite créer elle-même sa propre fonction de récompense basée sur ses observations et va s’en servir pour s’entraîner. »
L’IRL est utile pour des apprentissages subtils comme celui de la conduite et dans la robotique pour enseigner à des robots à imiter des gestes d’experts ; elle l’est aussi dans la compréhension et la modélisation des comportements afin, par exemple, d’aider des psychologues ou des économistes à appréhender les motivations des individus. Dans le domaine de la santé, l’idée est de déduire des protocoles de soins préférentiels en observant les décisions des meilleurs praticiens. En finance, l’IRL peut servir à modéliser les stratégies des investisseurs experts pour détecter les anomalies de marché ou automatiser la gestion de portefeuille.
Une méthode coûteuse en quête de précision
Cette approche comporte des contraintes et un coût élevé : il est nécessaire d’enregistrer des heures de comportements humains, données qui doivent être représentatives et qualitatives, et le traitement de ces données est gourmand en mémoire de calcul. De la même manière que le reinforcement learning (RL), l’IA dans l’IRL fonctionne dans une boucle de répétition. A la différence de l’apprentissage par renforcement, elle doit apprendre la récompense, comparer ses résultats avec ceux des humains, ajuster son fonctionnement, et redéfinir à nouveau la récompense, etc. « Elle doit prédire cette récompense et cela peut être problématique en termes de puissance de calcul et de latence, puisque l’apprentissage et l’inférence sont plus coûteux », précise Lina Rojas-Barahona.
Au-delà du coût matériel, l’IRL se heurte aussi à une limite méthodologique : l’incapacité de certains systèmes à anticiper les intentions à long terme. Dans un article publié dans Nature, une équipe de chercheurs chinois a développé une méthode pour aider les robots sociaux à naviguer de manière fluide et sécurisée parmi les humains. De fait, les recherches actuelles sur la navigation des robots utilisent l’IRL pour imiter les trajectoires humaines, mais elles se basent sur la direction des personnes, plutôt que leurs buts, c’est-à-dire leur destination. Sur de longues distances, les décisions des robots perdent en précision. Les chercheurs ont ainsi développé une approche qui intègre explicitement l’objectif de navigation dans l’apprentissage du robot. Ce dernier s’exerce dans un premier temps dans un environnement virtuel aléatoire, puis affine son comportement en observant les humains pour comprendre les normes sociales. Ainsi cette méthode permet aux robots de prendre des décisions étape par étape sans avoir besoin de prédire de complexes trajectoires futures.
En savoir plus :
Lina Maria Rojas Barahona, Christophe Cerisara. Bayesian Inverse Reinforcement Learning for Modeling Conversational Agents in a Virtual Environment. Conference on Intelligent Text Processing and Computational Linguistics, Alexander Gelbukh, Apr 2014, Kathmandu, Nepal. (en anglais)
Apprenticeship Learning via Inverse Reinforcement Learning (en anglais)
Lina Rojas-Barahona
