Mathilde Saliou présente ce mot du vocabulaire technologique :
Un biais algorithmique peut être un biais statistique, ce qui souvent est le problème dans les modèles algorithmiques, ou encore, un biais cognitif. Dans les deux cas, une machine ou une personne, opère un traitement discriminatoire, inégalitaire, entre deux types de population. Ces biais peuvent revêtir une dimension discriminatoire, engendrant un traitement inéquitable entre diverses populations, que ce soit au sein de machines ou par des individus.
Lorsque ces biais s’infiltrent dans des systèmes, ils peuvent conduire à des erreurs, notamment dans la distinction entre personnes de différentes ethnies
Les biais algorithmiques découlent fréquemment des données d’entraînement des intelligences artificielles, créant des distorsions. Par exemple, un modèle de reconnaissance faciale formé avec davantage d’images d’hommes que de femmes montrera une prédisposition à identifier plus souvent un visage comme masculin. Lorsque ces biais s’infiltrent dans des systèmes déployés dans le monde réel, comme des algorithmes de surveillance, ils peuvent conduire à des erreurs flagrantes, notamment dans la distinction entre personnes de différentes ethnies, souvent attribuées à des déséquilibres de représentation dans les données.
Ces distorsions naissent de trois origines distinctes : les données d’entraînement engendrant des biais statistiques, les équipes conceptrices souvent peu diversifiées introduisant leurs propres angles morts et biais cognitifs, et enfin, le dessein même pour lequel la machine est conçue. Par conséquent, la conception d’un algorithme pour détecter la fraude aux aides sociales peut générer des résultats différents qu’un système visant à identifier les personnes en droit d’y recourir mais qui ne le font pas.
