Les algorithmes sont partout et s’emparent de secteurs clés de nos sociétés comme de nos vies intimes. Mais en réalité, l’intelligence artificielle s’alimente de stéréotypes sexistes comme racistes. Une influence qui s’exerce en dehors de tout contrôle et de toute transparence.
Les études s’accumulent ces dernières années pour dénoncer les biais discriminatoires que recèle l’IA. Sous l’apparence d’une technologie neutre, l’IA reproduit de nombreuses formes de préjugés, en particulier sexistes. L’exemple le plus frappant à cet égard est celui des assistants intelligents – le plus souvent d’ailleurs des assistantes – qui ont été programmés pour répondre qu’ils étaient flattés lorsqu’on les insultait ou qu’on leur proposait des actes sexuels.
Dans son livre L’Amour sous algorithme1, la journaliste française Judith Duportail déconstruisait, par exemple, les mécanismes utilisés par Tinder pour « matcher » les gens. Son enquête était sans appel : l’algorithme de Tinder se base sur des mécanismes sexistes qui renforcent le patriarcat. Ainsi, une belle carrière augmenterait le score d’un homme tandis qu’elle baisserait celui d’une femme. Et on pourrait multiplier les exemples : Amazon a interrompu les tests d’un algorithme d’aide à l’embauche car, en se fondant sur les données récoltées par la société américaine, le logiciel pénalisait les C.V. contenant le mot « femme » pour les postes techniques. Google a aussi été épinglé : les offres d’emploi proposées aux profils féminins sur sa plateforme de publicité ciblée étaient systématiquement moins intéressantes du point de vue salarial. La cause de ces discriminations est simple : ce sont des hommes qui produisent les algorithmes et programment ces machines. Les développeurs intègrent leurs propres idées reçues dans leurs lignes de code. La sous-représentation des femmes dans ce secteur n’est pas pour rien dans la diffusion de ces préjugés. Selon l’Unesco, seulement 22 % des personnes travaillant dans le secteur de l’IA sont des femmes.
Aurélie Jean, docteure en sciences et entrepreneuse, rappelle dans son essai De l’autre côté de la machine2 que les algorithmes ne sont pas les coupables : « C’est nous, les humains, qui sommes machos, racistes, sexistes. » Pour endiguer ce phénomène, elle loue une meilleure diversité dans le milieu du développement. « En effet, une absence de diversité dans le genre et l’ethnicité risque d’engendrer de la discrimination technologique, où l’on écarte une partie des individus de l’usage d’un outil. »
Racistes aussi
S’ils sont misogynes, les algorithmes s’avèrent aussi racistes. Le chatbot Tay développé par Microsoft en 2016 et lancé sur Twitter est devenu raciste au bout de quelques heures à peine. Ce robot conversationnel avait répété ce que des pages web lui avaient indiqué, régurgitant des propos nauséabonds sans avis critique, sans aucun filtre. Et c’est loin d’être un cas isolé. En 2015, plusieurs utilisateurs avaient pointé du doigt l’application photo de Google pour avoir qualifié par erreur des personnes noires de gorilles. Elles avaient été identifiées automatiquement par la plateforme.
Souvent, les algorithmes cumulent les stéréotypes. En 2018, une recherche conduite par le MIT Media Lab montrait que l’IA se trompait lorsqu’il s’agissait de qualifier des visages ou d’attribuer un sexe en fonction des outils de reconnaissance faciale. Pour les personnes à la peau claire, l’IA identifiait correctement un homme dans plus de 99 % des cas, et seulement 93 % pour une femme. Pour les personnes à la peau plus sombre, l’affaire se compliquait. L’IA s’est trompée dans 12 % des cas pour les hommes et dans 35 % des cas pour les femmes.
Mais à côté de plateformes de reconnaissance faciale, ces travers détectés dans l’IA peuvent être dramatiques notamment lorsqu’il s’agit de décisions de justice. Aux États-Unis, un logiciel a été testé pour prévenir le risque de récidive et aider les juges dans leur décision de remise en liberté. Le tout était basé sur des données statistiques sur tous les criminels du pays. Résultat : les Noirs étaient considérés à haut risque deux fois plus que les Blancs, à passé judiciaire identique. Ainsi, quand il n’y a pas une diversité suffisante de données à observer, l’algorithme peut engendrer de véritables injustices. Une tendance inquiétante lorsqu’on voit que la Chine utilise des systèmes prédictifs afin d’interpeller des suspects ou que, aux États-Unis, des systèmes de vidéosurveillance automatisée se révèlent beaucoup moins performants sur les personnes afro-américaines. Deux exemples pouvant mener à l’arrestation d’innocents.
Un risque pour la démocratie
Le sujet de ces biais sociaux est d’ailleurs pris au sérieux par la Commission européenne qui, en 2018, a publié un guide pour une IA de confiance rédigé par un comité d’experts sur l’intelligence artificielle. Ce guide définit sept exigences que devraient respecter les systèmes d’IA : garantir le libre arbitre, à savoir qu’un algorithme ne doit pas vous manipuler via des biais cognitifs qui vous privent de votre autonomie de décision, ne pas exacerber la violence, être juste, c’est-à-dire ne pas discriminer une partie de la population, être transparent, être sûr, respecter la vie privée, avoir un responsable, en l’occurrence une entreprise dont la responsabilité est engagée par ce système, en cas de litige notamment. De son côté, l’OCDE a adopté cinq principes en mai 2019 : l’IA doit être au service des intérêts de la planète et des individus, elle doit être conçue dans le respect de l’État de droit, des droits de l’homme, des valeurs démocratiques et de la diversité. L’OCDE évoque aussi la nécessité de la transparence de l’IA, de sa sécurité comme d’un contrôle en amont de ce système. Des recommandations essentielles, mais qui n’ont aucune valeur législative. D’où le danger que courent nos sociétés et la démocratie lorsqu’on sait que Google, Apple, Facebook, Amazon et Microsoft détiennent le quasi-monopole de l’intelligence artificielle et que cette dernière peut augmenter les inégalités comme les décisions injustes. Comme le dit Aurélie Jean dans son ouvrage : « De plus en plus de décisions seront à l’avenir prises par des algorithmes. Mais nous devons rester maîtres de nos vies et de nos choix fondamentaux, et non les déléguer à des équations mathématiques. »
Pour la mathématicienne américaine, devenue figure de proue du mouvement Occupy Wall Street, Cathy O’Neil, les algorithmes sont dangereux quand ils s’emparent de secteurs clés de nos sociétés : éducation, justice, emploi. Dans son essai, Algorithmes, la bombe à retardement3, elle les appelle même des « armes de destruction mathématique », perpétuant les discriminations et disqualifiant les plus vulnérables. « De nombreux algorithmes utilisés dans des lieux déterminants et menant à des décisions cruciales ne sont pas contrôlés. Tout ce qui concerne la prison, l’emploi, l’accès au crédit et, de manière générale, aux opportunités d’une vie », expliquait-elle à L’Obs. Il faudrait s’assurer, selon elle, que les algorithmes procèdent de façon équitable, mais « il n’y a, hélas !, aucune raison de penser que ce soit le cas, car il y a des opinions incrustées dans le code ».
Dans son dernier livre, La Tyrannie des algorithmes4, le psychanalyste Miguel Benasayag s’inquiète de l’évolution de notre vie collective insidieusement prise en charge par les machines, que ce soit à travers des logiciels de surveillance couplés à des caméras, la justice prédictive ou le suivi marketing de nos moindres faits et gestes pour élaborer des prédictions d’achat… Derrière cette interrogation se pose la question centrale de la singularité du vivant, de l’humain face à l’intelligence artificielle et à la déresponsabilisation de plus en plus grande qu’elle introduit dans nos existences comme dans nos sociétés. Or, rappelle le psychanalyste, la vie humaine n’est pas gérée par la « rationalité calculante » d’un algorithme. L’être humain ne peut pas fonctionner comme une machine, ce que le monde des algorithmes ignore. Si la machine dépasse l’humain en matière de capacité calculatoire, elle est bien incapable de donner une signification à ses propres calculs. Selon lui, la violence de la numérisation réside aussi dans la négation de toutes formes d’altérité et d’identité singulière. Or, ce qui fait la démocratie, c’est l’existence de la tolérance et de la conflictualité. Si nous continuons à obéir aux diktats du big data, on risque d’assister à un attentat à la démocratie. Tôt ou tard, les machines risquent de nous coloniser si on les utilise mal, avec des conséquences désastreuses pour nos libertés. Nous risquons d’être réduits non plus à exister, mais à fonctionner, comme des machines, c’est-à-dire à être dans la pure efficience et la performance.
1 Judith Duportail, L’Amour sous algorithme, Paris, Goutte d’or, 2019, 230 p.
2 Aurélie Jean, De l’autre côté de la machine, Paris, éditions de l’Observatoire, 2019, 204 p.
3 Cathy O’Neil, Algorithmes, la bombe à retardement, Paris, Les Arènes, 2018, 340 p.
4 Miguel Benasayag, La Tyrannie des algorithmes, Textuel, 2019, 94 p.