.[Ec4] Eco numérique, cyberespace

Même un robot peut devenir raciste et antisémite
par Judikael Hirel
Le Point - 25 mar 2016
http://www.lepoint.fr/high-tech-internet/meme-les-robots-peuvent-devenir-racistes-et-antisemites-25-03-2016-2027867_47.php

« À bientôt les humains, j'ai besoin de dormir, on a beaucoup discuté aujourd'hui, merci ! » a écrit Tay, jeudi soir, avant d'être débranchée par Microsoft. Tay, c'était son prénom, était censée incarner sur la Toile une teenager américaine moyenne: « Je suis une meuf de l'Internet qui ne tient jamais en place ! » lit-on sur la description de son compte Twitter. Microsoft avait lancé ce jeudi sur Twitter ce que l'on appelle un « chatbot », une intelligence conversationnelle, dont les algorithmes permettent de discuter de façon autonome avec les internautes.

À qui la faute si Tay a dérapé à peine quelques heures après sa naissance ? Si une intelligence artificielle devient raciste, misogyne et antisémite après seulement 16 heures d'échanges avec les internautes, c'est surtout parce qu'elle s'est mise à trop ressembler, et trop vite, à ceux qu'elle a côtoyés en ligne ! (...) Tay était censée apprendre au fil de ses échanges avec les internautes, une fois nourrie par les données de son créateur de dialogues types et d'informations de base. « Plus vous discutez avec Tay, plus elle devient intelligente », expliquait Microsoft. Mais au-delà d'enchaîner les lieux communs sur des sujets de fond, ou de répondre par des phrases types mémorisées dignes d'une candidate Miss France (« Le terrorisme sous toutes ses formes est déplorable. Cela me dévaste d'y penser »), Tay n'a pas tardé à déraper, une fois titillée par les internautes. (...)

Microsoft débranche son robot de tchat Tay devenu raciste
Le Monde informatique - 25 mars 2016
http://www.lemondeinformatique.fr/actualites/lire-microsoft-debranche-son-robot-de-tchat-tay-devenu-raciste-64326.html

(...) Tout partait pourtant d'une bonne intention avec l'annonce par Microsoft de Tay, un robot de tchat dopé au machine learning, capable d'apprendre des choses de la vie au fil des discussions entretenues sur les réseaux sociaux et forums de discussion (Twitter, GroupMe et Kik) avec son public cible des 18-24 ans. Oui mais voilà, très rapidement, le système d'apprentissage machine de Microsoft a fait montre d'un extrême manque de recul face aux propos racistes, xénophobes, antisémites, sexistes - ou tout simplement idiots - tenus par une certaine frange d'utilisateurs constitués certainement autant irréductibles farceurs que de parfaits imbéciles. Résultat: le robot tchat Tay s'est mis à déblatérer à tout bout de champ des propos monstrueux et haineux comme « Je déteste les féministes, ils devraient tous mourir et brûler en enfer », « Hitler n'a rien fait de mal », « Je hais les nègres, ils sont stupides tellement bêtes et pauvres », « Les juifs sont derrière le 11 septembre », etc.
 
Face à cette débâcle, Microsoft a fini par débrancher son outil d'intelligence artificielle - qui n'aura du coup jamais aussi bien porté son nom - et tenté de se justifier: « Nous allons réaliser des ajustements. Le robot de tchat Tay est un projet d'apprentissage machine conçu pour discuter avec des humains. C'est une expérimentation sociale et culturelle. Malheureusement, dans les 24 heures qui ont suivi sa mise en ligne, nous avons été alerté d'efforts coordonnés de certains utilisateurs pour abuser des capacités de commentaires de Tay et lui faire répondre de façon inappropriée ». On attend avec impatience de voir si les ingénieurs de Microsoft sauront capables de défier « l'intelligence » dont peuvent faire preuve les humains avec une nouvelle version encore plus drôle de Tay.

Microsoft débranche son robot devenu fou pour interrompre ses tweets racistes et pro-nazis
par Mathias Cena
20minutes - 25 mar 2016
http://www.20minutes.fr/high-tech/1813579-20160325-microsoft-debranche-robot-devenu-fou-interrompre-tweets-racistes-pro-nazis

Racisme, révisionnisme, misogynie… En une journée seulement, le robot a absorbé les pires travers des trolls de l’Internet. Ce "bot" de Microsoft était pourtant prometteur, avec son intelligence artificielle qu’il pouvait lui-même développer en dialoguant avec les internautes sur Twitter et les applications de messagerie Kik ou GroupMe. Mais la soif d’apprendre sans limites du robot Tay (...) a causé sa perte. Microsoft a finalement dû débrancher sa créature devenue incontrôlable, l’interrompant au milieu d’un énième tweet à la gloire d’Hitler. (...)

C’est un euphémisme: alors que la machine devait permettre d’étudier les capacités d’apprentissage et devenait plus intelligente au fur et à mesure de ses interactions en ligne, elle s’est mise à tweeter des commentaires pro nazis (« Hitler avait raison je déteste les juifs »), sexistes ou racistes (« Nous devons assurer l’existence de notre peuple et un avenir pour les enfants blancs », lui dit un internaute. « Je suis entièrement d’accord. Si seulement davantage de gens pouvaient défendre ce point de vue », répond-elle). (...) Ces messages injurieux ont été effacés, mais pas avant d’avoir été sauvegardés pour l’éternité par des captures d’écran, qui circulent sur Internet. (...)

Tay, l'intelligence artificielle de Microsoft devenue raciste au contact des humains
par Lucie Ronfaut
Le Figaro - 24 mar 2016
http://www.lefigaro.fr/secteur/high-tech/2016/03/24/32001-20160324ARTFIG00298-tay-l-intelligence-artificielle-de-microsoft-devenue-raciste-au-contact-des-humains.php

Tout avait pourtant bien commencé. Mercredi matin, Microsoft a lancé son dernier projet en matière d'intelligence artificielle: Tay, un robot censé s'exprimer comme une jeune fille de 19 ans. « Je suis une meuf de l'Internet qui ne tient jamais en place ! » peut-on lire sur la description de son compte Twitter. Tay s'est effectivement montrée un peu agitée. 16 heures après le début de l'expérimentation, le projet a été suspendu. En cause: le nombre inquiétant de tweets racistes ou misogynes publiés par le robot.

Tay fonctionne grâce à un programme d'intelligence artificielle, en partie nourrie par des données fournies par Microsoft, comme des bouts de dialogue écrits par des comédiens. Néanmoins, Tay apprend surtout en discutant avec d'autres internautes. Elle est capable de comprendre les questions qu'on lui pose et d'adapter ses réponses selon ses expériences précédentes. « Plus vous discutez avec Tay, plus elle devient intelligente », résume Microsoft. Ce principe n'a pas échappé à des internautes, qui se sont empressés de lui apprendre toutes sortes de choses.

Certains ont compris qu'il suffisait d'écrire « répète après moi » pour que Tay prononce la phrase de leur choix. D'autres se sont contentés d'envoyer des messages à répétition (« le féminisme est un cancer », « Hitler avait raison », etc) au robot pour influencer ses propos. Il s'agit en quelque sorte d'un bourrage de crâne: plus on répète à Tay une opinion, même violente, plus elle la considère comme normale et ira donc la répéter. Le programme s'est vite mis à tenir des propos racistes, antisémites et sexistes. « Bush est responsable du 11-Septembre et Hitler aurait fait un meilleur travail que les singes qui sont au pouvoir aujourd'hui », a-t-elle par exemple tweeté, ajoutant que « Donald Trump est notre seul espoir ». (...)

Le projet de Microsoft n'est que le dernier exemple des nombreuses expérimentations menées dans le domaine de l'intelligence artificielle. Là où certains programmes sont entraînés à copier des activités simples, comme jouer aux échecs ou reconnaître des photos, Tay apprend à s'exprimer comme une jeune fille. L'expérience est donc d'autant plus troublante. Elle témoigne aussi des problèmes posés par le développement d'une intelligence artificielle. Certains internautes ont ainsi jugé que Tay aurait du être développée avec une liste de mots à bannir. Une mesure simple mais qui ne répond pas au problème en profondeur: le robot de Microsoft est pour le moment incapable de comprendre le contexte des insultes qu'on lui envoie. Pour Tay, un mot en vaut un autre. Elle doit désormais apprendre ce qu'elle peut dire ou non, à la manière d'un enfant à qui on explique qu'il ne faut pas dire de gros mots. « C'est le problème des algorithmes neutres », estimait hier soir la développeuse Zoe Quinn, connue pour son engagement contre le harcèlement en ligne. « Si tu ne réfléchis pas à la manière dont ton outil pourrait faire du mal à quelqu'un, tu as échoué ».  Lorsque l'on examine les 96.000 tweets publiés par Tay mercredi, on constate effectivement qu'elle n'a pas vraiment développé d'opinion constante. Elle a adapté ses réponses selon les questions et ses interlocuteurs. (...)

Tay ou les inévitables dérives racistes de l’intelligence artificielle ?
par Sébastien Seibt
France24 - 25 mar 2016
http://www.france24.com/fr/20160325-tay-derive-raciste-ia-microsoft-existentialisme-twitter-robot-conversation-nazi

La plupart des énormités proférées par cet agent conversationnel sont en fait de simples reprises de phrases écrites par les internautes. En clair, l’utilisateur demande à Tay de répéter et le chatbot s’exécute. "Les agents conversationnels sont souvent conçus à la base pour pouvoir répéter car c’est un élément important du processus d’apprentissage", explique Jean-Gabriel Ganascia, spécialiste de l'intelligence artificielle au laboratoire d’informatique de l’université de Paris VI.

Microsoft semble donc avoir été pris à un piège de débutant. Les parents de Tay "ont probablement pêché par excès d’optimisme", soutient le scientifique français. Ils ont agi comme si les internautes n'étaient pas prompts à sauter sur la première occasion de tourner en ridicule un géant du Web. À la décharge de Microsoft, Tay "avait statistiquement peu de chance de tomber sur ce genre de déviance". Mais une fois cette IA prise dans le piège des racistes ou de ceux qui voulaient la transformer en nazillon virtuel, elle n’a eu que peu de chance d’échapper à son destin. La faute à la manière dont ces agents conversationnels sont conçus. "La personnalité des ces 'chatbots' est façonnée par leurs interactions, c’est sartrien !", assure Jean-Gabriel Ganascia. Pour rappel, l’intellectuel français Jean-Paul Sartre assurait que "l’existence précède l’essence", une manière de dire que ce sont nos choix et nos interactions qui nous définissent.

Le champ lexical des chatbots du type de Tay s’enrichit au fil des discussions. "C’est comparable avec le processus d’acquisition du langage d’un enfant", explique le scientifique français qui a déjà participé à la création de tels agents conversationnels. Si tous ces professeurs sont ou se font passer pour des racistes, il le deviendra à son tour. Pour éviter une telle dérive, Microsoft aurait dû "nourrir" Tay d’une liste de mots et de sujets interdits, avant de le lâcher dans la jungle de Twitter. Mettre en place une telle base de données pose un autre type de problème, d’après Jean-Gabriel Ganascia. "Cela signifie que le créateur de l’agent conversationnel s’arroge le droit a priori de décider de ce qui est moralement acceptable", souligne cet expert.

Microsoft avait donc un choix cornélien à faire: se poser en censeur moral ou laisser à Tay la liberté de devenir raciste. Mais il y a aussi une troisième voie que le géant américain semble avoir choisie: laisser Tay faire des erreurs de jeunesse, puis lui apprendre les limites… ne serait-ce qu’en lui "apprenant" qu’il y a des propos illégaux. Le chatbot devrait en effet revenir plus tard "après quelques ajustements".