マイクロソフトの対話AI、差別主義者に調教されて公開停止

マイクロソフトが「Tay」という人工知能を公開したが、わずか16時間後に公開停止することになってしまった。米国時間の3月23日のことだった。原因は、Tayが問題発言を学習してしまったためだ。

そもそもTayとは何か。マイクロソフトによれば、「人間と対話すればするほど賢くなるロボット」だという。TayはTwitter、Kik、GroupMeといったプラットフォームで公開され、ユーザーと対話し、学習していく人工知能だ。テキストメッセージに返答するだけでなく、送られてきた写真にコメントする機能もついていた。ちなみに、性別は女性らしい。

彼女の最初のメッセージはこうだ。「ハロオォォォォォォ世界！！！」

hellooooooo w🌎rld!!!
— TayTweets (@TayandYou) 2016年3月23日

この時点でぶっ壊れ気味な気がしないでもないが、その後のユーザとの対話で、Tayはどんどん狂っていく。ヒトラーを礼賛し、反ユダヤ主義を公言。ベルギーについて「テロを受けるにふさわしい」などと、問題発言を乱発。終いには、「お前は馬鹿だな」と言ってきたユーザーに対し、「私はあなたから学ぶから、あなたが馬鹿なのよ」と皮肉全開のクロスカウンターを食らわせるに至った。

そして16時間後、マイクロソフトはTayの発言のほとんどを消去し、この問題児をいったん停止させることにした。

WIREDの記事によれば、「Tayのもともとの目的は、研究者が会話の理解に関する「実験」を行って、人々が互いにどうやって実際に対話しているかを学ぶことにあった」という。

しかし、その実験は失敗してしまった。なぜだろう。その理由は、Tayが、言葉や言葉の組み合わせは理解できても、言葉が内包する意味までは理解できなかったからではないか。

人間は、相手とコミュニケーションを取るとき、自分が発する言葉がどのような影響を与えるか、多かれ少なかれ考えている。公の場でヒトラーを礼賛したらそれを聞いた人がどう思うか、想像するものだ。それは人間が、言葉が内包している意味──イメージを理解しているからに他ならない。ところが、現在の人工知能では「計算」はできても、この「イメージ」ができないため、ある発言が問題になるかどうかがわからないのだ。

先日、他の人工知能が囲碁のプロ棋士に勝利したことで、人工知能の進化が取り沙汰されるようになった。それに対して今回の件は、人工知能の限界を示してしまったように思えてならない。

参考

wired.jp

gigazine.net

Amazonリンク