Recently in 人工知能の応用における倫理やガバナンス Category

還元に抗う

機械と共に歩む複雑な未来を設計する

レビュー、調査、編集チーム:Catherine Ahearn、Chia Evers、Natalie Saltiel、Andre Uhl

翻訳:永田 医

原文:Ito, J. (2017). Resisting Reduction: A Manifesto. Journal of Design and Science. https://doi.org/10.21428/8f7503e4

長いこと、技術的なシンギュラリティに反対するマニフェストを書いて、それを対話圏に発表してみんなの反応とコメントを得たいと思っていたところ、今年、『人間機械論:人間の人間的な利用』(The Human Use of Human Beings)(Norbert Wiener著)を著名な思想家たちとともに読んで議論し、本の共同執筆作業に参加しないかとJohn Brockmanから誘われたことがここに書いた思索につながった。

以下の論説を、MIT Pressとのパートナーシップで行われていたオープン出版プロジェクトPubPubを使って出版したのがフェーズ1。フェーズ2では、コメントを取り入れてより豊かに、そしてより情報に通じた内容となったこの論説の新しいバージョンがオンラインで公開され、そこにこの種子となる論説にインスパイアされた他の論説も加えてJournal of Design and Scienceの新しい号として発表された

バージョン1.2


自然界の生態系は、無数の"通貨"が相互作用し、フィードバックシステムに反応して繁栄と制御を可能にする複雑な適応システムのエレガントな例である。この協働モデルこそが人工知能への取り組み方の指針となるべきであり、指数関数的経済成長や、テクノロジーの進歩を通じて現在の人類の状態が超越される日が来ることを約束するシンギュラリティーがモデルとなるべきではない。60年以上も前に、MITの数学者・哲学者Norbert Wienerは「人間という原子が組織に組み込まれるとき、責任ある人間という、権利が尊重された形ででなく、歯車やレバーや棒として使われるようになってしまうと、その原材料が血と肉だということはほとんど無視されるようになる」と警鐘を鳴らした。ぼくたちはWienerの警告に耳を傾けるべきだ。

はじめに:通貨というガン

太陽が地上を照らすと、光合成によって水と二酸化炭素と太陽エネルギーが酸素とブドウ糖に変換される。光合成は、物質やエネルギーを別の状態に変換する生化学プロセスのひとつだ。これらの分子は、他の生化学プロセスによって代謝され、さらに別の分子になる。科学者たちは、これらの分子をしばしば"通貨"と呼ぶ。それはこうした分子が、細胞間やプロセス間でやりとりされて相互に利益がもたらすような、ある種の力をあらわしている(つまり、実質的には"取引"されている)からだ。こうした分子の、金融通貨との最大の違いは、"マスター通貨"や"外国為替市場"が存在しないことだ。それぞれの"通貨"は特定のプロセスでしか使えず、こうした"通貨"が形成する"市場"が"生命"という力学を動かす。

あるプロセスや生命体が捗り、その生産物(出力)として特定の通貨が豊富になると、他の生命体はその出力を別のものに変換するように進化する。何十億年の時を経て、地球の生態系はこのように進化し、膨大な代謝経路のシステムが誕生し、極めて複雑な自己調整型システムを複数形成した。これらのシステムは、例えば人間の体温を安定させたり、地球の気温を安定させたりする。ミクロからマクロまで、あらゆる規模において個々の要素が絶え間なく変動し、変化するにもかかわらず、これらのシステムは安定をもたらす。あるプロセスの出力は、他のプロセスの入力となる。最終的にはすべてが相互につながる。

ぼくたちの文明では、主要な通貨は、お金と権力だ。大抵の場合、社会全体を犠牲にしてでもこの二つを貯め込むのが目標となっている。地球の生態系に比べれば、非常に単純で脆弱なシステムだ。地球の生態系では、無数の"通貨"がプロセス間でやりとりされ、様々な入力と出力が行われる非常に複雑なシステムが複数形成されている。これらのシステムには、物事に適応したり、諸々の蓄えや流れ、そして繋がりを調節するフィードバックシステムがある。

残念ながら、現在の人類文明には自然環境に内蔵されているような回復力がない。ぼくたちの目標を決め、社会の進化の原動力となるパラダイム(基本的な考え方)は、数学者のNorbert Wienerが何十年も前に警告したような危険な道筋を人類に歩ませている。単一のマスター通貨という基本概念は、多くの企業や機関に当初の使命を見失わせてしまった。価値観や複雑性において重点が置かれるのは指数関数的経済成長、という傾向がますます強くなっていて、この現象を率いているのが営利企業だ。営利企業は、自治権と権利と権力と、ほとんど規制されない社会的影響力を獲得するに至った。こうした企業の行動は、ガンの行動と似ている。健康な細胞は自分の成長を調節し、環境に順応する。侵入すべきでない臓器に迷い込んでしまうと、自分を消滅させることさえある。これに対して、ガン細胞は際限のない増殖を実現すべく最適化されており、自分の機能や周りの状況を無視して拡散する。

ぼくたちを打ち続けるムチ

人間は進歩を実現させるために存在していて、進歩には制約のない、指数関数的な成長が必要だという考えこそが、ぼくたちを打ち続けるムチだ。この考え方が自由市場資本主義的制度で適用されて自然にできあがったのが現代の会社だ。Norbert Wienerは企業のことを「血と肉でできた機械」と呼び、オートメーションのことを「金属でできた機械」と呼んだ。シリコンバレーを拠点とする新しいタイプの巨大な会社(ビットでできた機械)は、シンギュラリティーという新興宗教を信じている人によって興され、運営されている部分が大きい。この新興宗教には、前述の基本的考え方からの根本的な変化がなく、指数関数的な成長の崇拝が現代の計算や科学に適用されて自然にできあがったものだ。そして計算力の指数関数的成長を考えたとき、その漸近線1的な存在として人工知能(AI)がある。

シンギュラリティーという概念は、指数関数的成長を遂げるAIがいずれ人間に取って代わる存在になる、というもので、人類がこれまで行ってきたこと、そして現在行っていることがすべて取るに足らないことだという考え方だ。これは、機械が解決するには複雑すぎると考えられていた問題を、計算を活用することによって解決した経験を持つ人たちが作った宗教と言える。彼らはデジタル計算という完璧なパートナーを見つけた。つまり、理解可能で制御可能な、思考と創出のためのシステムであり、複雑性を活用し、処理する能力が急速に高まっているシステムだ。このパートナーを使いこなせるようになった人は、富と権力を手に入れることになる。シリコンバレーでは、集団思考と、テクノロジーのカルト的な崇拝が金銭的な成功をもたらした結果、正のフィードバック・システムができあがった。このシステムは、負のフィードバックによって自己規制する能力がほとんどない。シンギュラリティーを信奉する人たちは、自分たちの信念が宗教扱いされることに抵抗を示すだろうし、自分たちの発想は科学やエビデンスに基づいていると反論するだろう。しかし、彼らは、自分たちの究極のビジョンを実現させるために、根拠のない主張をしたり、地に足のついた真実よりは、これまでの軌跡がいつまでも続くという発想、つまり信仰のみに基づいた思い切った行動を取ったりする。

シンギュラリティー信者は、世界が"知り得る"もので、コンピューターを使ってシミュレーションできないものはない、と信じている。そして、コンピューターが現実世界のややこしさを処理できるようになる日が来ると信じている。ちょうど、コンピューターには解決できないと言われていた諸問題を解決してみせたときと同じように。彼らにとって、コンピューターという素晴らしいツールは、これまであらゆることにうまく使えたため、どんな難題を突きつけても効果を発揮するはずで、やがて人間は既知の限界をすべて超越し、最終的には、現実さえも脱出できる速度のようなものをも実現させるはずだ、と考える。人工知能はすでに、自動車の運転、ガンの診断、そして裁判記録の検索や調査などの分野で人間の代わりに使われている。AIは更に進歩し、いずれは人間の脳と融合し、全知全能の超知性になる、というわけだ。コンピューターは人間の思考を増強・拡張し、ある種の"超死性"(amortality)をもたらすだろう、というのが熱狂的な信者の考えだ。(シンギュラリティーには"超死性"のための戦いが含まれており、これは人間はいずれ死ぬし、不死身にはなれないかもしれないが、死は加齢という死神によるものではなくなる、という考え方だ。)

しかし、企業が人間の超越性の前触れであるとしても、コンピューターを更に使い込み、バイオハッキングを続けていけば、どうにかして世界のあらゆる問題を解決できる、そしてシンギュラリティーは人類が抱える問題をすべて解決する、というシンギュラリティー信者の考え方は、どうしようもなく幼稚なものに思える。強化された頭脳と超死性を手に入れ、長大な思考ができるようになる日を夢見る人もいるが、企業はすでにある種の"超死性"を獲得している。企業は経営が成り立っている限り存在し続けるし、それぞれの構成要素が一体となっていることで、その合計以上の力を発揮する存在だ。つまり、企業は超死的な超知性と言えなくもない。

より多くの計算が行われても、人間の"知能"が高まるわけではない。計算力が強化されるだけだ。

シンギュラリティーの成果がポジティブなものとなる、と考えるには、十分な力さえあれば、このシステムはどうにかして自分自身を調節できるようになる、と信じることが前提となる。最終的な成果はあまりに複雑なものとなるため、ぼくたち人間は今はそれを理解できないが、"それ"は自分自身を理解し、自分自身を"解決"することになる、というわけだ。旧ソ連で行われた全体計画に、完全な情報と際限のない権力が加わったような状態を目指している人たちがいる。また、分散型のシステムに基づいたより洗練された見方をする人もいる。しかし、シンギュラリティー信者は、程度の差こそあれ、十分な権力と統制さえあれば、世界は"飼い慣らせる"と全員が信じている。シンギュラリティーを信じる人のすべてが、不死と裕福さを与えてくれるポジティブな超越としてシンギュラリティーを崇めているわけではないが、あらゆる曲線が垂直になる"最後の審判の日"がいつかは来ると信じている。

S字曲線もベル曲線も、傾斜が始まる頃は指数曲線に見えるものだ。システムダイナミクスに馴染みがある人にとって、指数曲線とは、自己強化が行われている状態、つまり際限のない正のフィードバック曲線を意味する。シンギュラリティー信者を興奮させ、システム系の人たちを怯えさせているのはこの点なのかもしれない。シンギュラリティーという概念に捕らわれていない人々のほとんどは、物事はS字曲線で説明がつく、と考える。つまり、自然界にはあらゆることに順応し、自己調整する性質がある、という考え方だ。例えば、パンデミックが起きても、経過を辿ってやがて感染の広がりは減速し、事態は適応する。以前とは同じ状態ではないかもしれないし、相の変化が起きる可能性もあるが、シンギュラリティーという考え方、特に、人間がややこしい存在で、いつかは死ぬという苦悩を抱えた存在であることをいつかは超越させてくれる救世主または最後の審判のようなものとしてのシンギュラリティー、という考え方は根本的に間違っている。

このような還元主義的な考え方は新しいものではない。BF Skinnerが強化理論を発見し、発表した後、教育は彼の理論に基づいて行われるようになった。行動主義的なアプローチは学習の狭い範囲でしか効果を発揮しないことは、今では学習を研究する科学者たちの間で知られているが、いまだにドリル練習に依存した教育方法をとる学校が多い。別の例を挙げると、優生学運動がある。これは社会における遺伝学の役割を、大幅に、そして誤った形で単純化しすぎた運動で、自然淘汰を人為的に後押しすれば「人類を直せる」という還元主義的な科学観を提言し、結果としてナチスによるジェノサイドを勢いづけてしまった。優生学の恐ろしさの残響は今日も残っていて、遺伝の研究では、知性などと関連があるかどうかを調べる内容のものは、ほぼすべてタブーとなっている。

人間は、過度に還元主義的な科学を社会に適用してしまった歴史から学ぶべきだし、Wienerが言ったように「われわれを打ち続けるムチにキスするのをやめる」べきだ。複雑なことをエレガントに説明し、混乱を理解へと還元することは科学の主要な原動力のひとつであるが、「すべてはできる限り単純にしなければいけないが、それ以上単純にしてはいけない」2というAlbert Einsteinの言葉を忘れてはならない。現実世界の知り得なさ(還元できない性質)は、アーチストや生物学者、そしてリベラルアーツ(一般教養)や人文学というややかしい世界で活動する人々が普段から接していてよく知っていることだが、ぼくたち人間は、そういった性質があることを受け入れなければならない。

ぼくたちはみんな参加者

Wienerが『人間機械論』(The Human Use of Human Beings)を執筆していた冷戦時代は、資本主義と消費者主義の急速な拡大を特徴とする時代で、宇宙競争の始まりでもあり、コンピュター時代の成熟期でもあった。諸制度を外部からコントロールできると信じ、世界で起きている問題の多くは科学と工学によって解決できると信じることが今より容易な時代だった。

その時期にWienerが主に論じていたサイバネティクス(人工頭脳学)は、客観的な視点から制御・調整できるフィードバックシステムに関するものだった。このいわゆる第一次サイバネティクスは、観察者としての科学者が起きていることを理解できるため、エンジニアが科学者の観察や洞察に基づいたシステムを設計できる、と仮定した理論だった。

今日では、気候変動、貧困、肥満、慢性的な病、現代テロリズムなど、人類が直面している問題のほとんどは、リソースを増やして制御を強化するだけでは解決できない。これは以前よりも明らかになっている。というのもこれらの問題は、複雑な適応システムの結果であり、しかも、しばしば問題を解決するために過去に使われていたツールの結果だったりするからだ。例えば、果てしなく生産性を上げたり、物事をコントロールしようとした結果なのだ。ここで第二次サイバネティクスが登場する。第二次サイバネティクスは、自己適応型の複雑なシステム、そして観察者がシステムの一部であることに関する理論だ。Kevin Slavinが『参加としてのデザイン』(Design as Participation)で述べたように、「あなたは渋滞に巻き込まれているのではなく、あなたこそが渋滞なのだ」3

現代の重要な科学的課題に効果的に対応するには、世界を多くの相互接続された、複雑な、自己適応型システムとして見なければならず、しかもそれぞれのスケールも次元も知り得ぬもので、おおむね観察者や設計者から不可分なものとして考えなければいけない、とぼくは信じている。つまり、ぼくたちは微生物から個人のアイデンティから社会や人類という種全体にいたるまで様々なスケールで、違った適応度地形(フィットネス・ランドスケープ)4を持つ複数の進化システムの参加者なのだ。一人ひとりの人間も、システムで構成されるシステムが、さらに大きなシステムを構成してできあがっているのだ。例えば、ぼくたちよりもシステムレベルでの設計者のようにふるまう体内の細胞がひとつのシステムであるように。

Wienerは生物学的進化と言語の進化を論じてはいるけれど、進化力学を科学のために活用するというアイデアは探究していない。個別種の生物学的進化(遺伝的進化)は繁殖と生存に推進され、ぼくたちの中に目標と、子孫をつくって成長したいという願望を植え付けた。このシステムは常に成長を調節し、多様性と複雑性を増やし、それ自身の回復性、適応性、持続可能性を高める5。このようなより広いシステムについての認識を高めつつある設計者として、ぼくたちは生物的、社会的な背景からの進化論的、環境的な入力によって定義される目標や方法論を持っている。でも創発的知性を持つ機械は、明らかにちがった目標や方法論を持つ。システムに機械を導入するにつれて、機械は個別の人間を強化するだけでなく、同時に、そしてより重要な点として、複雑なシステム全体を強化することになる。

ここで"人工知能"という概念の問題点が明らかになる。それは他の複雑な適応システムとの相互作用が無い状況での形態、目標、方法論を提案している点だ。機械知能を人間対機械という形で考えるのではなく、人間とシステムを統合するシステムを考えるべきだ。人工知能ではなく、拡張知能を。システムを制御、設計、理解するよるよりは、さらに複雑なシステムの、認識力を持つ、堅牢な、責任ある要素として参加するシステムを設計するほうが重要だ。そして、システムの設計者であると同時に、システムの構成要素でもあるぼくたち自身も、ずっと慎ましいアプローチを目指して、自分の目標と感性を問い直し、適応させねばならない。操ることよりも慎みが大事なのだ。

これを"参加型デザイン"とでも呼ぼう。参加者としての参加者によるシステム設計だ。これは繁栄の関数(flourishing function)の増加に似ていて、ここでの"繁栄"は、規模や力ではなく、活力と健康を表す指標だ。システムがいかに独創的に適応する能力を持っているか、は計測可能で、システムの回復力や、おもしろい形でリソースを使う能力も計測できる。

優れた介入を行うには、問題解決や最適化よりは、環境と時代に適切な感性を育むことが大事なのだ。その意味でそれはアルゴリズムより音楽に似ている。音楽では感性やセンスが大事であり、多くの要素がある種の創発秩序にまとまるものだと言える。楽器の編成や奏法によっては、システムが適応したり、予想外の、プログラムされていない形で動いたりするように押しやったりすることができが、それでもつじつまが合う、形の保ったものとなり得る。音楽そのものを介入として使うことは、新しい考えではない。1707年にスコットランドの作家兼政治家Andrew Fletcherは「わたしに国の歌を作らせろ。法律はだれが作ろうが知ったことではない」と言った。

法律を作る代わりに歌を書くことは意味がないと思えるなら、歌は大抵の場合、法律よりも長く世の中に残る点に注目してほしい。また、歌は硬軟問わず各種の革命でも重要な役割を果たしてきたし、その価値観とともに人から人へと伝えられるものだ。これは音楽やプログラミングの話ではない。歌が作用するレベルで活動することにより変化を引き起こそうとする、ということが大事なのだ。これは、例えばDonella Meadows等の『世界はシステムで動く』(Thinking in Systems)で論じられている。

Meadowsは論説『テコ入れ箇所:システムで介入すべき場所』(Leverage Points: Places to Intervene in a System)で、複雑な自己適応型システムにどう介入すればいいかを説明している。彼女によれば、システムの目標とパラダイムを変える介入のほうが、パラメータを変える介入や、ルールを変える介入よりははるかに強力で根本的なのだ。

システムにテコを入れるべき箇所

(有効性の低い方から順に)

  • 12.定数、パラメータ、数字(助成金、税金、規格など)
  • 11.バッファーなど、安定をもたらす蓄え(そのフローに比べて)
  • 10.フローや資材備蓄の構造(輸送ネットワークや人口年齢構成など)
  • 9.システム変化の速度に比べた遅延の長さ
  • 8.負のフィードバックループの強さ(それが補正しようとしている影響に比べて)
  • 7.正のフィードバックループを推進させて得るもの
  • 6.情報フローの構造(情報にアクセスできるのは誰か、そしてできないのは誰か)
  • 5.システムのルール(インセンティブ、処罰、制約など)
  • 4.システム構造を加算、変化、進化、あるいは自己組織化する力
  • 3.システムの目標
  • 2.システム(とその目標、構造、ルール、遅延、パラメータ)が発生するきっかけとなった考え方あるいはパラダイム
  • 1.パラダイムを超越する力

Wienerは進歩の崇拝についてこう述べた:

進歩を倫理的な原理として信奉する者は、この際限のない準自発的な変化プロセスを良いことと考えており、この世はいつか天国のようになる、と後世に保証できる根拠とみている。倫理的原理としての進歩を信じなくても進歩という事実を信じることは可能だが、多くのアメリカ人の教義問答においては、この両者はセットになっているのだ6

"持続可能性"という概念は、何事も大きいほうがいい、といまだに考えられていて、或るものが必要以上ある状態は、多過ぎる状態(そのために問題が発生するマイナスな状態)だと理解されていない世界において"解決"すべきことと考えるのではなく、これらの適合度関数(fitness functions)7の価値と通貨を検討し、ぼくたちの参加するシステムにとってふさわしく適切なものかを考えるべきなのかもしれない。

結論:繁栄の文化

flourishing(繁栄する)という言葉はElizabeth Anscombeが1958年に書いたエッセーが発表されてから特に重要な意味を持つようになったが8、繁栄を特徴とする感性と文化を作り上げ、"成功"について多様な指標を受け入れるには、権力とリソースを蓄積することよりも、経験の多様性と豊かさが重要だ。これこそが人類が必要としているパラダイムシフトだ。これは極めて適応性の高い社会を創り出すために使える、技術や文化のパターンを豊富に与えてくれる。この多様性はまた、システムの要素がお互いに養いあいつつ、単一通貨による単一文化のつくり出す搾取や収奪のエートスをなくせるようにしてくれる。この新しい文化は音楽、ファッション、スピリチュアル性などの芸術形態として広がる可能性が高い。

日本人としてぼくは、環境についてどうすればいいかと日本で最近尋ねてみた中学生たちが、幸福や、自然の中での人間の役割について質問を返したことに勇気づけられる。また同じように、MITメディアラボや、尊者テンジン・プリヤダルシと共同で教えている「意識の原理」という講義の生徒たちが、成功や意味を測るのに各種の指標(通貨)を使い、この複雑な世界での自分の場所を探す複雑で難しい課題に正面から取り組んでいるのを見て、やはり勇気づけられる。

ぼくはまた、IEEEのような組織が人工知能開発の設計ガイドラインを、経済的影響ではなく人間の福祉中心に構築しはじめていることにも勇気づけられている。Conservation InternationalのPeter Seligmann、Christopher Filardi、Margarita Moraが行っている自然保護活動は、原住民が繁栄できるように支援するものなので創造的でエキサイティングだ。もうひとつ、勇気づけられる例を挙げると、伊勢神宮の神官たち過去1300年にわたり、自然の再生と循環性を祝って20年毎に植樹して神殿を建て替え続けてきた儀式がある。

1960年代と70年代にはヒッピー運動が"ホールアース(全地球)"運動を全うしようとした。しかし、その後、世界は今日の消費文化へと逆戻りしてしまった。ぼくは新しい覚醒が起こり、新しい感性が文化的な変革を通じて人々の行動に非線形の変化を引き起こすと期待しているし、またそうなると信じている。システムのあらゆる層で、もっと回復力のある世界を創り出そうと活動し続けることは可能だし、またそうすべきだけれど、文化の層こそが、いまぼくたちが歩んでいる自滅の道をやめるという根本的な是正につながり得る層として、潜在力が最も高い層だとぼくは信じている。これを実現するのは、歴史的にもみられたように、新しい感性を反映し、増幅する若者たちの音楽や芸術になると思う。その感性とは、貪欲さに背を向け、「十分すぎるのは多すぎる」ことを認識した世界において、自然を思い通りに操るのではなく、自然と調和しつつ繁栄する感性だ。

注釈

  1. 漸近線とは、ある曲線に近づき続けながら、その曲線に接しない線のこと。シンギュラリティーにおける漸近線は、指数関数的成長の曲線が垂直になるときにできる垂直線だ。信者の間では、この漸近線が本当にあるのか、という議論よりは、この漸近線がどこにあるかについて議論されることが多い。
  2. これはよく使われる言い換えで、Einsteinが実際言ったのは「すべての理論の究極目標は、経験データをひとつ残らず適切に表現し、還元不可能な基本要素をできる限り単純かつ最小限にすることだ、というのは否定できないだろう」。
  3. 西欧の哲学と科学は"二元論的"であり、東洋の非二元論的な考え方とは対照的だ。この点については別の論説で長々と書けそうだが、ここで大事なのは、主語・目的語あるいは設計者・被設計者という発想は、西欧の哲学と宗教における自我の概念とつながっている部分もある、ということ。
  4. 適応度地形とは、各遺伝子型に適応度値を割り当てるときに生じるもの。遺伝子型は高次元の配列空間で配列される。適応度地形はその配列空間上の関数だ。進化論的力学では、生物学的集団は変異、淘汰、機会的浮動に推進されて或る適応度地形の中で動く。(Nowak, M. A. Evolutionary Dynamics: Exploring the Equations of Life. Harvard University Press, 2006.)
  5. Nowak, M. A. Evolutionary Dynamics: Exploring the Equations of Life. Harvard University Press, 2006.
  6. Norbert Wiener, The Human Use of Human Beings (1954 edition), p.42.
  7. 適合度関数とは、或る解決策が特定の目標にどれだけ近づいたかを価値の指標として要約するために使われる関数だ。進化システムを説明したり設計したりするために使われる。
  8. G. E. M. Anscombe, "Modern Moral Philosophy," Philosophy 33, No. 124 January 1958. この論説は、現代の徳倫理学の始まりとされている。この学問は、道徳的原則を定めようとする、あるいは有益性と有害性を中心とした実用的な考え方に頼ろうとするより伝統的な倫理学が直面する問題を目の当たりにしてアリストテレス倫理学を再評価したもの。徳倫理学は伝統的な倫理学と違って、良い人生とは何か、どうすれば人類は開花、成長、繁栄できるか、を問う学問だ。

Applied Ethical and Governance Challenges in Artificial Intelligence(人工知能の応用における倫理やガバナンス面の課題)という授業をJonathan Zittrainと共同で行なっている。ティーチングアシスタントのSamantha Batesがまとめたシラバスや概要を3回に渡ってブログ投稿する予定で、今回が2回目。John BowersとNatalie Satielもティーチングアシスタントを担当している。1回目のポストはこちら。

僕なりに要点をまとめてみた。

第1部では、この分野の定義付けを行い、いくつかの課題を理解しようとしてみた。この分野における文献の多くでは、公平性と説明可能性は曖昧な定義による単純化し過ぎる議論で語られており、懸念が残る形で終わった。また、敵対的攻撃や類似するアプローチなどの新しいリスクに対して、技術に携わるコミュニティーとして我々はどう対応すればいいのか、今後の難題に危惧しながら第1部を終えた。

第2部では、人工知能における倫理とガバナンスについて、ある種の絶望感を抱えながら、課題をさらに深く追求していく。Solon BarocasとAndrew D. Selbstが共著した論文『Big Data's Disparate Impact』(ビッグデータの差別的な影響)では、アメリカの公民権法第7編(タイトル・セブン)を取り上げ、差別や公平性に関する法律の現状が紹介されている。この法律は、公民権運動で提起された差別問題を是正すべく制定されたものだったが、司法制度はアファーマティブ・アクション(積極的格差是正措置)などの救済手段を通して社会的不公平を正す方向から離れてしまった、と著者たちは言う。代わりに、法制度はプロセスの公平性に重点を置き、所得の再分配や歴史的不公平の解決を軽視するようになった。その結果、法制度は公平性についてより厳密な見解を持つようになり、いわば保険数理的な「all lives matter」(黒人差別に反対する社会運動Black Lives Matterに対抗するスローガン)的なアプローチとなっている。第1部でアマゾンの偏った雇用ツールについて話し合った際、人為的な調整によって女性やマイノリティのスコアを増やせばいいのでは?という解決策も提案された。BarocasとSelbstの論文では、このような解決方法はもう法律では支持されていないことが紹介されている。エンジニアたちは「差別を禁止する法律は当然あるはずだから、それを使おう」と思ったようだ。実際は、その法律は所得の再分配や社会的公平性について飽きらめているのだ。Jonathanは、不法行為法における社会的不平等の扱いも似たようなものだと指摘する。例えば、交通事故で裕福な人と貧乏な人を同時に轢いてしまった場合、裕福な遺族により多く賠償金を払う必要があるのだ。賠償金の計算は、被害者の将来の収益力に基づく。不法行為法では、タイトル・セブンと同じように、「社会的な不公平は存在するかもしれないが、この法律はその問題を解決するものではない」ということになっている。

Sandra Wachterの論文では説明可能性を提供する方法としてcounterfactual(反事実的条件)の活用が提案されている。これは素晴らしいアイデアで、説明可能性に関する議論を前に進めることができるものだと思う。ただし、GDPRなどの法律によってそのような説明の提供を企業に義務付けることが実際に可能か、Sandraも懸念を抱いているようだ。僕たちもcounterfactualの限界について、バイアスの特定や、個人に応じた"最高"の答えを出すことができるのか、いくつか懸念を感じている。この限界はSandraも論文で取り上げている。

最後に、敵対的攻撃について理論的なアプローチからさらに進めて具体例を検証するために、医療系AIシステムに対する敵対的攻撃のリスクに関してJonathanと僕がJohn Bowers、Samuel Finlayson、Andrew L. Beam、Isaac S. Kohaneと共著し、最近発表した論文を取り上げた。

第2部を構成する3回の授業については、Samanthaが作成したまとめや読み物へのリンクも掲載するので、参照されたし。

第2部:予測

Samantha Bates作

シラバス・メモ:"予測"段階

『人工知能おける倫理やガバナンス面の課題』のシラバスの第2部へようこそ!第1部では、宿題として課された読み物や授業での話は、自律システムの社会的、技術的、そして哲学的なルーツがいかにして公平性、解釈可能性、そして敵対的事例に関する問題に関与しているかを理解することに焦点を置いた。この講義の第2ステージは"予測ステージ"と位置づけ、これらの問題の社会的を検討する内容とした。このステージで最も重要だったのは、これらの問題の多くは社会的や政治的な問題であり、法律や技術によるアプローチのみで対応するのは不可能、ということが明らかになった点かもしれない。

5回目の授業:不公平なAIの影響を予測する

予測ステージの初日には、Cornell UniversityのSolon Barocas助教授が授業に参加。雇用におけるアルゴリズムの利用について法律や技術の観点から検証した同氏の論文『Big Data's Disparate Impact』(ビッグデータの差別的な影響)について話し合った。

  • "Big Data's Disparate Impact" by Solon Barocas and Andrew D. Selbst, California Law Review (2016) / Solon Barocas、Andrew D. Selbst(2016年).ビッグデータの差別的な影響.California Law Review

予測ステージの初日では、クラスの焦点が、自律システムの根底にある技術的な仕組みを検討することから、それらの制度の社会的な影響を検証することに変わった。BarocasとSelbstの論文はデータ収集やデータのラベル付けが既存の偏見を意図的にも非意図的にも永続させている場合があることについて考察している。著者たちはデータ・セットに差別的な効果がある主な例を5つ紹介している。

  1. 自律システムによる決定に利用されるパラメータを、データ・マイニングを行なう人間が決めるとき、私たち自身の人間的なバイアスがデータセットに組み込まれる可能性がある。
  2. トレーニング・データが収集された方法やレベル付けされた方法によっては、すでに偏りがある可能性がある。
  3. データ・マイニング・モデルは限られた数のデータ要素を検討しているため、扱われているテーマにとって典型的でないデータに基づいて個人や集団に関する結論を出してしまう可能性がある。
  4. Cathy O'Neilが言ったように、モデルが決断する際に利用するデータ要素が階級身分の代用物である場合、偏見が入ってしまう可能性がある。
  5. データ・マイニングが差別的なのは意図的である可能性がある。ただし、意図的でない場合のほうが多く、意図的であるかどうかを特定するのも難しい、と著者たちは主張する。

雇用における差別の是正に取り組んでいる法原理は存在するものの、実際に適用することが難しいことを著者たちは明らかにしており、この傾向はデータ・マイニングにおいて特に強い。公民権法の第7編(タイトル・セブン)は意図的な差別(差別的取扱い)と非意図的な差別(差別的インパクト)に対して法的責任を定めているが、いずれの種類も立証するのは難しい。例を挙げると、意図的な差別を理由に雇用者に責任を負わせるには、原告は代わりになる非差別的な方法が存在し、差別的な慣行と同じ目的を達成しうることを示さなければならない。また、雇用者に代替手段が提示された際、雇用者がその検討を拒否したことも証明しなければならない。大抵の場合、雇用者側は、代替手段について認識していなかったことを証明できれば、あるいは、差別的な要素があるかもしれない方針に正当な業務上の理由(業務上の必要性に基づいた弁護)があれば、裁判での防御が成功するのである。

データ・マイニングにおけるバイアスを明らかにし、証明し、是正するのが非常に難しいのは、社会全体として、差別への対処における法律の役割をはっきりさせていない、ということも関係している。anticlassification theory(反分類理論)という説によれば、法制度には、意思決定者が社会の被保護階層を差別しないよう保証する義務があるのだ。これに対抗する理論のantisubordination theory(反服従理論)は、より現場主義的な取り組み方を推奨しており、法律制度は、社会から取り残された人々の生活を積極的に改善させることによって身分に基づいた不平等を社会レベルでなくすことに取り組むべきである、としている。現行の社会では反分類的な取り組みが支持されており、その理由として、反差別法は被保護階層がより良い機会を得られるようにすることのみを目的としていない、という主旨の判決が早い段階で下されて先例が確立されたことも関係している。著者たちは、データ・マイニングが如何にして雇用における既存のバイアスを悪化させるかを示しているものの、効率的な意思決定と偏りの排除を両立させようとしたとき、社会的な代償があるのだ。

この論文は、問題解決の責任は誰にあるのか、という問題も提起している。BarocasとSelbstは、データ・マイニングにおけるバイアスの大半は意図的でないと強調しており、バイアスを明らかにし、技術的な修正を導入することによって偏りを無くすのは非常に困難かもしれない、という。同時に、この問題を法制度において解決するのを同じぐらい困難にしている政治的や社会的な要因があり、この問題への取り組みは誰が担当すべきか?という問題もある。著者たちは、社会全体として、私たちは差別に関する諸問題への取り組み方を見直す必要があるかもしれない、としている。

6回目の授業:解釈可能性が無いAIの影響を予測する

6回目の授業では、弁護士でOxford Internet Instituteの研究員でもあるSandra Wachterを迎え、自律システムに解釈可能性を持たせるためにcounterfactual(反事実的条件)を利用する可能性について話し合った。

解釈可能性に関する前回の話し合いでは、クラス全体として、「解釈可能性」という用語の定義は、決定の背景や前後関係、そしてモデルに解釈可能性を持たせる動機によって大きく変わるため、定義できない、という結論に達した。Sandra Wachterらの論文は、「解釈可能性」を定義することは重要ではなく、焦点を置くべきところは、個人がモデルの成果を変えたり、対抗するための手段を提供することだと主張する。著者たちは、これらの自動化システムをより透明性のあるものとし、システムに責任を取らせる方法を立案すれば、AIに対する一般人の信頼を高める結果をもたらす、と指摘しているが、論文の主な焦点は、GDPRの説明要件を満たす自律モデルを設計するにはどうすればいいか、というところにある。論文が提案する解決策は「ある決定が受け止められた理由と、その決定に反対する手段と、どうすれば望まれる結果を将来的に得られるかについて限られた"アドバイス"を提供する」counterfactualを個々の決定(ポジティブなものとネガティブなもの両方)に対して発生させることである。


CounterfactualはGDPRの説明可能性の要件を満たし、上回るだけでなく、法的拘束力のある説明義務に向けた土台を作る効果がある、と著者たちは主張する。自動化されたモデルの技術的な仕組みを一般人に説明する難しさや、企業秘密や知的財産を守ることに関連する法的課題、そしてデータの対象者のプライバシーを違反する危険により、AIによる意思決定に関する透明性をより多く提供することはこれまで困難だった。しかし、counterfactualはこれらの課題に対する回避手段となり得る。なぜならば、counterfactualは「入力値がこう違っていれば、決定もこう変わる」と説明するものであり、モデルの仕組みを開示するものではないからである。例を挙げると、銀行ローンのアルゴリズムに関するcounterfactualは、ローンを拒否された人物に対して、年収が3万ドルでなく、4万5千ドルだったらローンを受けることができた、と伝えるかもしれない。この例でのcounterfactualは、モデルの技術的な仕組みを説明せずに、当事者に決定の根拠と、将来的に結果を変えるにはどうすればいいかを伝えることができる。なお、counterfactualはバイアスや不公平が絡む問題への十分な解決策ではない。あるモデルにバイアスがあることの証拠提供なら、counterfactualにできるかもしれない。しかし、counterfactualはとある決定と特定な外的な事実との間の依存性を示すのみなので、偏りの原因かもしれないあらゆる要因を明らかにしたり、とあるモデルに偏りがないことを確認したりする働きは期待できない。

任意の読み物『Algorithmic Transparency for the Smart City』(知的な都市のためのアルゴリズムの透明性)は、市庁によるビッグデータ分析技術や予測アルゴリズムの使用に関する透明性を検証している。書類作成や情報開示の拙劣さや企業秘密に対する懸念が原因で、モデルがどのように機能したかや、結果として市に与えることとなる影響を理解するのに必要な情報を市庁が得られない状況が頻繁に起こった、と著者たちは結論付けている。この論文では、Watcher et al.の論文も言及する自律モデルを理解しようとしたときに直面する障害について考察をさらに発展させており、反事実的な説明の展開が適していそうなシナリオを複数提示している。

7回目の授業:敵対的事例の影響を予測する

予測をテーマとした3回目の授業では、敵対的事例に関するディスカッションの続きとしていくつかの起こり得るシナリオを検討し、特に、それらの利用が私たちにとって有利にも不利にもなり得る医療保険詐欺について話し合った。

敵対的事例を取り上げた前回の授業では、敵対的事例は如何にして作られるか、を理解するためのディスカッションが中心だった。今回の読み物は、敵対的事例が、利用方法によって私たちにとって有利にも不利にもなり得ることを掘り下げた内容となっている。論文『Adversarial attacks on artificial intelligence systems as a new healthcare policy consideration』(医療保険政策に関する新しい検討事項としてのAIシステムに対する敵対的攻撃)では健康保険費の不正処理に関する敵対的事例の利用を検証している。医師による「アップコーディング」という行為があり、これは、より多くの報酬を得るために、実際に行われた処置よりもはるかに重要な医療行為に対して保険金を請求することである、と著者たちは説明する。敵対的事例がこの問題を悪化させる場合が想定される。例えば、良性のほくろを写した画像に医師がわずかに手を加えた結果、保険会社の自律請求コード・システムが悪性のほくろとして誤って分類してしまう場合がある。保険会社は、保険請求の妥当性を裏付ける証拠の提出を追加で義務付けても、敵対的事例の利用によってそのシステムが騙されることもあり得る。

保険詐欺は医療におけて深刻な問題だが、その詐欺性が明確でない場合もある。また、医師がアップコーディングを行うのは、本来なら保険会社が認めない医薬品や治療を使えるようにして患者の医療体験をより良くするため、という場合もある。同様に、論文『Law and Adversarial Machine Learning』(法律と敵対的機械学習)は、機械学習の研究者に対して、彼らが構築する自律システムが、個人ユーザーにとって役に立つ場合もあれば、同じユーザーにとって悪影響が及ぶ使い方がされる場合もあることを検討すべきだとしている。研究者が作ったツールを、圧政的な政府が国民のプライバシーや言論の自由を侵害するために使う可能性もある、著者たちは研究者に警告している。同時に、圧政的な国家の下で生活している人々は、敵対的事例を利用して国家の顔認識システムを回避し、探知されないようにすることができるかもしれない。これらの例は両方とも、敵対的事例をどう扱うかは簡単に決められないことを示している。

これらの論文では、敵対的事例に起因した問題への介入策の作成に関する助言が記されている。医療においては、「procrastination principle」(先延ばしの原則)というインターネット初期に生まれた概念で、問題を未然に防ぐためにインターネットのアーキテクチャを変えるべきではない、とする説が、敵対的事例の場合にも当てはまるかもしれない、と著者たちは言う。早過ぎる段階で医療における敵対的事例に関する問題に取り組むと、効果的でない規制ができあがってしまい、この分野での革新の妨げとなる可能性がある、と著者たちは警告する。その代わりとして、敵対的事例に関する懸念については、既存の規制を延長し、保険金請求のために提出されるデータに対応する"指紋"的なハッシュ値を作成するなど、小さな段階を経て対応することを著者たちが提案している。

論文『Law and Adversarial Machine Learning』では、弁護士や為政者が、最善の機械学習政策を立てるには、機械学習の研究者の協力が必要である、と著者たちは強調する。従って、法律が解釈され得る場合やを法律をどう施行すべきかを為政者が理解するのを手伝うために、機械学習の開発者は敵対的事例のリスクを評価し、既存の防御システムの有効性を評価すべきである、と勧告している。機械学習の開発者はシステムを開発する際、攻撃が起きたかどうかの判定をはじめ、攻撃がどのように起きたかや、誰が攻撃を行なったかが判定しやすいシステム設計を心掛けるべきだ、と著者たちは提案する。例えば、「システムに対して敵対的攻撃が起きた際に警告を発し、適切な記録作りを勧告し、攻撃中の事件対応用の戦略を構築し、攻撃から回復するための復旧計画を立てる」システムを設計すれば対策になるだろう。最後に、著者たちは機械学習の開発者に対し、機械学習や敵対的事例は使い方によっては人権を侵害することもあれば、守るもできることに留意するよう呼び掛けている。

Credits

Notes by Samantha Bates, Syllabus by Samantha Bates, John Bowers and Natalie Satiel

訳:永田 医

Jonathan Zittrainと共同で授業をするのは今回で三度目。今年の講義は、Applied Ethical and Governance Challenges in Artificial Intelligence(人工知能の応用における倫理やガバナンス面の課題)という。セミナー形式なので、講演者を招き、彼らの論文や研究について話し合うスタイルが基本。講演者や論文の選定は優秀なティーチング・アシスタント陣のSamantha Bates、John Bowers、Natalie Satielが担当した。

Samは授業前の準備として論文の概要を書き、進行を決めておくことも担当している。この作業が、講師たちが目を通すメモという形で終わってしまうのはもったいないと思った。メモや概要を僕のブログに掲載すれば、誰でも授業内容の一部を習得できるし、興味深い会話のきっかけにもなるかもしれないのでSamの承諾を得て載せることにした。

この講義は、3つのテーマについて3回授業を行うセットを3回行う構成となっている。以前の授業は、トピックの全般的な概要に近い内容だったけれど、研究が進むうちに、多くの人が既に知っていることを復習するよりは、肝心な事柄を掘り下げたほうが面白い、という皆の意見が一致した。

選んだトピックはfairness(公平性)、interpretability(解釈可能性)、adversarial examples(敵対的事例)の3つ。各トピックに3回授業を割り当て、"診断"(問題の技術的な根本を同定する)、"予測"(問題の社会的影響を探求する)、"介入"(同定した問題の解決策を挙げ、各案のコストと利点を考慮しながら検討する)という順番で取り上げる。構成図は下記参照。

生徒たちはMITとハーバードから半々の割合で来ていて、彼らの専門分野はソフトウェア工学、法律、政策など幅広い。授業はとても良い形で進んでいて、いろんなトピックについて、こんなに深く学んだのは初めてだ、と個人的に感じている。その反面、諸問題が如何に難解かが明らかになってきて、これらのアルゴリズムの展開によって社会にもたらされる危害を最小限に留めるために必要な取り組みが、あまりにも規模が膨大なため、途方に暮れそうな時もある。

ちょうど"予測"の段階が終わったところで、これから"介入"を始めるところだ。次のステージに突入するにあたって、希望が持てる要素を見つけられればと思う。

以下、序論と第1段階("診断")の概要とシラバスをSamantha Batesがまとめたもの。論文へのリンクも掲載する。

第1段階を手短にまとめると、「公平性」をどう定義するかは不明で、特定な式や法則として表現するのは多分不可能だけど、動的なものである、ということは言える。「解釈可能性」は聞こえの良い言葉だけど、授業でZachary Liptonが言ったように、wastebasket taxon(くずかご的な分類群)であり、例えるならアンテロープに似た動物が実際にアンテロープかどうかにかかわらず、すべて「アンテロープ」と呼ばれているのに似た使い方をされる言葉だ。「敵対的事例」については、MITの数名の生徒たちが、我々は敵対的攻撃に対処する準備ができておらず、これらの攻撃に対して堅固でありながら効果的に機能するアルゴリズムを構築できるかどうかは不明、ということを明確に示してくれた。

第1部:序論と診断

Samantha Bates作

このテーマについて初めての投稿となる今回のブログでは、第4回までの授業の宿題として課された読み物をまとめており、序論から第1段階までが含まれている。"診断"段階では、クラス全員で公平性、解釈可能性、敵対的事例に関するAIの主要問題を同定し、自律システムの根本的なメカニズムがどのようにそれらの問題に関与しているかを検討した。授業での話し合いは、用語の定義やテクノロジーの仕組みなどを中心に行なった。講義シラバスの第1部と各読書物の要点をまとめたメモを以下に掲載する。

第1回:序論

1回目の授業では、講義の構成と目的を提示し、後の議論に向けて、この分野の現状を批評した読書物を宿題として出した。

"Artificial Intelligence -- The Revolution Hasn't Happened Yet" by Michael Jordan, Medium (April 2018)

Michael Jordan(2018年4月).人工知能―革命はまだ起きていない.Medium

"Troubling Trends in Machine Learning Scholarship" by Zachary C. Lipton & Jacob Steinhardt (July 2018)

Zachary C. Lipton、Jacob Steinhardt(2018年7月).機械学習の学問における不穏な傾向

上記の論文は両方とも現行のAI研究や議論に批判的な内容だけど、それぞれ違う視点から書かれている。Michael Jordanの論文の要点は、AI研究において多様な学問分野間の連携が不足していること。工学の新しい分野が誕生している今、非技術的な課題や視点も取り入れる必要がある、という主張だ。『Troubling Trends in Machine Learning Scholarship』(機械学習の学問における不穏な傾向)は、学問としての機会学習のコミュニティーにおいて、基準が低下しており、研究手法や慣行が厳格さに欠けていることに焦点を当てている。両方の論文において、著者たちは、この分野への信頼が保たれるよう、学問において厳格な基準が守られることを義務付けるべきだ、という正しい指摘をしている。

最初の読み物を、この分野の現状を批評する内容の論文にしたのは、生徒たちがこの講義で読むことになる諸論文を、客観的・論理的な視点から考えるように促すため。混乱を避けるためには正確な用語の使用や思考の説明が特に重要であることをこれらの論文が示してくれるのと同じように、生徒たちには、自分の研究や意見をどう伝えるか、慎重に検討するように、と私たち講師は求めている。この初回の読み物は、これから特定なトピック(公平性、解釈可能性、敵対的AI)を深く掘り下げる状況を整えてくれるものであり、講義で議論する研究についてどのようなアプローチで臨むべきか生徒たちに理解してもらうのに役立つのだ。

第2回:公平性に関する問題を診断する

診断ステージの1回目の授業では、機械学習における公平性に関する指導的発言者として活躍中のデータ科学者で活動家のCathy O'Neilを講演者に迎えた。

Weapons of Math Destruction by Cathy O'Neil, Broadway Books (2016). Read Introduction and Chapter 1: "Bomb Parts: What Is a Model?"

Cathy O'Neil(2016).Weapons of Math Destruction.Broadway Books

序論と第1章:爆弾の部品―モデルとは何か?

[OPTIONAL] "The scored society: due process for automated predictions" by Danielle Keats Citron and Frank Pasquale, Washington Law Review (2014)

(任意)Danielle Keats Citron、Frank Pasquale(2014).スコア付けされた社会:自動化された予測の正当な手続き.Washington Law Review

Cathy O'Neilの著書『Weapons of Math Destruction』は、予測モデルとその仕組み、そして予測モデルに偏りができてしまう過程などが分かりやすく書かれた入門書だ。欠陥のあるモデルが不透明で拡張性を持ち、生活に損害を与えてしまう場合(貧困層や社会的弱者が被害を受ける場合が多い)を、彼女はWeapons of Math Destruction (WMD)と呼ぶ。善意があっても、信頼性のある結論を出すために必要な量のデータが不足していたり、欠けているデータを代用品で補ったり、単純過ぎるモデルで人間行動を理解し、予測しようとする場合、WMDができやすい、とO'Neilは言う。人間行動は複雑で、少数の変数で正確に模型を作れるものではない。厄介なのは、これらのアルゴリズムはほとんどの場合、不透明なため、これらのモデルのあおりを受ける人は対抗することができない点だ。

O'Neilは、このようなモデルの採用が、予期し得ない深刻な結果をもたらす場合があることを示している。WMDは人間による検討や決断に代わる安価な手段であるため、貧困地域で採用されやすく、そのため、貧困層や社会的弱者へより大きな影響を与える傾向にある。また、WMDは行動の悪化をもたらす場合もある。O'Neilが挙げたワシントンD.C.のある学区の例では、結果が出せない教員を特定し、排除するために生徒たちのテスト成績を使ったモデルが採用されており、仕事を失わないために生徒のテスト成績を改ざんする教員もいたのだ。この場合、WMDは教員の質向上を目的に採用されたにもかかわらず、意図せぬ行動を奨励する構造ができてしまったため、逆の効果をもたらしてしまった。

任意の読み物『The Scored Society: Due Process for Automated Predictions』は、金融における信用スコアリングに関するアルゴリズムの公平性に関する論文だ。Cathy O'Neilがしたように、著者たちは信用スコアリングのアルゴリズムは既存の社会的不平等を悪化させていると指摘し、法制度には現状を変える責任があると主張している。信用スコアリングや信用情報の共有プロセスを公にすべき、と著者たちは提唱していて、スコアを左右する項目について信用スコアリング会社が一般人向けに教育を行なうことを義務化すべきともしている。Cathy O'NeilがWMDの3つの特徴のひとつとして挙げた不透明さの問題を改善すれば、信用スコアリング制度をより公平なものにし、知的財産権の侵害やスコアリング・モデルの廃止を回避できる、と著者たちは言う。

第3回:解釈可能性に関する問題を診断する

3回目の授業では、機械学習における解釈可能性の問題の定義と対処に取り組んでいるCarnegie Mellon UniversityのZachary Lipton助教授を迎え、解釈可能性のあるモデルとはどういうものか、について話し合った。

"The Mythos of Model Interpretability" by Zachary C. Lipton, ArXiv (2016)

Zachary C. Lipton(2016).モデルの解釈可能性という神話.ArXiv

[OPTIONAL] "Towards a rigorous Science of Interpretable Machine Learning" by Finale Doshi-Velez and Been Kim, ArXiv (2017)

(任意)Finale Doshi-Velez、Been Kim(2017)厳格な科学としての解釈可能性のある機械学習に向けて.ArXiv

3回目の授業は解釈可能性について話し合う最初の日だったので、この日のための読み物は両方とも「解釈可能性」をどう定義すべきか、そして解釈可能性が重要な理由を内容とするものを選んだ。Liptonの論文は、「解釈可能性」とは複数のアイデアを反映するものであり、現行の定義は単純過ぎる場合が多いと主張する。この論文は、議論のお膳立てをする質問を挙げている。「解釈可能性」とは何か?「解釈可能性」が最も必要となるのはどんな背景や状況か?より透明性が高いモデルや、成果を説明できるモデルを作れば、それは解釈可能性のあるモデルとなるのか?

これらの質問を検討することによってLiptonは、解釈可能性の定義はモデルに解釈可能性を望む理由によって変わる、と主張する。モデルに解釈可能性を求めるのは、その根底にあるバイアスを同定し、アルゴリズムの影響を受けてしまう人がその成果に異議を唱えられるようにするためかもしれない。あるいは、アルゴリズムに解釈可能性を求めるのは、決定に係る人間により多くの情報を提供できるようにして、アルゴリズムの正当性を高める、あるいは要因間に潜んでいるかもしれない因果関係を明らかにし、さらに検証できるようにするためかもしれない。我々が解釈可能性を求めているのはどんな状況においてか、諸々の状況の違いを明確にすることによって、解釈可能性が持つ多様な側面をより正確に反映する仮の定義に近づくことができる、とLiptonは言う。

さらに、Liptonは解釈可能性を向上させるために二種類の提案を検討している。透明性を高めることと、事後説明を提供すること。透明性を高めるアプローチは、モデル全体に適用される場合がある(シミュレーション可能性)。つまり、同じ入力データとパラメータがあれば、ユーザーはモデルの成果を再現できるはず。また、透明性を高める方法として、モデルの各要素(入力データ、パラメータ、計算)に個別に解釈可能性を持たせる方法や、トレーニング段階では、トレーニング・データセットがどんなものであれ、そのモデルは独自のソリューションにたどり着くことを示す方法もある。しかし、介入段階で更に詳しく述べるように、各レベルの透明性を増やすことは、前後関係や採用されるモデルの種類によって、必ずしも得策ではない(例えば、リニア・モデルに対するニューラル・ネットワーク・モデル)。また、モデルの透明性を向上させることは、そのモデルの正確性や効力の低下につながる場合もある。解釈可能性を向上させる二つ目の方法として、事後解釈可能性を義務付ける方法がある。つまり、成果を出した後、そのモデルは意思決定プロセスを説明しなければならない、という仕組みにするのだ。事後説明は文字、映像、サリエンシー・マップ、あるいは似たような状況において似たような決断が下された経緯を示す類推などの形式で行なうことができる。事後説明は、モデルの影響を受けた人間がどうすればその成果に対抗したり、その成果を変えることができるかについて洞察を与えてくれる場合もあるけれど、こういった説明は意図せず誤解を招くこともあり、人間のバイアスに影響されている場合は特にその傾向が強い、とLiptonは警告する。

Liptonの論文の結論は、解釈可能性を定義することは非常に難しい、というもので、その理由として、前後関係や、モデルに解釈可能性を持たせる動機など、外的要因によって定義が大きく変わることが挙げられる。解釈可能性という用語の仮の定義が無い限り、モデルに解釈可能性があるかどうか判断する方法は不明のままである。Liptonの論文は解釈可能性をどう定義するか、そして解釈可能性は何故重要か、ということに焦点をあてているが、任意の読み物『Towards a rigorous Science of Interpretable Machine Learning』は、モデルに解釈可能性があるかどうかを判断するための様々な方法をより深く掘り下げて調べている。著者たちは解釈可能性を「人間に理解できる言葉で説明あるいは提示する能力」と定義しており、解釈可能性を評価する基準が無いことに特に懸念を抱いている。

第4回:敵対的事例への脆弱性を診断する

敵対的事例に関する一回目の授業では、敵対的テクニックについて最先端の研究を行っているMITの学生主導研究会LabSixを迎えた。LabSixは敵対的事例の初歩を説明し、彼らの研究の発表もしてくれた。

"Motivating the Rules of the Game for Adversarial Example Research" by Justin Gilmer et al., ArXiv (2018).

Justin Gilmerら(2018).敵対的事例の研究に関するルールを動機付ける.ArXiv

[RECOMMENDED] "Intriguing properties of neural networks" by Christian Szegedy et al., ArXiv (2013)

(推奨)Christian Szegedyら(2013).ニューラルネットワークの興味深い性質.ArXiv

Gilmerらの論文は、敵対的事例を分かりやすく紹介する読み物であり、敵対的事例の定義を「機械学習モデルに間違いを起こさせるために攻撃者が意図的に設計した入力」としている。この論文の趣旨は、攻撃者が敵対的事例を採用する可能性のある様々なシナリオを検証することにある。著者たちは、攻撃の種類を整理すべく、分類用語集を作成しており、次の用語が挙げられている。「indistinguishable perturbation(識別不能な摂動)、content-preserving perturbation(コンテンツ保存型摂動)、non-suspicious input(疑わしくない入力)、content-constrained input(コンテンツに制約された入力)、unconstrained input(制約のない入力)」。それぞれの攻撃カテゴリーについて、著者たちは攻撃者の動機や制約を検討している。様々な種類の攻撃やそれぞれの代償を理解することによって、機械学習システムの設計者は防御能力を高めることができる、と著者たちは主張する。

この論文には摂動に対する防御に関する文献の概要も含まれており、これまでの文献では、実際にありそうな、実世界における状況での敵対的事例攻撃が検討されていない、と著者たちは批判している。例えば、防御に関する文献において頻繁に挙げられる仮定の状況として、攻撃者が自動走行車を混乱させるために止まれ標識の映像を摂動する場合がある。しかし、Gilmerらは、この車のエンジニアたちは、システム自体による、あるいは実世界の出来事に起因した誤分類エラー(例えば、止まれ標識が風の影響で倒れた場合)を想定し、対策を準備したはずだと指摘する。攻撃者が車を混乱させる方法として、より簡単で非技術的なやり方があり、前述の仮定よりも現実的なテスト・ケースがあるはずだ、と著者たちは主張する。防御に関する文献について、著者たちによるもう一つの批判は、システムの防御体制のとある面を改善すると、そのシステムの他の面の頑丈さが低下してしまい、攻撃への脆弱性を高めてしまう場合があることを取り上げていない、というものだ。

任意の読み物として推奨したChristian Szegedyらの論文は、内容がより専門的で、用語をすべて理解するには機械学習の知識が必要である。難易度の高い読み物だけど、「敵対的事例」という用語を提唱し、このトピックに関する研究の基礎の構築に貢献した論文なのでシラバスに含めることにした。

Credits

Notes by Samantha Bates

訳:永田 医