Recently in 人工知能の応用における倫理やガバナンス Category

人工知能の応用における倫理やガバナンス面の課題 第2部 予測 »

Applied Ethical and Governance Challenges in Artificial Intelligence(人工知能の応用における倫理やガバナンス面の課題)という授業をJonathan Zittrainと共同で行なっている。ティーチングアシスタントのSamantha Batesがまとめたシラバスや概要を3回に渡ってブログ投稿する予定で、今回が2回目。John BowersとNatalie Satielもティーチングアシスタントを担当している。1回目のポストはこちら。 僕なりに要点をまとめてみた。 第1部では、この分野の定義付けを行い、いくつかの課題を理解しようとしてみた。この分野における文献の多くでは、公平性と説明可能性は曖昧な定義による単純化し過ぎる議論で語られており、懸念が残る形で終わった。また、敵対的攻撃や類似するアプローチなどの新しいリスクに対して、技術に携わるコミュニティーとして我々はどう対応すればいいのか、今後の難題に危惧しながら第1部を終えた。 第2部では、人工知能における倫理とガバナンスについて、ある種の絶望感を抱えながら、課題をさらに深く追求していく。Solon BarocasとAndrew D. Selbstが共著した論文『Big Data's Disparate Impact』(ビッグデータの差別的な影響)では、アメリカの公民権法第7編(タイトル・セブン)を取り上げ、差別や公平性に関する法律の現状が紹介されている。この法律は、公民権運動で提起された差別問題を是正すべく制定されたものだったが、司法制度はアファーマティブ・アクション(積極的格差是正措置)などの救済手段を通して社会的不公平を正す方向から離れてしまった、と著者たちは言う。代わりに、法制度はプロセスの公平性に重点を置き、所得の再分配や歴史的不公平の解決を軽視するようになった。その結果、法制度は公平性についてより厳密な見解を持つようになり、いわば保険数理的な「all lives matter」(黒人差別に反対する社会運動Black Lives Matterに対抗するスローガン)的なアプローチとなっている。第1部でアマゾンの偏った雇用ツールについて話し合った際、人為的な調整によって女性やマイノリティのスコアを増やせばいいのでは?という解決策も提案された。BarocasとSelbstの論文では、このような解決方法はもう法律では支持されていないことが紹介されている。エンジニアたちは「差別を禁止する法律は当然あるはずだから、それを使おう」と思ったようだ。実際は、その法律は所得の再分配や社会的公平性について飽きらめているのだ。Jonathanは、不法行為法における社会的不平等の扱いも似たようなものだと指摘する。例えば、交通事故で裕福な人と貧乏な人を同時に轢いてしまった場合、裕福な遺族により多く賠償金を払う必要があるのだ。賠償金の計算は、被害者の将来の収益力に基づく。不法行為法では、タイトル・セブンと同じように、「社会的な不公平は存在するかもしれないが、この法律はその問題を解決するものではない」ということになっている。 Sandra Wachterの論文では説明可能性を提供する方法としてcounterfactual(反事実的条件)の活用が提案されている。これは素晴らしいアイデアで、説明可能性に関する議論を前に進めることができるものだと思う。ただし、GDPRなどの法律によってそのような説明の提供を企業に義務付けることが実際に可能か、Sandraも懸念を抱いているようだ。僕たちもcounterfactualの限界について、バイアスの特定や、個人に応じた"最高"の答えを出すことができるのか、いくつか懸念を感じている。この限界はSandraも論文で取り上げている。 最後に、敵対的攻撃について理論的なアプローチからさらに進めて具体例を検証するために、医療系AIシステムに対する敵対的攻撃のリスクに関してJonathanと僕がJohn Bowers、Samuel Finlayson、Andrew L. Beam、Isaac S. Kohaneと共著し、最近発表した論文を取り上げた。 第2部を構成する3回の授業については、Samanthaが作成したまとめや読み物へのリンクも掲載するので、参照されたし。 第2部:予測 Samantha Bates作 シラバス・メモ:"予測"段階 『人工知能おける倫理やガバナンス面の課題』のシラバスの第2部へようこそ!第1部では、宿題として課された読み物や授業での話は、自律システムの社会的、技術的、そして哲学的なルーツがいかにして公平性、解釈可能性、そして敵対的事例に関する問題に関与しているかを理解することに焦点を置いた。この講義の第2ステージは"予測ステージ"と位置づけ、これらの問題の社会的を検討する内容とした。このステージで最も重要だったのは、これらの問題の多くは社会的や政治的な問題であり、法律や技術によるアプローチのみで対応するのは不可能、ということが明らかになった点かもしれない。 5回目の授業:不公平なAIの影響を予測する 予測ステージの初日には、Cornell UniversityのSolon Barocas助教授が授業に参加。雇用におけるアルゴリズムの利用について法律や技術の観点から検証した同氏の論文『Big Data's Disparate Impact』(ビッグデータの差別的な影響)について話し合った。 "Big Data's Disparate Impact" by Solon Barocas and Andrew D. Selbst, California Law Review (2016) / Solon Barocas、Andrew D. Selbst(2016年).ビッグデータの差別的な影響.California Law Review 予測ステージの初日では、クラスの焦点が、自律システムの根底にある技術的な仕組みを検討することから、それらの制度の社会的な影響を検証することに変わった。BarocasとSelbstの論文はデータ収集やデータのラベル付けが既存の偏見を意図的にも非意図的にも永続させている場合があることについて考察している。著者たちはデータ・セットに差別的な効果がある主な例を5つ紹介している。 自律システムによる決定に利用されるパラメータを、データ・マイニングを行なう人間が決めるとき、私たち自身の人間的なバイアスがデータセットに組み込まれる可能性がある。 トレーニング・データが収集された方法やレベル付けされた方法によっては、すでに偏りがある可能性がある。 データ・マイニング・モデルは限られた数のデータ要素を検討しているため、扱われているテーマにとって典型的でないデータに基づいて個人や集団に関する結論を出してしまう可能性がある。 Cathy O'Neilが言ったように、モデルが決断する際に利用するデータ要素が階級身分の代用物である場合、偏見が入ってしまう可能性がある。 データ・マイニングが差別的なのは意図的である可能性がある。ただし、意図的でない場合のほうが多く、意図的であるかどうかを特定するのも難しい、と著者たちは主張する。 雇用における差別の是正に取り組んでいる法原理は存在するものの、実際に適用することが難しいことを著者たちは明らかにしており、この傾向はデータ・マイニングにおいて特に強い。公民権法の第7編(タイトル・セブン)は意図的な差別(差別的取扱い)と非意図的な差別(差別的インパクト)に対して法的責任を定めているが、いずれの種類も立証するのは難しい。例を挙げると、意図的な差別を理由に雇用者に責任を負わせるには、原告は代わりになる非差別的な方法が存在し、差別的な慣行と同じ目的を達成しうることを示さなければならない。また、雇用者に代替手段が提示された際、雇用者がその検討を拒否したことも証明しなければならない。大抵の場合、雇用者側は、代替手段について認識していなかったことを証明できれば、あるいは、差別的な要素があるかもしれない方針に正当な業務上の理由(業務上の必要性に基づいた弁護)があれば、裁判での防御が成功するのである。 データ・マイニングにおけるバイアスを明らかにし、証明し、是正するのが非常に難しいのは、社会全体として、差別への対処における法律の役割をはっきりさせていない、ということも関係している。anticlassification theory(反分類理論)という説によれば、法制度には、意思決定者が社会の被保護階層を差別しないよう保証する義務があるのだ。これに対抗する理論のantisubordination theory(反服従理論)は、より現場主義的な取り組み方を推奨しており、法律制度は、社会から取り残された人々の生活を積極的に改善させることによって身分に基づいた不平等を社会レベルでなくすことに取り組むべきである、としている。現行の社会では反分類的な取り組みが支持されており、その理由として、反差別法は被保護階層がより良い機会を得られるようにすることのみを目的としていない、という主旨の判決が早い段階で下されて先例が確立されたことも関係している。著者たちは、データ・マイニングが如何にして雇用における既存のバイアスを悪化させるかを示しているものの、効率的な意思決定と偏りの排除を両立させようとしたとき、社会的な代償があるのだ。 この論文は、問題解決の責任は誰にあるのか、という問題も提起している。BarocasとSelbstは、データ・マイニングにおけるバイアスの大半は意図的でないと強調しており、バイアスを明らかにし、技術的な修正を導入することによって偏りを無くすのは非常に困難かもしれない、という。同時に、この問題を法制度において解決するのを同じぐらい困難にしている政治的や社会的な要因があり、この問題への取り組みは誰が担当すべきか?という問題もある。著者たちは、社会全体として、私たちは差別に関する諸問題への取り組み方を見直す必要があるかもしれない、としている。 6回目の授業:解釈可能性が無いAIの影響を予測する 6回目の授業では、弁護士でOxford Internet Instituteの研究員でもあるSandra Wachterを迎え、自律システムに解釈可能性を持たせるためにcounterfactual(反事実的条件)を利用する可能性について話し合った。 "Counterfactual Explanations Without Opening the Black Box: Automated Decisions and the GDPR" by Sandra...

人工知能の応用における倫理やガバナンス面の課題―第1部のメモ »

Jonathan Zittrainと共同で授業をするのは今回で三度目。今年の講義は、Applied Ethical and Governance Challenges in Artificial Intelligence(人工知能の応用における倫理やガバナンス面の課題)という。セミナー形式なので、講演者を招き、彼らの論文や研究について話し合うスタイルが基本。講演者や論文の選定は優秀なティーチング・アシスタント陣のSamantha Bates、John Bowers、Natalie Satielが担当した。 Samは授業前の準備として論文の概要を書き、進行を決めておくことも担当している。この作業が、講師たちが目を通すメモという形で終わってしまうのはもったいないと思った。メモや概要を僕のブログに掲載すれば、誰でも授業内容の一部を習得できるし、興味深い会話のきっかけにもなるかもしれないのでSamの承諾を得て載せることにした。 この講義は、3つのテーマについて3回授業を行うセットを3回行う構成となっている。以前の授業は、トピックの全般的な概要に近い内容だったけれど、研究が進むうちに、多くの人が既に知っていることを復習するよりは、肝心な事柄を掘り下げたほうが面白い、という皆の意見が一致した。 選んだトピックはfairness(公平性)、interpretability(解釈可能性)、adversarial examples(敵対的事例)の3つ。各トピックに3回授業を割り当て、"診断"(問題の技術的な根本を同定する)、"予測"(問題の社会的影響を探求する)、"介入"(同定した問題の解決策を挙げ、各案のコストと利点を考慮しながら検討する)という順番で取り上げる。構成図は下記参照。 生徒たちはMITとハーバードから半々の割合で来ていて、彼らの専門分野はソフトウェア工学、法律、政策など幅広い。授業はとても良い形で進んでいて、いろんなトピックについて、こんなに深く学んだのは初めてだ、と個人的に感じている。その反面、諸問題が如何に難解かが明らかになってきて、これらのアルゴリズムの展開によって社会にもたらされる危害を最小限に留めるために必要な取り組みが、あまりにも規模が膨大なため、途方に暮れそうな時もある。 ちょうど"予測"の段階が終わったところで、これから"介入"を始めるところだ。次のステージに突入するにあたって、希望が持てる要素を見つけられればと思う。 以下、序論と第1段階("診断")の概要とシラバスをSamantha Batesがまとめたもの。論文へのリンクも掲載する。 第1段階を手短にまとめると、「公平性」をどう定義するかは不明で、特定な式や法則として表現するのは多分不可能だけど、動的なものである、ということは言える。「解釈可能性」は聞こえの良い言葉だけど、授業でZachary Liptonが言ったように、wastebasket taxon(くずかご的な分類群)であり、例えるならアンテロープに似た動物が実際にアンテロープかどうかにかかわらず、すべて「アンテロープ」と呼ばれているのに似た使い方をされる言葉だ。「敵対的事例」については、MITの数名の生徒たちが、我々は敵対的攻撃に対処する準備ができておらず、これらの攻撃に対して堅固でありながら効果的に機能するアルゴリズムを構築できるかどうかは不明、ということを明確に示してくれた。 第1部:序論と診断 Samantha Bates作 このテーマについて初めての投稿となる今回のブログでは、第4回までの授業の宿題として課された読み物をまとめており、序論から第1段階までが含まれている。"診断"段階では、クラス全員で公平性、解釈可能性、敵対的事例に関するAIの主要問題を同定し、自律システムの根本的なメカニズムがどのようにそれらの問題に関与しているかを検討した。授業での話し合いは、用語の定義やテクノロジーの仕組みなどを中心に行なった。講義シラバスの第1部と各読書物の要点をまとめたメモを以下に掲載する。 第1回:序論 1回目の授業では、講義の構成と目的を提示し、後の議論に向けて、この分野の現状を批評した読書物を宿題として出した。 "Artificial Intelligence -- The Revolution Hasn't Happened Yet" by Michael Jordan, Medium (April 2018) Michael Jordan(2018年4月).人工知能―革命はまだ起きていない.Medium "Troubling Trends in Machine Learning Scholarship" by Zachary C. Lipton & Jacob Steinhardt (July 2018) Zachary C. Lipton、Jacob Steinhardt(2018年7月).機械学習の学問における不穏な傾向 上記の論文は両方とも現行のAI研究や議論に批判的な内容だけど、それぞれ違う視点から書かれている。Michael Jordanの論文の要点は、AI研究において多様な学問分野間の連携が不足していること。工学の新しい分野が誕生している今、非技術的な課題や視点も取り入れる必要がある、という主張だ。『Troubling Trends in Machine Learning Scholarship』(機械学習の学問における不穏な傾向)は、学問としての機会学習のコミュニティーにおいて、基準が低下しており、研究手法や慣行が厳格さに欠けていることに焦点を当てている。両方の論文において、著者たちは、この分野への信頼が保たれるよう、学問において厳格な基準が守られることを義務付けるべきだ、という正しい指摘をしている。 最初の読み物を、この分野の現状を批評する内容の論文にしたのは、生徒たちがこの講義で読むことになる諸論文を、客観的・論理的な視点から考えるように促すため。混乱を避けるためには正確な用語の使用や思考の説明が特に重要であることをこれらの論文が示してくれるのと同じように、生徒たちには、自分の研究や意見をどう伝えるか、慎重に検討するように、と私たち講師は求めている。この初回の読み物は、これから特定なトピック(公平性、解釈可能性、敵対的AI)を深く掘り下げる状況を整えてくれるものであり、講義で議論する研究についてどのようなアプローチで臨むべきか生徒たちに理解してもらうのに役立つのだ。 第2回:公平性に関する問題を診断する 診断ステージの1回目の授業では、機械学習における公平性に関する指導的発言者として活躍中のデータ科学者で活動家のCathy O'Neilを講演者に迎えた。 Weapons of Math Destruction by Cathy O'Neil, Broadway Books (2016). Read Introduction and Chapter 1: "Bomb Parts: What Is a Model?" Cathy O'Neil(2016).Weapons of Math...