Borobudur PhotologBorobudurWed, Dec 11, 01:40 UTC

1967年夏、全米には人種暴動の嵐が吹き荒れていた。この年に起きた159件の"暴動"(視点を変えれば抗議行動と呼ぶこともできる)の大半は、インナーシティ[編註:都市内部で周辺地域から隔絶された特定の区域]に住む貧しいアフリカ系米国人と警察との対立に端を発する。

貧困層が住むこうしたエリアは暴動前から荒廃しており、そこに暴動によるダメージが加わったため、回復はほぼ不可能になった。一連の事態を理解するためには、「特定警戒地区指定(レッドライニング)」という言葉を知る必要がある。これは保険業界の専門用語で、保険を引き受けるにはリスクが高すぎることを示すために、地図上で赤線で囲まれた区域のことを指す。

ときの大統領リンドン・ジョンソンは68年、暴動で被害を受けた地域の保険問題に関する諮問委員会を設置した。インナーシティの復興に加え、レッドライニングが暴動の一因となった可能性があるかどうかを探るためだ。

この委員会の調査で、ある事実が明らかになった。レッドライニングによって、マイノリティーのコミュニティーと周囲との格差が助長され、金融や保険などの面で不平等が深まるというサイクルが生じる。つまり、地図の上に赤い線を引くことで、こうした地域が周囲と隔絶されてしまったそもそもの原因である貧困に拍車がかかるのだ。

保険会社とソーシャルメディアの共通項

保険会社は黒人やヒスパニック系といった人種的マイノリティーへの商品販売を拒んでいるわけではなかったが、業界ではレッドライニングを含む明らかに差別的な商慣行が許容されていた。そして、保険がなければ金融機関の融資は受けられないため、こうした地域に住む人は住宅購入や起業が実質的に不可能だった。

委員会の報告を受けて、レッドライニングの禁止とインナーシティ周辺への投資促進に向けた法律が制定されたが、この慣行はなくならなかった。保険会社は黒人への商品販売拒否を正当化するために、特定の地域における統計的リスクという言い訳をもち出した。つまり、レッドライニングは保険の引受リスクという純粋にテクニカルな問題であって、倫理的なこととは何も関係がないというのだ。

この議論は、一部のソーシャルネットワーク企業の言い分と非常によく似ている。SNS企業は、自分たちはアルゴリズムを駆使したプラットフォームを運営しているだけで、そこに掲載されるコンテンツとは関わりはないし、責任も負わないと主張する。

一方、現代社会の最も基本的な構成要素である金融システムの一端を担う保険会社は、市場における公平性と正確性に従っているだけだと述べる。数学的かつ専門的な理論に基づいてビジネスを展開しているのであり、結果が社会にどのような影響をもたらそうが知ったことではないというのが、その立ち位置だ。

「よい」リスクと「悪い」リスク

「保険数理的な公正」を巡る議論は、こうして始まった。公正さの確保という問題において、歴史的に重視されてきた社会道徳やコミュニティの基準より統計や個人主義的な考え方を重視するやり方については、さまざまな批判がある。一方で、こうした価値観は保険業界だけでなく、治安維持や保釈の判断、教育、人工知能AI)などさまざまな分野に広がっている。

リスクの拡散は昔から保険の中心的なテーマだったが、リスク区分という概念はこれより歴史が浅い。リスクの拡散とは、コミュニティのメンバーに何かが起きたときに備えて一定の資源を担保しておくことで、その根本には連帯という原則がある。

これに対し、近代の保険システムは個人のリスク水準をその当人に割り当てる。いわば個人ベースのアプローチで、自分より危険性の高い他人のリスクを肩代わりする必要がなくなるのだ。この手法は東西冷戦で社会主義的な性格のものが敬遠された時代に広まっていったほか、保険市場の拡大にも貢献した。

保険会社はリスク区分を改良していけば「よい」リスクを選ぶことが可能になる。つまり、自社の保険金の支払いが減り、コストの高い「悪い」リスクは他人に押し付けられる。

保険数理学的な「公正」の発展

なお、この問題については、マサチューセッツ工科大学(MIT)メディアラボの研究者でアルゴリズムの公平性と保険数理を専門とするロドリゴ・オチガメが、MIT助教授で歴史学を教えるケイリー・ホランのことを教えてくれた。本稿はホランの研究に多くをよっている。彼女は近く『Insurance Era: The Privatization of Security and Governance in the Postwar United States(保険の時代:戦後の米国における安全と統治の民営化)』という本を上梓する予定だが、ここでは本稿で触れたことがさらに詳しく説明されている。

リスクの拡散と連帯の原則の根底には、リスクを分かち合うことで人々の結束が強まるという考え方がある。そこでは相互扶助と協力関係の構築が奨励される。ただ、20世紀の最後の10年間は、この精神が保険数理学的な公正に取って代わられてしまった。

レッドライニングは、完全に人種差別的なアイデアと間違った固定観念に基づいて始まったものだ。しかし、保険会社はこの差別が「公正」であると主張するために、一見それらしく見える数学的手法を編み出し、それを発展させていった。

女性は男性より平均寿命が長いのだから年金保険料を多く払うべきである、黒人コミュニティは犯罪の発生率が高いから黒人の損害保険料率を高く設定することは許される──というわけだ。

論点をすり替えた議論の末に

米国社会にはいまだに、こういったあからさまな人種差別や偏見が存在する。そして保険業界では、差別は複雑な数学や統計に包んでうまく隠されており、専門家でなければ理解して反論するのはほとんど不可能だ。

1970年代後半には、女性の活動家たちがレッドライニングやリスク評価における不公正と闘うための運動に加わった。彼女たちは、保険のリスク区分に性別という要素が加えられているのは性差別だと主張した。

保険会社はこれに対して、またもや統計と数理モデルをもち出した。リスク区分を決める際に性別を考慮するのは間違っていない、なぜなら保険の対象項目には実際に男女によってリスクの異なるものがあることが統計によって明らかになっているからだ──というのだ。

こうして、保険業界のやり方に批判的だった人たちの多くが、ある意味で論点をすり替えた議論に巻き込まれていった。公民権グループとフェミニストの活動家が保険業界との戦いに破れたのには、理由がある。

人々は、特定の統計やリスク区分が不正確だと保険会社を非難した。しかし本当の問題は、そもそも保険のように重要かつ基本的な社会システムを構築する上で、数学的に割り出した公正さ、つまり市場主導型の価格的な公平性を取り入れることが妥当なのかという点だ。

アルゴリズムに潜むバイアス

公正であることは、正確であることとは必ずしも一致しない。ジャーナリストのジュリア・アングウィンが、刑事司法制度で採用されているリスクスコア評価には非白人に対する偏見があると指摘したとき、評価システムのアルゴリズムを開発した企業は、システムは正確なのだから公正だと反論した。

リスク評価システムでは、非白人は再犯率が高いとの予測が出る。再犯率は犯罪者が釈放後に再び罪を犯す可能性のことで、過去の犯罪データを基に算出されるが、問題の根本はここにある。なぜなら、逮捕という行為そのものに警察当局のバイアスがかかっており(例えば、警察官は非白人や貧困層の居住区域を重点的にパトロールするだろう)、アルゴリズムは当然それを反映してしまうからだ。

再犯リスクは保釈金の金額や判決、仮釈放の有無といった決定を下す際に、判断材料のひとつになる。また、当局はこのデータを基に、犯罪の起こる可能性が高そうな場所に人員を割く。

ここまで書けばわかると思うが、特定の集団の未来を予測する上でリスクスコア評価を信じるのであれば、黒人だからという理由だけで量刑相場が上がるのは「公正」ということになる。数学的には「公正」なのだろうが、社会的、倫理的、かつ人種差別という観点から考えたときに公正でないことは明らかだ。

形成される「負のループ」

さらに、富裕層の住むエリアに逮捕者が少ないからといって、富裕層は貧困層と比べてマリファナを吸う頻度が低いということにはならない。これは単純に、こうしたエリアには警察が少ないというだけの話だ。当然のことだが、逆に警察が目を光らせている貧困地区に住んでいれば、再逮捕の可能性は高くなる。こうして負のループが形成されていく。

インナーシティに対するレッドライニングも、まったく同じように機能する。特定の地域での過剰な治安維持活動は、短期的に見れば「正確」なデータに基づいた「公正」なことなのかもしれない。しかし、長期的にはコミュニティに負の影響を及ぼし、さらなる貧困と犯罪の拡大につながることが明らかになっている。

独立系メディアサイト『プロパブリカ』に掲載されたアングウィンの調査報道記事によると、保険会社は規制があるにもかかわらず、いまだに非白人地域の居住者に白人地域に比べて高いプレミアムを課している。リスクが同じ場合でもそうだという。

『ボストン・グローブ』紙の調べでは、ボストン都市圏に住む白人世帯の純資産は平均で24万7,500ドル(約2,700万円)なのに対し、非移民の黒人世帯の純資産の中央値は8ドル(約900円)であることが明らかになっている。この格差は、レッドライニングとその結果としての住宅市場や金融サーヴィスへのアクセスの阻害によって引き起こされたものだ。

人々が関与できるメカニズムの重要性

レッドライニングはすでに法律で禁じられているが、別の例もある。アマゾンは「Amazonプライム」の当日配送無料サーヴィスを「最良の」顧客にのみ提供している。これは実質的にはレッドライニングと同じで、新しいアルゴリズム的な手法によって、過去に行われた不公正の結果を強化していくものだ。

保険会社と同じで、テクノロジーやコンピューターサイエンスの世界にも、倫理判断や価値基準といったものは排除した純粋に数学的な手法で「公正さ」を定義しようとする傾向がある。これは高度に専門的であると同時に、循環論法に陥りがちだ。

AIは再犯率のような差別的慣行の結果を利用して、身柄の拘束や治安維持強化の正当性を認めさせようとする。しかし、アルゴリズムによって下された判断そのものが、貧困、就職難、教育の欠如といった潜在的な犯罪の要因を生み出すことにつながる可能性があるのだ。

テクノロジーの力を借りて策定された政策については、それが長期的に社会にどのような影響を及ぼすのかを見極め、説明できるようなシステムを確立する必要がある。アルゴリズムがもつインパクトを理解する助けとなるようなシステムだ。アルゴリズムの利用や最適化の方法、どこで収集したデータがどのように使われているのかといったことについて情報を提供し、人々がそこに関与できるようなメカニズムを構築していかなければならない。

理想の未来か、過去の規範か

現代のコンピューターサイエンティストは、かつての保険数理士よりはるかに複雑なことに取り組んでいるし、実際に公正なアルゴリズムをつくろうと試行錯誤を重ねている。アルゴリズムにおける公正さは正確さとイコールではなく、公正さと正確さとの間に存在するさまざまなトレードオフによって定義される。

問題は、公正という概念は、それだけで完結するシンプルな数学的定義に落とし込むことはできないという点だ。公正さは社会的かつ動的であり、統計的なものではない。完全に達成することは不可能だし、民主主義の下での監視と議論によって常に改良されていくべきものなのだ。

過去のデータと、いまこの瞬間に「公正」とされることに頼るだけでは、歴史的な不公正を固定化してしまうだろう。既存のアルゴリズムとそれに基づいたシステムは、理想の未来ではなく過去の規範に従っている。これでは社会の進歩にはつながらず、むしろそれにブレーキをかけることになるはずだ。

Credits

Translation by Chihiro OKA

Applied Ethical and Governance Challenges in Artificial Intelligence(人工知能の応用における倫理やガバナンス面の課題)という授業をJonathan Zittrainと共同で行なっている。ティーチングアシスタントのSamantha Batesがまとめたシラバスや概要を3回に渡ってブログ投稿する予定で、今回が2回目。John BowersとNatalie Satielもティーチングアシスタントを担当している。1回目のポストはこちら。

僕なりに要点をまとめてみた。

第1部では、この分野の定義付けを行い、いくつかの課題を理解しようとしてみた。この分野における文献の多くでは、公平性と説明可能性は曖昧な定義による単純化し過ぎる議論で語られており、懸念が残る形で終わった。また、敵対的攻撃や類似するアプローチなどの新しいリスクに対して、技術に携わるコミュニティーとして我々はどう対応すればいいのか、今後の難題に危惧しながら第1部を終えた。

第2部では、人工知能における倫理とガバナンスについて、ある種の絶望感を抱えながら、課題をさらに深く追求していく。Solon BarocasとAndrew D. Selbstが共著した論文『Big Data's Disparate Impact』(ビッグデータの差別的な影響)では、アメリカの公民権法第7編(タイトル・セブン)を取り上げ、差別や公平性に関する法律の現状が紹介されている。この法律は、公民権運動で提起された差別問題を是正すべく制定されたものだったが、司法制度はアファーマティブ・アクション(積極的格差是正措置)などの救済手段を通して社会的不公平を正す方向から離れてしまった、と著者たちは言う。代わりに、法制度はプロセスの公平性に重点を置き、所得の再分配や歴史的不公平の解決を軽視するようになった。その結果、法制度は公平性についてより厳密な見解を持つようになり、いわば保険数理的な「all lives matter」(黒人差別に反対する社会運動Black Lives Matterに対抗するスローガン)的なアプローチとなっている。第1部でアマゾンの偏った雇用ツールについて話し合った際、人為的な調整によって女性やマイノリティのスコアを増やせばいいのでは?という解決策も提案された。BarocasとSelbstの論文では、このような解決方法はもう法律では支持されていないことが紹介されている。エンジニアたちは「差別を禁止する法律は当然あるはずだから、それを使おう」と思ったようだ。実際は、その法律は所得の再分配や社会的公平性について飽きらめているのだ。Jonathanは、不法行為法における社会的不平等の扱いも似たようなものだと指摘する。例えば、交通事故で裕福な人と貧乏な人を同時に轢いてしまった場合、裕福な遺族により多く賠償金を払う必要があるのだ。賠償金の計算は、被害者の将来の収益力に基づく。不法行為法では、タイトル・セブンと同じように、「社会的な不公平は存在するかもしれないが、この法律はその問題を解決するものではない」ということになっている。

Sandra Wachterの論文では説明可能性を提供する方法としてcounterfactual(反事実的条件)の活用が提案されている。これは素晴らしいアイデアで、説明可能性に関する議論を前に進めることができるものだと思う。ただし、GDPRなどの法律によってそのような説明の提供を企業に義務付けることが実際に可能か、Sandraも懸念を抱いているようだ。僕たちもcounterfactualの限界について、バイアスの特定や、個人に応じた"最高"の答えを出すことができるのか、いくつか懸念を感じている。この限界はSandraも論文で取り上げている。

最後に、敵対的攻撃について理論的なアプローチからさらに進めて具体例を検証するために、医療系AIシステムに対する敵対的攻撃のリスクに関してJonathanと僕がJohn Bowers、Samuel Finlayson、Andrew L. Beam、Isaac S. Kohaneと共著し、最近発表した論文を取り上げた。

第2部を構成する3回の授業については、Samanthaが作成したまとめや読み物へのリンクも掲載するので、参照されたし。

第2部:予測

Samantha Bates作

シラバス・メモ:"予測"段階

『人工知能おける倫理やガバナンス面の課題』のシラバスの第2部へようこそ!第1部では、宿題として課された読み物や授業での話は、自律システムの社会的、技術的、そして哲学的なルーツがいかにして公平性、解釈可能性、そして敵対的事例に関する問題に関与しているかを理解することに焦点を置いた。この講義の第2ステージは"予測ステージ"と位置づけ、これらの問題の社会的を検討する内容とした。このステージで最も重要だったのは、これらの問題の多くは社会的や政治的な問題であり、法律や技術によるアプローチのみで対応するのは不可能、ということが明らかになった点かもしれない。

5回目の授業:不公平なAIの影響を予測する

予測ステージの初日には、Cornell UniversityのSolon Barocas助教授が授業に参加。雇用におけるアルゴリズムの利用について法律や技術の観点から検証した同氏の論文『Big Data's Disparate Impact』(ビッグデータの差別的な影響)について話し合った。

  • "Big Data's Disparate Impact" by Solon Barocas and Andrew D. Selbst, California Law Review (2016) / Solon Barocas、Andrew D. Selbst(2016年).ビッグデータの差別的な影響.California Law Review

予測ステージの初日では、クラスの焦点が、自律システムの根底にある技術的な仕組みを検討することから、それらの制度の社会的な影響を検証することに変わった。BarocasとSelbstの論文はデータ収集やデータのラベル付けが既存の偏見を意図的にも非意図的にも永続させている場合があることについて考察している。著者たちはデータ・セットに差別的な効果がある主な例を5つ紹介している。

  1. 自律システムによる決定に利用されるパラメータを、データ・マイニングを行なう人間が決めるとき、私たち自身の人間的なバイアスがデータセットに組み込まれる可能性がある。
  2. トレーニング・データが収集された方法やレベル付けされた方法によっては、すでに偏りがある可能性がある。
  3. データ・マイニング・モデルは限られた数のデータ要素を検討しているため、扱われているテーマにとって典型的でないデータに基づいて個人や集団に関する結論を出してしまう可能性がある。
  4. Cathy O'Neilが言ったように、モデルが決断する際に利用するデータ要素が階級身分の代用物である場合、偏見が入ってしまう可能性がある。
  5. データ・マイニングが差別的なのは意図的である可能性がある。ただし、意図的でない場合のほうが多く、意図的であるかどうかを特定するのも難しい、と著者たちは主張する。

雇用における差別の是正に取り組んでいる法原理は存在するものの、実際に適用することが難しいことを著者たちは明らかにしており、この傾向はデータ・マイニングにおいて特に強い。公民権法の第7編(タイトル・セブン)は意図的な差別(差別的取扱い)と非意図的な差別(差別的インパクト)に対して法的責任を定めているが、いずれの種類も立証するのは難しい。例を挙げると、意図的な差別を理由に雇用者に責任を負わせるには、原告は代わりになる非差別的な方法が存在し、差別的な慣行と同じ目的を達成しうることを示さなければならない。また、雇用者に代替手段が提示された際、雇用者がその検討を拒否したことも証明しなければならない。大抵の場合、雇用者側は、代替手段について認識していなかったことを証明できれば、あるいは、差別的な要素があるかもしれない方針に正当な業務上の理由(業務上の必要性に基づいた弁護)があれば、裁判での防御が成功するのである。

データ・マイニングにおけるバイアスを明らかにし、証明し、是正するのが非常に難しいのは、社会全体として、差別への対処における法律の役割をはっきりさせていない、ということも関係している。anticlassification theory(反分類理論)という説によれば、法制度には、意思決定者が社会の被保護階層を差別しないよう保証する義務があるのだ。これに対抗する理論のantisubordination theory(反服従理論)は、より現場主義的な取り組み方を推奨しており、法律制度は、社会から取り残された人々の生活を積極的に改善させることによって身分に基づいた不平等を社会レベルでなくすことに取り組むべきである、としている。現行の社会では反分類的な取り組みが支持されており、その理由として、反差別法は被保護階層がより良い機会を得られるようにすることのみを目的としていない、という主旨の判決が早い段階で下されて先例が確立されたことも関係している。著者たちは、データ・マイニングが如何にして雇用における既存のバイアスを悪化させるかを示しているものの、効率的な意思決定と偏りの排除を両立させようとしたとき、社会的な代償があるのだ。

この論文は、問題解決の責任は誰にあるのか、という問題も提起している。BarocasとSelbstは、データ・マイニングにおけるバイアスの大半は意図的でないと強調しており、バイアスを明らかにし、技術的な修正を導入することによって偏りを無くすのは非常に困難かもしれない、という。同時に、この問題を法制度において解決するのを同じぐらい困難にしている政治的や社会的な要因があり、この問題への取り組みは誰が担当すべきか?という問題もある。著者たちは、社会全体として、私たちは差別に関する諸問題への取り組み方を見直す必要があるかもしれない、としている。

6回目の授業:解釈可能性が無いAIの影響を予測する

6回目の授業では、弁護士でOxford Internet Instituteの研究員でもあるSandra Wachterを迎え、自律システムに解釈可能性を持たせるためにcounterfactual(反事実的条件)を利用する可能性について話し合った。

解釈可能性に関する前回の話し合いでは、クラス全体として、「解釈可能性」という用語の定義は、決定の背景や前後関係、そしてモデルに解釈可能性を持たせる動機によって大きく変わるため、定義できない、という結論に達した。Sandra Wachterらの論文は、「解釈可能性」を定義することは重要ではなく、焦点を置くべきところは、個人がモデルの成果を変えたり、対抗するための手段を提供することだと主張する。著者たちは、これらの自動化システムをより透明性のあるものとし、システムに責任を取らせる方法を立案すれば、AIに対する一般人の信頼を高める結果をもたらす、と指摘しているが、論文の主な焦点は、GDPRの説明要件を満たす自律モデルを設計するにはどうすればいいか、というところにある。論文が提案する解決策は「ある決定が受け止められた理由と、その決定に反対する手段と、どうすれば望まれる結果を将来的に得られるかについて限られた"アドバイス"を提供する」counterfactualを個々の決定(ポジティブなものとネガティブなもの両方)に対して発生させることである。


CounterfactualはGDPRの説明可能性の要件を満たし、上回るだけでなく、法的拘束力のある説明義務に向けた土台を作る効果がある、と著者たちは主張する。自動化されたモデルの技術的な仕組みを一般人に説明する難しさや、企業秘密や知的財産を守ることに関連する法的課題、そしてデータの対象者のプライバシーを違反する危険により、AIによる意思決定に関する透明性をより多く提供することはこれまで困難だった。しかし、counterfactualはこれらの課題に対する回避手段となり得る。なぜならば、counterfactualは「入力値がこう違っていれば、決定もこう変わる」と説明するものであり、モデルの仕組みを開示するものではないからである。例を挙げると、銀行ローンのアルゴリズムに関するcounterfactualは、ローンを拒否された人物に対して、年収が3万ドルでなく、4万5千ドルだったらローンを受けることができた、と伝えるかもしれない。この例でのcounterfactualは、モデルの技術的な仕組みを説明せずに、当事者に決定の根拠と、将来的に結果を変えるにはどうすればいいかを伝えることができる。なお、counterfactualはバイアスや不公平が絡む問題への十分な解決策ではない。あるモデルにバイアスがあることの証拠提供なら、counterfactualにできるかもしれない。しかし、counterfactualはとある決定と特定な外的な事実との間の依存性を示すのみなので、偏りの原因かもしれないあらゆる要因を明らかにしたり、とあるモデルに偏りがないことを確認したりする働きは期待できない。

任意の読み物『Algorithmic Transparency for the Smart City』(知的な都市のためのアルゴリズムの透明性)は、市庁によるビッグデータ分析技術や予測アルゴリズムの使用に関する透明性を検証している。書類作成や情報開示の拙劣さや企業秘密に対する懸念が原因で、モデルがどのように機能したかや、結果として市に与えることとなる影響を理解するのに必要な情報を市庁が得られない状況が頻繁に起こった、と著者たちは結論付けている。この論文では、Watcher et al.の論文も言及する自律モデルを理解しようとしたときに直面する障害について考察をさらに発展させており、反事実的な説明の展開が適していそうなシナリオを複数提示している。

7回目の授業:敵対的事例の影響を予測する

予測をテーマとした3回目の授業では、敵対的事例に関するディスカッションの続きとしていくつかの起こり得るシナリオを検討し、特に、それらの利用が私たちにとって有利にも不利にもなり得る医療保険詐欺について話し合った。

敵対的事例を取り上げた前回の授業では、敵対的事例は如何にして作られるか、を理解するためのディスカッションが中心だった。今回の読み物は、敵対的事例が、利用方法によって私たちにとって有利にも不利にもなり得ることを掘り下げた内容となっている。論文『Adversarial attacks on artificial intelligence systems as a new healthcare policy consideration』(医療保険政策に関する新しい検討事項としてのAIシステムに対する敵対的攻撃)では健康保険費の不正処理に関する敵対的事例の利用を検証している。医師による「アップコーディング」という行為があり、これは、より多くの報酬を得るために、実際に行われた処置よりもはるかに重要な医療行為に対して保険金を請求することである、と著者たちは説明する。敵対的事例がこの問題を悪化させる場合が想定される。例えば、良性のほくろを写した画像に医師がわずかに手を加えた結果、保険会社の自律請求コード・システムが悪性のほくろとして誤って分類してしまう場合がある。保険会社は、保険請求の妥当性を裏付ける証拠の提出を追加で義務付けても、敵対的事例の利用によってそのシステムが騙されることもあり得る。

保険詐欺は医療におけて深刻な問題だが、その詐欺性が明確でない場合もある。また、医師がアップコーディングを行うのは、本来なら保険会社が認めない医薬品や治療を使えるようにして患者の医療体験をより良くするため、という場合もある。同様に、論文『Law and Adversarial Machine Learning』(法律と敵対的機械学習)は、機械学習の研究者に対して、彼らが構築する自律システムが、個人ユーザーにとって役に立つ場合もあれば、同じユーザーにとって悪影響が及ぶ使い方がされる場合もあることを検討すべきだとしている。研究者が作ったツールを、圧政的な政府が国民のプライバシーや言論の自由を侵害するために使う可能性もある、著者たちは研究者に警告している。同時に、圧政的な国家の下で生活している人々は、敵対的事例を利用して国家の顔認識システムを回避し、探知されないようにすることができるかもしれない。これらの例は両方とも、敵対的事例をどう扱うかは簡単に決められないことを示している。

これらの論文では、敵対的事例に起因した問題への介入策の作成に関する助言が記されている。医療においては、「procrastination principle」(先延ばしの原則)というインターネット初期に生まれた概念で、問題を未然に防ぐためにインターネットのアーキテクチャを変えるべきではない、とする説が、敵対的事例の場合にも当てはまるかもしれない、と著者たちは言う。早過ぎる段階で医療における敵対的事例に関する問題に取り組むと、効果的でない規制ができあがってしまい、この分野での革新の妨げとなる可能性がある、と著者たちは警告する。その代わりとして、敵対的事例に関する懸念については、既存の規制を延長し、保険金請求のために提出されるデータに対応する"指紋"的なハッシュ値を作成するなど、小さな段階を経て対応することを著者たちが提案している。

論文『Law and Adversarial Machine Learning』では、弁護士や為政者が、最善の機械学習政策を立てるには、機械学習の研究者の協力が必要である、と著者たちは強調する。従って、法律が解釈され得る場合やを法律をどう施行すべきかを為政者が理解するのを手伝うために、機械学習の開発者は敵対的事例のリスクを評価し、既存の防御システムの有効性を評価すべきである、と勧告している。機械学習の開発者はシステムを開発する際、攻撃が起きたかどうかの判定をはじめ、攻撃がどのように起きたかや、誰が攻撃を行なったかが判定しやすいシステム設計を心掛けるべきだ、と著者たちは提案する。例えば、「システムに対して敵対的攻撃が起きた際に警告を発し、適切な記録作りを勧告し、攻撃中の事件対応用の戦略を構築し、攻撃から回復するための復旧計画を立てる」システムを設計すれば対策になるだろう。最後に、著者たちは機械学習の開発者に対し、機械学習や敵対的事例は使い方によっては人権を侵害することもあれば、守るもできることに留意するよう呼び掛けている。

Credits

Notes by Samantha Bates, Syllabus by Samantha Bates, John Bowers and Natalie Satiel

訳:永田 医

2011年3月11日、日本の東北地方で大規模な地震と津波が発生し、福島第一原子力発電所で放射性物質の放出を伴う事故が起きた。事故の直後から日本全国で大気中の放射線量への関心が急速に高まったが、正確な情報を手に入れるのは極めて困難だった。

わたしは当時、放射線量の測定値をインターネット上の地図にまとめることを目的とした「Safecast」という非営利団体(NPO)の立ち上げにかかわった。測定に使える計測器の数が絶対的に不足していたためで、Safecastは独自にガイガーカウンターを設計、作成したのだ。わたしたちは最終的に100万カ所以上で放射線量の測定を実施し、データを一般公開することを目標にしていた。

当初は日本国内だけのプロジェクトだったが、世界各地から問い合わせがあり、放射線量の測定地域も広がっていった。Safecastが大きな成功を収めたのは、小型で高性能、かつ操作の簡単なガイガーカウンターを提供したことが理由だと考えている。計測器は最初は無償で貸し出していたが、活動が拡大する過程で組み立てキットを作成して販売した。

チェルノブイリやスリーマイル島の原発事故のあとでも民間主導の監視活動が行われていたが、世界中の専門家が協力してグローバルな放射線測定システムをつくり上げたのはこれが初めてだった。なお、放射線の基礎レヴェルは地域によって大きな違いがあるため、変化があったかどうか調べるには、まず対象となる地域の平時の放射線量を知る必要がある。

営利目的ではないデータ利用を活性化せよ

Safecastは非営利団体だが、近年は福島第一原発の事故で確立したモデルを大気汚染の測定に応用することに取り組んでいる。2017年および18年にカリフォルニアで起きた大規模な山火事では、原因物質こそ違うが、原発事故による放射能汚染にも劣らないひどい大気汚染が問題となった。

火災の発生後、TwitterにはN95マスク[編註:米国労働安全衛生研究所(NIOSH)が定めた一定の基準を満たす微粒子用マスク]や空気中の汚染物質の量に関する話題が溢れた。「Apple Watch」にネットから取得したと思われる大気汚染情報が表示されている写真を見たこともある。

わたしは当初、シリコンヴァレーのエリートたちの間で関心が高まれば、汚染物質の監視体制の強化につながるだろうと考えていた。大気汚染のモニタリングシステムの構築は進んでいるが、そのシステムは福島でSafecastが確立した放射線レヴェルの監視体制ほどには整備されていない。

この背景には、起業家への過度の期待があるのではないだろうか。シリコンヴァレーでは誰もが、スタートアップなら何でも解決できると信じている。しかし、起業家に一任することが最適なアプローチではない場合もあるのだ。

大気汚染の全体像を俯瞰することが困難な状況のなかで、情報開示を求める声が強まれば、オープンデータを扱う独立したシステムの確立を望む人は増えるだろう。現状では、民間から(多くの場合においては無料で)取得したデータを最も活用しているのは政府と大企業だが、問題はそのデータが一般には提供されていない点だ。

例えば、製薬会社は新薬の開発に向けてさまざまな医療データを利用する。誰もがこうしたデータを参照することができれば、救える命の数はもっと増えるのではないだろうか。

つまり、営利目的ではないデータ利用を活性化させ、これを長期的な政策評価に役立て、透明性を確保することが必要なのだ。データは個人の監視のために使われるべきではない。目先の金儲けではなく、長期的な視点に立って、社会に利益をもたらすことのできるモデルを構築すべきときが来ている。

データを公開しようとしない企業たち

歴史を振り返ると、人類が初めて手にした大気センサーは、炭鉱で毒ガスの検知に使われていたカナリアだったと考えられている。「炭鉱のカナリア」という表現があるが、坑夫たちはメタンや一酸化炭素といった毒性のあるガスが発生したことをいち早く知るために、この小さな鳥を坑道にもち込んでいた。

2000年代になると、一般の消費者でも簡単に使うことのできる携帯可能な小型計測器が登場した。一方で、汚染物質の計測方法が変わったために、数年前の計測データが比較対象として役に立たない事態も生じている。

大気汚染の度合いを示すために使われる「空気質指数(AQI)」と呼ばれる指標があるが、世界全体で標準化されていないために、国や地域、データの提供元によって基準が異なるほか、算出方法も明確ではないことが多い。

また、この分野で主要な役割を果たしているのは一般企業だが、こうした企業たちは自社のデータを公開しようとはしない。これはデータの自由化とオープンソースの重要性が“発見”される以前の価値観に基づいたビジネス戦略だが、企業はいまだに社外へのデータ提供を拒むだけでなく、標準化されたオープンデータを共有しようとする試みから市民の目を遠ざけ、そこに資金が向かわないよう努力を続けている。

つまり、誰もが勝手に温度計を組み立てて、摂氏でも華氏でもドリールでもランキンでも、とにかく好きな単位で気温を計測しているようなもので、まったく収拾がつかないのだ。

計測データの標準化に立ちはだかる壁

こうした状況では、市民に基準となるデータを提供するための調査や研究を行うことは難しい。データの標準化は企業にとっても利点がありそうなものだが、競合相手では協力という発想は生まれず、他社と差をつけるために規格外の方向へとシステムの改良を重ねていくことになる。

「Air Sensor Workgroup(ASW)」は、大気中の粒子状物質の計測における標準化を促進するための作業部会で、「Air Quality Data Commons」と名付けられた全米規模での大気汚染のデータ共有プラットフォームの構築を進めている。一方、カリフォルニアの大規模火災の発生以降、大気中の微粒子の計測機器の需要が急拡大したが、こうしたセンサーを手がけるスタートアップからの協力は得られていない状況だ。

これらのスタートアップ(と投資家たち)は、自分たちの事業の成否はビッグデータを囲い込めるかどうかにかかっていると信じている。それが計測データの標準化に向けたさまざまなプロジェクトの障害となっている。

スタートアップは通常は、互いに協力したりデータを共有したり、調査結果などを公表したりするオープンリサーチを実施するようなことはしない。また、仮に会社を閉鎖することになった場合に自社データを公開するようなシステムを備えた大気汚染関連のスタートアップは、わたしが知る限りでは存在しない。

データを囲い込む製薬会社と同じ構図に

大気汚染というのはニッチな分野であるように思われるかもしれない。しかし、データシェアは多くの重要な産業で課題になっている。例えば、医療分野では臨床試験のデータ共有を巡る問題がある。

具体的には、過去に実施された臨床試験のデータが一括管理されていないために、これまでに積み上げられてきた成果を活用することが、不可能ではないにせよ非常に困難なのだ。医療分野の調査や臨床試験には、政府から数十億ドル規模の補助が出ている。しかし、オバマ政権下で始まった、がん撲滅を目指す「ムーンショット計画」など一部の例外を除いて、補助を受ける上でデータの公開などは義務づけられていない。

バイオ医薬品メーカーは、米食品医薬品局(FDA)には治験データを提出するが、こうした情報を研究者や一般に公開することはしない。要するに、大気汚染データとほぼ同じ状況になっているのだ。

臨床試験や医療分野の研究調査は、費用の一部が税金で賄われている。それにもかかわらず、製薬会社は結果を公表せず、データを囲い込んでいる。データが共有されれば新薬の発見につながったり、ほかの治験でそのデータを利用することもできるはずだ。

データのオープン化が医療の向上につながる

オープンデータは、臨床試験のプロセスの合理化と結果分析における人工知能(AI)活用の鍵となる概念だ。こうしたことが進めば、医療ケア全般が飛躍的に向上するだろう(これについては、昨年書いた博士論文のなかで詳細を論じた)。

一方で、臨床試験の終了後6カ月以内に結果を公開することを義務づけるといった取り組みも徐々に進んでいる。また、企業同士の競争に影響を及ぼさない方法でデータ開示を進めようと試みるイニシアチヴも存在する。医学の進歩のために、データの「湖」と健全なエコシステムを構築することを目指しているのだ。

一般の人々がデータ開示を求める動きも拡大しており、これもオープンデータの促進に寄与している。東日本大震災より前は、日本で放射線量のデータをもっているのは政府と大企業であり、そのデータセットも緻密なものではなかった。福島第一原発の事故が起きたことで、人々は大気中の放射線量に注目するようになったが、政府や原発を運営する電力会社はパニックが起きることを恐れ、データ開示に消極的だった。

しかし、国民は情報を求めた。Safecastはこうした背景の下に生まれ、大きな成功を収めたのだ。なお、オープンソースの無料ソフトウェアは学術関係者や趣味人を中心に始まったことも付け加えておくべきだろう。当初はデータ開示を求める活動家たちと企業の間で対立があったが、やがてはオープンソースというビジネスモデルが主流になっていった。

コモンズの悲劇と、理念の挫折

最後に、大気汚染の計測器には多くの選択肢があるが、どれを購入するか検討する際には、最新モデルかどうかや、ソーシャルメディアで話題になっているクラウドファンディングのキャンペーンといったものに惑わされないでほしい。

重要なのは、製品を支える技術の学術的根拠が信頼できるものであること、そして計測データの基準が明確に示されていることだ。同時に、計測器を提供する組織が、クリエイティヴ・コモンズの「CC0」[編註:コンテンツやデータの所有者がすべての権利を放棄することを示すライセンス]でデータを共有しているかどうかも確認しよう。

個人情報などを含むために完全には開示できないデータセットについては(家系図やゲノム情報などがこれに相当する)、マルチパーティーコンピュテーションやゼロ知識証明といった最先端の暗号化技術を用いれば、匿名化して公開することが可能になる場合もある。

カリフォルニアの大規模な山火事によって、データを所有し管理するのは誰なのかについてきちんと議論すべきときが来ていることが明らかになった。ビッグデータの時代においては、データをもつ者が市場を支配するという考えが主流になっている。そこでは「コモンズの悲劇」[編註:資源が共有財(コモンズ)である状態ではその乱用が起こるために資源の枯渇を招くという経済学の法則]のなかで、社会と科学のための情報活用という理念は挫折してしまうのだ。

Credits

Translation by Chihiro OKA

Jonathan Zittrainと共同で授業をするのは今回で三度目。今年の講義は、Applied Ethical and Governance Challenges in Artificial Intelligence(人工知能の応用における倫理やガバナンス面の課題)という。セミナー形式なので、講演者を招き、彼らの論文や研究について話し合うスタイルが基本。講演者や論文の選定は優秀なティーチング・アシスタント陣のSamantha Bates、John Bowers、Natalie Satielが担当した。

Samは授業前の準備として論文の概要を書き、進行を決めておくことも担当している。この作業が、講師たちが目を通すメモという形で終わってしまうのはもったいないと思った。メモや概要を僕のブログに掲載すれば、誰でも授業内容の一部を習得できるし、興味深い会話のきっかけにもなるかもしれないのでSamの承諾を得て載せることにした。

この講義は、3つのテーマについて3回授業を行うセットを3回行う構成となっている。以前の授業は、トピックの全般的な概要に近い内容だったけれど、研究が進むうちに、多くの人が既に知っていることを復習するよりは、肝心な事柄を掘り下げたほうが面白い、という皆の意見が一致した。

選んだトピックはfairness(公平性)、interpretability(解釈可能性)、adversarial examples(敵対的事例)の3つ。各トピックに3回授業を割り当て、"診断"(問題の技術的な根本を同定する)、"予測"(問題の社会的影響を探求する)、"介入"(同定した問題の解決策を挙げ、各案のコストと利点を考慮しながら検討する)という順番で取り上げる。構成図は下記参照。

生徒たちはMITとハーバードから半々の割合で来ていて、彼らの専門分野はソフトウェア工学、法律、政策など幅広い。授業はとても良い形で進んでいて、いろんなトピックについて、こんなに深く学んだのは初めてだ、と個人的に感じている。その反面、諸問題が如何に難解かが明らかになってきて、これらのアルゴリズムの展開によって社会にもたらされる危害を最小限に留めるために必要な取り組みが、あまりにも規模が膨大なため、途方に暮れそうな時もある。

ちょうど"予測"の段階が終わったところで、これから"介入"を始めるところだ。次のステージに突入するにあたって、希望が持てる要素を見つけられればと思う。

以下、序論と第1段階("診断")の概要とシラバスをSamantha Batesがまとめたもの。論文へのリンクも掲載する。

第1段階を手短にまとめると、「公平性」をどう定義するかは不明で、特定な式や法則として表現するのは多分不可能だけど、動的なものである、ということは言える。「解釈可能性」は聞こえの良い言葉だけど、授業でZachary Liptonが言ったように、wastebasket taxon(くずかご的な分類群)であり、例えるならアンテロープに似た動物が実際にアンテロープかどうかにかかわらず、すべて「アンテロープ」と呼ばれているのに似た使い方をされる言葉だ。「敵対的事例」については、MITの数名の生徒たちが、我々は敵対的攻撃に対処する準備ができておらず、これらの攻撃に対して堅固でありながら効果的に機能するアルゴリズムを構築できるかどうかは不明、ということを明確に示してくれた。

第1部:序論と診断

Samantha Bates作

このテーマについて初めての投稿となる今回のブログでは、第4回までの授業の宿題として課された読み物をまとめており、序論から第1段階までが含まれている。"診断"段階では、クラス全員で公平性、解釈可能性、敵対的事例に関するAIの主要問題を同定し、自律システムの根本的なメカニズムがどのようにそれらの問題に関与しているかを検討した。授業での話し合いは、用語の定義やテクノロジーの仕組みなどを中心に行なった。講義シラバスの第1部と各読書物の要点をまとめたメモを以下に掲載する。

第1回:序論

1回目の授業では、講義の構成と目的を提示し、後の議論に向けて、この分野の現状を批評した読書物を宿題として出した。

"Artificial Intelligence -- The Revolution Hasn't Happened Yet" by Michael Jordan, Medium (April 2018)

Michael Jordan(2018年4月).人工知能―革命はまだ起きていない.Medium

"Troubling Trends in Machine Learning Scholarship" by Zachary C. Lipton & Jacob Steinhardt (July 2018)

Zachary C. Lipton、Jacob Steinhardt(2018年7月).機械学習の学問における不穏な傾向

上記の論文は両方とも現行のAI研究や議論に批判的な内容だけど、それぞれ違う視点から書かれている。Michael Jordanの論文の要点は、AI研究において多様な学問分野間の連携が不足していること。工学の新しい分野が誕生している今、非技術的な課題や視点も取り入れる必要がある、という主張だ。『Troubling Trends in Machine Learning Scholarship』(機械学習の学問における不穏な傾向)は、学問としての機会学習のコミュニティーにおいて、基準が低下しており、研究手法や慣行が厳格さに欠けていることに焦点を当てている。両方の論文において、著者たちは、この分野への信頼が保たれるよう、学問において厳格な基準が守られることを義務付けるべきだ、という正しい指摘をしている。

最初の読み物を、この分野の現状を批評する内容の論文にしたのは、生徒たちがこの講義で読むことになる諸論文を、客観的・論理的な視点から考えるように促すため。混乱を避けるためには正確な用語の使用や思考の説明が特に重要であることをこれらの論文が示してくれるのと同じように、生徒たちには、自分の研究や意見をどう伝えるか、慎重に検討するように、と私たち講師は求めている。この初回の読み物は、これから特定なトピック(公平性、解釈可能性、敵対的AI)を深く掘り下げる状況を整えてくれるものであり、講義で議論する研究についてどのようなアプローチで臨むべきか生徒たちに理解してもらうのに役立つのだ。

第2回:公平性に関する問題を診断する

診断ステージの1回目の授業では、機械学習における公平性に関する指導的発言者として活躍中のデータ科学者で活動家のCathy O'Neilを講演者に迎えた。

Weapons of Math Destruction by Cathy O'Neil, Broadway Books (2016). Read Introduction and Chapter 1: "Bomb Parts: What Is a Model?"

Cathy O'Neil(2016).Weapons of Math Destruction.Broadway Books

序論と第1章:爆弾の部品―モデルとは何か?

[OPTIONAL] "The scored society: due process for automated predictions" by Danielle Keats Citron and Frank Pasquale, Washington Law Review (2014)

(任意)Danielle Keats Citron、Frank Pasquale(2014).スコア付けされた社会:自動化された予測の正当な手続き.Washington Law Review

Cathy O'Neilの著書『Weapons of Math Destruction』は、予測モデルとその仕組み、そして予測モデルに偏りができてしまう過程などが分かりやすく書かれた入門書だ。欠陥のあるモデルが不透明で拡張性を持ち、生活に損害を与えてしまう場合(貧困層や社会的弱者が被害を受ける場合が多い)を、彼女はWeapons of Math Destruction (WMD)と呼ぶ。善意があっても、信頼性のある結論を出すために必要な量のデータが不足していたり、欠けているデータを代用品で補ったり、単純過ぎるモデルで人間行動を理解し、予測しようとする場合、WMDができやすい、とO'Neilは言う。人間行動は複雑で、少数の変数で正確に模型を作れるものではない。厄介なのは、これらのアルゴリズムはほとんどの場合、不透明なため、これらのモデルのあおりを受ける人は対抗することができない点だ。

O'Neilは、このようなモデルの採用が、予期し得ない深刻な結果をもたらす場合があることを示している。WMDは人間による検討や決断に代わる安価な手段であるため、貧困地域で採用されやすく、そのため、貧困層や社会的弱者へより大きな影響を与える傾向にある。また、WMDは行動の悪化をもたらす場合もある。O'Neilが挙げたワシントンD.C.のある学区の例では、結果が出せない教員を特定し、排除するために生徒たちのテスト成績を使ったモデルが採用されており、仕事を失わないために生徒のテスト成績を改ざんする教員もいたのだ。この場合、WMDは教員の質向上を目的に採用されたにもかかわらず、意図せぬ行動を奨励する構造ができてしまったため、逆の効果をもたらしてしまった。

任意の読み物『The Scored Society: Due Process for Automated Predictions』は、金融における信用スコアリングに関するアルゴリズムの公平性に関する論文だ。Cathy O'Neilがしたように、著者たちは信用スコアリングのアルゴリズムは既存の社会的不平等を悪化させていると指摘し、法制度には現状を変える責任があると主張している。信用スコアリングや信用情報の共有プロセスを公にすべき、と著者たちは提唱していて、スコアを左右する項目について信用スコアリング会社が一般人向けに教育を行なうことを義務化すべきともしている。Cathy O'NeilがWMDの3つの特徴のひとつとして挙げた不透明さの問題を改善すれば、信用スコアリング制度をより公平なものにし、知的財産権の侵害やスコアリング・モデルの廃止を回避できる、と著者たちは言う。

第3回:解釈可能性に関する問題を診断する

3回目の授業では、機械学習における解釈可能性の問題の定義と対処に取り組んでいるCarnegie Mellon UniversityのZachary Lipton助教授を迎え、解釈可能性のあるモデルとはどういうものか、について話し合った。

"The Mythos of Model Interpretability" by Zachary C. Lipton, ArXiv (2016)

Zachary C. Lipton(2016).モデルの解釈可能性という神話.ArXiv

[OPTIONAL] "Towards a rigorous Science of Interpretable Machine Learning" by Finale Doshi-Velez and Been Kim, ArXiv (2017)

(任意)Finale Doshi-Velez、Been Kim(2017)厳格な科学としての解釈可能性のある機械学習に向けて.ArXiv

3回目の授業は解釈可能性について話し合う最初の日だったので、この日のための読み物は両方とも「解釈可能性」をどう定義すべきか、そして解釈可能性が重要な理由を内容とするものを選んだ。Liptonの論文は、「解釈可能性」とは複数のアイデアを反映するものであり、現行の定義は単純過ぎる場合が多いと主張する。この論文は、議論のお膳立てをする質問を挙げている。「解釈可能性」とは何か?「解釈可能性」が最も必要となるのはどんな背景や状況か?より透明性が高いモデルや、成果を説明できるモデルを作れば、それは解釈可能性のあるモデルとなるのか?

これらの質問を検討することによってLiptonは、解釈可能性の定義はモデルに解釈可能性を望む理由によって変わる、と主張する。モデルに解釈可能性を求めるのは、その根底にあるバイアスを同定し、アルゴリズムの影響を受けてしまう人がその成果に異議を唱えられるようにするためかもしれない。あるいは、アルゴリズムに解釈可能性を求めるのは、決定に係る人間により多くの情報を提供できるようにして、アルゴリズムの正当性を高める、あるいは要因間に潜んでいるかもしれない因果関係を明らかにし、さらに検証できるようにするためかもしれない。我々が解釈可能性を求めているのはどんな状況においてか、諸々の状況の違いを明確にすることによって、解釈可能性が持つ多様な側面をより正確に反映する仮の定義に近づくことができる、とLiptonは言う。

さらに、Liptonは解釈可能性を向上させるために二種類の提案を検討している。透明性を高めることと、事後説明を提供すること。透明性を高めるアプローチは、モデル全体に適用される場合がある(シミュレーション可能性)。つまり、同じ入力データとパラメータがあれば、ユーザーはモデルの成果を再現できるはず。また、透明性を高める方法として、モデルの各要素(入力データ、パラメータ、計算)に個別に解釈可能性を持たせる方法や、トレーニング段階では、トレーニング・データセットがどんなものであれ、そのモデルは独自のソリューションにたどり着くことを示す方法もある。しかし、介入段階で更に詳しく述べるように、各レベルの透明性を増やすことは、前後関係や採用されるモデルの種類によって、必ずしも得策ではない(例えば、リニア・モデルに対するニューラル・ネットワーク・モデル)。また、モデルの透明性を向上させることは、そのモデルの正確性や効力の低下につながる場合もある。解釈可能性を向上させる二つ目の方法として、事後解釈可能性を義務付ける方法がある。つまり、成果を出した後、そのモデルは意思決定プロセスを説明しなければならない、という仕組みにするのだ。事後説明は文字、映像、サリエンシー・マップ、あるいは似たような状況において似たような決断が下された経緯を示す類推などの形式で行なうことができる。事後説明は、モデルの影響を受けた人間がどうすればその成果に対抗したり、その成果を変えることができるかについて洞察を与えてくれる場合もあるけれど、こういった説明は意図せず誤解を招くこともあり、人間のバイアスに影響されている場合は特にその傾向が強い、とLiptonは警告する。

Liptonの論文の結論は、解釈可能性を定義することは非常に難しい、というもので、その理由として、前後関係や、モデルに解釈可能性を持たせる動機など、外的要因によって定義が大きく変わることが挙げられる。解釈可能性という用語の仮の定義が無い限り、モデルに解釈可能性があるかどうか判断する方法は不明のままである。Liptonの論文は解釈可能性をどう定義するか、そして解釈可能性は何故重要か、ということに焦点をあてているが、任意の読み物『Towards a rigorous Science of Interpretable Machine Learning』は、モデルに解釈可能性があるかどうかを判断するための様々な方法をより深く掘り下げて調べている。著者たちは解釈可能性を「人間に理解できる言葉で説明あるいは提示する能力」と定義しており、解釈可能性を評価する基準が無いことに特に懸念を抱いている。

第4回:敵対的事例への脆弱性を診断する

敵対的事例に関する一回目の授業では、敵対的テクニックについて最先端の研究を行っているMITの学生主導研究会LabSixを迎えた。LabSixは敵対的事例の初歩を説明し、彼らの研究の発表もしてくれた。

"Motivating the Rules of the Game for Adversarial Example Research" by Justin Gilmer et al., ArXiv (2018).

Justin Gilmerら(2018).敵対的事例の研究に関するルールを動機付ける.ArXiv

[RECOMMENDED] "Intriguing properties of neural networks" by Christian Szegedy et al., ArXiv (2013)

(推奨)Christian Szegedyら(2013).ニューラルネットワークの興味深い性質.ArXiv

Gilmerらの論文は、敵対的事例を分かりやすく紹介する読み物であり、敵対的事例の定義を「機械学習モデルに間違いを起こさせるために攻撃者が意図的に設計した入力」としている。この論文の趣旨は、攻撃者が敵対的事例を採用する可能性のある様々なシナリオを検証することにある。著者たちは、攻撃の種類を整理すべく、分類用語集を作成しており、次の用語が挙げられている。「indistinguishable perturbation(識別不能な摂動)、content-preserving perturbation(コンテンツ保存型摂動)、non-suspicious input(疑わしくない入力)、content-constrained input(コンテンツに制約された入力)、unconstrained input(制約のない入力)」。それぞれの攻撃カテゴリーについて、著者たちは攻撃者の動機や制約を検討している。様々な種類の攻撃やそれぞれの代償を理解することによって、機械学習システムの設計者は防御能力を高めることができる、と著者たちは主張する。

この論文には摂動に対する防御に関する文献の概要も含まれており、これまでの文献では、実際にありそうな、実世界における状況での敵対的事例攻撃が検討されていない、と著者たちは批判している。例えば、防御に関する文献において頻繁に挙げられる仮定の状況として、攻撃者が自動走行車を混乱させるために止まれ標識の映像を摂動する場合がある。しかし、Gilmerらは、この車のエンジニアたちは、システム自体による、あるいは実世界の出来事に起因した誤分類エラー(例えば、止まれ標識が風の影響で倒れた場合)を想定し、対策を準備したはずだと指摘する。攻撃者が車を混乱させる方法として、より簡単で非技術的なやり方があり、前述の仮定よりも現実的なテスト・ケースがあるはずだ、と著者たちは主張する。防御に関する文献について、著者たちによるもう一つの批判は、システムの防御体制のとある面を改善すると、そのシステムの他の面の頑丈さが低下してしまい、攻撃への脆弱性を高めてしまう場合があることを取り上げていない、というものだ。

任意の読み物として推奨したChristian Szegedyらの論文は、内容がより専門的で、用語をすべて理解するには機械学習の知識が必要である。難易度の高い読み物だけど、「敵対的事例」という用語を提唱し、このトピックに関する研究の基礎の構築に貢献した論文なのでシラバスに含めることにした。

Credits

Notes by Samantha Bates

訳:永田 医

科学はオープンなシステムによって知識を共有することによって、育まれ、発展していく。しかし、一部の学術誌の購読料が大幅に高騰しており、ハーヴァード大学のように資金的に恵まれた大学の図書館ですら定期購読を続けるのが難しくなっているという。

学術出版社の利益率はかなり高水準にある。これは、出版社は論文の著者や査読者に報酬を支払わないためだ。学術分野には一般的に政府から助成金が出ているが、こんな不自然な構造が持続可能なはずがない。わたしたちはこの状況にどう対処していくべきなのだろう。

ワールド・ワイド・ウェブ(WWW)が広まった1990年代、人々は新しい学問の時代がやって来ると考えるようになった。知識への自由なアクセスに支えられた力強い学びの時代だ。

インターネットは研究教育機関が利用するネットワークとして始まったが、インターフェースやプロトコルの改良を経て、いまでは何回かクリックすれば公開されている論文はすべて読むことができる。少なくとも、理論的にはそうであるはずだ。

ところが、学術出版社は自分たちを守るために固まるようになった。著名な学術誌へのアクセスを有料化し、大学図書館や企業から多額の購読料を徴収し始めたのだ。このため、世界の大半で科学論文を読めないという状況が生まれた。

同時に、一部の出版社が不当に高い利益率を出せるという構造ができ上がった。例えば、情報サーヴィス大手レレックスの医学・科学技術出版部門エルゼビアの2017年の利益率は、36.7パーセントだった。これはアップルやアルファベット、マイクロソフトといったテック大手を上回っている。

壁に囲まれた「知」

学問の世界では、最も重要かつ権威のある学術誌の大半が、この購読料という壁(ペイウォール)で守られている。ペイウォールは情報の自由な拡散を阻むだけでなく、研究者の採用や人事にも影響を及ぼす。

こうした学術誌に関しては、その雑誌に掲載された論文がどれだけ頻繁に引用されたかの平均値を示す指標が算出される。この「インパクトファクター」と呼ばれる指標が、大きくかかわってくるからだ。

研究職など学術業界の人員採用では、応募者が過去に書いて学術誌に掲載された論文の評価が重要な位置を占める。インパクトファクターは、ここで意味をもつ。

応募者を評価する側は大学委員会や他の研究者だが、こうした人々は自身が多忙なだけでなく、応募者の専門分野についてそれほどの知識をもっていない場合もある。このため、過去の論文の合計数とそれが掲載された学術誌の影響度を示すとされるインパクトファクターによって、研究者の能力を判断しようとするのが一般的になっている。

必然的に、職を得るためには研究者たちは実際の信頼性とは関係なく、インパクトファクターの高い学術誌に優先して論文を送らざるを得ない。結果として、重要な論文はペイウォールに囲まれ、金銭的に恵まれた研究機関や大学に籍を置いていなければ基本的にはアクセスできないことになる。学術の世界を支える助成金の財源である税金を支払っている一般市民、発展途上国の人々、スタートアップ、急速に増えている独立系研究者などは、ここには含まれない。

壁を迂回するサイトの意義

プログラマーのアレクサンドリア・エルバキアンは2011年、購読料という壁を迂回するために「Sci-Hub」という科学論文を提供する海賊版サイトを始めた。エルバキアンはカザフスタン在住だが、この国は大手学術出版社が法的措置をとることのできる範囲のはるか外にある。

彼女はドキュメンタリー映画『Paywall』のなかで、こんな冗談を言っている。エルゼビアは自らの使命を「専門知識を一般に広めること」だとしているが、どうやらうまくいっていないようなので、自分はその手助けをしているだけなのだ、と。

エルバキアンのサイトは著作権侵害だと非難を受ける一方で、研究者には人気のあるツールだ。壁が取り除かれれば協力の機会も増えるため、有名大学の研究者にもSci-Hubの利用者は多い。エルバキアンは、わたしの同僚で友人でもあった故アーロン・スワーツが心に描きながらも、その短い生涯では成し遂げられなかったことをやろうとしているのだ。

論文掲載料によるアクセス無料化の試み

学術誌のペイウォールは将来的にベルリンの壁のように崩壊する可能性があり、その構造の弱体化に向けた努力も進められている。20年近く前には、学術情報の無償公開を呼びかけるオープンアクセス(OA)運動がはじまった。

OAでは基本的には、研究者が論文の査読や校閲を経ていないヴァージョンを学術機関のリポジトリなどにアップロードする。この運動はアーカイヴ先となる「arXiv.org」といったサイトが用意されたことで盛んになった(arXiv.orgは1991年に始まり、現在はコーネル大学が運営する)。また、2008年にはハーヴァード大学がセルフアーカイヴの方針を打ち出したために、世界中の大学がこれに追随した。

一部の出版社はこれに対し、論文の掲載者の側に「論文掲載料(APC)」を課すことで購読料を廃止するという手段に出た。APCは著者である研究者や研究機関が支払うもので、論文1本当たり数百ドルから数千ドルと非常に高額だ。

Public Library of Science(PLOS)のような出版社は購読を無料にするためにAPCを採用しており、実質的にはペイウォールが存在する場合でも、このシステムの下では論文の閲覧は無料になる。

ある意味で「勝利」と言えるかもしれないが…

わたしは学術界にOAという考え方が広まり始めた10年前に、クリエイティブ・コモンズの代表に就任した。仕事を始めたばかりのころ、学術出版社の人たちを相手に講演する機会があり、著作物の再利用ライセンスを著作権者自らが決めるようにするというクリエイティブ・コモンズの趣旨を説明しようとした。これには著作物の帰属を記載するだけで著作権料を課さないという選択肢も含まれるのだが、出版社側の反応は「そんなことはとんでもない」というものだった。

あの当時と比べれば状況ははるかに進歩したと思う。レレックスですら一部の雑誌は無料化し、クリエイティブ・コモンズ・ライセンスも採用している。ほかにも多くの出版社が科学論文への自由なアクセスの実現に向けた準備を進めており、前述のAPCはこうした試みのひとつでもある。

つまり、ある意味では「勝利」と言えるかもしれない。しかし、学術研究における情報へのアクセスの変革は真の意味で達成されたのだろうか。わたしはそうは思わない。現行のオープンアクセスは支払う人が誰であれ何らかの課金を伴っており、それが少数の学術出版社に利益をもたらし続けている現状では、特に強くそう感じてしまう。

また、OAをうたう一方で、査読など品質管理のために必要な努力を放棄した学術誌も出てきている。こうしたことが起こると、OA運動そのものの信頼性が失われてしまう。

出版社にAPCを引き下げるよう求めることはできるが、主要学術誌とプラットフォームを抱える出版社がそれに応じる可能性は低いだろう。これまでのところ、出版社は機密保持契約やその他の法的手段を駆使して、値下げに向けた集団交渉を回避している。

新しい知のエコシステムの創造に向けて

メディアラボは先に、エイミー・ブランド率いるマサチューセッツ工科大学出版局(MITプレス)と共同で「MIT Knowledge Future Group(KFG)」というイニシアチヴを立ち上げた(念のために、わたしはメディアラボ所長で、かつMITプレスの役員でもある)。目的は新しい知のエコシステムを創造することだ。

これに向けて、正確な知識を共有するために誰もが無料でアクセスできるインフラを構築し、そのインフラを公的機関が所有するような体制を整える計画でいる。いまは学術出版社やプラットフォーマーに支配されている領域を再び取り戻すのだ。

この解決策はある意味では、オンライン出版に対するブログのようなものかもしれない。ブログは単純なスクリプトで、無料で情報発信ができる。運営するにはさまざまなサーヴィスがあるが、オープンソースで共通の標準が確率されている。ブログによって、非常に低コストで情報発信のためのプラットフォームの作成が可能になった。

このプラットフォームを利用すれば、非公式ではあるものの、以前なら数百万ドルもするコンテンツ管理システムがなければやれなかったことができる。こうしてユーザー作成型のコンテンツの時代が訪れ、その後のソーシャルメディアへとつながっていったのだ。

学術出版の世界はより複雑だが、ここで使われているソフトウェア、プロトコル、プロセス、ビジネスモデルを修正し再構築することで、経済的および構造的な面で革命を起こすことができるのではないだろうか。

オープンなシステムの構築が緊急の課題に

メディアラボは現在、オープンソースの出版プラットフォーム「PubPub」および公共の知を拡散していく際の標準となる「Underlay」の開発に取り組んでいる。また、研究者や研究機関を支援するためのテクノロジーやシステムをつくり上げ、それを運用していくための専門機関も設立した。

将来的には、科学論文を公開し評価するためのオープンソースのツールと透明性の確保されたネットワークからなるエコシステムが確率されるだろう。同時に、査読の過程を公表することで透明性を高めたり、体系的バイアスをなくすために機械学習を活用するといった、まったく新しい手法を試すことも考えている。

現状ではひと握りの商業出版社がプラットフォームを支配しているが、これに対する別の選択肢としてオープンなシステムをつくり上げていくことが緊急の課題となっている。こうした出版社は、研究情報のマーケットだけでなく、学術評価やより一般的には科学研究の技法も管理しているのだ。

学術評価では誰がその論文の主要著作者なのかということが重要になってくるが、共同研究やチームでの論文執筆が増えている昨今、この問題は複雑性を増している。

研究結果や発見についての功績が誰に認められるのかは大きいが、複数の著者がいる場合の著者名の並び順には共通のルールがなく、その研究への実際の貢献度や専門知識よりも、どちらかと言えば年功序列や文化のようなものによって決まっていることが多い。結果として、評価されるべき人が評価されていないのだ。

わたしたちの惑星の未来のために

これに対して、オンラインでの情報発信なら、著者名の「公平な」羅列から一歩前進することができる。映画のクレジットのようなものを想像してもらえばいい。論文のオンライン版は現状ではこうした形式になっていないが、これはいまだに印刷物の制約に従っているだけの話だ。また査読についても、プロセスの透明化、対価の提供、公平性のさらなる向上といった点で、改良の余地があると考えている。

知の表現と普及、保存のためのシステムについて、大学はよりよい管理が行われるよう主張していく必要がある。それは、大学の中核となる使命とも重なる。

人類の叡智とそれをどう活用し、また支援していくかということは、わたしたちの惑星の未来に直結している。知識は歪んだ市場原理やその他の腐敗要因から保護されなければならないのだ。そのための変革には世界規模での協力が必要不可欠であり、わたしたちはその促進に貢献したいと考えている。

Credits

Translation by Chihiro OKA

1年以上前の話になるが、2017年12月にボストン公立学校(BPS)の各学校の授業時間が変更され、保護者が強く反発する出来事があった。始業時刻や終業時刻が変わったことでスクールバスの運行スケジュールも改定されており、新しいスケジュールがあまりに非合理的だというので不満が噴出したのだ。新しい授業時間はコンピュータープログラムを使って作成されており、そのアルゴリズムを開発したのはマサチューセッツ工科大学(MIT)の研究チームだった。

しばらくしてから、アメリカ自由人権協会(ACLU)のマサチューセッツ支部で「Technology for Liberty Program」の責任者を務めるケイド・クロックフォードからメールが届いた。政治家たちに対し、市民生活に影響を与えるような政策の決定にアルゴリズムを使うことには慎重になるよう呼びかける論説に、共同で署名を入れてほしいというのだ。

ケイドはMITメディアラボのフェローで、わたしの同僚でもある。彼女はデジタル世界における自由について考えるうえで重要なトピックを追いかけており、注目すべき話題があれば知らせてくれるのだ。なお、当時は問題のアルゴリズムを設計したMITの研究者たちのことは、個人的には何も知らなかった。

「行政プロセスに欠陥」と指摘したが…

ケイドが書いた論説の下書きにわたしが何点か修正を入れたあと、この論説は『ボストン・グローブ』紙に送られた。この論説は2017年12月22日付の紙面に掲載されている。タイトルは「学校の要求に従ったからといって、アルゴリズムを非難することはできない」だ。

わたしたちはここで学校の新しいスケジュールを検証した上で、問題はアルゴリズムそのものではなく、さまざまな意見を組み上げてシステム変更の影響を判断するという行政プロセスに欠陥があったのではないかと指摘した。この論説が掲載されたちょうどその日、BPSは新しいスケジュールの導入を見合わせる方針を明らかにし、ケイドとわたしはハイタッチで喜びを分かち合った。

この時点では、反対運動を起こした保護者もわたしたちも、そのとき手に入る情報に基づいて正しいと思ったことを実行に移したに過ぎない。しかし、それからしばらくして、この問題を別の角度から考えさせられる出来事があった。

これから書くことは、公共のルールづくりにおいてテクノロジーをどのように利用すべきか、またこうしたルールの影響を受ける人々からのインプットを政策づくりにどのように反映していくべきかについて、重要な視点を与えてくれると思う。

現在は民主主義にとって暗澹たる時代であると同時に、人間がテクノロジーを制御しきれなくなるのではないかという不安が増している。こうした状況にあって、わたしの体験した一連の出来事から、どうすればアルゴリズムを適切に活用できるのかという問題について、より深い理解を得られるはずだ。また、「デモクラシー2.0」というものを考える上でも役に立つかもしれない。

「明らかに何かがおかしい」状況

冒頭の事件から数カ月後、今度はMITのオペレーションズ・リサーチ・センターで博士課程に在籍するアーサー・デラルーとセバスティアン・マーティンから連絡をもらった。彼らは新しい授業時間を組み上げたアルゴリズムを開発したチームの一員で、ボストン・グローブの論説を読んだという。電子メールには丁寧な口調で、わたしが「事態の全容をつかめていないのではないか」と書かれていた。

ケイドとわたしは、アーサーとセバスティアンに会うことにした。この面会には、彼らのアドヴァイザーでMIT教授のディミトリス・ベルツィマスも参加してくれた。彼らはまず、わたしたちに変更に反対する保護者による抗議運動の写真を見せた。そこに写っていたのはほぼすべてが白人だったが、学区内の子どもたちの多くは非白人で、白人家庭は全体の15パーセントにすぎない。明らかに何かがおかしかった。

アーサーとセバスティアンの研究チームは、時間割を変更した場合の影響を割り出して評価するアルゴリズムも開発した。なかでも重要だったのが、登下校に使われるスクールバスに関するアセスメントで、BPSは運行スケジュールの最適化だけでなく、コストの削減も求めていた。

実はスケジュールの改定に先駆けて「Transportation Challenge」と題したコンペティションが行われ、MITのチームがつくり出したアルゴリズムが選ばれたという経緯がある。BPSはかなり前から授業時間の調整に取り組んでいたが、コストを抑えたままでバスのスケジュールを最適化するのは至難の業で、最終的には外部の力を借りることにしたのだ。

すべての問題を解決し、コストを上げないという難題

MITのチームのアルゴリズムは、必要な要素をすべて盛り込んだ上で、バランスを保った解決策を見つけ出すことに成功した。これまでは複雑なバスシステムの運用コストを算出するのはほぼ不可能で、それが授業時間の変更を検討する際の障害になっていたという。

チームはコンペの終了後、BPSと共同でアルゴリズムの改良に取り組んだ。行政が主催した住民参画のための説明会などにも加わって保護者らの要望を聞き、さらなる最適化を進めていった。

チームはこの過程で、アルゴリズムに各家庭の資産状況という要素を付け加えることにした。既存の授業時間体系は、主に低所得世帯に対して著しく不公平だということが明らかになったためだった。

また、高校生は始業時間が早すぎると睡眠にマイナスの影響が出るという調査結果があったので、この点も考慮した。さらに、発達障害などを対象とした特別支援プログラムも最適化の優先事項に加えたほか、低学年の児童たちの下校時刻が遅くなりすぎないように注意が払われた。

アルゴリズムは、これらすべての問題をコストを上げないようにしながら解決するよう命じられた。それどころか、できれば予算を削減したいという期待までかけられたのだ。

裕福な世帯に対する「バイアス」

事前調査からは、学区内のどの学校でも変更そのものに反対している層が一定数いることがわかっていた。また、一部の学校では多数派の声をくんで、終業時刻を午後1時半に設定するといった特殊な条件を設定することも可能だったが、そんなことをすれば少数ではあっても強い反発が出ることは必至だった。

アルゴリズムが導き出した解決策には、始業時刻が朝8時より遅い高校の数を大幅に増やす、終業時刻が午後4時以降になる小学校の数を減らすといった変更が含まれていた。最終的に出来上がった案は、大多数の人にとって既存のシステムよりかなり優れたものになっていた。

もちろん不満を表明する保護者がいることは予想された。しかしアーサーもセバスティアンも、あれほどまでに激しい抗議運動が起こるとは考えていなかったという。

大きな論点のひとつが、最適化の条件に各家庭の「資産」を組み込んだ結果として、アルゴリズムの出した答えには裕福な世帯に対する「バイアス」がかかっていたという点だ。また、コンピューターが決定を下したという事実も人々を動揺させたのではないかと、わたしは思っている。

新しい授業時間を受け入れた保護者は、その決定プロセスにまで注意を払うことはなかったが、不満を抱いた人々は変更中止を求めて市庁舎に押し寄せた。そのニュースを知ったケイドとわたしは、当時は反対派への支持を表明して、アルゴリズムの提案の「問題点」を訴えたのだ。

そして行政側は反対運動に押され、変更を断念すると決めた。ボストンのスクールバス改革は頓挫し、BPSとMITのチームの努力も水泡に帰したわけだ。

個人という立ち位置からの見解

白人を中心とした裕福な世帯で構成される反対派の保護者たちが、低所得層の家庭を助けるために自分たちにとって有利な既存の時間割の廃止に賛成するかどうかはわからない。ただ、高校生の睡眠、低学年の児童たちの下校時刻、特別なケアが必要な子どもたちを優先する、運用コストの削減、所得による不公平が生じないようにするといったアルゴリズムに組み込まれた諸条件は、どれもごく普通に納得できるものだ。最適化はこうした条件に基づいて行なわれたということを理解すれば、たいていの人は新しいシステムが現行のものより優れているという意見に賛成するのではないかだろうか。

問題は、大局的な視点から個人という立ち位置に移ると、人々は急に身構えて文句を言い始めるという点だ。一連の騒動について考えていたとき、わたしはハーヴァード大学の心理学教授ジョシュア・グリーンが提示した問題に触発されて、メディアラボのScalable Cooperation Groupが実施したある研究を思い出した。

グリーンは自動運転システムについて、社会の大半が事故の際に多数の歩行者を救うにはクルマの搭乗者を犠牲にするといった人工知能AI)の合理的な判断を支持する一方で、自分はそんなクルマは買わないと考えているという矛盾を指摘したのだ。

テクノロジーはどんどん複雑になっているが、そのおかげで、わたしたちが社会をつくり変えていく能力も強化されつつある。同時に、合意形成やガヴァナンスといったものの力学が変化していることも確かだろう。

ただ、社会の均衡を保つためには妥協も必要だという考え方は、なにも目新しいものではない。民主主義を機能させていく上で基礎となる理念だ。

決定過程のブラックボックス化という問題

MITの研究者たちは、アルゴリズムの開発過程で保護者らと話し合う機会があったが、保護者たちは授業時間の最適化において考慮された要素をすべて理解しているわけではなかったという。時間割を改良するために必要となるトレードオフは明確には示されておらず、また変更の結果としてもたらされる利点も、それぞれの家庭が受ける影響と比べれば曖昧なものに見えた。

そして、保護者たちの抗議運動がニュースで報じられたときには、個々の変更がなされた理由や、そもそもなぜ時間割を刷新するのかという俯瞰的な視点は失われてしまっていたのだ。

一方で、今回の事例で難しかったのは、アルゴリズムの決定過程のブラックボックス化という問題だ。これに関しては、スタンフォード大学の熟議民主主義センターが討論型世論調査(DP)という手法を紹介している。これは民主主義を採用したガヴァナンスにおける意思決定の方法のひとつだ。

具体的には、政策立案の過程で影響を受けるグループの代表者に集まってもらい、数日間にわたって討議を行う。その政策の目的を評価し、必要な情報を全員で検討することで、利害対立のある人々の間で合意形成を目指すのだ。

BPSの場合、保護者たちがアルゴリズムによる最適化における優先事項を十分に検討し把握していたなら、自分たちの要望がどのように反映されたかをより簡単に理解することができただろう。

人間の協力の重要性

アルゴリズムを開発した研究者たちとのミーティングのあと、ケイドがデヴィッド・シャーフェンバーグというジャーナリストを紹介してくれた。シャーフェンバーグはボストン・グローブの記者で、BPSの授業時間変更についての調査記事を書いたという。

この記事には、読者がMITのチームのアルゴリズムを理解できるようにシミュレーターが組み込まれており、コストや保護者の要望、子どもたちの健康といった要素があるなかで、どれかを重視すればほかのものは犠牲にせざるを得ないという難しい状況がよくわかるようになっている。

テクノロジーを利用して学校運営の改革を実施しようとしたBPSの試みは、こうしたツールによってバイアスや不公平を増幅させないためにはどうすべきかを理解する上で、貴重な授業となった。アルゴリズムを使えば、システムを公平かつ合理的なものに改良することができる。ただ、それには人間の側の協力も必要なのだ。

Credits

Translation by Chihiro OKA

システム化された教育制度とは、わたしは昔から相性がよくなかった。幼稚園は脱走の回数が多すぎるという理由で放り出されたし、大学は学士課程で2回、博士課程で1回、中退している。オリエンテーションプログラムにもうまくついていけなかった。

実際に診断を受けたわけではないが、わたしは自分が何らかの意味で「ニューロエイティピカル(非定型発達)」ではないかと思うようになった。

「ニューロティピカル(定型発達)」という言葉は、自閉症コミュニティにおいて、社会で「健常」であることを指すために使われる。米疾病管理予防センター(CDC)のデータによると、現代では児童59人に1人が自閉症スペクトラムと診断されている。つまり、非定型発達だ。

男児に限ると34人に1人が自閉症スペクトラムで、これは全体の3パーセントに相当する。ADHD(注意欠陥・多動性障害)やディスレクシア(識字障害)も含めると、ほぼ4人に1人は定型発達ではないという計算になる。

スティーヴ・シルバーマンは著書『自閉症の世界』で、非定型発達症候群の歴史をまとめている。自閉症は1930〜40年代に、オーストリアの小児科医ハンス・アスペルガーと米国の児童精神科医レオ・カナーによって研究が進んだ。

ナチス占領下のウィーンで働いていたアスペルガーは、社会的な能力に欠如の見られる児童を多く観察し、記録に残している。アスペルガーの観察対象には非凡な能力をもつ児童がいたほか、シルバーマンの言葉を借りれば「ルールや規則、計画といったことに強い関心」を示したという。

一方、カナーは自分の患者を「障害者」という視点から見ていた。彼は自閉症は子育てに問題があることから生じると考えており、これが現在まで続く自閉症児の親に対する根強い偏見のもとになった。さらには、発達障害をもつ人々を受け入れるための教育システムなどの社会基盤を整備するのではなく、自閉症は「治療」されるべきものだという社会通念が形成されていったのだ。

教育システムはいまの時代に合っているのか?

発達における多様性を考えたとき、教育分野では特に対応が遅れている。その理由のひとつは、既存の教育システムが、産業革命後の大量生産・大量消費社会におけるごく一般的なホワイトカラーやブルーカラーの職業に就くことを前提に、設計されたものであることだ。

子どもたちは学校で標準的な技能を習得するほか、社会のよい構成員になるうえで歴史的に重要とみなされてきた組織的な行動、そして従順で信頼のおける性質を身につけることになっている。だが、こうしたシステムはいまの時代に見合っているのだろうか。

何らかのかたちで非定型発達の特性を備えていると診断される4分の1の人々は、近代教育の制度や理論とはなじまないのではないかと考えているのは、わたしだけではないだろう。

わたしは以前から、教育は他者から与えられるものであるのに対し、学習は自ら行うものだということを言ってきた。さらに踏み込めば、広義の「教育」という概念ですら、いまでは時代遅れになっているのかもしれない。学ぶことを支えるためのまったく新しいアプローチが必要になっているのだ。現行の制度の規模や大量生産を目的とするというその性質を考えれば、「教育」というものを再定義し、過去につくられた直線的な判断基準を緩めるときが来ている。

インターネットや人工知能(AI)により、ニュートンの法則でものごとを予測するのが可能だった世界は遠のき、ハイゼンベルクの複雑さと不確定性の時代が幕を開けようとしている。ニューロダイヴァーシティ(脳の多様性)を受け入れ、それを尊重することが、この変化を生き抜く上での鍵となるだろう。

「普通」を強制しない教育もある

ロン・サスキンドの『ディズニー・セラピー 自閉症のわが子が教えてくれたこと』は、3歳の誕生日前後からまったく話さなくなってしまった著者の息子オーウェンの物語だ。オーウェンは以前はディズニーのアニメ映画が大好きだった。彼が言葉を失ってから数年が経ったころ、サスキンドは息子がディズニーのクラシック作品を丸暗記していることを発見した。

オーウェンはその後、ディズニーのキャラクターを真似てそのセリフをしゃべることで、家族と再びコミュニケーションがとれるようになった。読み書きは映画のクレジットを使って学んだ。大きくなったオーウェンは最近、「Sidekicks」という自閉症スペクトラムをもつ子どもとのコミュニケーションを助けるアプリの開発に参加している。

オーウェンの物語は、自閉症の発症形態がいかに多様であるかということだけでなく、「普通」になることを強制しなくても別のやり方を見つけられれば、自閉的傾向のある子どもがうまく生きていけることを示している。

しかし、現在の教育システムは個々の事例に合わせて柔軟なプログラムを提供するようには設計されていない。つまり、既存の学校は非定型発達にうまく対応できていないのだ。

神経発達の多様性とシリコンヴァレーの成功との関係

それだけでなく、わたしたちの社会はいわゆる社会的スキルに乏しかったり、「普通」とは見なされない人々への忍耐や理解を欠いている。動物学者で家畜の権利保護を訴えるテンプル・グランディンはやはり発達障害の持ち主だが、アルベルト・アインシュタイン、ヴォルフガング・モーツァルト、ニコラ・テスラといった歴史上の人物がいま生きていれば、「自閉症スペクトラム」と診断されたはずだと主張する。

グランディンは自閉症は人類の進化に大きく寄与してきたと考えており、「自閉症という特質がなければ人類はいまも洞窟の中で暮らしていたかもしれない」と述べている。彼女は、神経発達の多様性をジェンダーや民族、性的指向の多様性と同じように尊重することを訴えるニューロダイヴァーシティ運動の第一人者でもある。

アスペルガー症候群や自閉症スペクトラム症の人たちは、定型発達者ならごく簡単にできることの一部を困難だと感じる一方で、彼らだけに見られる特異な能力を備えている。イスラエル国防軍の9900部隊は衛星データなど地理関係の情報分析を専門に行う部隊だが、ここにはパターン認識において常識を超える力を発揮できる兵士たちがいる。彼らは皆、自閉症スペクトラムの持ち主だ。

わたしはシリコンヴァレーの成功の一端は、これまでの社会的価値や企業のあり方といったものがほとんど重視されない点にあると思っている。東海岸の大半では年月が与えてくれる経験や年長者への服従といったものがまだ支配的な力を保っているが、あそこではそういったものはほとんど意味をもたない。

シリコンヴァレーではオタクっぽくて扱いにくい若さが好まれる。超人的で「普通ではない」能力が、世界中が羨む金のなる木に姿を変えるのだ(なお、この新しい文化はニューロダイヴァーシティという観点からは評価されるべきだが、人種やジェンダーという基準から考えれば、支配的な地位はほとんど白人男性に占められているという点で問題が残る)。

「アンスクーリング」運動の真意

自閉症と関連づけて語られるパターン認識などにおける並外れた能力は、科学やエンジニアリングと非常に相性がいい。非定型発達の人々は、プログラムを書いたり複雑な考え方を理解したり、数学の難問を美しく解くといったことに長けている。

残念ながら、多くの学校はこうした子どもたちを取り込むことに苦戦している。通常とは異なる発達を遂げようとしている脳にとって適した学習方法は、すでに明らかになっているにも関わらずだ。非定型発達の子どもたちは興味のあるものについて調べたり、課題解決型の学習や教師に教わるのではない学び方といった手法なら大きく伸びる。

マサチューセッツ州フレイミングハムで「Macomber Center for Self Directed Learning」を運営するベン・ドレイパーは、センターはすべての児童を対象にしているが、自閉的傾向があるとみなされて一般の教育システムにはなじめなかった子どもが、特に能力を発揮することが多いと話す。

ドレイパーは「アンスクーリング(unschooling)」と呼ばれる運動を推進している。アンスクーリングは単に現行の学校教育に異議を唱えるだけでなく、学習とは「何かを教わること」だという考え方そのものを問い直そうとする動きだ。

子どもたちは自らの興味を追求していく過程で学んでいく。だから、わたしたちは子どもが助けを求めてくれば手を貸すが、それ以外はできる限り邪魔をせず、ただ見守っていればいい。

MITが教育プログラムの改良に努める理由

そんなやり方では必要なことは身につかないし、親としての責任放棄に等しいのではないかとの批判も多いだろう。ただ、いまから思えば、わたしも小さいころにこうした方法で学んだほうがうまくいったのではないかという気もする。

アンスクーリングについて最初に教えてくれたのは、マサチューセッツ工科大学(MIT)メディアラボのアンドレー・ウールだ。ウールとドレイパーは2018年9月に発表した論文のなかで、アンスクーリングはどのような子どもに対してもうまく機能すると述べている。ふたりはまた、学校教育によって得られる成果は限られているだけでなく、現行のシステムは子どもの人権の侵害だとすら考えている。

MITはインターネット以前の時代にあって、非定型発達だが非凡な能力の持ち主である人々がコミュニティを形成できる場所を提供していた数少ない教育機関のひとつだ。しかし、そうした実績をもつMITでさえ、学生たちが求める多様性と柔軟さに対応するために、いまでもプログラムの改良に努めている。特に学部教育ではそうだ。

従来型教育で「失敗」とみなされる子どもたちの才能

冒頭にも書いたように、わたしは自分が非定型発達ではないかと疑っている。仮に専門機関に相談したらどのような診断を受けるかはわからないが、とにかく伝統的な意味での教育にはまったく不適格だった。学ぶことは大好きだったが、わたしの知識はすべて、何かのプロジェクトを進めながら人との会話を通じて獲得したものだ。

それでも苦労しながら、なんとか世界と自分とを結びつけることができた。その過程で手にしたものも多い。最近では、自分の世界観とどうやってそれを培ったかを博士論文として発表した。わたし自身の経験を一般化することはできないが、博士論文を読んだ人から、わたしは非常に特殊で、「ヒトに近い新しい種」だとでも考えたほうがいいのではないかと言われたこともある。

これは褒め言葉だとして、とにかく、わたしのような人はたくさんいるのではないだろうか。ただ、彼らはわたしほどの幸運には恵まれず、既存のシステムに順応することを強制され、才能を開花するのではなくむしろ苦しむという結果に終わってしまったのかもしれない。

実際、わたしのようなケースは少なく、現在の社会機構に比較的うまく適応できる子どももいる一方で、多くの子たちは従来型の教育では「失敗」とみなされてしまう。しかし、彼らこそわたしたちが取り組む問題の解決に大きく貢献できる才能をもっているのだ。

産業化時代の学校教育の功罪

産業化時代の学校教育は、児童に基礎的な読み書きの能力と社会の構成員としての義務を身につけさせる以外に、工場労働や単調なデスクワークに耐える人材を育て上げることを主目的としている。子どもをロボットのような(賢い)個人に作り変えていくことには、かつてはそれなりに意味があったのかもしれない。万人向けに標準化された試験で、スマートフォンもインターネットも使わずに、HBの鉛筆1本ですらすらと問題を解いていくような子たちだ。

型にはまらない者は排除するか、投薬や施設に入れることで「治療」することは、工業化の進んだ社会においては重要だと考えられていたのだろう。また、昔は教育のためのツールも限られていた。

しかし、さまざまな分野でロボットが人間にとって代わりつつある現代では、ニューロダイヴァーシティを受け入れ、それぞれの興味関心や遊び的な要素、課題解決型の学びなどを通じた「協調学習(collaborative learning)」[編註:異なるレヴェルにある複数の学習者が意見を交換し、協力しながら新しい知識を獲得していく学習方法]を積極的にとり入れていくことが必要になっている。

子どもたちが機械にはできない方法で知識を得られるような環境を整えるべきときが来ているのだ。多様な能力や共通の関心をもつ人々を結ぶ「つながりの学習(connected learning)」のためのテクノロジーを活用することもできるだろう。

4つの「P」の重要性

メディアラボには「Lifelong Kindergarten」という研究グループがある。グループを率いるミッチェル・レズニックは昨年上梓した著書のなかで、クリエイティヴな学習とそこで鍵となる4つの「P」について書いている。情熱(Passioin)、仲間(Peers)、プロジェクト(Projects)、遊び(Play)だ。

Lifelong Kindergartenの研究者たちはわたしと同じように、人間は自分が情熱を感じることについて学ぶのがいちばんだと考えている。その際にはゴールを設定して、仲間と一緒にプロジェクトベースで学習を進める。また、遊びの要素を含んだ楽しいアプローチも重要だ。

わたしが学校のことを考えるときに思い出すのは、「ずるをしてはいけません」「きちんと自分のことをやりましょう」「教科書に集中しなさい。好きなことばかりやっていてはだめですよ」「学校が休みになったら遊ぶ時間はあります。学校では真面目に勉強しなさい。さもないと後悔しますよ」といったことばかりだ。4つのPとはまさに正反対ではないか。

「別種の普通」の重要性

わたしは、さまざまな精神面での問題は、何らかの非定型発達を「治そう」とすることで起きているのではないかと疑っている。もしくは、ニューロダイヴァーシティというものに対して単に無神経だったり、不適切な対応がなされたりしたためだろう。

4つのPを忘れず、非定型発達の人々の生活や学習、彼らとのやりとりにおいて適切な手段を用いることで、精神「疾患」は“治療”できるのだ。

学生だったときも、教育を与える側になってからも、教育制度を巡るわたしの経験はそれほど特殊ではないはずだ。「定型」には収まらないと判断された4分の1の人々は、既存のシステムや近代教育の理論の下で苦しんでいるのだろう。周囲とはちょっと変わっていても、彼らは決して例外ではなく、別種の普通として捉えられるべきなのだ。

Credits

Translation by Chihiro OKA

40歳になったばかりのころ、気候変動、動物の権利、自分の健康という以前から気になっていた3つの問題に、一気に取り組んでみようと思い立った。そして、ヴィーガンになることにした。医者からは赤身の肉の摂取を減らすように言われていたし、幸いなことに日本の片田舎にある農村に引っ越したばかりだった。周囲ではさまざまな野菜が栽培されており、どれもとてもおいしかった。

しばらくはよかったが、一過性の高揚が消え去ると、食べられるものに制限があることにずいぶん悩まされた。特に旅行中が大変だった。そして結局、わたしはヴィーガンからペスクタリアン[編註:魚介類は食べる菜食主義者]に転向した人々の一群に加わった(Wikipediaにヴィーガンの有名人のリストがある。もしわたしの名前が載っていたとしても、この記事を書いたことで削除されてしまうだろう)。

それから5年後に東日本大震災が起きた。わたしの家は福島第一原子力発電所からは離れた場所にあったが、放射性物質のセシウム137はそこまでやってきて、苦労してつくり上げた有機農法の畑に降り積もり、オーガニックの循環システムを完全に破壊してしまった。

わたしは同じ年にマサチューセッツ工科大学(MIT)メディアラボの所長に就任し、米国に移住した。そして徐々に、再び肉を口にするようになっていったのだ。

「細胞農業」との出合い

月日は流れ、ヴィーガンになると誓った日から10年が経ったころ、非営利団体(NPO)のNew Harvestを率いるイーシャ・ダタールに出会った。イーシャは「細胞農業」と呼ばれる先端技術の研究をしている。具体的には、食品(牛乳、卵、魚、果物など)や、それにまつわる風味、芳香といったものを細胞培養によってつくり出す学問だ。

芸術分野に造詣が深い人なら、オロン・カッツとイオナット・ズールを覚えているかもしれない。カッツとズールは2003年、カエルの筋肉から“生きた”ステーキ肉を培養するというアートプロジェクト「Disembodied Cuisine」を発表した。

08年にはニューヨーク近代美術館(MoMA)で、フラスコの中でマウスの細胞から小さなジャケットをつくり上げるというバイオアート「Victimless Leather」の展示が行われた。期間中にジャケットが大きくなりすぎたため、美術館側が培養装置の電源を切る決断を下したところ、抗議の声が上がったという。

ただ、イーシャがやろうとしているのは、興味深い芸術作品を生み出すことではない。わたしたちの食生活はいまや、ヴィーガンかペスクタリアンか肉食かというような単純な分類はできなくなっている。テクノロジーのおかげで、その生産過程において倫理的議論を巻き起こすような肉の代用品が手に入るようになったためだ。イーシャは食糧問題に取り組んでおり、New Harvestはこの分野の研究機機関やグループの支援と連携に携わっている。

一般の人から見ると代用肉を開発する企業やラボはどれも似たようなもので、肉なしのミートボールをつくっているという程度のイメージしかわかないかもしれない。しかし、例えば自動運転システムがどれも異なるのと同様に、代用肉にもさまざまな種類がある。

自動車の業界団体SAEインターナショナルは、自動運転を5段階に分けて定義している。わたしもここで、細胞農業を6つのレヴェルに分けて説明してみたいと思う。運転支援システムの付いたクルマは便利だが、ドライヴァーのいない自動車輸送サーヴィスを利用して家まで帰るのは、まったく別種の体験だ。そして後者は、自動運転とは異なる道筋をたどって進化してきた場合もある。細胞農業にも同じことが言えるのではないかと考えている。

レヴェル0:ヴィーガンの基本

豆類のようにタンパク質の豊富な植物はたくさんある。これらの植物はそのまま食べても非常においしい。

レヴェル1:代替食品を試してみる

ヴィーガンだったときには、植物ベースの加工タンパク質をいろいろ試した。例えば、豆腐は肉のような食感があり風味もいい。わたしはこれらの食品を代用肉のレヴェル1に位置付けている。ヴィーガン向けの中華レストランに行くと「フェイクミート」と呼ばれるものが出てくることがよくあるが、たいていはグルテンミート(セイタン)か、大豆などからつくられた植物性タンパク質だ。きちんと風味があり、食感はエビのような動物性タンパク質に似ている。こうした植物ベースのタンパク質は、肉を食べるという行為の模倣に向けた第一歩だ。ヴェジーバーガーもこのカテゴリーに含まれる。

レヴェル2:テクノロジーの介入

次のカテゴリーに属するのは、やはり植物ベースではあるが、最新の科学技術を駆使した特殊なプロセスを経てつくられるプロテインだ。酵母菌やバクテリアを使って植物性タンパク質に何らかの変化を起こし、味や匂い、質感、見た目などを本物の肉により近づけていく。

インポッシブル・フーズが生産する「インポッシブル・バーガー」がまさにそうで、ここでは遺伝子操作したイースト菌がつくり出すヘムと呼ばれる化学基が重要な役割を果たす。このヘムによって血の滴るような肉らしい食感が生まれ、植物由来なのに牛肉そっくりのバーガーパテになるのだ。こうした製品はバイオテクノロジーと大規模発酵の可能な設備のおかげで、商業ベースでの生産が可能になっている。

一方、卵を使わないヴィーガン向けマヨネーズで知られるスタートアップのジャストは、植物性タンパク質からスクランブル・エッグを生み出す方法を開発した。原材料に卵はいっさい含まれないが、これも薬学に食品および化学分野の研究を掛け合わせたものだ。

レヴェル3:一歩踏み込んで

レヴェル3の代用肉は、植物ベースの材料と培養した動物細胞を組み合わせたものだ(動物細胞が入っている点でレヴェル2の発酵“肉”とは異なる)。大部分は植物だが、色や肉のような風味を出すために動物細胞を加える。

このレヴェルになると、食品業界ではまだ一般的でない手法や科学技術が必要になってくる。具体的には産業バイオテク技術と大規模な細胞培養といったものだが、医薬品業界ではすでに実用化されている。

レヴェル4:培養液からつくられたミートボール

ここで、完全に培養だけでできた動物性タンパク質が登場する。サンフランシスコに拠点を置く食品技術スタートアップのメンフィス・ミーツなどが取り組んでおり、動物の骨格筋やその筋繊維の束を培養液からつくり出す。質感については改良の余地があるため、現在は主にミートボールとして製品化されている(レヴェル3とレヴェル4の大きな違いは、前者は基本的には植物性タンパク質でそこに微量の動物の培養細胞を加えただけなのに対し、後者は製品の大部分が動物細胞である点だ)。

現段階では最も一般的な培地は血清で、大半はウシの胎児から調整された血清が使われる。ビーフバーガーのパテを1枚つくるのに、だいたい50リットルのウシ胎児血清が必要で、コストは6,000ドル(約67万円)程度だ。これを大量生産が可能な水準にまでもっていくには、動物由来ではない培地で培養を行う方法を見つけなければならないし、培地だけでなく細胞そのものにも何らかの技術的工夫が加えられていくだろう。さらに、単にカロリー源であればいいということではなく、栄養素や風味といったものをきちんと理解し再現することも重要だ。

レヴェル5:研究室生まれの培養肉

レヴェル5では、人類は遂に本物の鶏モモ肉やTボーンステーキと遜色のない代用肉を手に入れる。「研究室生まれの培養肉」と言われたときにわたしたちが想像する、『宇宙家族ジェットソン』に出てきそうな未来の食べ物だ。これが代用肉産業が目指すゴールだが、実現した企業はまだ存在しない。技術的には、幹細胞からつくり出した人工臓器を使った臓器移植医療で用いられる最先端の細胞科学を応用することになるだろう。

ただ、ビーカーに動物細胞を詰め込んで固めるだけでは、ステーキ肉の食感はつくり出せない。本物の肉の質感を生み出すには筋組織の3次元構造を再現することが必要で、血管も組み込めるという。植物ベースの培養液も開発されているが、この筋組織を増やす、つまりわたしたちの体内でいままさに起こっているように筋組織を「成長」させていくことも鍵となる。

再生医療と細胞組織学の研究のおかげで、シャーレいっぱいの幹細胞ではなく、実際に機能する人工肝臓をつくり出すにはどうすればいいかといったことが、徐々に明らかになっている。ただ、これを食品に応用しようと考えている科学者はまだ少ない。

レヴェル6:まったく新しい食品の創造

本物の肉と区別のつかない培養肉ができればすごいが、それよりも素晴らしいのは新しい食品科学というアイデアである。さまざまな原材料から、まったく新しい食べ物をつくり出す食糧生産システムが可能になるのだ。新しい食感や風味をもち、画期的な栄養素を含んだ人工タンパク質といったものが生産されるようになる。科学者たちはただの肉の模造品ではなく、見たこともない食材を開発していくだろう。ポスト・ミート(肉の次にくるもの)の時代だ。

食糧が自宅で簡単に“生産”できる時代

わたしや投資家たちが、なぜこれほどまで一連の取り組みに注目しているのか説明させてほしい。地球には太陽光などの再生可能エネルギーを効率的にカロリーに変換することのできる生物がいる。藻類や菌類などが一例だが、わたしやイーシャの夢は、いわばエネルギーの収穫者であるこうした生き物たちに備わったシステムを解明することにある。このメカニズムがわかれば、自然エネルギーを何らかのバイオリアクターに投入し、アウトプットとして出てくるカロリーからわたしたちの欲しい食べ物をつくり出すことが可能になる。

世界中に存在する発酵食品を含め、微生物の利用という点で人類はさまざまな革新的な技術を発達させてきた。ほかにもゲノミクスや組織工学(ティッシュエンジニアリング)、幹細胞といったテクノロジーの進化を考えれば、「食」に革新をもたらすような大発見も決して夢物語ではないだろう。

同時に、大規模な家畜飼育システムや食品のサプライチェーン、はたまたウシのげっぷ[編註:メタンを含んでいるため地球温暖化の原因となっている]などが環境に与える影響を軽減することも可能になる(畜産業は地球の農耕可能な土地の7割を占有しており、飼料のサプライチェーンなども含めると温室効果ガスの最大51パーセントを排出しているという試算もある)。

肉食は人類の活動のなかで最も環境負荷が高い行為のひとつだ。また、肉に限らず野菜や果物も輸送工程で冷蔵を必要とするが、新種の食べ物であればその問題も解決できる。原材料を常温保蔵が可能なかたちで運び、食べる直前に何らかの準備をすればいい。子どものころ、乾燥卵を塩水に浸けておくだけで孵化するシーモンキーを飼ったことがあるが、あれと同じように簡単に自宅で“生産”できる食べ物だ。

このまったく新しい食糧生産システムにおいては、原材料を入れるとラムチョップが出てくるような魔法のバイオリアクターが必要になる。細胞を材料に使うホームベーカリーか、ビールではなく肉がつくれる醸造タンクのようなものを想像してみてほしい。細胞生物学の研究者たちがシステムを開発できれば、残るのはエンジニアリング的な課題だけだ。

求められる真の科学の力

これまでのところ、肉食という行為を考え直すことに投資しているのは、大半がヴェンチャーキャピタリストだ。彼らはリターンを重視するため、スタートアップには製品をなるべく早く市場で販売するようプレッシャーがかかる。一般からの資金だけでは、時間をかけてレヴェル4や5まで突き詰めた食品が開発される望みは薄いだろう。

このため、基礎研究を支えるための政府支援や社会的投資を拡充しなければならないし、生物医学の研究者たちがその知見を生かして細胞農業分野で協力していくことも必要だろう。実際、New Harvestが協力する研究機関の多くは、基礎研究に従事している。家畜から採取した細胞の培養や植物細胞の構造に手を加えて、そこに動物細胞を培養するといった取り組みが行われているという。

イーシャと仲間の研究者たちのネットワークを見ていると、神経科学の黎明期を思い出す。当時はこの分野における政府からの補助金はほとんどなかったが、ある時期からいきなり大きな注目を集めるようになった。気候変動をめぐる懸念が無視できないところまで拡大している現在、代用肉の研究も同じ時期に差し掛かっているのではないかと思う。また、地球人口が100億人を突破する日はそう遠くはなく、食糧不足が起きる可能性も指摘されている。

細胞農業の支持者の大半は、その理由に動物の権利を挙げる。動機としてまったく問題はないが、食糧生産の未来に向けて新しい食べ物を開発するには真の科学の力が必要だ。そして、わたしたちはいますぐにこの問題に取り掛からなければならない。

将来的に十分な食糧を確保するためだけでなく、気候変動を最小限に抑え、家畜への抗生物質の投与による耐性菌の蔓延を食い止め、水産資源の減少に歯止めをかけることもできるだろう。そして、これまでに味わったこともないようなヌーベルキュイジーヌを楽しめる可能性だってあるのだ。

特記事項:イーシャにはのちに、MITメディアラボの特別研究員になってもらった。彼女の研究とヴィジョンは、わたしたちにインスピレーションを与えてくれている。

Credits

Translation by Chihiro OKA

刑務所の収容者の数を減らすべきであるという点では、コーク兄弟[編註:米国の実業家で極めて大きな影響力がある]から米国最大の人権擁護団体である米国自由人権協会(ACLU)まで、誰もが意見が一致している。人種差別的かつ不公正なシステムが受刑者の増加を招いていると左派が批判する一方で、保守陣営は現行の刑事司法制度は非効率で改革が必要だと叫ぶ。ただ両者は少なくとも、塀のなかにいる人間の数を少なくするのはよいアイデアであるという点では、意見が一致している。

この問題をめぐっては、犯罪抑止に向けた取り組みを中心に、さまざまな場所で人工知能AI)が活用されるようになっている。例えば、地域住民の人口構成や逮捕歴といったデータから犯罪の起こりやすそうな場所を特定するといったことが、実際に行われているのだ。また、保釈や仮釈放の決定を下す際のリスクの判定だけでなく、実際の刑罰の決定にまでAIのシステムが関与することもある。

改革派は政党を問わず、アルゴリズムを使えば人間より客観的なリスク評価が可能だと主張する。保釈の判断を例に考えてみよう。リスク判断において正確かつ効率的なシステムがあれば、勾留の必要がない容疑者を迅速に特定できる。

ところが、非営利の報道機関であるプロパブリカが2016年に行なった調査によると、こうしたシステムには人種的バイアスがかかっている。AIが黒人の保釈を高リスクと判定した比率は、白人の2倍に達したというのだ。

わたしたちはアルゴリズムを、未来を予測する「水晶玉」のように考えている。しかし、実際には社会を批判的に見つめ直すための「鏡」ではないだろうか。

アルゴリズムは、わたしたちが気付かずにいる世のなかのひずみを正確に映し出す。機械学習やデータサイエンスを活用することで、貧困や犯罪を生み出している根本的な問題を解明することが可能になるかもしれない。しかしそれには、意思決定の自動化にこうしたツールを用いて不公正さを再生産するようなことは、やめなければならない。

「反社会的なAI」から見えてきたこと

AIのシステムはたいてい、将来的に起こりうることを正確に予測するための学習に、大量のデータセットを必要とする。例えば、皮膚がんの兆候を検出するようなAIであれば、その利益は明らかだ。

マサチューセッツ工科大学(MIT)メディアラボは6月、恐らくは世界初となる「反社会的な人格」を備えたAIを公開した。「ノーマン」と名付けられたこのAIサイコパスは、機械学習でアルゴリズムを生成する際にデータがどれだけ重要な役割を果たすかを理解してもらうためにつくられたもので、オンライン掲示板「reddit」にアップロードされた死体などの残虐な画像を使って訓練された。

研究チームは一方で、より穏やかな画像で学習した普通のAIも用意した。そして、両者にロールシャッハテストに使われるインクしみを見せて何を連想するか尋ねたところ、普通のAIが「木の枝に止まる鳥」と判断した画像を、ノーマンは「感電死した男」と描写したのだ。

AIが人間の人生を左右するような決定を下す場合、社会的にすでに不利な立場にある人々にさらなるダメージを与えるリスクが存在する。同時に、被支配者から支配者への権限の移譲も加速する。これは民主主義の原則に反している。

ニュージャージー州など一部の州では保釈金制度の見直しに向けて、容疑者を釈放すべきか判断する際にアルゴリズムが使われている。現行の制度は本来の目的通りには機能していないだけでなく、保釈金を支払えない者にとって著しく不公平だということは、複数の研究によって示されている。

つまり多くの場合において、裁判前の未決期間の自由を“買う”金がない貧困層の勾留と、「推定無罪」という原理の下で保障された権利を否定する結果につながっているのだ。

構造的な問題解決の重要性

理想的には制度改革が行われるべきだろう。だが保釈金を廃止すれば、代わりに電子モニタリングや強制的な薬物検査など、金銭は伴わないものの懲罰的な措置を導入せざるを得ないのはでないかと懸念する声もある。

保釈の際に設けられる条件が、容疑者の逃亡や証拠隠滅といったリスクの軽減において効果的なのかということは、現状ではほとんどわかっていない。当然のように、強制薬物検査やGPSによる監視などの条件付きでの保釈が、容疑者本人や社会にどのような影響を及ぼすのかという重要な質問に対する答えも見つかっていない。例えば、保釈中にGPS付きの足輪をはめなければならない場合、それは就業の妨げとなるのだろうか。

こうしたことを考えたとき、仮に制度改革を実施しても、結局は保釈金と似たり寄ったりの有害なシステムを構築するだけで終わってしまう可能性はある。わたしたちは社会システムを改良する機会を失うのだ。

これを避けるには、旧来のモデルに機械学習という新しい技術を適用して社会的弱者を罰することを続けるのではなく、貧困と犯罪の根底にある構造的な問題を探ることに注力する必要がある。

これは何も刑事司法制度に限った話ではない。ニューヨーク州立大学オールバニ校の政治学者ヴァージニア・ユーバンクスは、今年1月に出版された『Automating Inequality』(自動化された不平等)で、アルゴリズムを使った意思決定システムの失敗例をいくつか紹介している。なかでも胸が痛むのは、ペンシルヴェニア州アレゲニー郡の自治体が導入した、児童虐待に関する相談電話のモニタリングにデータを活用する事例だ。

具体的には、ケースワーカーが介入して児童を保護すべきか判断する際に、その判断を支援するためのアルゴリズムが作成された。ここでは公的機関のデータが用いられたが、過去に虐待が認められたのは貧困層の子供が多かったため、結果として基本的に貧困層の子供を「ハイリスク」と識別すようなアルゴリズムができてしまった。

虐待のひとつにネグレクト(育児放棄)があるが、ネグレクトの危険性を示す兆候は貧困層の児童に見られる特徴と重なる部分が多い。例えば、極度の貧困で紙おむつを買えないからといって、それは育児の放棄には当たらない。しかし、アルゴリズムに判断を任せれば、そういった状況が虐待の恐れがあると見なされ、子供が公共の保護施設に入れられることが起こり得るのだ。

ものごとの因果関係の理解に努めるべき

ユーバンクスはデータやアルゴリズムを、貧困を引き起こす原因を探るために活用してはどうかと提案する。機械的に子供を親から引き離すのではなく、AIには「家庭を安定させるために最も効果的な手段は何か」といった質問をすべきだというのだ。

MITのチェルシー・バラバスは2月に行われたカンファレンスで、わたしも執筆に関わった論文「Interventions over Predictions: Reframing the Ethical Debate for Actuarial Risk Assessment」(予測への介入:リスク評価における倫理的議論の再構築)の発表を行った。カンファレンスでは、社会システムにテクノロジーを応用する際に、公平性や信頼性、透明性といったことをどのように確保していくかが話し合われた。

わたしたちはこの論文で、テック業界はAIの倫理的な危険性を判断するうえで間違った基準を使ってきたという主張を展開している。正確さや偏向という観点から考えたとき、AIの利点もリスクも限定的にしか捉えられていない。結果として、わたしたちはオートメーションやプロファイリング、予測モデルといったものにAIを導入することで、社会的にはどのようなメリットがあるのかという基本的な問いに答えることをおろそかにしてしまったのだ。

この議論をやり直すためには、「偏りのない」システムの作成はひとまず置いて、先にものごとの因果関係を理解することに努めるべきだ。保釈された容疑者が決められた日に出廷しない理由は何だろう。赤ん坊がおむつを換えてもらえないのはどうしてだろうか。

公共サーヴィスの管理運営にアルゴリズムを的確に活用することで、効果的な社会支援システムを設計することが可能になるが、ここには既存の不平等の固定化という大きなリスクもある。メディアラボのプロジェクトのひとつである「Humanizing AI Law(HAL)」は、この問題に焦点を当てている。ほかにもまだ数は少ないが、社会科学やコンピューターサイエンスの専門家たちを巻き込んで、同様の試みが行われるようになっている。

予測モデルが無益だとは思わないし、因果関係がわかればすべてが解決するわけでもない。社会的な問題に取り組むのは骨の折れる仕事だ。

わたしがここで言いたいのは、大量のデータはいま目の前で実際に何が起きているのかを理解するために使われるべきだ、ということだ。焦点を変えることで、より平等でさまざまな機会に満ちた社会を構築することが可能になるかもしれない。そして『マイノリティ・リポート』のような悪夢は避けることができるのではないだろうか。

Credits

Translation by Chihiro OKA

ブログ用のDOIが使用可能に»

MIT Pressとの共同作業でKnowledge Futures Groupを開発するにあたって、学術出版というものをちゃんと理解しようと勉強中。いろんなプロトコルやプラットフォームを調べる中で、特に興味深かったのがデジタル・オブジェクト識別子(Digital Object Identifier(DOI))だ。DOIを管理し、登録機関の連盟をまとめている組織がある。DOIには様々な用途があるが、主な目的はデータセットや出版物などのデジタル・オブジェクトに永続的な識別子を割り当て、メタレベルでURLを管理することだ。URLは、学術論文が起草されてから発表されるまでの間、あるいは映画がサプライチェーンを通る過程で変更する場合があるため、DOIが役に立つのだ。

Crossrefという登録機関は、学術出版物やそれらに含まれる引用データを専門に扱っていて、このサービスによりDOIは引用データを効率よく管理・把握する便利な方法として普及した。学者たちが所属機関情報や出版物を管理するために使うORCIDなど多くのサービスでは、DOIは出版物を取り込み、管理する手段として利用されている。

DOIには様々な用途があるものの、その取得と設定にはある程度手続きが必要であることと、学術関連のパブリッシャーのためのサービスであるCrossrefが成功したことにより、DOIには「権威」、「信頼」、そして「正式な出版」といったイメージが定着した。CrossrefのGeoffrey Bilderは「実際は違う」と警告しており、DOIを上記のように捉えるべきではない、と発言しているものの、僕は今のところは、この認識で問題無いと思っている。

学者が自分のプロフィールや引用データを管理するために利用できるいろいろなツールを使ってみた。僕の場合、査読された論文はこれまでひとつしか発表していないけれど(査読してくれたKarthik、Chelsea、Madars、ありがとう!)、管理してみて気づいたのは、ブログ投稿がインデックスされないこと。また、博士論文を書くために調べものをしていて気づいたのは、ブログが引用されることはあまりないこと。僕は職権を利用し、研究という名目でMIT PressのAmy Brand所長にあるお願いをしてみた。彼女は以前Crossrefに所属していた頃、DOIの採用に携わった人物で、そんな彼女に僕のブログ投稿にDOIをつけてもらえないか聞いてみたのだ。

思ったより手間のかかるプロセスだった。まず、登録プロバイダにて登録されたDOIプレフィックス(ドメインのようなもの)が必要なのだ。これは、AmyがCrossrefを経由してMIT Press名義で取得してくれた。BorisがDOIサフィックス形式を定義し、サブミッション・ジェネレータを用意し、僕のブログに必要なものをすべて組み入れてくれた。MIT PressのAlexaが僕のブログのDOIをCrossrefに登録する手続きを取ってくれた。次に問題となったのは、DOIの世界には「ブログ」というカテゴリーは存在しないこと。専門家に相談したら、一番近いのは「データセット」ということだったので、僕が今書いている文章は、以前まではブログと呼ばれるものだったけれど、DOIの観点から、そして学術界的には、データセットという名称となるのだ。いつかどこかで誰かが引用するかもしれないものとして、この投稿には意義があると思っているので、DOIをつけてもらったことは問題ないと判断している。Crossrefがブログ投稿の「creationType」を増設するか、あるいは、引用されるウェブ資料をより広く扱うスキーマに拡張してくれれば、と思う。

また、APAのブログ引用書式がURLだけでなく、ブログの名前も含まれるように更新されることを希望する。僕は滅多にルールを破ることはしないけれど、このブログAPA引用テンプレートでは、正式なガイドラインから逸脱してブログの名前を付け足した。この投稿のAPA引用は厳密に言うと「Ito, J. (2018, August 22). ブログ用のDOIが使用可能に. [Blog post]. https://doi.org/10.31859/20180829.1929」となるけれど、僕は「Ito, J. (2018, August 22). ブログ用のDOIが使用可能に [Blog post]. https://doi.org/10.31859/20180829.1929」とした。この変更した書式を使って提出した論文が減点されても責任は取れないので、ご承知願いたい。

ブログ投稿が引用されない傾向についてツイートした際、ブログは査読されないため、引用されれば問題が生じる可能性があるという反応があった。それはもっともな意見だし、考慮しなければいけない課題だけれど、引用されるものをすべて査読する必要は無い、と僕は思う。一方で、他者の文章を明確に引用し、ブログ投稿に貢献した人たちやその内容を明記し、査読が行われるべき場合は行うようにしたほうがいい、とは思っている。

「ブログ」という名称にこだわりがあるわけではないけれど、これはブログだと思っている。ブログが可能にしてくれたように、迅速に何かを発表し、学術文献の世界に繋げられるようにしておくことは価値があることだと思う。

最近では、学術プレプリント・サーバの人気が高まり、学会誌への寄稿をしなくなった学者が増えている。論文は学会誌に提出せず、アーカイブ・サーバに掲載し、学会でプレゼンテーションを行う、という流れだ。

僕の印象では、学術出版側による調整、ブロガー側の慣行の調整、そして両方のカルチャーの調整が行われれば、ブログはこの環境で相当な役割を果たせるはずだ。Geoffreyは「引用する価値のあるものには何でもDOIをつけるべきだ」と提言していて、僕も賛成だ。さらに言うと、ブログは引用する価値のあるデータの塊であるだけでなく、非公式の出版物のような存在であってもいいと僕は思う。

こういったことを考える時のパートナーであり、僕のブログのデザインや管理を15年も続けてくれているBoris Anthonyは、セマンティック・ウェブや知識の創造について深く考えており、このブログを整理するにあたってかけがえのない働きをしてくれた。また、僕のブログ投稿すべてにDOIをつけるのではなく、学術的な価値があるものに限定すべきだと説得してくれたのも彼だ。(^_^)

追伸 ワードプレス用のDOIプラグインがあるようだ。デベロッパーが登録したプレフィックスを使用したものらしい。

Credits

このサイトにDOIを実装するための技術面やデザイン関連の作業を行い、この投稿が取り上げたアイデアや編集を手伝ってくれたBoris Anthony氏

DOIを取得し、理解し、文章で紹介するにあたって指導してくれたAmy Brand氏

DOIのフォーマットを正しく行い、Crossrefに届ける際に手伝ってくれたAlexa Masi氏

訳:永田 医