還元に抗う

機械と共に歩む複雑な未来を設計する

レビュー、調査、編集チーム:Catherine Ahearn、Chia Evers、Natalie Saltiel、Andre Uhl

翻訳:永田 医

原文:Ito, J. (2017). Resisting Reduction: A Manifesto. Journal of Design and Science. https://doi.org/10.21428/8f7503e4

長いこと、技術的なシンギュラリティに反対するマニフェストを書いて、それを対話圏に発表してみんなの反応とコメントを得たいと思っていたところ、今年、『人間機械論:人間の人間的な利用』(The Human Use of Human Beings)(Norbert Wiener著)を著名な思想家たちとともに読んで議論し、本の共同執筆作業に参加しないかとJohn Brockmanから誘われたことがここに書いた思索につながった。

以下の論説を、MIT Pressとのパートナーシップで行われていたオープン出版プロジェクトPubPubを使って出版したのがフェーズ1。フェーズ2では、コメントを取り入れてより豊かに、そしてより情報に通じた内容となったこの論説の新しいバージョンがオンラインで公開され、そこにこの種子となる論説にインスパイアされた他の論説も加えてJournal of Design and Scienceの新しい号として発表された

バージョン1.2


自然界の生態系は、無数の"通貨"が相互作用し、フィードバックシステムに反応して繁栄と制御を可能にする複雑な適応システムのエレガントな例である。この協働モデルこそが人工知能への取り組み方の指針となるべきであり、指数関数的経済成長や、テクノロジーの進歩を通じて現在の人類の状態が超越される日が来ることを約束するシンギュラリティーがモデルとなるべきではない。60年以上も前に、MITの数学者・哲学者Norbert Wienerは「人間という原子が組織に組み込まれるとき、責任ある人間という、権利が尊重された形ででなく、歯車やレバーや棒として使われるようになってしまうと、その原材料が血と肉だということはほとんど無視されるようになる」と警鐘を鳴らした。ぼくたちはWienerの警告に耳を傾けるべきだ。

はじめに:通貨というガン

太陽が地上を照らすと、光合成によって水と二酸化炭素と太陽エネルギーが酸素とブドウ糖に変換される。光合成は、物質やエネルギーを別の状態に変換する生化学プロセスのひとつだ。これらの分子は、他の生化学プロセスによって代謝され、さらに別の分子になる。科学者たちは、これらの分子をしばしば"通貨"と呼ぶ。それはこうした分子が、細胞間やプロセス間でやりとりされて相互に利益がもたらすような、ある種の力をあらわしている(つまり、実質的には"取引"されている)からだ。こうした分子の、金融通貨との最大の違いは、"マスター通貨"や"外国為替市場"が存在しないことだ。それぞれの"通貨"は特定のプロセスでしか使えず、こうした"通貨"が形成する"市場"が"生命"という力学を動かす。

あるプロセスや生命体が捗り、その生産物(出力)として特定の通貨が豊富になると、他の生命体はその出力を別のものに変換するように進化する。何十億年の時を経て、地球の生態系はこのように進化し、膨大な代謝経路のシステムが誕生し、極めて複雑な自己調整型システムを複数形成した。これらのシステムは、例えば人間の体温を安定させたり、地球の気温を安定させたりする。ミクロからマクロまで、あらゆる規模において個々の要素が絶え間なく変動し、変化するにもかかわらず、これらのシステムは安定をもたらす。あるプロセスの出力は、他のプロセスの入力となる。最終的にはすべてが相互につながる。

ぼくたちの文明では、主要な通貨は、お金と権力だ。大抵の場合、社会全体を犠牲にしてでもこの二つを貯め込むのが目標となっている。地球の生態系に比べれば、非常に単純で脆弱なシステムだ。地球の生態系では、無数の"通貨"がプロセス間でやりとりされ、様々な入力と出力が行われる非常に複雑なシステムが複数形成されている。これらのシステムには、物事に適応したり、諸々の蓄えや流れ、そして繋がりを調節するフィードバックシステムがある。

残念ながら、現在の人類文明には自然環境に内蔵されているような回復力がない。ぼくたちの目標を決め、社会の進化の原動力となるパラダイム(基本的な考え方)は、数学者のNorbert Wienerが何十年も前に警告したような危険な道筋を人類に歩ませている。単一のマスター通貨という基本概念は、多くの企業や機関に当初の使命を見失わせてしまった。価値観や複雑性において重点が置かれるのは指数関数的経済成長、という傾向がますます強くなっていて、この現象を率いているのが営利企業だ。営利企業は、自治権と権利と権力と、ほとんど規制されない社会的影響力を獲得するに至った。こうした企業の行動は、ガンの行動と似ている。健康な細胞は自分の成長を調節し、環境に順応する。侵入すべきでない臓器に迷い込んでしまうと、自分を消滅させることさえある。これに対して、ガン細胞は際限のない増殖を実現すべく最適化されており、自分の機能や周りの状況を無視して拡散する。

ぼくたちを打ち続けるムチ

人間は進歩を実現させるために存在していて、進歩には制約のない、指数関数的な成長が必要だという考えこそが、ぼくたちを打ち続けるムチだ。この考え方が自由市場資本主義的制度で適用されて自然にできあがったのが現代の会社だ。Norbert Wienerは企業のことを「血と肉でできた機械」と呼び、オートメーションのことを「金属でできた機械」と呼んだ。シリコンバレーを拠点とする新しいタイプの巨大な会社(ビットでできた機械)は、シンギュラリティーという新興宗教を信じている人によって興され、運営されている部分が大きい。この新興宗教には、前述の基本的考え方からの根本的な変化がなく、指数関数的な成長の崇拝が現代の計算や科学に適用されて自然にできあがったものだ。そして計算力の指数関数的成長を考えたとき、その漸近線1的な存在として人工知能(AI)がある。

シンギュラリティーという概念は、指数関数的成長を遂げるAIがいずれ人間に取って代わる存在になる、というもので、人類がこれまで行ってきたこと、そして現在行っていることがすべて取るに足らないことだという考え方だ。これは、機械が解決するには複雑すぎると考えられていた問題を、計算を活用することによって解決した経験を持つ人たちが作った宗教と言える。彼らはデジタル計算という完璧なパートナーを見つけた。つまり、理解可能で制御可能な、思考と創出のためのシステムであり、複雑性を活用し、処理する能力が急速に高まっているシステムだ。このパートナーを使いこなせるようになった人は、富と権力を手に入れることになる。シリコンバレーでは、集団思考と、テクノロジーのカルト的な崇拝が金銭的な成功をもたらした結果、正のフィードバック・システムができあがった。このシステムは、負のフィードバックによって自己規制する能力がほとんどない。シンギュラリティーを信奉する人たちは、自分たちの信念が宗教扱いされることに抵抗を示すだろうし、自分たちの発想は科学やエビデンスに基づいていると反論するだろう。しかし、彼らは、自分たちの究極のビジョンを実現させるために、根拠のない主張をしたり、地に足のついた真実よりは、これまでの軌跡がいつまでも続くという発想、つまり信仰のみに基づいた思い切った行動を取ったりする。

シンギュラリティー信者は、世界が"知り得る"もので、コンピューターを使ってシミュレーションできないものはない、と信じている。そして、コンピューターが現実世界のややこしさを処理できるようになる日が来ると信じている。ちょうど、コンピューターには解決できないと言われていた諸問題を解決してみせたときと同じように。彼らにとって、コンピューターという素晴らしいツールは、これまであらゆることにうまく使えたため、どんな難題を突きつけても効果を発揮するはずで、やがて人間は既知の限界をすべて超越し、最終的には、現実さえも脱出できる速度のようなものをも実現させるはずだ、と考える。人工知能はすでに、自動車の運転、ガンの診断、そして裁判記録の検索や調査などの分野で人間の代わりに使われている。AIは更に進歩し、いずれは人間の脳と融合し、全知全能の超知性になる、というわけだ。コンピューターは人間の思考を増強・拡張し、ある種の"超死性"(amortality)をもたらすだろう、というのが熱狂的な信者の考えだ。(シンギュラリティーには"超死性"のための戦いが含まれており、これは人間はいずれ死ぬし、不死身にはなれないかもしれないが、死は加齢という死神によるものではなくなる、という考え方だ。)

しかし、企業が人間の超越性の前触れであるとしても、コンピューターを更に使い込み、バイオハッキングを続けていけば、どうにかして世界のあらゆる問題を解決できる、そしてシンギュラリティーは人類が抱える問題をすべて解決する、というシンギュラリティー信者の考え方は、どうしようもなく幼稚なものに思える。強化された頭脳と超死性を手に入れ、長大な思考ができるようになる日を夢見る人もいるが、企業はすでにある種の"超死性"を獲得している。企業は経営が成り立っている限り存在し続けるし、それぞれの構成要素が一体となっていることで、その合計以上の力を発揮する存在だ。つまり、企業は超死的な超知性と言えなくもない。

より多くの計算が行われても、人間の"知能"が高まるわけではない。計算力が強化されるだけだ。

シンギュラリティーの成果がポジティブなものとなる、と考えるには、十分な力さえあれば、このシステムはどうにかして自分自身を調節できるようになる、と信じることが前提となる。最終的な成果はあまりに複雑なものとなるため、ぼくたち人間は今はそれを理解できないが、"それ"は自分自身を理解し、自分自身を"解決"することになる、というわけだ。旧ソ連で行われた全体計画に、完全な情報と際限のない権力が加わったような状態を目指している人たちがいる。また、分散型のシステムに基づいたより洗練された見方をする人もいる。しかし、シンギュラリティー信者は、程度の差こそあれ、十分な権力と統制さえあれば、世界は"飼い慣らせる"と全員が信じている。シンギュラリティーを信じる人のすべてが、不死と裕福さを与えてくれるポジティブな超越としてシンギュラリティーを崇めているわけではないが、あらゆる曲線が垂直になる"最後の審判の日"がいつかは来ると信じている。

S字曲線もベル曲線も、傾斜が始まる頃は指数曲線に見えるものだ。システムダイナミクスに馴染みがある人にとって、指数曲線とは、自己強化が行われている状態、つまり際限のない正のフィードバック曲線を意味する。シンギュラリティー信者を興奮させ、システム系の人たちを怯えさせているのはこの点なのかもしれない。シンギュラリティーという概念に捕らわれていない人々のほとんどは、物事はS字曲線で説明がつく、と考える。つまり、自然界にはあらゆることに順応し、自己調整する性質がある、という考え方だ。例えば、パンデミックが起きても、経過を辿ってやがて感染の広がりは減速し、事態は適応する。以前とは同じ状態ではないかもしれないし、相の変化が起きる可能性もあるが、シンギュラリティーという考え方、特に、人間がややこしい存在で、いつかは死ぬという苦悩を抱えた存在であることをいつかは超越させてくれる救世主または最後の審判のようなものとしてのシンギュラリティー、という考え方は根本的に間違っている。

このような還元主義的な考え方は新しいものではない。BF Skinnerが強化理論を発見し、発表した後、教育は彼の理論に基づいて行われるようになった。行動主義的なアプローチは学習の狭い範囲でしか効果を発揮しないことは、今では学習を研究する科学者たちの間で知られているが、いまだにドリル練習に依存した教育方法をとる学校が多い。別の例を挙げると、優生学運動がある。これは社会における遺伝学の役割を、大幅に、そして誤った形で単純化しすぎた運動で、自然淘汰を人為的に後押しすれば「人類を直せる」という還元主義的な科学観を提言し、結果としてナチスによるジェノサイドを勢いづけてしまった。優生学の恐ろしさの残響は今日も残っていて、遺伝の研究では、知性などと関連があるかどうかを調べる内容のものは、ほぼすべてタブーとなっている。

人間は、過度に還元主義的な科学を社会に適用してしまった歴史から学ぶべきだし、Wienerが言ったように「われわれを打ち続けるムチにキスするのをやめる」べきだ。複雑なことをエレガントに説明し、混乱を理解へと還元することは科学の主要な原動力のひとつであるが、「すべてはできる限り単純にしなければいけないが、それ以上単純にしてはいけない」2というAlbert Einsteinの言葉を忘れてはならない。現実世界の知り得なさ(還元できない性質)は、アーチストや生物学者、そしてリベラルアーツ(一般教養)や人文学というややかしい世界で活動する人々が普段から接していてよく知っていることだが、ぼくたち人間は、そういった性質があることを受け入れなければならない。

ぼくたちはみんな参加者

Wienerが『人間機械論』(The Human Use of Human Beings)を執筆していた冷戦時代は、資本主義と消費者主義の急速な拡大を特徴とする時代で、宇宙競争の始まりでもあり、コンピュター時代の成熟期でもあった。諸制度を外部からコントロールできると信じ、世界で起きている問題の多くは科学と工学によって解決できると信じることが今より容易な時代だった。

その時期にWienerが主に論じていたサイバネティクス(人工頭脳学)は、客観的な視点から制御・調整できるフィードバックシステムに関するものだった。このいわゆる第一次サイバネティクスは、観察者としての科学者が起きていることを理解できるため、エンジニアが科学者の観察や洞察に基づいたシステムを設計できる、と仮定した理論だった。

今日では、気候変動、貧困、肥満、慢性的な病、現代テロリズムなど、人類が直面している問題のほとんどは、リソースを増やして制御を強化するだけでは解決できない。これは以前よりも明らかになっている。というのもこれらの問題は、複雑な適応システムの結果であり、しかも、しばしば問題を解決するために過去に使われていたツールの結果だったりするからだ。例えば、果てしなく生産性を上げたり、物事をコントロールしようとした結果なのだ。ここで第二次サイバネティクスが登場する。第二次サイバネティクスは、自己適応型の複雑なシステム、そして観察者がシステムの一部であることに関する理論だ。Kevin Slavinが『参加としてのデザイン』(Design as Participation)で述べたように、「あなたは渋滞に巻き込まれているのではなく、あなたこそが渋滞なのだ」3

現代の重要な科学的課題に効果的に対応するには、世界を多くの相互接続された、複雑な、自己適応型システムとして見なければならず、しかもそれぞれのスケールも次元も知り得ぬもので、おおむね観察者や設計者から不可分なものとして考えなければいけない、とぼくは信じている。つまり、ぼくたちは微生物から個人のアイデンティから社会や人類という種全体にいたるまで様々なスケールで、違った適応度地形(フィットネス・ランドスケープ)4を持つ複数の進化システムの参加者なのだ。一人ひとりの人間も、システムで構成されるシステムが、さらに大きなシステムを構成してできあがっているのだ。例えば、ぼくたちよりもシステムレベルでの設計者のようにふるまう体内の細胞がひとつのシステムであるように。

Wienerは生物学的進化と言語の進化を論じてはいるけれど、進化力学を科学のために活用するというアイデアは探究していない。個別種の生物学的進化(遺伝的進化)は繁殖と生存に推進され、ぼくたちの中に目標と、子孫をつくって成長したいという願望を植え付けた。このシステムは常に成長を調節し、多様性と複雑性を増やし、それ自身の回復性、適応性、持続可能性を高める5。このようなより広いシステムについての認識を高めつつある設計者として、ぼくたちは生物的、社会的な背景からの進化論的、環境的な入力によって定義される目標や方法論を持っている。でも創発的知性を持つ機械は、明らかにちがった目標や方法論を持つ。システムに機械を導入するにつれて、機械は個別の人間を強化するだけでなく、同時に、そしてより重要な点として、複雑なシステム全体を強化することになる。

ここで"人工知能"という概念の問題点が明らかになる。それは他の複雑な適応システムとの相互作用が無い状況での形態、目標、方法論を提案している点だ。機械知能を人間対機械という形で考えるのではなく、人間とシステムを統合するシステムを考えるべきだ。人工知能ではなく、拡張知能を。システムを制御、設計、理解するよるよりは、さらに複雑なシステムの、認識力を持つ、堅牢な、責任ある要素として参加するシステムを設計するほうが重要だ。そして、システムの設計者であると同時に、システムの構成要素でもあるぼくたち自身も、ずっと慎ましいアプローチを目指して、自分の目標と感性を問い直し、適応させねばならない。操ることよりも慎みが大事なのだ。

これを"参加型デザイン"とでも呼ぼう。参加者としての参加者によるシステム設計だ。これは繁栄の関数(flourishing function)の増加に似ていて、ここでの"繁栄"は、規模や力ではなく、活力と健康を表す指標だ。システムがいかに独創的に適応する能力を持っているか、は計測可能で、システムの回復力や、おもしろい形でリソースを使う能力も計測できる。

優れた介入を行うには、問題解決や最適化よりは、環境と時代に適切な感性を育むことが大事なのだ。その意味でそれはアルゴリズムより音楽に似ている。音楽では感性やセンスが大事であり、多くの要素がある種の創発秩序にまとまるものだと言える。楽器の編成や奏法によっては、システムが適応したり、予想外の、プログラムされていない形で動いたりするように押しやったりすることができが、それでもつじつまが合う、形の保ったものとなり得る。音楽そのものを介入として使うことは、新しい考えではない。1707年にスコットランドの作家兼政治家Andrew Fletcherは「わたしに国の歌を作らせろ。法律はだれが作ろうが知ったことではない」と言った。

法律を作る代わりに歌を書くことは意味がないと思えるなら、歌は大抵の場合、法律よりも長く世の中に残る点に注目してほしい。また、歌は硬軟問わず各種の革命でも重要な役割を果たしてきたし、その価値観とともに人から人へと伝えられるものだ。これは音楽やプログラミングの話ではない。歌が作用するレベルで活動することにより変化を引き起こそうとする、ということが大事なのだ。これは、例えばDonella Meadows等の『世界はシステムで動く』(Thinking in Systems)で論じられている。

Meadowsは論説『テコ入れ箇所:システムで介入すべき場所』(Leverage Points: Places to Intervene in a System)で、複雑な自己適応型システムにどう介入すればいいかを説明している。彼女によれば、システムの目標とパラダイムを変える介入のほうが、パラメータを変える介入や、ルールを変える介入よりははるかに強力で根本的なのだ。

システムにテコを入れるべき箇所

(有効性の低い方から順に)

  • 12.定数、パラメータ、数字(助成金、税金、規格など)
  • 11.バッファーなど、安定をもたらす蓄え(そのフローに比べて)
  • 10.フローや資材備蓄の構造(輸送ネットワークや人口年齢構成など)
  • 9.システム変化の速度に比べた遅延の長さ
  • 8.負のフィードバックループの強さ(それが補正しようとしている影響に比べて)
  • 7.正のフィードバックループを推進させて得るもの
  • 6.情報フローの構造(情報にアクセスできるのは誰か、そしてできないのは誰か)
  • 5.システムのルール(インセンティブ、処罰、制約など)
  • 4.システム構造を加算、変化、進化、あるいは自己組織化する力
  • 3.システムの目標
  • 2.システム(とその目標、構造、ルール、遅延、パラメータ)が発生するきっかけとなった考え方あるいはパラダイム
  • 1.パラダイムを超越する力

Wienerは進歩の崇拝についてこう述べた:

進歩を倫理的な原理として信奉する者は、この際限のない準自発的な変化プロセスを良いことと考えており、この世はいつか天国のようになる、と後世に保証できる根拠とみている。倫理的原理としての進歩を信じなくても進歩という事実を信じることは可能だが、多くのアメリカ人の教義問答においては、この両者はセットになっているのだ6

"持続可能性"という概念は、何事も大きいほうがいい、といまだに考えられていて、或るものが必要以上ある状態は、多過ぎる状態(そのために問題が発生するマイナスな状態)だと理解されていない世界において"解決"すべきことと考えるのではなく、これらの適合度関数(fitness functions)7の価値と通貨を検討し、ぼくたちの参加するシステムにとってふさわしく適切なものかを考えるべきなのかもしれない。

結論:繁栄の文化

flourishing(繁栄する)という言葉はElizabeth Anscombeが1958年に書いたエッセーが発表されてから特に重要な意味を持つようになったが8、繁栄を特徴とする感性と文化を作り上げ、"成功"について多様な指標を受け入れるには、権力とリソースを蓄積することよりも、経験の多様性と豊かさが重要だ。これこそが人類が必要としているパラダイムシフトだ。これは極めて適応性の高い社会を創り出すために使える、技術や文化のパターンを豊富に与えてくれる。この多様性はまた、システムの要素がお互いに養いあいつつ、単一通貨による単一文化のつくり出す搾取や収奪のエートスをなくせるようにしてくれる。この新しい文化は音楽、ファッション、スピリチュアル性などの芸術形態として広がる可能性が高い。

日本人としてぼくは、環境についてどうすればいいかと日本で最近尋ねてみた中学生たちが、幸福や、自然の中での人間の役割について質問を返したことに勇気づけられる。また同じように、MITメディアラボや、尊者テンジン・プリヤダルシと共同で教えている「意識の原理」という講義の生徒たちが、成功や意味を測るのに各種の指標(通貨)を使い、この複雑な世界での自分の場所を探す複雑で難しい課題に正面から取り組んでいるのを見て、やはり勇気づけられる。

ぼくはまた、IEEEのような組織が人工知能開発の設計ガイドラインを、経済的影響ではなく人間の福祉中心に構築しはじめていることにも勇気づけられている。Conservation InternationalのPeter Seligmann、Christopher Filardi、Margarita Moraが行っている自然保護活動は、原住民が繁栄できるように支援するものなので創造的でエキサイティングだ。もうひとつ、勇気づけられる例を挙げると、伊勢神宮の神官たち過去1300年にわたり、自然の再生と循環性を祝って20年毎に植樹して神殿を建て替え続けてきた儀式がある。

1960年代と70年代にはヒッピー運動が"ホールアース(全地球)"運動を全うしようとした。しかし、その後、世界は今日の消費文化へと逆戻りしてしまった。ぼくは新しい覚醒が起こり、新しい感性が文化的な変革を通じて人々の行動に非線形の変化を引き起こすと期待しているし、またそうなると信じている。システムのあらゆる層で、もっと回復力のある世界を創り出そうと活動し続けることは可能だし、またそうすべきだけれど、文化の層こそが、いまぼくたちが歩んでいる自滅の道をやめるという根本的な是正につながり得る層として、潜在力が最も高い層だとぼくは信じている。これを実現するのは、歴史的にもみられたように、新しい感性を反映し、増幅する若者たちの音楽や芸術になると思う。その感性とは、貪欲さに背を向け、「十分すぎるのは多すぎる」ことを認識した世界において、自然を思い通りに操るのではなく、自然と調和しつつ繁栄する感性だ。

注釈

  1. 漸近線とは、ある曲線に近づき続けながら、その曲線に接しない線のこと。シンギュラリティーにおける漸近線は、指数関数的成長の曲線が垂直になるときにできる垂直線だ。信者の間では、この漸近線が本当にあるのか、という議論よりは、この漸近線がどこにあるかについて議論されることが多い。
  2. これはよく使われる言い換えで、Einsteinが実際言ったのは「すべての理論の究極目標は、経験データをひとつ残らず適切に表現し、還元不可能な基本要素をできる限り単純かつ最小限にすることだ、というのは否定できないだろう」。
  3. 西欧の哲学と科学は"二元論的"であり、東洋の非二元論的な考え方とは対照的だ。この点については別の論説で長々と書けそうだが、ここで大事なのは、主語・目的語あるいは設計者・被設計者という発想は、西欧の哲学と宗教における自我の概念とつながっている部分もある、ということ。
  4. 適応度地形とは、各遺伝子型に適応度値を割り当てるときに生じるもの。遺伝子型は高次元の配列空間で配列される。適応度地形はその配列空間上の関数だ。進化論的力学では、生物学的集団は変異、淘汰、機会的浮動に推進されて或る適応度地形の中で動く。(Nowak, M. A. Evolutionary Dynamics: Exploring the Equations of Life. Harvard University Press, 2006.)
  5. Nowak, M. A. Evolutionary Dynamics: Exploring the Equations of Life. Harvard University Press, 2006.
  6. Norbert Wiener, The Human Use of Human Beings (1954 edition), p.42.
  7. 適合度関数とは、或る解決策が特定の目標にどれだけ近づいたかを価値の指標として要約するために使われる関数だ。進化システムを説明したり設計したりするために使われる。
  8. G. E. M. Anscombe, "Modern Moral Philosophy," Philosophy 33, No. 124 January 1958. この論説は、現代の徳倫理学の始まりとされている。この学問は、道徳的原則を定めようとする、あるいは有益性と有害性を中心とした実用的な考え方に頼ろうとするより伝統的な倫理学が直面する問題を目の当たりにしてアリストテレス倫理学を再評価したもの。徳倫理学は伝統的な倫理学と違って、良い人生とは何か、どうすれば人類は開花、成長、繁栄できるか、を問う学問だ。

この記事は以前発表したものの別バージョン。以前のバージョンは WIRED Ideas: The Educational Tyranny of the Neurotypicals on September 6, 2018.

固い学び方は僕には合わなかった。幼稚園では逃げてばかりで退園になったし、大学を2回も中退しただけでなく、経営学の博士課程も辞めた経歴は頼りないことは否めない。診断を受けたことはないけど、自分は何らかの"非定型発達"だと思うようになった。

"定型発達"はオーティズム社会が使っている言葉で、一般社会が"普通"と呼ぶ状態を指す。疾病対策予防センター(Centers for Disease Control and Prevention、略してCDC)によると、小児の59人にひとり、そして男児の34人にひとりがオーティズム(自閉スペクトラム症)、つまり非定型発達だ。男性人口の3%にあたる。注意欠如・多動症(Attention-Deficit Hyperactivity Disorder、略してADHD)と識字障害も含めると、全人口の4人にひとりが"定型発達"しないことになる。

オーティズムを含めた非定型発達の歴史はNeuroTribesに掲載されている(Steve Silberman(スティーブ・シルバーマン)著)。オーティズムは、ウィーン出身の医師ハンス・アスペルガーと、ボルチモアを拠点としたレオ・カナーが1930年代と1940年代に提唱した状態。施設に入れられた小児を安楽死させていたナチス占領下のウィーンで、アスペルガーは人付き合いがぎこちない子供たちにみられる様々な違いを包括する範囲を定義した。中には並外れた能力を持ち、Silbermanの言い方を借りれば「規則と法律、そしてスケジュール(日程、時刻表、予定表、時間割など)に強い魅力を持つ」子供もいた。一方、カナーはより重い障害のある子供に関する記録を書き残した。この状態は親の躾が悪いことに起因すると仮定したカナーの提言により、オーティズムの子を授かった親はこの状態を恥すべきことと考えるようになり、オーティズムを"なおす"ことを目指した活動が何十年も続いた。なおすのではなく、家族や教育制度、そして社会がオーティズムに適合できる方法を作っていく。そういうやり方もあるのに。

脳に多様性のある生徒の役に立てなかった制度といえば、まず学校。その理由として、教育制度の組み立て方が、産業革命から生まれた大量生産型の、頭脳労働と肉体労働に分けられた環境における典型的な仕事をするために子供たちを育てる、という考えに基づいていることが挙げられる。生徒たちは標準的な能力と、従順さ、理路整然な様、そして信頼性を身に着けた。これはかつての社会にとって有益だったけど、今はそれほどでもない。何らかの非定型発達と診断される人口の4分の1に加えて、その他大勢の人も現代教育の構造と方法に悪戦苦闘してると思う。

教育は他人から受けるもので学習は自分からやるものだと普段から言ってるけど、広い意味での"教育"は時代遅れだと思うし、学習をもっと力強いものにするには全く新しいやり方が必要。"教育"という概念を改良し、僕たちが規模とモノの大量生産を重視していた過去の社会で使われてた直線的で秩序だった指標を振り払わないといけない。脳の多様性を受け止めて尊重することは、インターネットとAIが推し進めている変革を生き残るための鍵であり、この変革は過去の予測可能なNewton(ニュートン)的な世界を打ち砕き、複雑さと不確実性を特徴とするHeisenberg(ハイゼンベルク)的な世界に置き換えている。

Life, Animated(ライフ・アニメイテッド、邦題『ディズニー・セラピー 自閉症のわが子が教えてくれたこと』)でRon Suskind(ロン・サスキンド)は3歳になる頃に喋れなくなった息子のOwen(オーウェン)のことを紹介している。話せなくなる前はディズニーのアニメーション映画が大好きだったOwen。沈黙してから数年経った時、何十ものディズニーの名作を最初から最後まで記憶していたことが明らかになった。時間が経つにつれ、大好きなキャラクターを演じ、その声を真似することで家族と意思疎通できるようになり、タイトルバックを見て練習し、読めるようにもなった。最近、Owenは家族と共にSidekicks(サイドキックス、仲間とか助手とかを意味する)という新しいタイプの画面共有アプリを作り、他の家族が同じ方法を試せるようにした。

Owenのことから分かるのは、オーティズムが様々な形で存在することと、介護を提供する人が子供を"普通"な状態になおすのではなく、介護者の適合さえあれば、オーティズムのある大勢の子供たちが生き生きし続けることが可能だということ。しかし、僕たちの教育機関は、この子供たちに教育を与えることができる適応的プログラムを個別に提供するように設計されていない。

非定型発達に役立つ設計がされていない学校に加えて、僕たちの社会は昔から、人付き合いが下手な人や"普通"じゃないと思われてる人に対して寛容や思いやりがほんの少ししかなかった。動物福祉を推奨するTemple Grandin(テンプル・グランディン)は、Albert Einstein(アルバート・アインシュタイン)、Wolfgang Mozart(ヴォルフガング・モーツァルト)、Nikola Tesla(ニコラ・テスラ)が今生きていれば「自閉症スペクトラム」と診断されると主張する。彼女はオーティズムが昔から人類の躍進に貢献してきたと主張し、「オーティズムの特徴がなければ、私たちはまだ石器時代を抜け出せていなかったかもしれない」と言う。彼女はニューロダイバーシティ(脳の多様性)運動の著名な代弁者だ。この運動は、性別、民族、性的指向の多様性と同じように、神経学的な違いも尊重されるべきだと主張している。

オーティズムのある人(アスペルガー症候群も含まれる)は、定型発達した人にとって簡単なことができなかったり難しく感じたりする場合もあるけど、並外れた能力を持ってることもしばしば。例えば、イスラエル参謀本部諜報局で航空写真と衛星画像の分析を担当する9900部隊では、模様を視認する能力がズバ抜けているオーティズム・スペクトラムの人もスタッフとして加わっている。シリコンバレーの驚異的な成功は、その文化が、社会全体と東海岸の機関のほとんどを支配している、年齢に基づく経験と、適合性を重んじる従来の社会的および企業的価値感をあまり重視しない文化なのが要因だと思う。オタクっぽくてぎこちない若者を歓迎し、彼らの超人的で"異常な"能力を使って金儲け装置を作ることに成功し、世界の羨望の的となっている。(この新しい文化は、ニューロダイバーシティについては素晴らしく包括的だけど、性別や人種の観点から言うと、白人の兄ちゃんたちばかりが中心となってる文化なのが問題。)

前述の模様の視認をはじめとしたオーティズムの様々な珍しい特性は、科学や工学に凄く良く適してて、プログラミングを行うことや複雑な概念を理解すること、数学の難しい問題を綺麗に解くことを超人的に行うことを可能にし、そういったことをオーティズムの学生たちは頻繁に実行してる。

残念ながら、ほとんどの学校は非定型学習者を組み入れる際に困難に直面する。いま判明してる脳の多様性は昔に比べて種類が増えていて、それらには、関心主導型学習やプロジェクト型学習、そして無教師学習のほうが適してそうなことがますます明らかになってきてるのに。

Macomber Center for Self Directed Learning(メイコンバー自主学習センター)を運営するBen Draper(ベン・ドレイパー)は同センターについて、「子供なら誰でも受け入れられる」とし、オーティズム・スペクトラムだと親に分かってもらった子は、一般的な学校でうまくいかなくても、この施設ではよく活躍すると言う。Benはいわゆる脱学校運動に加わってて、この運動の信義は、学習は自主的に行うものであり、そもそも学習を導くべきではない、というもの。子供たちは情熱を感じるコトを追求する過程で学習するわけだから、大人たちはその邪魔さえしなければよくて、必要な時に子供を支えてあげればいい、という考え方。

もちろん、そんなのは形が無さ過ぎて無責任なやり方になりそう、と反論する人は大勢いる。でも、振り返ってみると、僕は"脱学校"な育ち方をしてたら、のびのびと成功してたと確信してる。Benと、僕の同僚で脱学校のことを紹介してくれたAndre Uhl(アンドレ・ウール)は、最近の論文でこのやり方は、使い方次第で誰でも成功できるし、現行の教育制度は粗末な学習成果を出しているだけでなく、子供の、個人としての権利を侵害していると主張した。

MITは、インターネット前の時代から、並外れた能力を持つ非定型発達の学生が集まってコミュニティと文化を形成する場を提供した数少ない機関の1つ。そんなMITでさえ、この学生たちが必要としてる多様性と柔軟性を与えるために、今も改善を試みてる。僕たちの学部課程では特にそうだ。

診断を受けたらどういう結果になるか分からないけど、僕は従来の教育を受けることに完全に失敗した。学ぶのは大好きだけど、僕の学び方は会話しながら、そしてプロジェクトに取り組みながら、が主体。いろんなものをつなぎ合わせながら、何とか世界観と生活を手に入れることができた。苦しみながらだったけど、いろんな恩恵もあった。僕なりの世界論とそれに至った経緯について、最近博士論文を書いた。僕の経験を何かしらの傾向として見てほしくない。論文を読んで、僕があまりにも特異な人物なので"人間の亜種"と見なされるべきだと言った人がいる。褒め言葉だと受け止めてるけど、僕みたいに幸運に恵まれてるわけでもなく、従来の教育制度を体験し、本来は生き生きとして当たり前なのに、喜びよりも苦労の方が多い人もいると思う。実際、ほとんどの子供たちは僕ほど幸運に恵まれてるわけではない。現在の社会の在り方の中で成功するのに適しているタイプの人もいるけど、現行の制度で成功しない子供たちのうち、凄く高い割合の子供たちが、とてつもない貢献をする潜在能力があるのに、僕たちはそれを活用できてない。

産業時代の学校は、子供たちに基本的な識字能力と社会生活をする能力を身に着けさせて、工場で働くか、繰り返すだけの頭脳労働の仕事をするか、どっちかをできるようにすることが主な目的だった。子供たちを(頭のいい)ロボット的な人、さらに言えば、標準的な試験に出てくる問題を一人で、そしてスマートフォンやインターネットを使わずに、鉛筆だけで解ける人に育て上げよう、というのは、以前なら当然だったかもしれない。非定型発達の人たちを篩い落としたり、薬物療法や施設への入所によって矯正することは、人類の産業的競走力の観点から見て大事なことに思えたのかもしれない。また、指導用の器具は当時の技術で作れるものしかなかったわけで。前述の諸作業がどんどん実世界のロボットによって行われるようになってる今、僕たちがしなきゃいけないのは、脳の多様性を受け入れ、情熱、遊び、そしてプロジェクトによる共学習をするんだよ、と子供たちに言って励ますことなのかもしれない。つまり、機械にはできない方法で学習することを子供たちに教え始めなければいけないのかもしれない。また、現代のテクノロジーのおかげで僕たちはつながりの学習ができる。この学習は、いろんな興味の対象や能力の発展に役立っているし、僕たちの生活や、いろんな関心事から生まれるそれぞれの小社会の一部となっている。

メディアラボにはLifelong Kindergarten(ライフロング・キンダーガーデン、生涯幼稚園)という研究グループがあり、グループの責任者Mitchel Resnick(ミッチェル・レズニック)は最近、同じ題名の本を書いた。この本は、クリエイティブな学習と4P(情熱、仲間、プロジェクト、遊び)(passion、peers、project、play)に関する研究について書かれている。この研究を行ってるグループは、情熱を感じるコトを追求し、遊び心のあるアプローチで、プロジェクトベースの環境で仲間と協力しているときこそが、学習が最もうまくいく時だと信じてる。その通りだと思う。僕が学校に通ってた頃の記憶といえば「カンニングをしない」、「宿題は自分でやる」、「大事なのは教科書で、趣味やプロジェクトは二の次」、「休み時間になれば遊べるんだから、真剣に勉強しなさい。そうしないのは恥」といったこと。4Pの真逆だ。

精神衛生上の問題の多くは、脳の多様性のうちのいくつかを"修正"する試み、または単に当人に対して無神経あるいは不適切な言動があったことが原因だと僕は信じてる。精神的な"疾患"の多くは、4Pに重点を置き、学習、生活、そして人とのやりとりをするための適切な窓口を当人に提供することによって"癒す"ことができる。教育制度に関しては、まずは教育を受ける側、そして今ではその一員として体験してきたけれど、僕の体験はそれほど珍しくない。何らかの非定型発達だと診断された人々(少なくとも人口の4分の1)は、現代の教育の構造と方法に悪戦苦闘してると思う。脳の働きが一般的じゃない人は、自分のことを例外ではなく、ひとりの人間、それ以上でもそれ以下でもない、と考えて生きていけるようになるべき。

Credits

訳:永田 医

小さな子どもをもつ親なら誰でもそうだと思うが、わたしも2歳になろうとしている娘をどこまでテクノロジーに触れさせていいのか悩んでいる。特にYouTubeとモバイルデヴァイスは判断が難しい。

2018年に実施されたある調査では、米国の親が子育てで最も不安に感じているのは、子どもがデジタルデヴァイスを使いすぎることだという結果が出ている。厳密な研究に基づいて実証的な方向性が示されたガイドラインは、なかなか見当たらない。こうした状況を考えれば、わたしが友人たちからのアドヴァイスにある奇妙な傾向を見出したのも不思議ではないかもしれない。

一般的に、リベラルでテクノロジーに精通した人たちほど、子どものスクリーンタイム(スマートフォンなどの利用時間)に関しては、なぜか保守的になる。そして、子どもがデヴァイスの画面を見つめている時間を厳しく制限しようとするのだ。

わたしが特に衝撃を受けたのは、子どもとテクノロジーの関係を巡る友人たちの意見が、一般の研究や調査に基づいたものではないという点だった。友人たちはどうやら、恐怖をあおり立てるような内容の書籍やメディア報道、YouTubeを見続けた場合の問題点だけに焦点を絞ったTEDのトークといったものを根拠にしているようなのだ。

いまや欠かせない「コネクテッド子育て」

子育てについて、わたしは妹の伊藤瑞子に相談することがよくある。カリフォルニア大学アーバイン校でConnected Learning Labを率いる彼女は、2人の子どもを育て上げた母親でもあるからだ。Connected Learning Labでは、子どもとテクノロジーのかかわりについてさまざまな研究が行われている。彼女の意見は、「テクノロジーの恩恵を受けている親たちは子どものガジェットの利用時間を心配するよりも、子どもがテクノロジーを使って何をしているのかに関心をもつべき」というものだ。

彼女は米小児学会(AAP)が、いわゆる「2×2ルール」を取り下げたことを歓迎している。これは子どもが生まれてから2年間はコンピューターを使わせず、また18歳までは利用時間を1日2時間以内に制限すべきという子育ての指針だ。彼女は、このルールのせいで子どもにガジェットを使わせることへの罪悪感が生まれたと考えている。そして、彼女が「コネクテッド子育て」と呼ぶ、子どもとデジタルとのかかわりに親が参加していくという方法論は無視されるようになってしまったと言う。

わたしもこのコネクテッド子育てに取り組んでいる。例えば、娘と一緒にYouTubeを見て、彼女が新しく覚えたダンスを踊っているときは、エルモに合わせて歌うのだ。毎日、帰宅すると娘がその日に見つけた動画や新しいキャラクターを見せてくれる。そして、彼女がベッドで眠りにつくまでの時間に、新しい動画に出てくる歌を覚えたり遊びをしたりする。

娘の祖母は日本にいるのだが、妻のiPhoneから、この就寝前の特別な時間に参加することができる。彼女はヴィデオ通話の画面から、娘がYouTubeの動画に合わせて歌うのを褒めてくれる。遠くにいる家族とのこうしたつながりを奪うなどということは、わたしにはとても考えられない。

それは「デジタルのヘロイン」なのか?

子どものスマートフォンやネット依存を巡る議論は、違法薬物の撲滅運動のようなナラティヴで語られることがある。心理学者ニコラス・カルダラスの著書『Glow Kids: How Screen Addiction Is Hijacking Our Kids ― and How to Break the Trance』(照らされる子どもたち:子どもを支配するスクリーン中毒とそこから抜け出す方法)がいい例だろう。

カルダラスはこの本のなかで、スクリーンを見続けるとセックスをしているときのようにドーパミンが大量に放出されると述べる。カルダラスはこれは「デジタルのヘロイン」であり、子どもがネットの利用時間を管理できない状況は「中毒」と呼ばれるべきだと主張する。

別の心理学者によるもう少し冷静な(そしてここまで警戒的ではない)分析も紹介しよう。児童心理学者アリソン・ゴプニックは、テクノロジーが子どもに及ぼす影響について、よりバランスのとれた見方をしている。

「スクリーンを眺めていると頭を使わない状態になってしまうことがよくありますが、同時にインタラクティヴで探索的なこともたくさんできます」

ゴプニックはまた、デジタルでのつながりは子どもの心理的な成長の正常な一部なのだと説明する。彼女は「友だちが『いいね!』をしてくれたら、ドーパミンが出るのは普通です」と指摘する。

スクリーンタイムの量と質

スマートフォンなどの使用が子どもにそれほど大きな影響を及ぼさないことは、研究でも証明されている。保守的なAAPですら、インターネット依存やゲーム中毒とみなされる子どもの割合は全米で4〜8.5パーセントにすぎないと認めているのだ。オックスフォード大学のアンドリュー・プシュビルスキーとエイミー・オーベンが未成年者35万人を対象に実施した大規模な調査では、心理面での影響はごく軽微で、統計的にはほとんど無視できる水準であることが明らかになっている。

一方、ロンドン・スクール・オブ・エコノミクス(LSE)のソニア・リヴィングストンとアリシア・ブルム=ロスの調査では、親の間で子どもをテクノロジーに触れさせることへの懸念が広まっていることがわかっている。ただ、ふたりはデジタルデヴァイスの利用時間を「スクリーンタイム」という言葉で一律にくくってしまうことには懐疑的で、保護者は単純に時間を計測するのではなく、その質に注目すべきだと考えているという。

Connected Learning Labの発達心理学者キャンディス・オジャーズは、未成年者のデジタルデヴァイス利用を巡る論文を調査した。オジャーズは、デジタルデヴァイスに触れることがプラスとマイナス両面の効果があるが、負の影響ばかりが強調されていると指摘する。「本当の問題はスマートフォンではなく、誤った情報が広まることで保護者や教育者の間に恐怖が生まれることなのです」

この点に関しては、長期的な研究に早急に着手することが必要だろう。デジタルデヴァイスとその挙動を決めるアルゴリズムが子どもたちにどのような影響を及ぼすかについて、厳密に調べていくのだ。

正確な研究結果が出て初めて、わたしたちはこうしたシステムをどのように設計し最適化するかについて、エヴィデンスに基づいた決定を下すことができるようになる。子どものデジタルデヴァイスの利用を管理監督する責任が親だけに押し付けられている現状を、変えていかなければならない。

デヴァイスの使い方の中身に注目せよ

わたしは個人的には、ほとんどの子どもにはスクリーンタイムよりも重要なことがあると考えている。保護者は子どもの教育や健康、保育施設といったより深刻な問題を抱えている。わたしが所属しているような、いわば社会的エリートのグループの外部では特にそうだろう。

昨年10月に『ニューヨーク・タイムズ』にシリコンヴァレーの子育てについての記事が掲載されたが、テック業界でもある程度の地位にいる人なら、子どもをデジタルデヴァイスから引き離しておくために人を雇うことができる。こうした余裕のある親のもとに生まれた子どもたちが、過度なデヴァイス利用の弊害を受ける恐れは少ない。

そして、わたしやその周囲の人々には、子どもをおとなしくさせるにはスマートフォンを見せておくしかないような状況に置かれることもある世間一般の親たちに、あれこれ言う資格はないだろう。わたしたちが取り組むべきなのは、すべての保護者、特にベビーシッターやナニーを雇う余裕のない親たちのために、この種の新しい子育て道具が安全かつ楽しいものになるようなテクノロジーを生み出すことだ。

もちろん、実際にデジタルデヴァイス依存という問題を抱える家庭を無視しているわけではない。ただこうした場合でも、スクリーンタイムを厳格に管理するよりは、むしろその中身に注目することのほうが重要なのではないかと、わたしは思っている。

わたしたち大人の子育ての矛盾

デジタルデヴァイスの利用を巡って妹が使う例のひとつが、砂糖だ。砂糖の摂取は一般的には健康に悪く、さまざまな弊害を伴うことは周知の事実である。砂糖には中毒性もある。ただ、たまには親子で牛乳とクッキーというおやつの時間を楽しむことは、家族のつながりという意味では有益なのではないだろうか。

禁止という行為が裏目に出ることもある。ルールを破ってしまったことで挫折感を味わったり、子どもが隠れてスマートフォンを使っているのではないかという不信感が生まれる可能性もあるだろう。

子どもがコンピューターを使う時間を管理しようとするとき、親は監視ツールのようなものを使うことがよくある。ただ、こうした場合、特にティーンエイジャーはプライヴァシーを侵害されているように感じることが多い。

また、NPOのCommon Sense Mediaが実施した調査では、誰もがそうではないかと思っていたことが証明された。つまり、親はデジタルデヴァイスを多用しており、子どもがスクリーンに興味をもつのは親の真似をするからだというのだ。この事実は、わたしたち大人の子育ての矛盾をレーザーのように鋭く突いている。

マサチューセッツ工科大学(MIT)教授のシェリー・タークルは著書『つながっているのに孤独──人生を豊かにするはずのテクノロジーの正体』のなかで、デジタルデヴァイスのために家庭でのやりとりが減り、家族のつながりにひびが入りつつあると指摘した。

わたしも、デヴァイスによって気が散ることがあるという意見には賛成だ。講義中に「ちょっとノートパソコンを閉じて」と言うことはあるし、ディナーの最中にメールを打つのは普通は失礼に当たると思う。ただ、iPhoneのせいで家族が崩壊しつつあるかというと、それは少し疑問に感じるのも事実だ。

ポジティヴになり、子どもを見守るということ

わたしが幼いころには、デジタルデヴァイスというものはほとんど存在しなかった。ただ、わたしは毎日、幼稚園から脱走を繰り返していて、最終的にはそこを追い出された。高校ではさまざまな課外活動は熱心にやったが、授業への出席率は最低で、ぎりぎり卒業している。それでも、母はルールに従うことのできないわたしを積極的にサポートした。本来やるべきとされる分野には見向きもせず、興味のあることしかやらないという傾向を徹底して認めてくれたのだ。

母とわたしは強い信頼関係で結ばれており、おかげで、わたしは失敗したせいで見捨てられたと感じたり、恥ずかしく思ったりすることなく、そこから学ぶことができた。ときには進む方向がわからなくなることもあったが、大きな問題はなかった。

母は子育てではポジティヴであることが重要だと直感的に理解していたようだ。Connected Learning Labで幼児期の育児とメディアについて研究するシュテファニー・ライヒは、「どのような研究でも、鋭敏で愛情深く、子どもにきちんと注意を傾ける保護者に育てられるのがいちばんだという結果が出ています。首尾一貫していて、子どもと的確なコミュニケーションをとれるような親がいいのです」と話す。ある研究では、子どもを温かく見守り、制限はなるべく設けないほうが認知面でプラスの効果が出るということが示されている。

娘がYouTubeの動画からダンスを学んでいくのを見るたびに、毎朝オンラインゲームをやっていた幼いころのわたしを眺める母のことを想像する。わたしはこの習慣のおかげで世界中に仲間ができ、インターネットの初期の時代からその可能性を模索するといったことにもつながったのだ。

娘がいまのわたしの年齢になるまでには、どんなことが素晴らしいことや、ひどいことが起きるのだろう。娘にはデジタルデヴァイスやそこから広がる世界とよい関係を築くことで、未来に向けた準備をしていってほしいと願っている。

Credits

Translation by Chihiro OKA

昨年、サイバネティクスに関するノーバート・ウィーナーの名著『人間機械論』を扱ったディスカッションに参加する機会があった。そしてこの場で、わたしがシンギュラリティ(技術的特異点)を巡る議論に対するマニフェストとみなすものが生まれている。

シンギュラリティとは、近い未来に人工知能AI)が人類の知性を凌駕し、人間にとって代わる日がやって来るという議論だ。この説の提唱者たちは、AIは指数関数的に高度化し、わたしたちがこれまでになし遂げてきたことはすべて意味を失うと主張する。

これは、かつて機械には複雑すぎると考えられてきた問題を解決する手法を設計し、コンピューターの進化に寄与してきた人たちが編み出した、いわば宗教のようなものだ。こうした人々は、デジタルの世界で完璧な仲間を見つけたのである。

すなわち、理解可能かつコントロールもできそうな機械をベースとした思考と創造のシステムが存在し、的確にデザインすれば、その処理能力を急速に向上させていく。しかも、システムの進化に寄与した者は富と権力を得ることができるのだ。

シンギュラリティという概念の基本的欠陥

シリコンヴァレーではこれまで、こうしたテクノロジーのカルトの経済的な成功と集団思考とが相まって、自己規制が欠落したフィードバックのループが生み出されてきた(一方で、「#techwontbuild」「#metoo」「#timesup」といったハッシュタグに代表される、ささやかな抵抗運動も存在する)。

シグモイド関数のS字カーヴや正規分布の曲線は、勾配の始まりにおいては指数関数のそれと形状がよく似ている。しかし、システムダイナミクスの専門家によると、指数関数の曲線は上限なしにプラス方向に伸びていくため、自己強化的で危険だという。

シンギュラリティの提唱者たちは、指数関数にスーパーインテリジェンスと富を見出す。これに対し、シンギュラリティというバブルの外にいる人は、S字カーヴのような自然なシステムを信じている。それは外部からの介入に的確に反応し、自己調整していくシステムだ。

例えば何らかのパンデミックが起きても、時間が経てば拡大は収束する。パンデミック以前と同じ状態を回復することはできないかもしれないが、新たな秩序が形成されるのだ。これに対し、シンギュラリティという概念(特に、いつか人類が自己存在の葛藤を乗り越える審判の日が訪れる、もしくは救世主的なものが出現するという予言)には基本的な欠陥がある。

いまなお残る還元主義的な議論

この種の還元主義的思考は目新しいものではない。心理学者のバラス・スキナーがオペラント条件づけ[編註:報酬などによって自発的に特定の行動をとるよう学習させること]を体系化して以来、学校教育はおおむねこの理論に基づいてデザインされてきた。

一方で、最近の研究では、スキナーのような行動主義的アプローチは狭義の学習でしか機能しないことが明らかになっている。それにもかかわらず、多くの学校ではいまだに反復訓練などオペラント条件づけの柱となる要素が重視されている。

もうひとつ、優生学という例を挙げよう。人間社会における遺伝的特性の役割を過度に単純化したこの学問は、第2次世界大戦中のナチスによるジェノサイドの根拠となった。

優生学では、自然淘汰を人為的に押し進めることで「優れた人間だけを残す」ことができるという還元主義的な議論が展開される。この恐るべき思想は現在も根強く残っており、科学の世界では遺伝と知性のような特性とを関連づけて扱う研究は、いかなるものもタブーとなっている。

「シンギュラリティの夢」の産物

科学の発展の重要な推進力のひとつに、複雑な事象を簡潔に説明し、それを理解する力を高めたいという願望がある。しかし、「何ごともできる限りシンプルにすべきだが、必要以上に単純化してはならない」というアルバート・アインシュタインの言葉も、覚えておく必要があるだろう。

わたしたちは現実世界の不可知性を受け入れなければならない。世界を単純化することはできないのだ。芸術家や生物学者、人文科学に携わる人々はこのことをよく理解しており、世の中には説明できないこともあるという事実に特別な不安を抱いたりはしない。

人類が抱えている問題の大半は、いわば「シンギュラリティの夢」とでも呼ぶべきものの産物であることは明白だ。気候変動や貧困、慢性疾患、近代的テロリズムといったものはすべて、わたしたちが指数関数的な成長を目指した代償なのである。

こうした現代の複雑な問題は、過去の問題を解決するために行われたことの結果として生じている。生産性の向上を際限なく追求し、制御するには複雑になりすぎたシステムを無理に管理しようとした果てに、いま目の前に広がる世界があると言っていい。

「システムのシステムからなるシステム」

現代の科学の問題に効果的に対処するには、規模と次元を超えて相互接続された複雑な自己適応型システムを尊重しなければならない。システムの参加者も設計者もそれを完全に理解はできないし、同時にそこから離脱することも不可能なのだ。

言い換えれば、人間は誰もが異なる規模の適応度地形をもつ複数の進化システムの内部にいる。体内の微生物レヴェルから、個人としての社会とのかかわり、あるいは人類という種における個体としてまで、その段階は実にさまざまだ。

人間という個体で考えると、それは「システムのシステムからなるシステム」といった構造になっている。そして、例えば人体を構成するそれぞれの細胞は、個としての人間よりもシステムの設計者のような振る舞いを見せる。ケヴィン・スラヴィンが2016年に「Design as Participation」と題したエッセイで書いたように、「あなたは交通渋滞に巻き込まれているのではない。あなたは交通そのもの」なのだ。

種としての生物学的進化(遺伝的進化)は繁殖と生存によって促されるため、わたしたちは成長して子孫を残すというゴールに向かって走るようプログラムされている。システムは成長を規定し、多様性と複雑性を確保しながら、自己の適応力と持続可能性を高めるために絶えず進化している。

これはシステム内部の者による「参加型デザイン」と呼ぶことができるだろう。参加型デザインとはシステムに多様な機能を追加していくようなもので、ここでの繁栄は金や権力、規模の大小といったものではなく、いかに健康で活力的であるかによって測られる。

人間と機械の統合

これに対して新しい知性を備えた機械は、明らかに異なる目標と方法論によって動いている。こうした機械を例えば経済、環境問題、医療といった複雑な自己適応型システムに組み込めば、機械はシステムの構成要員を侵略するのではなく扶助し、さらにはシステム全体を補強していくだろう。

ここにおいて、シンギュラリティの提唱者たちによって提示された「AI」の定式化に問題があることが明らかになる。それは、ほかの適応型システムとの相互作用の外部にある形式、目標、方法論を示唆しているのだ。

新たな知性について語るとき、わたしたちは人間と機械の対立という図式から判断するのではなく、人間と機械を統合していくようなシステムを考えていくべきだ。ここではAIにとどまらず、さらに進んだ「拡張知能(extended intelligence:EIまたはXI)」という概念の話をしている。

システムを理解して制御しようとするよりも、さらに複雑なシステムの堅固な一部となり得るシステムを設計していくことのほうが重要だ。わたしたちはシステム内部の設計者および参加者として自分たちの目的と感覚に疑問を投げかけ、制御という概念に対する謙虚なアプローチの下でそれを変革していく必要がある。

Credits

Translation by Chihiro OKA

1967年夏、全米には人種暴動の嵐が吹き荒れていた。この年に起きた159件の"暴動"(視点を変えれば抗議行動と呼ぶこともできる)の大半は、インナーシティ[編註:都市内部で周辺地域から隔絶された特定の区域]に住む貧しいアフリカ系米国人と警察との対立に端を発する。

貧困層が住むこうしたエリアは暴動前から荒廃しており、そこに暴動によるダメージが加わったため、回復はほぼ不可能になった。一連の事態を理解するためには、「特定警戒地区指定(レッドライニング)」という言葉を知る必要がある。これは保険業界の専門用語で、保険を引き受けるにはリスクが高すぎることを示すために、地図上で赤線で囲まれた区域のことを指す。

ときの大統領リンドン・ジョンソンは68年、暴動で被害を受けた地域の保険問題に関する諮問委員会を設置した。インナーシティの復興に加え、レッドライニングが暴動の一因となった可能性があるかどうかを探るためだ。

この委員会の調査で、ある事実が明らかになった。レッドライニングによって、マイノリティーのコミュニティーと周囲との格差が助長され、金融や保険などの面で不平等が深まるというサイクルが生じる。つまり、地図の上に赤い線を引くことで、こうした地域が周囲と隔絶されてしまったそもそもの原因である貧困に拍車がかかるのだ。

保険会社とソーシャルメディアの共通項

保険会社は黒人やヒスパニック系といった人種的マイノリティーへの商品販売を拒んでいるわけではなかったが、業界ではレッドライニングを含む明らかに差別的な商慣行が許容されていた。そして、保険がなければ金融機関の融資は受けられないため、こうした地域に住む人は住宅購入や起業が実質的に不可能だった。

委員会の報告を受けて、レッドライニングの禁止とインナーシティ周辺への投資促進に向けた法律が制定されたが、この慣行はなくならなかった。保険会社は黒人への商品販売拒否を正当化するために、特定の地域における統計的リスクという言い訳をもち出した。つまり、レッドライニングは保険の引受リスクという純粋にテクニカルな問題であって、倫理的なこととは何も関係がないというのだ。

この議論は、一部のソーシャルネットワーク企業の言い分と非常によく似ている。SNS企業は、自分たちはアルゴリズムを駆使したプラットフォームを運営しているだけで、そこに掲載されるコンテンツとは関わりはないし、責任も負わないと主張する。

一方、現代社会の最も基本的な構成要素である金融システムの一端を担う保険会社は、市場における公平性と正確性に従っているだけだと述べる。数学的かつ専門的な理論に基づいてビジネスを展開しているのであり、結果が社会にどのような影響をもたらそうが知ったことではないというのが、その立ち位置だ。

「よい」リスクと「悪い」リスク

「保険数理的な公正」を巡る議論は、こうして始まった。公正さの確保という問題において、歴史的に重視されてきた社会道徳やコミュニティの基準より統計や個人主義的な考え方を重視するやり方については、さまざまな批判がある。一方で、こうした価値観は保険業界だけでなく、治安維持や保釈の判断、教育、人工知能AI)などさまざまな分野に広がっている。

リスクの拡散は昔から保険の中心的なテーマだったが、リスク区分という概念はこれより歴史が浅い。リスクの拡散とは、コミュニティのメンバーに何かが起きたときに備えて一定の資源を担保しておくことで、その根本には連帯という原則がある。

これに対し、近代の保険システムは個人のリスク水準をその当人に割り当てる。いわば個人ベースのアプローチで、自分より危険性の高い他人のリスクを肩代わりする必要がなくなるのだ。この手法は東西冷戦で社会主義的な性格のものが敬遠された時代に広まっていったほか、保険市場の拡大にも貢献した。

保険会社はリスク区分を改良していけば「よい」リスクを選ぶことが可能になる。つまり、自社の保険金の支払いが減り、コストの高い「悪い」リスクは他人に押し付けられる。

保険数理学的な「公正」の発展

なお、この問題については、マサチューセッツ工科大学(MIT)メディアラボの研究者でアルゴリズムの公平性と保険数理を専門とするロドリゴ・オチガメが、MIT助教授で歴史学を教えるケイリー・ホランのことを教えてくれた。本稿はホランの研究に多くをよっている。彼女は近く『Insurance Era: The Privatization of Security and Governance in the Postwar United States(保険の時代:戦後の米国における安全と統治の民営化)』という本を上梓する予定だが、ここでは本稿で触れたことがさらに詳しく説明されている。

リスクの拡散と連帯の原則の根底には、リスクを分かち合うことで人々の結束が強まるという考え方がある。そこでは相互扶助と協力関係の構築が奨励される。ただ、20世紀の最後の10年間は、この精神が保険数理学的な公正に取って代わられてしまった。

レッドライニングは、完全に人種差別的なアイデアと間違った固定観念に基づいて始まったものだ。しかし、保険会社はこの差別が「公正」であると主張するために、一見それらしく見える数学的手法を編み出し、それを発展させていった。

女性は男性より平均寿命が長いのだから年金保険料を多く払うべきである、黒人コミュニティは犯罪の発生率が高いから黒人の損害保険料率を高く設定することは許される──というわけだ。

論点をすり替えた議論の末に

米国社会にはいまだに、こういったあからさまな人種差別や偏見が存在する。そして保険業界では、差別は複雑な数学や統計に包んでうまく隠されており、専門家でなければ理解して反論するのはほとんど不可能だ。

1970年代後半には、女性の活動家たちがレッドライニングやリスク評価における不公正と闘うための運動に加わった。彼女たちは、保険のリスク区分に性別という要素が加えられているのは性差別だと主張した。

保険会社はこれに対して、またもや統計と数理モデルをもち出した。リスク区分を決める際に性別を考慮するのは間違っていない、なぜなら保険の対象項目には実際に男女によってリスクの異なるものがあることが統計によって明らかになっているからだ──というのだ。

こうして、保険業界のやり方に批判的だった人たちの多くが、ある意味で論点をすり替えた議論に巻き込まれていった。公民権グループとフェミニストの活動家が保険業界との戦いに破れたのには、理由がある。

人々は、特定の統計やリスク区分が不正確だと保険会社を非難した。しかし本当の問題は、そもそも保険のように重要かつ基本的な社会システムを構築する上で、数学的に割り出した公正さ、つまり市場主導型の価格的な公平性を取り入れることが妥当なのかという点だ。

アルゴリズムに潜むバイアス

公正であることは、正確であることとは必ずしも一致しない。ジャーナリストのジュリア・アングウィンが、刑事司法制度で採用されているリスクスコア評価には非白人に対する偏見があると指摘したとき、評価システムのアルゴリズムを開発した企業は、システムは正確なのだから公正だと反論した。

リスク評価システムでは、非白人は再犯率が高いとの予測が出る。再犯率は犯罪者が釈放後に再び罪を犯す可能性のことで、過去の犯罪データを基に算出されるが、問題の根本はここにある。なぜなら、逮捕という行為そのものに警察当局のバイアスがかかっており(例えば、警察官は非白人や貧困層の居住区域を重点的にパトロールするだろう)、アルゴリズムは当然それを反映してしまうからだ。

再犯リスクは保釈金の金額や判決、仮釈放の有無といった決定を下す際に、判断材料のひとつになる。また、当局はこのデータを基に、犯罪の起こる可能性が高そうな場所に人員を割く。

ここまで書けばわかると思うが、特定の集団の未来を予測する上でリスクスコア評価を信じるのであれば、黒人だからという理由だけで量刑相場が上がるのは「公正」ということになる。数学的には「公正」なのだろうが、社会的、倫理的、かつ人種差別という観点から考えたときに公正でないことは明らかだ。

形成される「負のループ」

さらに、富裕層の住むエリアに逮捕者が少ないからといって、富裕層は貧困層と比べてマリファナを吸う頻度が低いということにはならない。これは単純に、こうしたエリアには警察が少ないというだけの話だ。当然のことだが、逆に警察が目を光らせている貧困地区に住んでいれば、再逮捕の可能性は高くなる。こうして負のループが形成されていく。

インナーシティに対するレッドライニングも、まったく同じように機能する。特定の地域での過剰な治安維持活動は、短期的に見れば「正確」なデータに基づいた「公正」なことなのかもしれない。しかし、長期的にはコミュニティに負の影響を及ぼし、さらなる貧困と犯罪の拡大につながることが明らかになっている。

独立系メディアサイト『プロパブリカ』に掲載されたアングウィンの調査報道記事によると、保険会社は規制があるにもかかわらず、いまだに非白人地域の居住者に白人地域に比べて高いプレミアムを課している。リスクが同じ場合でもそうだという。

『ボストン・グローブ』紙の調べでは、ボストン都市圏に住む白人世帯の純資産は平均で24万7,500ドル(約2,700万円)なのに対し、非移民の黒人世帯の純資産の中央値は8ドル(約900円)であることが明らかになっている。この格差は、レッドライニングとその結果としての住宅市場や金融サーヴィスへのアクセスの阻害によって引き起こされたものだ。

人々が関与できるメカニズムの重要性

レッドライニングはすでに法律で禁じられているが、別の例もある。アマゾンは「Amazonプライム」の当日配送無料サーヴィスを「最良の」顧客にのみ提供している。これは実質的にはレッドライニングと同じで、新しいアルゴリズム的な手法によって、過去に行われた不公正の結果を強化していくものだ。

保険会社と同じで、テクノロジーやコンピューターサイエンスの世界にも、倫理判断や価値基準といったものは排除した純粋に数学的な手法で「公正さ」を定義しようとする傾向がある。これは高度に専門的であると同時に、循環論法に陥りがちだ。

AIは再犯率のような差別的慣行の結果を利用して、身柄の拘束や治安維持強化の正当性を認めさせようとする。しかし、アルゴリズムによって下された判断そのものが、貧困、就職難、教育の欠如といった潜在的な犯罪の要因を生み出すことにつながる可能性があるのだ。

テクノロジーの力を借りて策定された政策については、それが長期的に社会にどのような影響を及ぼすのかを見極め、説明できるようなシステムを確立する必要がある。アルゴリズムがもつインパクトを理解する助けとなるようなシステムだ。アルゴリズムの利用や最適化の方法、どこで収集したデータがどのように使われているのかといったことについて情報を提供し、人々がそこに関与できるようなメカニズムを構築していかなければならない。

理想の未来か、過去の規範か

現代のコンピューターサイエンティストは、かつての保険数理士よりはるかに複雑なことに取り組んでいるし、実際に公正なアルゴリズムをつくろうと試行錯誤を重ねている。アルゴリズムにおける公正さは正確さとイコールではなく、公正さと正確さとの間に存在するさまざまなトレードオフによって定義される。

問題は、公正という概念は、それだけで完結するシンプルな数学的定義に落とし込むことはできないという点だ。公正さは社会的かつ動的であり、統計的なものではない。完全に達成することは不可能だし、民主主義の下での監視と議論によって常に改良されていくべきものなのだ。

過去のデータと、いまこの瞬間に「公正」とされることに頼るだけでは、歴史的な不公正を固定化してしまうだろう。既存のアルゴリズムとそれに基づいたシステムは、理想の未来ではなく過去の規範に従っている。これでは社会の進歩にはつながらず、むしろそれにブレーキをかけることになるはずだ。

Credits

Translation by Chihiro OKA

Applied Ethical and Governance Challenges in Artificial Intelligence(人工知能の応用における倫理やガバナンス面の課題)という授業をJonathan Zittrainと共同で行なっている。ティーチングアシスタントのSamantha Batesがまとめたシラバスや概要を3回に渡ってブログ投稿する予定で、今回が2回目。John BowersとNatalie Satielもティーチングアシスタントを担当している。1回目のポストはこちら。

僕なりに要点をまとめてみた。

第1部では、この分野の定義付けを行い、いくつかの課題を理解しようとしてみた。この分野における文献の多くでは、公平性と説明可能性は曖昧な定義による単純化し過ぎる議論で語られており、懸念が残る形で終わった。また、敵対的攻撃や類似するアプローチなどの新しいリスクに対して、技術に携わるコミュニティーとして我々はどう対応すればいいのか、今後の難題に危惧しながら第1部を終えた。

第2部では、人工知能における倫理とガバナンスについて、ある種の絶望感を抱えながら、課題をさらに深く追求していく。Solon BarocasとAndrew D. Selbstが共著した論文『Big Data's Disparate Impact』(ビッグデータの差別的な影響)では、アメリカの公民権法第7編(タイトル・セブン)を取り上げ、差別や公平性に関する法律の現状が紹介されている。この法律は、公民権運動で提起された差別問題を是正すべく制定されたものだったが、司法制度はアファーマティブ・アクション(積極的格差是正措置)などの救済手段を通して社会的不公平を正す方向から離れてしまった、と著者たちは言う。代わりに、法制度はプロセスの公平性に重点を置き、所得の再分配や歴史的不公平の解決を軽視するようになった。その結果、法制度は公平性についてより厳密な見解を持つようになり、いわば保険数理的な「all lives matter」(黒人差別に反対する社会運動Black Lives Matterに対抗するスローガン)的なアプローチとなっている。第1部でアマゾンの偏った雇用ツールについて話し合った際、人為的な調整によって女性やマイノリティのスコアを増やせばいいのでは?という解決策も提案された。BarocasとSelbstの論文では、このような解決方法はもう法律では支持されていないことが紹介されている。エンジニアたちは「差別を禁止する法律は当然あるはずだから、それを使おう」と思ったようだ。実際は、その法律は所得の再分配や社会的公平性について飽きらめているのだ。Jonathanは、不法行為法における社会的不平等の扱いも似たようなものだと指摘する。例えば、交通事故で裕福な人と貧乏な人を同時に轢いてしまった場合、裕福な遺族により多く賠償金を払う必要があるのだ。賠償金の計算は、被害者の将来の収益力に基づく。不法行為法では、タイトル・セブンと同じように、「社会的な不公平は存在するかもしれないが、この法律はその問題を解決するものではない」ということになっている。

Sandra Wachterの論文では説明可能性を提供する方法としてcounterfactual(反事実的条件)の活用が提案されている。これは素晴らしいアイデアで、説明可能性に関する議論を前に進めることができるものだと思う。ただし、GDPRなどの法律によってそのような説明の提供を企業に義務付けることが実際に可能か、Sandraも懸念を抱いているようだ。僕たちもcounterfactualの限界について、バイアスの特定や、個人に応じた"最高"の答えを出すことができるのか、いくつか懸念を感じている。この限界はSandraも論文で取り上げている。

最後に、敵対的攻撃について理論的なアプローチからさらに進めて具体例を検証するために、医療系AIシステムに対する敵対的攻撃のリスクに関してJonathanと僕がJohn Bowers、Samuel Finlayson、Andrew L. Beam、Isaac S. Kohaneと共著し、最近発表した論文を取り上げた。

第2部を構成する3回の授業については、Samanthaが作成したまとめや読み物へのリンクも掲載するので、参照されたし。

第2部:予測

Samantha Bates作

シラバス・メモ:"予測"段階

『人工知能おける倫理やガバナンス面の課題』のシラバスの第2部へようこそ!第1部では、宿題として課された読み物や授業での話は、自律システムの社会的、技術的、そして哲学的なルーツがいかにして公平性、解釈可能性、そして敵対的事例に関する問題に関与しているかを理解することに焦点を置いた。この講義の第2ステージは"予測ステージ"と位置づけ、これらの問題の社会的を検討する内容とした。このステージで最も重要だったのは、これらの問題の多くは社会的や政治的な問題であり、法律や技術によるアプローチのみで対応するのは不可能、ということが明らかになった点かもしれない。

5回目の授業:不公平なAIの影響を予測する

予測ステージの初日には、Cornell UniversityのSolon Barocas助教授が授業に参加。雇用におけるアルゴリズムの利用について法律や技術の観点から検証した同氏の論文『Big Data's Disparate Impact』(ビッグデータの差別的な影響)について話し合った。

  • "Big Data's Disparate Impact" by Solon Barocas and Andrew D. Selbst, California Law Review (2016) / Solon Barocas、Andrew D. Selbst(2016年).ビッグデータの差別的な影響.California Law Review

予測ステージの初日では、クラスの焦点が、自律システムの根底にある技術的な仕組みを検討することから、それらの制度の社会的な影響を検証することに変わった。BarocasとSelbstの論文はデータ収集やデータのラベル付けが既存の偏見を意図的にも非意図的にも永続させている場合があることについて考察している。著者たちはデータ・セットに差別的な効果がある主な例を5つ紹介している。

  1. 自律システムによる決定に利用されるパラメータを、データ・マイニングを行なう人間が決めるとき、私たち自身の人間的なバイアスがデータセットに組み込まれる可能性がある。
  2. トレーニング・データが収集された方法やレベル付けされた方法によっては、すでに偏りがある可能性がある。
  3. データ・マイニング・モデルは限られた数のデータ要素を検討しているため、扱われているテーマにとって典型的でないデータに基づいて個人や集団に関する結論を出してしまう可能性がある。
  4. Cathy O'Neilが言ったように、モデルが決断する際に利用するデータ要素が階級身分の代用物である場合、偏見が入ってしまう可能性がある。
  5. データ・マイニングが差別的なのは意図的である可能性がある。ただし、意図的でない場合のほうが多く、意図的であるかどうかを特定するのも難しい、と著者たちは主張する。

雇用における差別の是正に取り組んでいる法原理は存在するものの、実際に適用することが難しいことを著者たちは明らかにしており、この傾向はデータ・マイニングにおいて特に強い。公民権法の第7編(タイトル・セブン)は意図的な差別(差別的取扱い)と非意図的な差別(差別的インパクト)に対して法的責任を定めているが、いずれの種類も立証するのは難しい。例を挙げると、意図的な差別を理由に雇用者に責任を負わせるには、原告は代わりになる非差別的な方法が存在し、差別的な慣行と同じ目的を達成しうることを示さなければならない。また、雇用者に代替手段が提示された際、雇用者がその検討を拒否したことも証明しなければならない。大抵の場合、雇用者側は、代替手段について認識していなかったことを証明できれば、あるいは、差別的な要素があるかもしれない方針に正当な業務上の理由(業務上の必要性に基づいた弁護)があれば、裁判での防御が成功するのである。

データ・マイニングにおけるバイアスを明らかにし、証明し、是正するのが非常に難しいのは、社会全体として、差別への対処における法律の役割をはっきりさせていない、ということも関係している。anticlassification theory(反分類理論)という説によれば、法制度には、意思決定者が社会の被保護階層を差別しないよう保証する義務があるのだ。これに対抗する理論のantisubordination theory(反服従理論)は、より現場主義的な取り組み方を推奨しており、法律制度は、社会から取り残された人々の生活を積極的に改善させることによって身分に基づいた不平等を社会レベルでなくすことに取り組むべきである、としている。現行の社会では反分類的な取り組みが支持されており、その理由として、反差別法は被保護階層がより良い機会を得られるようにすることのみを目的としていない、という主旨の判決が早い段階で下されて先例が確立されたことも関係している。著者たちは、データ・マイニングが如何にして雇用における既存のバイアスを悪化させるかを示しているものの、効率的な意思決定と偏りの排除を両立させようとしたとき、社会的な代償があるのだ。

この論文は、問題解決の責任は誰にあるのか、という問題も提起している。BarocasとSelbstは、データ・マイニングにおけるバイアスの大半は意図的でないと強調しており、バイアスを明らかにし、技術的な修正を導入することによって偏りを無くすのは非常に困難かもしれない、という。同時に、この問題を法制度において解決するのを同じぐらい困難にしている政治的や社会的な要因があり、この問題への取り組みは誰が担当すべきか?という問題もある。著者たちは、社会全体として、私たちは差別に関する諸問題への取り組み方を見直す必要があるかもしれない、としている。

6回目の授業:解釈可能性が無いAIの影響を予測する

6回目の授業では、弁護士でOxford Internet Instituteの研究員でもあるSandra Wachterを迎え、自律システムに解釈可能性を持たせるためにcounterfactual(反事実的条件)を利用する可能性について話し合った。

解釈可能性に関する前回の話し合いでは、クラス全体として、「解釈可能性」という用語の定義は、決定の背景や前後関係、そしてモデルに解釈可能性を持たせる動機によって大きく変わるため、定義できない、という結論に達した。Sandra Wachterらの論文は、「解釈可能性」を定義することは重要ではなく、焦点を置くべきところは、個人がモデルの成果を変えたり、対抗するための手段を提供することだと主張する。著者たちは、これらの自動化システムをより透明性のあるものとし、システムに責任を取らせる方法を立案すれば、AIに対する一般人の信頼を高める結果をもたらす、と指摘しているが、論文の主な焦点は、GDPRの説明要件を満たす自律モデルを設計するにはどうすればいいか、というところにある。論文が提案する解決策は「ある決定が受け止められた理由と、その決定に反対する手段と、どうすれば望まれる結果を将来的に得られるかについて限られた"アドバイス"を提供する」counterfactualを個々の決定(ポジティブなものとネガティブなもの両方)に対して発生させることである。


CounterfactualはGDPRの説明可能性の要件を満たし、上回るだけでなく、法的拘束力のある説明義務に向けた土台を作る効果がある、と著者たちは主張する。自動化されたモデルの技術的な仕組みを一般人に説明する難しさや、企業秘密や知的財産を守ることに関連する法的課題、そしてデータの対象者のプライバシーを違反する危険により、AIによる意思決定に関する透明性をより多く提供することはこれまで困難だった。しかし、counterfactualはこれらの課題に対する回避手段となり得る。なぜならば、counterfactualは「入力値がこう違っていれば、決定もこう変わる」と説明するものであり、モデルの仕組みを開示するものではないからである。例を挙げると、銀行ローンのアルゴリズムに関するcounterfactualは、ローンを拒否された人物に対して、年収が3万ドルでなく、4万5千ドルだったらローンを受けることができた、と伝えるかもしれない。この例でのcounterfactualは、モデルの技術的な仕組みを説明せずに、当事者に決定の根拠と、将来的に結果を変えるにはどうすればいいかを伝えることができる。なお、counterfactualはバイアスや不公平が絡む問題への十分な解決策ではない。あるモデルにバイアスがあることの証拠提供なら、counterfactualにできるかもしれない。しかし、counterfactualはとある決定と特定な外的な事実との間の依存性を示すのみなので、偏りの原因かもしれないあらゆる要因を明らかにしたり、とあるモデルに偏りがないことを確認したりする働きは期待できない。

任意の読み物『Algorithmic Transparency for the Smart City』(知的な都市のためのアルゴリズムの透明性)は、市庁によるビッグデータ分析技術や予測アルゴリズムの使用に関する透明性を検証している。書類作成や情報開示の拙劣さや企業秘密に対する懸念が原因で、モデルがどのように機能したかや、結果として市に与えることとなる影響を理解するのに必要な情報を市庁が得られない状況が頻繁に起こった、と著者たちは結論付けている。この論文では、Watcher et al.の論文も言及する自律モデルを理解しようとしたときに直面する障害について考察をさらに発展させており、反事実的な説明の展開が適していそうなシナリオを複数提示している。

7回目の授業:敵対的事例の影響を予測する

予測をテーマとした3回目の授業では、敵対的事例に関するディスカッションの続きとしていくつかの起こり得るシナリオを検討し、特に、それらの利用が私たちにとって有利にも不利にもなり得る医療保険詐欺について話し合った。

敵対的事例を取り上げた前回の授業では、敵対的事例は如何にして作られるか、を理解するためのディスカッションが中心だった。今回の読み物は、敵対的事例が、利用方法によって私たちにとって有利にも不利にもなり得ることを掘り下げた内容となっている。論文『Adversarial attacks on artificial intelligence systems as a new healthcare policy consideration』(医療保険政策に関する新しい検討事項としてのAIシステムに対する敵対的攻撃)では健康保険費の不正処理に関する敵対的事例の利用を検証している。医師による「アップコーディング」という行為があり、これは、より多くの報酬を得るために、実際に行われた処置よりもはるかに重要な医療行為に対して保険金を請求することである、と著者たちは説明する。敵対的事例がこの問題を悪化させる場合が想定される。例えば、良性のほくろを写した画像に医師がわずかに手を加えた結果、保険会社の自律請求コード・システムが悪性のほくろとして誤って分類してしまう場合がある。保険会社は、保険請求の妥当性を裏付ける証拠の提出を追加で義務付けても、敵対的事例の利用によってそのシステムが騙されることもあり得る。

保険詐欺は医療におけて深刻な問題だが、その詐欺性が明確でない場合もある。また、医師がアップコーディングを行うのは、本来なら保険会社が認めない医薬品や治療を使えるようにして患者の医療体験をより良くするため、という場合もある。同様に、論文『Law and Adversarial Machine Learning』(法律と敵対的機械学習)は、機械学習の研究者に対して、彼らが構築する自律システムが、個人ユーザーにとって役に立つ場合もあれば、同じユーザーにとって悪影響が及ぶ使い方がされる場合もあることを検討すべきだとしている。研究者が作ったツールを、圧政的な政府が国民のプライバシーや言論の自由を侵害するために使う可能性もある、著者たちは研究者に警告している。同時に、圧政的な国家の下で生活している人々は、敵対的事例を利用して国家の顔認識システムを回避し、探知されないようにすることができるかもしれない。これらの例は両方とも、敵対的事例をどう扱うかは簡単に決められないことを示している。

これらの論文では、敵対的事例に起因した問題への介入策の作成に関する助言が記されている。医療においては、「procrastination principle」(先延ばしの原則)というインターネット初期に生まれた概念で、問題を未然に防ぐためにインターネットのアーキテクチャを変えるべきではない、とする説が、敵対的事例の場合にも当てはまるかもしれない、と著者たちは言う。早過ぎる段階で医療における敵対的事例に関する問題に取り組むと、効果的でない規制ができあがってしまい、この分野での革新の妨げとなる可能性がある、と著者たちは警告する。その代わりとして、敵対的事例に関する懸念については、既存の規制を延長し、保険金請求のために提出されるデータに対応する"指紋"的なハッシュ値を作成するなど、小さな段階を経て対応することを著者たちが提案している。

論文『Law and Adversarial Machine Learning』では、弁護士や為政者が、最善の機械学習政策を立てるには、機械学習の研究者の協力が必要である、と著者たちは強調する。従って、法律が解釈され得る場合やを法律をどう施行すべきかを為政者が理解するのを手伝うために、機械学習の開発者は敵対的事例のリスクを評価し、既存の防御システムの有効性を評価すべきである、と勧告している。機械学習の開発者はシステムを開発する際、攻撃が起きたかどうかの判定をはじめ、攻撃がどのように起きたかや、誰が攻撃を行なったかが判定しやすいシステム設計を心掛けるべきだ、と著者たちは提案する。例えば、「システムに対して敵対的攻撃が起きた際に警告を発し、適切な記録作りを勧告し、攻撃中の事件対応用の戦略を構築し、攻撃から回復するための復旧計画を立てる」システムを設計すれば対策になるだろう。最後に、著者たちは機械学習の開発者に対し、機械学習や敵対的事例は使い方によっては人権を侵害することもあれば、守るもできることに留意するよう呼び掛けている。

Credits

Notes by Samantha Bates, Syllabus by Samantha Bates, John Bowers and Natalie Satiel

訳:永田 医

2011年3月11日、日本の東北地方で大規模な地震と津波が発生し、福島第一原子力発電所で放射性物質の放出を伴う事故が起きた。事故の直後から日本全国で大気中の放射線量への関心が急速に高まったが、正確な情報を手に入れるのは極めて困難だった。

わたしは当時、放射線量の測定値をインターネット上の地図にまとめることを目的とした「Safecast」という非営利団体(NPO)の立ち上げにかかわった。測定に使える計測器の数が絶対的に不足していたためで、Safecastは独自にガイガーカウンターを設計、作成したのだ。わたしたちは最終的に100万カ所以上で放射線量の測定を実施し、データを一般公開することを目標にしていた。

当初は日本国内だけのプロジェクトだったが、世界各地から問い合わせがあり、放射線量の測定地域も広がっていった。Safecastが大きな成功を収めたのは、小型で高性能、かつ操作の簡単なガイガーカウンターを提供したことが理由だと考えている。計測器は最初は無償で貸し出していたが、活動が拡大する過程で組み立てキットを作成して販売した。

チェルノブイリやスリーマイル島の原発事故のあとでも民間主導の監視活動が行われていたが、世界中の専門家が協力してグローバルな放射線測定システムをつくり上げたのはこれが初めてだった。なお、放射線の基礎レヴェルは地域によって大きな違いがあるため、変化があったかどうか調べるには、まず対象となる地域の平時の放射線量を知る必要がある。

営利目的ではないデータ利用を活性化せよ

Safecastは非営利団体だが、近年は福島第一原発の事故で確立したモデルを大気汚染の測定に応用することに取り組んでいる。2017年および18年にカリフォルニアで起きた大規模な山火事では、原因物質こそ違うが、原発事故による放射能汚染にも劣らないひどい大気汚染が問題となった。

火災の発生後、TwitterにはN95マスク[編註:米国労働安全衛生研究所(NIOSH)が定めた一定の基準を満たす微粒子用マスク]や空気中の汚染物質の量に関する話題が溢れた。「Apple Watch」にネットから取得したと思われる大気汚染情報が表示されている写真を見たこともある。

わたしは当初、シリコンヴァレーのエリートたちの間で関心が高まれば、汚染物質の監視体制の強化につながるだろうと考えていた。大気汚染のモニタリングシステムの構築は進んでいるが、そのシステムは福島でSafecastが確立した放射線レヴェルの監視体制ほどには整備されていない。

この背景には、起業家への過度の期待があるのではないだろうか。シリコンヴァレーでは誰もが、スタートアップなら何でも解決できると信じている。しかし、起業家に一任することが最適なアプローチではない場合もあるのだ。

大気汚染の全体像を俯瞰することが困難な状況のなかで、情報開示を求める声が強まれば、オープンデータを扱う独立したシステムの確立を望む人は増えるだろう。現状では、民間から(多くの場合においては無料で)取得したデータを最も活用しているのは政府と大企業だが、問題はそのデータが一般には提供されていない点だ。

例えば、製薬会社は新薬の開発に向けてさまざまな医療データを利用する。誰もがこうしたデータを参照することができれば、救える命の数はもっと増えるのではないだろうか。

つまり、営利目的ではないデータ利用を活性化させ、これを長期的な政策評価に役立て、透明性を確保することが必要なのだ。データは個人の監視のために使われるべきではない。目先の金儲けではなく、長期的な視点に立って、社会に利益をもたらすことのできるモデルを構築すべきときが来ている。

データを公開しようとしない企業たち

歴史を振り返ると、人類が初めて手にした大気センサーは、炭鉱で毒ガスの検知に使われていたカナリアだったと考えられている。「炭鉱のカナリア」という表現があるが、坑夫たちはメタンや一酸化炭素といった毒性のあるガスが発生したことをいち早く知るために、この小さな鳥を坑道にもち込んでいた。

2000年代になると、一般の消費者でも簡単に使うことのできる携帯可能な小型計測器が登場した。一方で、汚染物質の計測方法が変わったために、数年前の計測データが比較対象として役に立たない事態も生じている。

大気汚染の度合いを示すために使われる「空気質指数(AQI)」と呼ばれる指標があるが、世界全体で標準化されていないために、国や地域、データの提供元によって基準が異なるほか、算出方法も明確ではないことが多い。

また、この分野で主要な役割を果たしているのは一般企業だが、こうした企業たちは自社のデータを公開しようとはしない。これはデータの自由化とオープンソースの重要性が“発見”される以前の価値観に基づいたビジネス戦略だが、企業はいまだに社外へのデータ提供を拒むだけでなく、標準化されたオープンデータを共有しようとする試みから市民の目を遠ざけ、そこに資金が向かわないよう努力を続けている。

つまり、誰もが勝手に温度計を組み立てて、摂氏でも華氏でもドリールでもランキンでも、とにかく好きな単位で気温を計測しているようなもので、まったく収拾がつかないのだ。

計測データの標準化に立ちはだかる壁

こうした状況では、市民に基準となるデータを提供するための調査や研究を行うことは難しい。データの標準化は企業にとっても利点がありそうなものだが、競合相手では協力という発想は生まれず、他社と差をつけるために規格外の方向へとシステムの改良を重ねていくことになる。

「Air Sensor Workgroup(ASW)」は、大気中の粒子状物質の計測における標準化を促進するための作業部会で、「Air Quality Data Commons」と名付けられた全米規模での大気汚染のデータ共有プラットフォームの構築を進めている。一方、カリフォルニアの大規模火災の発生以降、大気中の微粒子の計測機器の需要が急拡大したが、こうしたセンサーを手がけるスタートアップからの協力は得られていない状況だ。

これらのスタートアップ(と投資家たち)は、自分たちの事業の成否はビッグデータを囲い込めるかどうかにかかっていると信じている。それが計測データの標準化に向けたさまざまなプロジェクトの障害となっている。

スタートアップは通常は、互いに協力したりデータを共有したり、調査結果などを公表したりするオープンリサーチを実施するようなことはしない。また、仮に会社を閉鎖することになった場合に自社データを公開するようなシステムを備えた大気汚染関連のスタートアップは、わたしが知る限りでは存在しない。

データを囲い込む製薬会社と同じ構図に

大気汚染というのはニッチな分野であるように思われるかもしれない。しかし、データシェアは多くの重要な産業で課題になっている。例えば、医療分野では臨床試験のデータ共有を巡る問題がある。

具体的には、過去に実施された臨床試験のデータが一括管理されていないために、これまでに積み上げられてきた成果を活用することが、不可能ではないにせよ非常に困難なのだ。医療分野の調査や臨床試験には、政府から数十億ドル規模の補助が出ている。しかし、オバマ政権下で始まった、がん撲滅を目指す「ムーンショット計画」など一部の例外を除いて、補助を受ける上でデータの公開などは義務づけられていない。

バイオ医薬品メーカーは、米食品医薬品局(FDA)には治験データを提出するが、こうした情報を研究者や一般に公開することはしない。要するに、大気汚染データとほぼ同じ状況になっているのだ。

臨床試験や医療分野の研究調査は、費用の一部が税金で賄われている。それにもかかわらず、製薬会社は結果を公表せず、データを囲い込んでいる。データが共有されれば新薬の発見につながったり、ほかの治験でそのデータを利用することもできるはずだ。

データのオープン化が医療の向上につながる

オープンデータは、臨床試験のプロセスの合理化と結果分析における人工知能(AI)活用の鍵となる概念だ。こうしたことが進めば、医療ケア全般が飛躍的に向上するだろう(これについては、昨年書いた博士論文のなかで詳細を論じた)。

一方で、臨床試験の終了後6カ月以内に結果を公開することを義務づけるといった取り組みも徐々に進んでいる。また、企業同士の競争に影響を及ぼさない方法でデータ開示を進めようと試みるイニシアチヴも存在する。医学の進歩のために、データの「湖」と健全なエコシステムを構築することを目指しているのだ。

一般の人々がデータ開示を求める動きも拡大しており、これもオープンデータの促進に寄与している。東日本大震災より前は、日本で放射線量のデータをもっているのは政府と大企業であり、そのデータセットも緻密なものではなかった。福島第一原発の事故が起きたことで、人々は大気中の放射線量に注目するようになったが、政府や原発を運営する電力会社はパニックが起きることを恐れ、データ開示に消極的だった。

しかし、国民は情報を求めた。Safecastはこうした背景の下に生まれ、大きな成功を収めたのだ。なお、オープンソースの無料ソフトウェアは学術関係者や趣味人を中心に始まったことも付け加えておくべきだろう。当初はデータ開示を求める活動家たちと企業の間で対立があったが、やがてはオープンソースというビジネスモデルが主流になっていった。

コモンズの悲劇と、理念の挫折

最後に、大気汚染の計測器には多くの選択肢があるが、どれを購入するか検討する際には、最新モデルかどうかや、ソーシャルメディアで話題になっているクラウドファンディングのキャンペーンといったものに惑わされないでほしい。

重要なのは、製品を支える技術の学術的根拠が信頼できるものであること、そして計測データの基準が明確に示されていることだ。同時に、計測器を提供する組織が、クリエイティヴ・コモンズの「CC0」[編註:コンテンツやデータの所有者がすべての権利を放棄することを示すライセンス]でデータを共有しているかどうかも確認しよう。

個人情報などを含むために完全には開示できないデータセットについては(家系図やゲノム情報などがこれに相当する)、マルチパーティーコンピュテーションやゼロ知識証明といった最先端の暗号化技術を用いれば、匿名化して公開することが可能になる場合もある。

カリフォルニアの大規模な山火事によって、データを所有し管理するのは誰なのかについてきちんと議論すべきときが来ていることが明らかになった。ビッグデータの時代においては、データをもつ者が市場を支配するという考えが主流になっている。そこでは「コモンズの悲劇」[編註:資源が共有財(コモンズ)である状態ではその乱用が起こるために資源の枯渇を招くという経済学の法則]のなかで、社会と科学のための情報活用という理念は挫折してしまうのだ。

Credits

Translation by Chihiro OKA

Jonathan Zittrainと共同で授業をするのは今回で三度目。今年の講義は、Applied Ethical and Governance Challenges in Artificial Intelligence(人工知能の応用における倫理やガバナンス面の課題)という。セミナー形式なので、講演者を招き、彼らの論文や研究について話し合うスタイルが基本。講演者や論文の選定は優秀なティーチング・アシスタント陣のSamantha Bates、John Bowers、Natalie Satielが担当した。

Samは授業前の準備として論文の概要を書き、進行を決めておくことも担当している。この作業が、講師たちが目を通すメモという形で終わってしまうのはもったいないと思った。メモや概要を僕のブログに掲載すれば、誰でも授業内容の一部を習得できるし、興味深い会話のきっかけにもなるかもしれないのでSamの承諾を得て載せることにした。

この講義は、3つのテーマについて3回授業を行うセットを3回行う構成となっている。以前の授業は、トピックの全般的な概要に近い内容だったけれど、研究が進むうちに、多くの人が既に知っていることを復習するよりは、肝心な事柄を掘り下げたほうが面白い、という皆の意見が一致した。

選んだトピックはfairness(公平性)、interpretability(解釈可能性)、adversarial examples(敵対的事例)の3つ。各トピックに3回授業を割り当て、"診断"(問題の技術的な根本を同定する)、"予測"(問題の社会的影響を探求する)、"介入"(同定した問題の解決策を挙げ、各案のコストと利点を考慮しながら検討する)という順番で取り上げる。構成図は下記参照。

生徒たちはMITとハーバードから半々の割合で来ていて、彼らの専門分野はソフトウェア工学、法律、政策など幅広い。授業はとても良い形で進んでいて、いろんなトピックについて、こんなに深く学んだのは初めてだ、と個人的に感じている。その反面、諸問題が如何に難解かが明らかになってきて、これらのアルゴリズムの展開によって社会にもたらされる危害を最小限に留めるために必要な取り組みが、あまりにも規模が膨大なため、途方に暮れそうな時もある。

ちょうど"予測"の段階が終わったところで、これから"介入"を始めるところだ。次のステージに突入するにあたって、希望が持てる要素を見つけられればと思う。

以下、序論と第1段階("診断")の概要とシラバスをSamantha Batesがまとめたもの。論文へのリンクも掲載する。

第1段階を手短にまとめると、「公平性」をどう定義するかは不明で、特定な式や法則として表現するのは多分不可能だけど、動的なものである、ということは言える。「解釈可能性」は聞こえの良い言葉だけど、授業でZachary Liptonが言ったように、wastebasket taxon(くずかご的な分類群)であり、例えるならアンテロープに似た動物が実際にアンテロープかどうかにかかわらず、すべて「アンテロープ」と呼ばれているのに似た使い方をされる言葉だ。「敵対的事例」については、MITの数名の生徒たちが、我々は敵対的攻撃に対処する準備ができておらず、これらの攻撃に対して堅固でありながら効果的に機能するアルゴリズムを構築できるかどうかは不明、ということを明確に示してくれた。

第1部:序論と診断

Samantha Bates作

このテーマについて初めての投稿となる今回のブログでは、第4回までの授業の宿題として課された読み物をまとめており、序論から第1段階までが含まれている。"診断"段階では、クラス全員で公平性、解釈可能性、敵対的事例に関するAIの主要問題を同定し、自律システムの根本的なメカニズムがどのようにそれらの問題に関与しているかを検討した。授業での話し合いは、用語の定義やテクノロジーの仕組みなどを中心に行なった。講義シラバスの第1部と各読書物の要点をまとめたメモを以下に掲載する。

第1回:序論

1回目の授業では、講義の構成と目的を提示し、後の議論に向けて、この分野の現状を批評した読書物を宿題として出した。

"Artificial Intelligence -- The Revolution Hasn't Happened Yet" by Michael Jordan, Medium (April 2018)

Michael Jordan(2018年4月).人工知能―革命はまだ起きていない.Medium

"Troubling Trends in Machine Learning Scholarship" by Zachary C. Lipton & Jacob Steinhardt (July 2018)

Zachary C. Lipton、Jacob Steinhardt(2018年7月).機械学習の学問における不穏な傾向

上記の論文は両方とも現行のAI研究や議論に批判的な内容だけど、それぞれ違う視点から書かれている。Michael Jordanの論文の要点は、AI研究において多様な学問分野間の連携が不足していること。工学の新しい分野が誕生している今、非技術的な課題や視点も取り入れる必要がある、という主張だ。『Troubling Trends in Machine Learning Scholarship』(機械学習の学問における不穏な傾向)は、学問としての機会学習のコミュニティーにおいて、基準が低下しており、研究手法や慣行が厳格さに欠けていることに焦点を当てている。両方の論文において、著者たちは、この分野への信頼が保たれるよう、学問において厳格な基準が守られることを義務付けるべきだ、という正しい指摘をしている。

最初の読み物を、この分野の現状を批評する内容の論文にしたのは、生徒たちがこの講義で読むことになる諸論文を、客観的・論理的な視点から考えるように促すため。混乱を避けるためには正確な用語の使用や思考の説明が特に重要であることをこれらの論文が示してくれるのと同じように、生徒たちには、自分の研究や意見をどう伝えるか、慎重に検討するように、と私たち講師は求めている。この初回の読み物は、これから特定なトピック(公平性、解釈可能性、敵対的AI)を深く掘り下げる状況を整えてくれるものであり、講義で議論する研究についてどのようなアプローチで臨むべきか生徒たちに理解してもらうのに役立つのだ。

第2回:公平性に関する問題を診断する

診断ステージの1回目の授業では、機械学習における公平性に関する指導的発言者として活躍中のデータ科学者で活動家のCathy O'Neilを講演者に迎えた。

Weapons of Math Destruction by Cathy O'Neil, Broadway Books (2016). Read Introduction and Chapter 1: "Bomb Parts: What Is a Model?"

Cathy O'Neil(2016).Weapons of Math Destruction.Broadway Books

序論と第1章:爆弾の部品―モデルとは何か?

[OPTIONAL] "The scored society: due process for automated predictions" by Danielle Keats Citron and Frank Pasquale, Washington Law Review (2014)

(任意)Danielle Keats Citron、Frank Pasquale(2014).スコア付けされた社会:自動化された予測の正当な手続き.Washington Law Review

Cathy O'Neilの著書『Weapons of Math Destruction』は、予測モデルとその仕組み、そして予測モデルに偏りができてしまう過程などが分かりやすく書かれた入門書だ。欠陥のあるモデルが不透明で拡張性を持ち、生活に損害を与えてしまう場合(貧困層や社会的弱者が被害を受ける場合が多い)を、彼女はWeapons of Math Destruction (WMD)と呼ぶ。善意があっても、信頼性のある結論を出すために必要な量のデータが不足していたり、欠けているデータを代用品で補ったり、単純過ぎるモデルで人間行動を理解し、予測しようとする場合、WMDができやすい、とO'Neilは言う。人間行動は複雑で、少数の変数で正確に模型を作れるものではない。厄介なのは、これらのアルゴリズムはほとんどの場合、不透明なため、これらのモデルのあおりを受ける人は対抗することができない点だ。

O'Neilは、このようなモデルの採用が、予期し得ない深刻な結果をもたらす場合があることを示している。WMDは人間による検討や決断に代わる安価な手段であるため、貧困地域で採用されやすく、そのため、貧困層や社会的弱者へより大きな影響を与える傾向にある。また、WMDは行動の悪化をもたらす場合もある。O'Neilが挙げたワシントンD.C.のある学区の例では、結果が出せない教員を特定し、排除するために生徒たちのテスト成績を使ったモデルが採用されており、仕事を失わないために生徒のテスト成績を改ざんする教員もいたのだ。この場合、WMDは教員の質向上を目的に採用されたにもかかわらず、意図せぬ行動を奨励する構造ができてしまったため、逆の効果をもたらしてしまった。

任意の読み物『The Scored Society: Due Process for Automated Predictions』は、金融における信用スコアリングに関するアルゴリズムの公平性に関する論文だ。Cathy O'Neilがしたように、著者たちは信用スコアリングのアルゴリズムは既存の社会的不平等を悪化させていると指摘し、法制度には現状を変える責任があると主張している。信用スコアリングや信用情報の共有プロセスを公にすべき、と著者たちは提唱していて、スコアを左右する項目について信用スコアリング会社が一般人向けに教育を行なうことを義務化すべきともしている。Cathy O'NeilがWMDの3つの特徴のひとつとして挙げた不透明さの問題を改善すれば、信用スコアリング制度をより公平なものにし、知的財産権の侵害やスコアリング・モデルの廃止を回避できる、と著者たちは言う。

第3回:解釈可能性に関する問題を診断する

3回目の授業では、機械学習における解釈可能性の問題の定義と対処に取り組んでいるCarnegie Mellon UniversityのZachary Lipton助教授を迎え、解釈可能性のあるモデルとはどういうものか、について話し合った。

"The Mythos of Model Interpretability" by Zachary C. Lipton, ArXiv (2016)

Zachary C. Lipton(2016).モデルの解釈可能性という神話.ArXiv

[OPTIONAL] "Towards a rigorous Science of Interpretable Machine Learning" by Finale Doshi-Velez and Been Kim, ArXiv (2017)

(任意)Finale Doshi-Velez、Been Kim(2017)厳格な科学としての解釈可能性のある機械学習に向けて.ArXiv

3回目の授業は解釈可能性について話し合う最初の日だったので、この日のための読み物は両方とも「解釈可能性」をどう定義すべきか、そして解釈可能性が重要な理由を内容とするものを選んだ。Liptonの論文は、「解釈可能性」とは複数のアイデアを反映するものであり、現行の定義は単純過ぎる場合が多いと主張する。この論文は、議論のお膳立てをする質問を挙げている。「解釈可能性」とは何か?「解釈可能性」が最も必要となるのはどんな背景や状況か?より透明性が高いモデルや、成果を説明できるモデルを作れば、それは解釈可能性のあるモデルとなるのか?

これらの質問を検討することによってLiptonは、解釈可能性の定義はモデルに解釈可能性を望む理由によって変わる、と主張する。モデルに解釈可能性を求めるのは、その根底にあるバイアスを同定し、アルゴリズムの影響を受けてしまう人がその成果に異議を唱えられるようにするためかもしれない。あるいは、アルゴリズムに解釈可能性を求めるのは、決定に係る人間により多くの情報を提供できるようにして、アルゴリズムの正当性を高める、あるいは要因間に潜んでいるかもしれない因果関係を明らかにし、さらに検証できるようにするためかもしれない。我々が解釈可能性を求めているのはどんな状況においてか、諸々の状況の違いを明確にすることによって、解釈可能性が持つ多様な側面をより正確に反映する仮の定義に近づくことができる、とLiptonは言う。

さらに、Liptonは解釈可能性を向上させるために二種類の提案を検討している。透明性を高めることと、事後説明を提供すること。透明性を高めるアプローチは、モデル全体に適用される場合がある(シミュレーション可能性)。つまり、同じ入力データとパラメータがあれば、ユーザーはモデルの成果を再現できるはず。また、透明性を高める方法として、モデルの各要素(入力データ、パラメータ、計算)に個別に解釈可能性を持たせる方法や、トレーニング段階では、トレーニング・データセットがどんなものであれ、そのモデルは独自のソリューションにたどり着くことを示す方法もある。しかし、介入段階で更に詳しく述べるように、各レベルの透明性を増やすことは、前後関係や採用されるモデルの種類によって、必ずしも得策ではない(例えば、リニア・モデルに対するニューラル・ネットワーク・モデル)。また、モデルの透明性を向上させることは、そのモデルの正確性や効力の低下につながる場合もある。解釈可能性を向上させる二つ目の方法として、事後解釈可能性を義務付ける方法がある。つまり、成果を出した後、そのモデルは意思決定プロセスを説明しなければならない、という仕組みにするのだ。事後説明は文字、映像、サリエンシー・マップ、あるいは似たような状況において似たような決断が下された経緯を示す類推などの形式で行なうことができる。事後説明は、モデルの影響を受けた人間がどうすればその成果に対抗したり、その成果を変えることができるかについて洞察を与えてくれる場合もあるけれど、こういった説明は意図せず誤解を招くこともあり、人間のバイアスに影響されている場合は特にその傾向が強い、とLiptonは警告する。

Liptonの論文の結論は、解釈可能性を定義することは非常に難しい、というもので、その理由として、前後関係や、モデルに解釈可能性を持たせる動機など、外的要因によって定義が大きく変わることが挙げられる。解釈可能性という用語の仮の定義が無い限り、モデルに解釈可能性があるかどうか判断する方法は不明のままである。Liptonの論文は解釈可能性をどう定義するか、そして解釈可能性は何故重要か、ということに焦点をあてているが、任意の読み物『Towards a rigorous Science of Interpretable Machine Learning』は、モデルに解釈可能性があるかどうかを判断するための様々な方法をより深く掘り下げて調べている。著者たちは解釈可能性を「人間に理解できる言葉で説明あるいは提示する能力」と定義しており、解釈可能性を評価する基準が無いことに特に懸念を抱いている。

第4回:敵対的事例への脆弱性を診断する

敵対的事例に関する一回目の授業では、敵対的テクニックについて最先端の研究を行っているMITの学生主導研究会LabSixを迎えた。LabSixは敵対的事例の初歩を説明し、彼らの研究の発表もしてくれた。

"Motivating the Rules of the Game for Adversarial Example Research" by Justin Gilmer et al., ArXiv (2018).

Justin Gilmerら(2018).敵対的事例の研究に関するルールを動機付ける.ArXiv

[RECOMMENDED] "Intriguing properties of neural networks" by Christian Szegedy et al., ArXiv (2013)

(推奨)Christian Szegedyら(2013).ニューラルネットワークの興味深い性質.ArXiv

Gilmerらの論文は、敵対的事例を分かりやすく紹介する読み物であり、敵対的事例の定義を「機械学習モデルに間違いを起こさせるために攻撃者が意図的に設計した入力」としている。この論文の趣旨は、攻撃者が敵対的事例を採用する可能性のある様々なシナリオを検証することにある。著者たちは、攻撃の種類を整理すべく、分類用語集を作成しており、次の用語が挙げられている。「indistinguishable perturbation(識別不能な摂動)、content-preserving perturbation(コンテンツ保存型摂動)、non-suspicious input(疑わしくない入力)、content-constrained input(コンテンツに制約された入力)、unconstrained input(制約のない入力)」。それぞれの攻撃カテゴリーについて、著者たちは攻撃者の動機や制約を検討している。様々な種類の攻撃やそれぞれの代償を理解することによって、機械学習システムの設計者は防御能力を高めることができる、と著者たちは主張する。

この論文には摂動に対する防御に関する文献の概要も含まれており、これまでの文献では、実際にありそうな、実世界における状況での敵対的事例攻撃が検討されていない、と著者たちは批判している。例えば、防御に関する文献において頻繁に挙げられる仮定の状況として、攻撃者が自動走行車を混乱させるために止まれ標識の映像を摂動する場合がある。しかし、Gilmerらは、この車のエンジニアたちは、システム自体による、あるいは実世界の出来事に起因した誤分類エラー(例えば、止まれ標識が風の影響で倒れた場合)を想定し、対策を準備したはずだと指摘する。攻撃者が車を混乱させる方法として、より簡単で非技術的なやり方があり、前述の仮定よりも現実的なテスト・ケースがあるはずだ、と著者たちは主張する。防御に関する文献について、著者たちによるもう一つの批判は、システムの防御体制のとある面を改善すると、そのシステムの他の面の頑丈さが低下してしまい、攻撃への脆弱性を高めてしまう場合があることを取り上げていない、というものだ。

任意の読み物として推奨したChristian Szegedyらの論文は、内容がより専門的で、用語をすべて理解するには機械学習の知識が必要である。難易度の高い読み物だけど、「敵対的事例」という用語を提唱し、このトピックに関する研究の基礎の構築に貢献した論文なのでシラバスに含めることにした。

Credits

Notes by Samantha Bates

訳:永田 医

科学はオープンなシステムによって知識を共有することによって、育まれ、発展していく。しかし、一部の学術誌の購読料が大幅に高騰しており、ハーヴァード大学のように資金的に恵まれた大学の図書館ですら定期購読を続けるのが難しくなっているという。

学術出版社の利益率はかなり高水準にある。これは、出版社は論文の著者や査読者に報酬を支払わないためだ。学術分野には一般的に政府から助成金が出ているが、こんな不自然な構造が持続可能なはずがない。わたしたちはこの状況にどう対処していくべきなのだろう。

ワールド・ワイド・ウェブ(WWW)が広まった1990年代、人々は新しい学問の時代がやって来ると考えるようになった。知識への自由なアクセスに支えられた力強い学びの時代だ。

インターネットは研究教育機関が利用するネットワークとして始まったが、インターフェースやプロトコルの改良を経て、いまでは何回かクリックすれば公開されている論文はすべて読むことができる。少なくとも、理論的にはそうであるはずだ。

ところが、学術出版社は自分たちを守るために固まるようになった。著名な学術誌へのアクセスを有料化し、大学図書館や企業から多額の購読料を徴収し始めたのだ。このため、世界の大半で科学論文を読めないという状況が生まれた。

同時に、一部の出版社が不当に高い利益率を出せるという構造ができ上がった。例えば、情報サーヴィス大手レレックスの医学・科学技術出版部門エルゼビアの2017年の利益率は、36.7パーセントだった。これはアップルやアルファベット、マイクロソフトといったテック大手を上回っている。

壁に囲まれた「知」

学問の世界では、最も重要かつ権威のある学術誌の大半が、この購読料という壁(ペイウォール)で守られている。ペイウォールは情報の自由な拡散を阻むだけでなく、研究者の採用や人事にも影響を及ぼす。

こうした学術誌に関しては、その雑誌に掲載された論文がどれだけ頻繁に引用されたかの平均値を示す指標が算出される。この「インパクトファクター」と呼ばれる指標が、大きくかかわってくるからだ。

研究職など学術業界の人員採用では、応募者が過去に書いて学術誌に掲載された論文の評価が重要な位置を占める。インパクトファクターは、ここで意味をもつ。

応募者を評価する側は大学委員会や他の研究者だが、こうした人々は自身が多忙なだけでなく、応募者の専門分野についてそれほどの知識をもっていない場合もある。このため、過去の論文の合計数とそれが掲載された学術誌の影響度を示すとされるインパクトファクターによって、研究者の能力を判断しようとするのが一般的になっている。

必然的に、職を得るためには研究者たちは実際の信頼性とは関係なく、インパクトファクターの高い学術誌に優先して論文を送らざるを得ない。結果として、重要な論文はペイウォールに囲まれ、金銭的に恵まれた研究機関や大学に籍を置いていなければ基本的にはアクセスできないことになる。学術の世界を支える助成金の財源である税金を支払っている一般市民、発展途上国の人々、スタートアップ、急速に増えている独立系研究者などは、ここには含まれない。

壁を迂回するサイトの意義

プログラマーのアレクサンドリア・エルバキアンは2011年、購読料という壁を迂回するために「Sci-Hub」という科学論文を提供する海賊版サイトを始めた。エルバキアンはカザフスタン在住だが、この国は大手学術出版社が法的措置をとることのできる範囲のはるか外にある。

彼女はドキュメンタリー映画『Paywall』のなかで、こんな冗談を言っている。エルゼビアは自らの使命を「専門知識を一般に広めること」だとしているが、どうやらうまくいっていないようなので、自分はその手助けをしているだけなのだ、と。

エルバキアンのサイトは著作権侵害だと非難を受ける一方で、研究者には人気のあるツールだ。壁が取り除かれれば協力の機会も増えるため、有名大学の研究者にもSci-Hubの利用者は多い。エルバキアンは、わたしの同僚で友人でもあった故アーロン・スワーツが心に描きながらも、その短い生涯では成し遂げられなかったことをやろうとしているのだ。

論文掲載料によるアクセス無料化の試み

学術誌のペイウォールは将来的にベルリンの壁のように崩壊する可能性があり、その構造の弱体化に向けた努力も進められている。20年近く前には、学術情報の無償公開を呼びかけるオープンアクセス(OA)運動がはじまった。

OAでは基本的には、研究者が論文の査読や校閲を経ていないヴァージョンを学術機関のリポジトリなどにアップロードする。この運動はアーカイヴ先となる「arXiv.org」といったサイトが用意されたことで盛んになった(arXiv.orgは1991年に始まり、現在はコーネル大学が運営する)。また、2008年にはハーヴァード大学がセルフアーカイヴの方針を打ち出したために、世界中の大学がこれに追随した。

一部の出版社はこれに対し、論文の掲載者の側に「論文掲載料(APC)」を課すことで購読料を廃止するという手段に出た。APCは著者である研究者や研究機関が支払うもので、論文1本当たり数百ドルから数千ドルと非常に高額だ。

Public Library of Science(PLOS)のような出版社は購読を無料にするためにAPCを採用しており、実質的にはペイウォールが存在する場合でも、このシステムの下では論文の閲覧は無料になる。

ある意味で「勝利」と言えるかもしれないが…

わたしは学術界にOAという考え方が広まり始めた10年前に、クリエイティブ・コモンズの代表に就任した。仕事を始めたばかりのころ、学術出版社の人たちを相手に講演する機会があり、著作物の再利用ライセンスを著作権者自らが決めるようにするというクリエイティブ・コモンズの趣旨を説明しようとした。これには著作物の帰属を記載するだけで著作権料を課さないという選択肢も含まれるのだが、出版社側の反応は「そんなことはとんでもない」というものだった。

あの当時と比べれば状況ははるかに進歩したと思う。レレックスですら一部の雑誌は無料化し、クリエイティブ・コモンズ・ライセンスも採用している。ほかにも多くの出版社が科学論文への自由なアクセスの実現に向けた準備を進めており、前述のAPCはこうした試みのひとつでもある。

つまり、ある意味では「勝利」と言えるかもしれない。しかし、学術研究における情報へのアクセスの変革は真の意味で達成されたのだろうか。わたしはそうは思わない。現行のオープンアクセスは支払う人が誰であれ何らかの課金を伴っており、それが少数の学術出版社に利益をもたらし続けている現状では、特に強くそう感じてしまう。

また、OAをうたう一方で、査読など品質管理のために必要な努力を放棄した学術誌も出てきている。こうしたことが起こると、OA運動そのものの信頼性が失われてしまう。

出版社にAPCを引き下げるよう求めることはできるが、主要学術誌とプラットフォームを抱える出版社がそれに応じる可能性は低いだろう。これまでのところ、出版社は機密保持契約やその他の法的手段を駆使して、値下げに向けた集団交渉を回避している。

新しい知のエコシステムの創造に向けて

メディアラボは先に、エイミー・ブランド率いるマサチューセッツ工科大学出版局(MITプレス)と共同で「MIT Knowledge Future Group(KFG)」というイニシアチヴを立ち上げた(念のために、わたしはメディアラボ所長で、かつMITプレスの役員でもある)。目的は新しい知のエコシステムを創造することだ。

これに向けて、正確な知識を共有するために誰もが無料でアクセスできるインフラを構築し、そのインフラを公的機関が所有するような体制を整える計画でいる。いまは学術出版社やプラットフォーマーに支配されている領域を再び取り戻すのだ。

この解決策はある意味では、オンライン出版に対するブログのようなものかもしれない。ブログは単純なスクリプトで、無料で情報発信ができる。運営するにはさまざまなサーヴィスがあるが、オープンソースで共通の標準が確率されている。ブログによって、非常に低コストで情報発信のためのプラットフォームの作成が可能になった。

このプラットフォームを利用すれば、非公式ではあるものの、以前なら数百万ドルもするコンテンツ管理システムがなければやれなかったことができる。こうしてユーザー作成型のコンテンツの時代が訪れ、その後のソーシャルメディアへとつながっていったのだ。

学術出版の世界はより複雑だが、ここで使われているソフトウェア、プロトコル、プロセス、ビジネスモデルを修正し再構築することで、経済的および構造的な面で革命を起こすことができるのではないだろうか。

オープンなシステムの構築が緊急の課題に

メディアラボは現在、オープンソースの出版プラットフォーム「PubPub」および公共の知を拡散していく際の標準となる「Underlay」の開発に取り組んでいる。また、研究者や研究機関を支援するためのテクノロジーやシステムをつくり上げ、それを運用していくための専門機関も設立した。

将来的には、科学論文を公開し評価するためのオープンソースのツールと透明性の確保されたネットワークからなるエコシステムが確率されるだろう。同時に、査読の過程を公表することで透明性を高めたり、体系的バイアスをなくすために機械学習を活用するといった、まったく新しい手法を試すことも考えている。

現状ではひと握りの商業出版社がプラットフォームを支配しているが、これに対する別の選択肢としてオープンなシステムをつくり上げていくことが緊急の課題となっている。こうした出版社は、研究情報のマーケットだけでなく、学術評価やより一般的には科学研究の技法も管理しているのだ。

学術評価では誰がその論文の主要著作者なのかということが重要になってくるが、共同研究やチームでの論文執筆が増えている昨今、この問題は複雑性を増している。

研究結果や発見についての功績が誰に認められるのかは大きいが、複数の著者がいる場合の著者名の並び順には共通のルールがなく、その研究への実際の貢献度や専門知識よりも、どちらかと言えば年功序列や文化のようなものによって決まっていることが多い。結果として、評価されるべき人が評価されていないのだ。

わたしたちの惑星の未来のために

これに対して、オンラインでの情報発信なら、著者名の「公平な」羅列から一歩前進することができる。映画のクレジットのようなものを想像してもらえばいい。論文のオンライン版は現状ではこうした形式になっていないが、これはいまだに印刷物の制約に従っているだけの話だ。また査読についても、プロセスの透明化、対価の提供、公平性のさらなる向上といった点で、改良の余地があると考えている。

知の表現と普及、保存のためのシステムについて、大学はよりよい管理が行われるよう主張していく必要がある。それは、大学の中核となる使命とも重なる。

人類の叡智とそれをどう活用し、また支援していくかということは、わたしたちの惑星の未来に直結している。知識は歪んだ市場原理やその他の腐敗要因から保護されなければならないのだ。そのための変革には世界規模での協力が必要不可欠であり、わたしたちはその促進に貢献したいと考えている。

Credits

Translation by Chihiro OKA

1年以上前の話になるが、2017年12月にボストン公立学校(BPS)の各学校の授業時間が変更され、保護者が強く反発する出来事があった。始業時刻や終業時刻が変わったことでスクールバスの運行スケジュールも改定されており、新しいスケジュールがあまりに非合理的だというので不満が噴出したのだ。新しい授業時間はコンピュータープログラムを使って作成されており、そのアルゴリズムを開発したのはマサチューセッツ工科大学(MIT)の研究チームだった。

しばらくしてから、アメリカ自由人権協会(ACLU)のマサチューセッツ支部で「Technology for Liberty Program」の責任者を務めるケイド・クロックフォードからメールが届いた。政治家たちに対し、市民生活に影響を与えるような政策の決定にアルゴリズムを使うことには慎重になるよう呼びかける論説に、共同で署名を入れてほしいというのだ。

ケイドはMITメディアラボのフェローで、わたしの同僚でもある。彼女はデジタル世界における自由について考えるうえで重要なトピックを追いかけており、注目すべき話題があれば知らせてくれるのだ。なお、当時は問題のアルゴリズムを設計したMITの研究者たちのことは、個人的には何も知らなかった。

「行政プロセスに欠陥」と指摘したが…

ケイドが書いた論説の下書きにわたしが何点か修正を入れたあと、この論説は『ボストン・グローブ』紙に送られた。この論説は2017年12月22日付の紙面に掲載されている。タイトルは「学校の要求に従ったからといって、アルゴリズムを非難することはできない」だ。

わたしたちはここで学校の新しいスケジュールを検証した上で、問題はアルゴリズムそのものではなく、さまざまな意見を組み上げてシステム変更の影響を判断するという行政プロセスに欠陥があったのではないかと指摘した。この論説が掲載されたちょうどその日、BPSは新しいスケジュールの導入を見合わせる方針を明らかにし、ケイドとわたしはハイタッチで喜びを分かち合った。

この時点では、反対運動を起こした保護者もわたしたちも、そのとき手に入る情報に基づいて正しいと思ったことを実行に移したに過ぎない。しかし、それからしばらくして、この問題を別の角度から考えさせられる出来事があった。

これから書くことは、公共のルールづくりにおいてテクノロジーをどのように利用すべきか、またこうしたルールの影響を受ける人々からのインプットを政策づくりにどのように反映していくべきかについて、重要な視点を与えてくれると思う。

現在は民主主義にとって暗澹たる時代であると同時に、人間がテクノロジーを制御しきれなくなるのではないかという不安が増している。こうした状況にあって、わたしの体験した一連の出来事から、どうすればアルゴリズムを適切に活用できるのかという問題について、より深い理解を得られるはずだ。また、「デモクラシー2.0」というものを考える上でも役に立つかもしれない。

「明らかに何かがおかしい」状況

冒頭の事件から数カ月後、今度はMITのオペレーションズ・リサーチ・センターで博士課程に在籍するアーサー・デラルーとセバスティアン・マーティンから連絡をもらった。彼らは新しい授業時間を組み上げたアルゴリズムを開発したチームの一員で、ボストン・グローブの論説を読んだという。電子メールには丁寧な口調で、わたしが「事態の全容をつかめていないのではないか」と書かれていた。

ケイドとわたしは、アーサーとセバスティアンに会うことにした。この面会には、彼らのアドヴァイザーでMIT教授のディミトリス・ベルツィマスも参加してくれた。彼らはまず、わたしたちに変更に反対する保護者による抗議運動の写真を見せた。そこに写っていたのはほぼすべてが白人だったが、学区内の子どもたちの多くは非白人で、白人家庭は全体の15パーセントにすぎない。明らかに何かがおかしかった。

アーサーとセバスティアンの研究チームは、時間割を変更した場合の影響を割り出して評価するアルゴリズムも開発した。なかでも重要だったのが、登下校に使われるスクールバスに関するアセスメントで、BPSは運行スケジュールの最適化だけでなく、コストの削減も求めていた。

実はスケジュールの改定に先駆けて「Transportation Challenge」と題したコンペティションが行われ、MITのチームがつくり出したアルゴリズムが選ばれたという経緯がある。BPSはかなり前から授業時間の調整に取り組んでいたが、コストを抑えたままでバスのスケジュールを最適化するのは至難の業で、最終的には外部の力を借りることにしたのだ。

すべての問題を解決し、コストを上げないという難題

MITのチームのアルゴリズムは、必要な要素をすべて盛り込んだ上で、バランスを保った解決策を見つけ出すことに成功した。これまでは複雑なバスシステムの運用コストを算出するのはほぼ不可能で、それが授業時間の変更を検討する際の障害になっていたという。

チームはコンペの終了後、BPSと共同でアルゴリズムの改良に取り組んだ。行政が主催した住民参画のための説明会などにも加わって保護者らの要望を聞き、さらなる最適化を進めていった。

チームはこの過程で、アルゴリズムに各家庭の資産状況という要素を付け加えることにした。既存の授業時間体系は、主に低所得世帯に対して著しく不公平だということが明らかになったためだった。

また、高校生は始業時間が早すぎると睡眠にマイナスの影響が出るという調査結果があったので、この点も考慮した。さらに、発達障害などを対象とした特別支援プログラムも最適化の優先事項に加えたほか、低学年の児童たちの下校時刻が遅くなりすぎないように注意が払われた。

アルゴリズムは、これらすべての問題をコストを上げないようにしながら解決するよう命じられた。それどころか、できれば予算を削減したいという期待までかけられたのだ。

裕福な世帯に対する「バイアス」

事前調査からは、学区内のどの学校でも変更そのものに反対している層が一定数いることがわかっていた。また、一部の学校では多数派の声をくんで、終業時刻を午後1時半に設定するといった特殊な条件を設定することも可能だったが、そんなことをすれば少数ではあっても強い反発が出ることは必至だった。

アルゴリズムが導き出した解決策には、始業時刻が朝8時より遅い高校の数を大幅に増やす、終業時刻が午後4時以降になる小学校の数を減らすといった変更が含まれていた。最終的に出来上がった案は、大多数の人にとって既存のシステムよりかなり優れたものになっていた。

もちろん不満を表明する保護者がいることは予想された。しかしアーサーもセバスティアンも、あれほどまでに激しい抗議運動が起こるとは考えていなかったという。

大きな論点のひとつが、最適化の条件に各家庭の「資産」を組み込んだ結果として、アルゴリズムの出した答えには裕福な世帯に対する「バイアス」がかかっていたという点だ。また、コンピューターが決定を下したという事実も人々を動揺させたのではないかと、わたしは思っている。

新しい授業時間を受け入れた保護者は、その決定プロセスにまで注意を払うことはなかったが、不満を抱いた人々は変更中止を求めて市庁舎に押し寄せた。そのニュースを知ったケイドとわたしは、当時は反対派への支持を表明して、アルゴリズムの提案の「問題点」を訴えたのだ。

そして行政側は反対運動に押され、変更を断念すると決めた。ボストンのスクールバス改革は頓挫し、BPSとMITのチームの努力も水泡に帰したわけだ。

個人という立ち位置からの見解

白人を中心とした裕福な世帯で構成される反対派の保護者たちが、低所得層の家庭を助けるために自分たちにとって有利な既存の時間割の廃止に賛成するかどうかはわからない。ただ、高校生の睡眠、低学年の児童たちの下校時刻、特別なケアが必要な子どもたちを優先する、運用コストの削減、所得による不公平が生じないようにするといったアルゴリズムに組み込まれた諸条件は、どれもごく普通に納得できるものだ。最適化はこうした条件に基づいて行なわれたということを理解すれば、たいていの人は新しいシステムが現行のものより優れているという意見に賛成するのではないかだろうか。

問題は、大局的な視点から個人という立ち位置に移ると、人々は急に身構えて文句を言い始めるという点だ。一連の騒動について考えていたとき、わたしはハーヴァード大学の心理学教授ジョシュア・グリーンが提示した問題に触発されて、メディアラボのScalable Cooperation Groupが実施したある研究を思い出した。

グリーンは自動運転システムについて、社会の大半が事故の際に多数の歩行者を救うにはクルマの搭乗者を犠牲にするといった人工知能AI)の合理的な判断を支持する一方で、自分はそんなクルマは買わないと考えているという矛盾を指摘したのだ。

テクノロジーはどんどん複雑になっているが、そのおかげで、わたしたちが社会をつくり変えていく能力も強化されつつある。同時に、合意形成やガヴァナンスといったものの力学が変化していることも確かだろう。

ただ、社会の均衡を保つためには妥協も必要だという考え方は、なにも目新しいものではない。民主主義を機能させていく上で基礎となる理念だ。

決定過程のブラックボックス化という問題

MITの研究者たちは、アルゴリズムの開発過程で保護者らと話し合う機会があったが、保護者たちは授業時間の最適化において考慮された要素をすべて理解しているわけではなかったという。時間割を改良するために必要となるトレードオフは明確には示されておらず、また変更の結果としてもたらされる利点も、それぞれの家庭が受ける影響と比べれば曖昧なものに見えた。

そして、保護者たちの抗議運動がニュースで報じられたときには、個々の変更がなされた理由や、そもそもなぜ時間割を刷新するのかという俯瞰的な視点は失われてしまっていたのだ。

一方で、今回の事例で難しかったのは、アルゴリズムの決定過程のブラックボックス化という問題だ。これに関しては、スタンフォード大学の熟議民主主義センターが討論型世論調査(DP)という手法を紹介している。これは民主主義を採用したガヴァナンスにおける意思決定の方法のひとつだ。

具体的には、政策立案の過程で影響を受けるグループの代表者に集まってもらい、数日間にわたって討議を行う。その政策の目的を評価し、必要な情報を全員で検討することで、利害対立のある人々の間で合意形成を目指すのだ。

BPSの場合、保護者たちがアルゴリズムによる最適化における優先事項を十分に検討し把握していたなら、自分たちの要望がどのように反映されたかをより簡単に理解することができただろう。

人間の協力の重要性

アルゴリズムを開発した研究者たちとのミーティングのあと、ケイドがデヴィッド・シャーフェンバーグというジャーナリストを紹介してくれた。シャーフェンバーグはボストン・グローブの記者で、BPSの授業時間変更についての調査記事を書いたという。

この記事には、読者がMITのチームのアルゴリズムを理解できるようにシミュレーターが組み込まれており、コストや保護者の要望、子どもたちの健康といった要素があるなかで、どれかを重視すればほかのものは犠牲にせざるを得ないという難しい状況がよくわかるようになっている。

テクノロジーを利用して学校運営の改革を実施しようとしたBPSの試みは、こうしたツールによってバイアスや不公平を増幅させないためにはどうすべきかを理解する上で、貴重な授業となった。アルゴリズムを使えば、システムを公平かつ合理的なものに改良することができる。ただ、それには人間の側の協力も必要なのだ。

Credits

Translation by Chihiro OKA