還元に抗う

機械と共に歩む複雑な未来を設計する

レビュー、調査、編集チーム:Catherine Ahearn、Chia Evers、Natalie Saltiel、Andre Uhl

翻訳:永田 医

原文:Ito, J. (2017). Resisting Reduction: A Manifesto. Journal of Design and Science. https://doi.org/10.21428/8f7503e4

長いこと、技術的なシンギュラリティに反対するマニフェストを書いて、それを対話圏に発表してみんなの反応とコメントを得たいと思っていたところ、今年、『人間機械論:人間の人間的な利用』(The Human Use of Human Beings)(Norbert Wiener著)を著名な思想家たちとともに読んで議論し、本の共同執筆作業に参加しないかとJohn Brockmanから誘われたことがここに書いた思索につながった。

以下の論説を、MIT Pressとのパートナーシップで行われていたオープン出版プロジェクトPubPubを使って出版したのがフェーズ1。フェーズ2では、コメントを取り入れてより豊かに、そしてより情報に通じた内容となったこの論説の新しいバージョンがオンラインで公開され、そこにこの種子となる論説にインスパイアされた他の論説も加えてJournal of Design and Scienceの新しい号として発表された

バージョン1.2


自然界の生態系は、無数の"通貨"が相互作用し、フィードバックシステムに反応して繁栄と制御を可能にする複雑な適応システムのエレガントな例である。この協働モデルこそが人工知能への取り組み方の指針となるべきであり、指数関数的経済成長や、テクノロジーの進歩を通じて現在の人類の状態が超越される日が来ることを約束するシンギュラリティーがモデルとなるべきではない。60年以上も前に、MITの数学者・哲学者Norbert Wienerは「人間という原子が組織に組み込まれるとき、責任ある人間という、権利が尊重された形ででなく、歯車やレバーや棒として使われるようになってしまうと、その原材料が血と肉だということはほとんど無視されるようになる」と警鐘を鳴らした。ぼくたちはWienerの警告に耳を傾けるべきだ。

はじめに:通貨というガン

太陽が地上を照らすと、光合成によって水と二酸化炭素と太陽エネルギーが酸素とブドウ糖に変換される。光合成は、物質やエネルギーを別の状態に変換する生化学プロセスのひとつだ。これらの分子は、他の生化学プロセスによって代謝され、さらに別の分子になる。科学者たちは、これらの分子をしばしば"通貨"と呼ぶ。それはこうした分子が、細胞間やプロセス間でやりとりされて相互に利益がもたらすような、ある種の力をあらわしている(つまり、実質的には"取引"されている)からだ。こうした分子の、金融通貨との最大の違いは、"マスター通貨"や"外国為替市場"が存在しないことだ。それぞれの"通貨"は特定のプロセスでしか使えず、こうした"通貨"が形成する"市場"が"生命"という力学を動かす。

あるプロセスや生命体が捗り、その生産物(出力)として特定の通貨が豊富になると、他の生命体はその出力を別のものに変換するように進化する。何十億年の時を経て、地球の生態系はこのように進化し、膨大な代謝経路のシステムが誕生し、極めて複雑な自己調整型システムを複数形成した。これらのシステムは、例えば人間の体温を安定させたり、地球の気温を安定させたりする。ミクロからマクロまで、あらゆる規模において個々の要素が絶え間なく変動し、変化するにもかかわらず、これらのシステムは安定をもたらす。あるプロセスの出力は、他のプロセスの入力となる。最終的にはすべてが相互につながる。

ぼくたちの文明では、主要な通貨は、お金と権力だ。大抵の場合、社会全体を犠牲にしてでもこの二つを貯め込むのが目標となっている。地球の生態系に比べれば、非常に単純で脆弱なシステムだ。地球の生態系では、無数の"通貨"がプロセス間でやりとりされ、様々な入力と出力が行われる非常に複雑なシステムが複数形成されている。これらのシステムには、物事に適応したり、諸々の蓄えや流れ、そして繋がりを調節するフィードバックシステムがある。

残念ながら、現在の人類文明には自然環境に内蔵されているような回復力がない。ぼくたちの目標を決め、社会の進化の原動力となるパラダイム(基本的な考え方)は、数学者のNorbert Wienerが何十年も前に警告したような危険な道筋を人類に歩ませている。単一のマスター通貨という基本概念は、多くの企業や機関に当初の使命を見失わせてしまった。価値観や複雑性において重点が置かれるのは指数関数的経済成長、という傾向がますます強くなっていて、この現象を率いているのが営利企業だ。営利企業は、自治権と権利と権力と、ほとんど規制されない社会的影響力を獲得するに至った。こうした企業の行動は、ガンの行動と似ている。健康な細胞は自分の成長を調節し、環境に順応する。侵入すべきでない臓器に迷い込んでしまうと、自分を消滅させることさえある。これに対して、ガン細胞は際限のない増殖を実現すべく最適化されており、自分の機能や周りの状況を無視して拡散する。

ぼくたちを打ち続けるムチ

人間は進歩を実現させるために存在していて、進歩には制約のない、指数関数的な成長が必要だという考えこそが、ぼくたちを打ち続けるムチだ。この考え方が自由市場資本主義的制度で適用されて自然にできあがったのが現代の会社だ。Norbert Wienerは企業のことを「血と肉でできた機械」と呼び、オートメーションのことを「金属でできた機械」と呼んだ。シリコンバレーを拠点とする新しいタイプの巨大な会社(ビットでできた機械)は、シンギュラリティーという新興宗教を信じている人によって興され、運営されている部分が大きい。この新興宗教には、前述の基本的考え方からの根本的な変化がなく、指数関数的な成長の崇拝が現代の計算や科学に適用されて自然にできあがったものだ。そして計算力の指数関数的成長を考えたとき、その漸近線1的な存在として人工知能(AI)がある。

シンギュラリティーという概念は、指数関数的成長を遂げるAIがいずれ人間に取って代わる存在になる、というもので、人類がこれまで行ってきたこと、そして現在行っていることがすべて取るに足らないことだという考え方だ。これは、機械が解決するには複雑すぎると考えられていた問題を、計算を活用することによって解決した経験を持つ人たちが作った宗教と言える。彼らはデジタル計算という完璧なパートナーを見つけた。つまり、理解可能で制御可能な、思考と創出のためのシステムであり、複雑性を活用し、処理する能力が急速に高まっているシステムだ。このパートナーを使いこなせるようになった人は、富と権力を手に入れることになる。シリコンバレーでは、集団思考と、テクノロジーのカルト的な崇拝が金銭的な成功をもたらした結果、正のフィードバック・システムができあがった。このシステムは、負のフィードバックによって自己規制する能力がほとんどない。シンギュラリティーを信奉する人たちは、自分たちの信念が宗教扱いされることに抵抗を示すだろうし、自分たちの発想は科学やエビデンスに基づいていると反論するだろう。しかし、彼らは、自分たちの究極のビジョンを実現させるために、根拠のない主張をしたり、地に足のついた真実よりは、これまでの軌跡がいつまでも続くという発想、つまり信仰のみに基づいた思い切った行動を取ったりする。

シンギュラリティー信者は、世界が"知り得る"もので、コンピューターを使ってシミュレーションできないものはない、と信じている。そして、コンピューターが現実世界のややこしさを処理できるようになる日が来ると信じている。ちょうど、コンピューターには解決できないと言われていた諸問題を解決してみせたときと同じように。彼らにとって、コンピューターという素晴らしいツールは、これまであらゆることにうまく使えたため、どんな難題を突きつけても効果を発揮するはずで、やがて人間は既知の限界をすべて超越し、最終的には、現実さえも脱出できる速度のようなものをも実現させるはずだ、と考える。人工知能はすでに、自動車の運転、ガンの診断、そして裁判記録の検索や調査などの分野で人間の代わりに使われている。AIは更に進歩し、いずれは人間の脳と融合し、全知全能の超知性になる、というわけだ。コンピューターは人間の思考を増強・拡張し、ある種の"超死性"(amortality)をもたらすだろう、というのが熱狂的な信者の考えだ。(シンギュラリティーには"超死性"のための戦いが含まれており、これは人間はいずれ死ぬし、不死身にはなれないかもしれないが、死は加齢という死神によるものではなくなる、という考え方だ。)

しかし、企業が人間の超越性の前触れであるとしても、コンピューターを更に使い込み、バイオハッキングを続けていけば、どうにかして世界のあらゆる問題を解決できる、そしてシンギュラリティーは人類が抱える問題をすべて解決する、というシンギュラリティー信者の考え方は、どうしようもなく幼稚なものに思える。強化された頭脳と超死性を手に入れ、長大な思考ができるようになる日を夢見る人もいるが、企業はすでにある種の"超死性"を獲得している。企業は経営が成り立っている限り存在し続けるし、それぞれの構成要素が一体となっていることで、その合計以上の力を発揮する存在だ。つまり、企業は超死的な超知性と言えなくもない。

より多くの計算が行われても、人間の"知能"が高まるわけではない。計算力が強化されるだけだ。

シンギュラリティーの成果がポジティブなものとなる、と考えるには、十分な力さえあれば、このシステムはどうにかして自分自身を調節できるようになる、と信じることが前提となる。最終的な成果はあまりに複雑なものとなるため、ぼくたち人間は今はそれを理解できないが、"それ"は自分自身を理解し、自分自身を"解決"することになる、というわけだ。旧ソ連で行われた全体計画に、完全な情報と際限のない権力が加わったような状態を目指している人たちがいる。また、分散型のシステムに基づいたより洗練された見方をする人もいる。しかし、シンギュラリティー信者は、程度の差こそあれ、十分な権力と統制さえあれば、世界は"飼い慣らせる"と全員が信じている。シンギュラリティーを信じる人のすべてが、不死と裕福さを与えてくれるポジティブな超越としてシンギュラリティーを崇めているわけではないが、あらゆる曲線が垂直になる"最後の審判の日"がいつかは来ると信じている。

S字曲線もベル曲線も、傾斜が始まる頃は指数曲線に見えるものだ。システムダイナミクスに馴染みがある人にとって、指数曲線とは、自己強化が行われている状態、つまり際限のない正のフィードバック曲線を意味する。シンギュラリティー信者を興奮させ、システム系の人たちを怯えさせているのはこの点なのかもしれない。シンギュラリティーという概念に捕らわれていない人々のほとんどは、物事はS字曲線で説明がつく、と考える。つまり、自然界にはあらゆることに順応し、自己調整する性質がある、という考え方だ。例えば、パンデミックが起きても、経過を辿ってやがて感染の広がりは減速し、事態は適応する。以前とは同じ状態ではないかもしれないし、相の変化が起きる可能性もあるが、シンギュラリティーという考え方、特に、人間がややこしい存在で、いつかは死ぬという苦悩を抱えた存在であることをいつかは超越させてくれる救世主または最後の審判のようなものとしてのシンギュラリティー、という考え方は根本的に間違っている。

このような還元主義的な考え方は新しいものではない。BF Skinnerが強化理論を発見し、発表した後、教育は彼の理論に基づいて行われるようになった。行動主義的なアプローチは学習の狭い範囲でしか効果を発揮しないことは、今では学習を研究する科学者たちの間で知られているが、いまだにドリル練習に依存した教育方法をとる学校が多い。別の例を挙げると、優生学運動がある。これは社会における遺伝学の役割を、大幅に、そして誤った形で単純化しすぎた運動で、自然淘汰を人為的に後押しすれば「人類を直せる」という還元主義的な科学観を提言し、結果としてナチスによるジェノサイドを勢いづけてしまった。優生学の恐ろしさの残響は今日も残っていて、遺伝の研究では、知性などと関連があるかどうかを調べる内容のものは、ほぼすべてタブーとなっている。

人間は、過度に還元主義的な科学を社会に適用してしまった歴史から学ぶべきだし、Wienerが言ったように「われわれを打ち続けるムチにキスするのをやめる」べきだ。複雑なことをエレガントに説明し、混乱を理解へと還元することは科学の主要な原動力のひとつであるが、「すべてはできる限り単純にしなければいけないが、それ以上単純にしてはいけない」2というAlbert Einsteinの言葉を忘れてはならない。現実世界の知り得なさ(還元できない性質)は、アーチストや生物学者、そしてリベラルアーツ(一般教養)や人文学というややかしい世界で活動する人々が普段から接していてよく知っていることだが、ぼくたち人間は、そういった性質があることを受け入れなければならない。

ぼくたちはみんな参加者

Wienerが『人間機械論』(The Human Use of Human Beings)を執筆していた冷戦時代は、資本主義と消費者主義の急速な拡大を特徴とする時代で、宇宙競争の始まりでもあり、コンピュター時代の成熟期でもあった。諸制度を外部からコントロールできると信じ、世界で起きている問題の多くは科学と工学によって解決できると信じることが今より容易な時代だった。

その時期にWienerが主に論じていたサイバネティクス(人工頭脳学)は、客観的な視点から制御・調整できるフィードバックシステムに関するものだった。このいわゆる第一次サイバネティクスは、観察者としての科学者が起きていることを理解できるため、エンジニアが科学者の観察や洞察に基づいたシステムを設計できる、と仮定した理論だった。

今日では、気候変動、貧困、肥満、慢性的な病、現代テロリズムなど、人類が直面している問題のほとんどは、リソースを増やして制御を強化するだけでは解決できない。これは以前よりも明らかになっている。というのもこれらの問題は、複雑な適応システムの結果であり、しかも、しばしば問題を解決するために過去に使われていたツールの結果だったりするからだ。例えば、果てしなく生産性を上げたり、物事をコントロールしようとした結果なのだ。ここで第二次サイバネティクスが登場する。第二次サイバネティクスは、自己適応型の複雑なシステム、そして観察者がシステムの一部であることに関する理論だ。Kevin Slavinが『参加としてのデザイン』(Design as Participation)で述べたように、「あなたは渋滞に巻き込まれているのではなく、あなたこそが渋滞なのだ」3

現代の重要な科学的課題に効果的に対応するには、世界を多くの相互接続された、複雑な、自己適応型システムとして見なければならず、しかもそれぞれのスケールも次元も知り得ぬもので、おおむね観察者や設計者から不可分なものとして考えなければいけない、とぼくは信じている。つまり、ぼくたちは微生物から個人のアイデンティから社会や人類という種全体にいたるまで様々なスケールで、違った適応度地形(フィットネス・ランドスケープ)4を持つ複数の進化システムの参加者なのだ。一人ひとりの人間も、システムで構成されるシステムが、さらに大きなシステムを構成してできあがっているのだ。例えば、ぼくたちよりもシステムレベルでの設計者のようにふるまう体内の細胞がひとつのシステムであるように。

Wienerは生物学的進化と言語の進化を論じてはいるけれど、進化力学を科学のために活用するというアイデアは探究していない。個別種の生物学的進化(遺伝的進化)は繁殖と生存に推進され、ぼくたちの中に目標と、子孫をつくって成長したいという願望を植え付けた。このシステムは常に成長を調節し、多様性と複雑性を増やし、それ自身の回復性、適応性、持続可能性を高める5。このようなより広いシステムについての認識を高めつつある設計者として、ぼくたちは生物的、社会的な背景からの進化論的、環境的な入力によって定義される目標や方法論を持っている。でも創発的知性を持つ機械は、明らかにちがった目標や方法論を持つ。システムに機械を導入するにつれて、機械は個別の人間を強化するだけでなく、同時に、そしてより重要な点として、複雑なシステム全体を強化することになる。

ここで"人工知能"という概念の問題点が明らかになる。それは他の複雑な適応システムとの相互作用が無い状況での形態、目標、方法論を提案している点だ。機械知能を人間対機械という形で考えるのではなく、人間とシステムを統合するシステムを考えるべきだ。人工知能ではなく、拡張知能を。システムを制御、設計、理解するよるよりは、さらに複雑なシステムの、認識力を持つ、堅牢な、責任ある要素として参加するシステムを設計するほうが重要だ。そして、システムの設計者であると同時に、システムの構成要素でもあるぼくたち自身も、ずっと慎ましいアプローチを目指して、自分の目標と感性を問い直し、適応させねばならない。操ることよりも慎みが大事なのだ。

これを"参加型デザイン"とでも呼ぼう。参加者としての参加者によるシステム設計だ。これは繁栄の関数(flourishing function)の増加に似ていて、ここでの"繁栄"は、規模や力ではなく、活力と健康を表す指標だ。システムがいかに独創的に適応する能力を持っているか、は計測可能で、システムの回復力や、おもしろい形でリソースを使う能力も計測できる。

優れた介入を行うには、問題解決や最適化よりは、環境と時代に適切な感性を育むことが大事なのだ。その意味でそれはアルゴリズムより音楽に似ている。音楽では感性やセンスが大事であり、多くの要素がある種の創発秩序にまとまるものだと言える。楽器の編成や奏法によっては、システムが適応したり、予想外の、プログラムされていない形で動いたりするように押しやったりすることができが、それでもつじつまが合う、形の保ったものとなり得る。音楽そのものを介入として使うことは、新しい考えではない。1707年にスコットランドの作家兼政治家Andrew Fletcherは「わたしに国の歌を作らせろ。法律はだれが作ろうが知ったことではない」と言った。

法律を作る代わりに歌を書くことは意味がないと思えるなら、歌は大抵の場合、法律よりも長く世の中に残る点に注目してほしい。また、歌は硬軟問わず各種の革命でも重要な役割を果たしてきたし、その価値観とともに人から人へと伝えられるものだ。これは音楽やプログラミングの話ではない。歌が作用するレベルで活動することにより変化を引き起こそうとする、ということが大事なのだ。これは、例えばDonella Meadows等の『世界はシステムで動く』(Thinking in Systems)で論じられている。

Meadowsは論説『テコ入れ箇所:システムで介入すべき場所』(Leverage Points: Places to Intervene in a System)で、複雑な自己適応型システムにどう介入すればいいかを説明している。彼女によれば、システムの目標とパラダイムを変える介入のほうが、パラメータを変える介入や、ルールを変える介入よりははるかに強力で根本的なのだ。

システムにテコを入れるべき箇所

(有効性の低い方から順に)

  • 12.定数、パラメータ、数字(助成金、税金、規格など)
  • 11.バッファーなど、安定をもたらす蓄え(そのフローに比べて)
  • 10.フローや資材備蓄の構造(輸送ネットワークや人口年齢構成など)
  • 9.システム変化の速度に比べた遅延の長さ
  • 8.負のフィードバックループの強さ(それが補正しようとしている影響に比べて)
  • 7.正のフィードバックループを推進させて得るもの
  • 6.情報フローの構造(情報にアクセスできるのは誰か、そしてできないのは誰か)
  • 5.システムのルール(インセンティブ、処罰、制約など)
  • 4.システム構造を加算、変化、進化、あるいは自己組織化する力
  • 3.システムの目標
  • 2.システム(とその目標、構造、ルール、遅延、パラメータ)が発生するきっかけとなった考え方あるいはパラダイム
  • 1.パラダイムを超越する力

Wienerは進歩の崇拝についてこう述べた:

進歩を倫理的な原理として信奉する者は、この際限のない準自発的な変化プロセスを良いことと考えており、この世はいつか天国のようになる、と後世に保証できる根拠とみている。倫理的原理としての進歩を信じなくても進歩という事実を信じることは可能だが、多くのアメリカ人の教義問答においては、この両者はセットになっているのだ6

"持続可能性"という概念は、何事も大きいほうがいい、といまだに考えられていて、或るものが必要以上ある状態は、多過ぎる状態(そのために問題が発生するマイナスな状態)だと理解されていない世界において"解決"すべきことと考えるのではなく、これらの適合度関数(fitness functions)7の価値と通貨を検討し、ぼくたちの参加するシステムにとってふさわしく適切なものかを考えるべきなのかもしれない。

結論:繁栄の文化

flourishing(繁栄する)という言葉はElizabeth Anscombeが1958年に書いたエッセーが発表されてから特に重要な意味を持つようになったが8、繁栄を特徴とする感性と文化を作り上げ、"成功"について多様な指標を受け入れるには、権力とリソースを蓄積することよりも、経験の多様性と豊かさが重要だ。これこそが人類が必要としているパラダイムシフトだ。これは極めて適応性の高い社会を創り出すために使える、技術や文化のパターンを豊富に与えてくれる。この多様性はまた、システムの要素がお互いに養いあいつつ、単一通貨による単一文化のつくり出す搾取や収奪のエートスをなくせるようにしてくれる。この新しい文化は音楽、ファッション、スピリチュアル性などの芸術形態として広がる可能性が高い。

日本人としてぼくは、環境についてどうすればいいかと日本で最近尋ねてみた中学生たちが、幸福や、自然の中での人間の役割について質問を返したことに勇気づけられる。また同じように、MITメディアラボや、尊者テンジン・プリヤダルシと共同で教えている「意識の原理」という講義の生徒たちが、成功や意味を測るのに各種の指標(通貨)を使い、この複雑な世界での自分の場所を探す複雑で難しい課題に正面から取り組んでいるのを見て、やはり勇気づけられる。

ぼくはまた、IEEEのような組織が人工知能開発の設計ガイドラインを、経済的影響ではなく人間の福祉中心に構築しはじめていることにも勇気づけられている。Conservation InternationalのPeter Seligmann、Christopher Filardi、Margarita Moraが行っている自然保護活動は、原住民が繁栄できるように支援するものなので創造的でエキサイティングだ。もうひとつ、勇気づけられる例を挙げると、伊勢神宮の神官たち過去1300年にわたり、自然の再生と循環性を祝って20年毎に植樹して神殿を建て替え続けてきた儀式がある。

1960年代と70年代にはヒッピー運動が"ホールアース(全地球)"運動を全うしようとした。しかし、その後、世界は今日の消費文化へと逆戻りしてしまった。ぼくは新しい覚醒が起こり、新しい感性が文化的な変革を通じて人々の行動に非線形の変化を引き起こすと期待しているし、またそうなると信じている。システムのあらゆる層で、もっと回復力のある世界を創り出そうと活動し続けることは可能だし、またそうすべきだけれど、文化の層こそが、いまぼくたちが歩んでいる自滅の道をやめるという根本的な是正につながり得る層として、潜在力が最も高い層だとぼくは信じている。これを実現するのは、歴史的にもみられたように、新しい感性を反映し、増幅する若者たちの音楽や芸術になると思う。その感性とは、貪欲さに背を向け、「十分すぎるのは多すぎる」ことを認識した世界において、自然を思い通りに操るのではなく、自然と調和しつつ繁栄する感性だ。

注釈

  1. 漸近線とは、ある曲線に近づき続けながら、その曲線に接しない線のこと。シンギュラリティーにおける漸近線は、指数関数的成長の曲線が垂直になるときにできる垂直線だ。信者の間では、この漸近線が本当にあるのか、という議論よりは、この漸近線がどこにあるかについて議論されることが多い。
  2. これはよく使われる言い換えで、Einsteinが実際言ったのは「すべての理論の究極目標は、経験データをひとつ残らず適切に表現し、還元不可能な基本要素をできる限り単純かつ最小限にすることだ、というのは否定できないだろう」。
  3. 西欧の哲学と科学は"二元論的"であり、東洋の非二元論的な考え方とは対照的だ。この点については別の論説で長々と書けそうだが、ここで大事なのは、主語・目的語あるいは設計者・被設計者という発想は、西欧の哲学と宗教における自我の概念とつながっている部分もある、ということ。
  4. 適応度地形とは、各遺伝子型に適応度値を割り当てるときに生じるもの。遺伝子型は高次元の配列空間で配列される。適応度地形はその配列空間上の関数だ。進化論的力学では、生物学的集団は変異、淘汰、機会的浮動に推進されて或る適応度地形の中で動く。(Nowak, M. A. Evolutionary Dynamics: Exploring the Equations of Life. Harvard University Press, 2006.)
  5. Nowak, M. A. Evolutionary Dynamics: Exploring the Equations of Life. Harvard University Press, 2006.
  6. Norbert Wiener, The Human Use of Human Beings (1954 edition), p.42.
  7. 適合度関数とは、或る解決策が特定の目標にどれだけ近づいたかを価値の指標として要約するために使われる関数だ。進化システムを説明したり設計したりするために使われる。
  8. G. E. M. Anscombe, "Modern Moral Philosophy," Philosophy 33, No. 124 January 1958. この論説は、現代の徳倫理学の始まりとされている。この学問は、道徳的原則を定めようとする、あるいは有益性と有害性を中心とした実用的な考え方に頼ろうとするより伝統的な倫理学が直面する問題を目の当たりにしてアリストテレス倫理学を再評価したもの。徳倫理学は伝統的な倫理学と違って、良い人生とは何か、どうすれば人類は開花、成長、繁栄できるか、を問う学問だ。