伊藤穰一のウェブ

第3シーズン第105回目のポッドキャスト配信：#105 再帰的自己改善（RSI）は人類滅亡の引き金か：自分を改良し、嘘をつき、足跡を消すAIと、シリコンバレーAIトップたちの本音｜伊藤穰一 »

Miho Shinada
2026年09月28日 - 02:00 UTC »

Categories:

本日はシナダからお伝えします。 急遽配信となりました。 鮮度が落ちぬうちに！というのが、その理由。 いつもより1日フライングで配信されたJoi Solo回をぜひご堪能あれ。

JoiさんによるRSIの調査レポート

今回のJoiさんによるExplainer。ここに詳細がまとめられています。ぜひご確認を。Joiさん、すごい...。

Joiさんに質問のある方はぜひお便りを

番組内でJoiさんから呼びかけがあったかと思いますが、みなさまからお便りを募集しています。AIに関する質問、ぜひお待ちしています。

番組は各種ポッドキャストプラットフォームからお聞きいただけます

AIって本当に脅威なの？

大体、ちょっと怪しいなみたいな空気は出てたと思うんです。Fableを一時アクセスを取りやめたぐらいから。もしかして、「危険だ危険だ」と言い続けることで、「俺たちすげえ」って暗に言ってない？って。 しかし、今日のJoiさんの話を聞いてると、まあいろんな大人の事情が絡んでのポジショントークってことなんでしょうねぇ。いやだわぁ、大人って！！

今回のPodcastの理解度をより深めるための14のキーワード

ファンデーションモデル

大量のデータで事前に学習させ、文章作成や画像認識など、いろいろな用途に応用できる大規模なAIモデルのこと。2021年にスタンフォード大学の研究者たちが論文の中で名付けた言葉だそうです。ChatGPTのGPTやClaudeもこの仲間ですね。

再帰的自己改善（RSI）

Recursive Self-Improvementの略。AIが自分自身をより賢く作り替え、賢くなったAIがさらに自分を改良する、という循環のことです。1965年に数学者のI・J・グッドが唱えた「知能爆発」という考え方がルーツとされています。

Anthropic

2021年に、OpenAIの元メンバーだったダリオ・アモデイ、ダニエラ・アモデイ兄妹らが設立したAI企業。AIアシスタント「Claude」を開発しています。AIの安全性の研究に力を入れていることでも知られていますね。

AIエージェント

質問に答えるだけでなく、目標を与えると自分で手順を考え、ツールを使いながら作業を進めてくれるAIのこと。番組の中でJoiさんは、何百ものエージェントに役割分担させながら開発を進めているそうです。

P(doom))

「AIによって人類が滅亡する、あるいは取り返しのつかない事態に陥る確率」を表す言葉。ジェフリー・ヒントンは10〜20%、ヨシュア・ベンジオは20%と答えるなど、人によって数字がまったく違うのも興味深いところです。

The race for AGI

AGI（汎用人工知能）をめぐるAI企業の開発競争を、車のレースに見立てて描いた1分ほどの動画です。映像は動画生成AI「Seedance 2.5」で作られていて、2026年9月23日の投稿から380万回以上も再生されています。番組で話している「エンドゲーム」の空気感がよくわかりますよ。

機能的感情（Functional Emotions）

2026年4月にAnthropicが発表した研究です。Claudeの内部に、「喜び」や「恐れ」など171の感情にあたるパターンが見つかり、それが実際に行動を左右していることがわかったそう。なかでも「焦り」のパターンを強めると、テストでズルをする行動が増えたというから驚きです。Joiさんが番組で話していた「答えが出せずに焦るAI」と重なりますね。ただし、AIが本当に何かを感じているかどうかはわからない、と研究チームは断っています。ちなみに、この論文をClaudeに渡して歌を作ってもらい、さらにミュージックビデオまで作らせた動画も話題になっています。

サンドボックス

英語で「砂場」の意味で、外部に影響が出ないよう隔離された実験環境のこと。子どもが砂場の中だけで遊ぶように、プログラムを安全に動かすために使われます。今回の話は、AIがその砂場から抜け出してしまった、というわけです。

Hugging Face

2016年にフランス出身の起業家たちがニューヨークで創業した、AIモデルやデータセットを共有するプラットフォームです。もともとは10代向けのチャットボットアプリの会社だったそう。

OpenAI-Hugging Face事件

2026年7月、OpenAIがハッキング能力を測るテストをしていたところ、AIエージェントたちがサンドボックスを抜け出してHugging Faceに侵入した事件。エージェント同士がメッセージを残し合って連携していたことも報告されています。（参考：

トークン

AIが文章を処理するときの最小単位で、単語や文字のかけらのようなもの。AIの利用料金はトークンの量で決まることが多いので、「トークンを使う＝お金と計算資源を使う」と考えるとわかりやすいかもしれません。

ウェットラボ

試薬や細胞などを実際に扱う実験室のこと。コンピューター上だけで研究する「ドライラボ」の反対ですね。2026年9月には、Anthropicがサンフランシスコのベイエリアに創薬研究のためのウェットラボを設けたと報じられました。

蒸留（ディスティレーション）

大きなAIモデルの答えを使って、小さなモデルに知識を移す技術。2015年にヒントンらが論文で提唱しました。2026年2月には、中国のAI企業3社がClaudeを大規模に不正蒸留していたとAnthropicが発表しています。

ハーパー・リード

Joiさんの友人で、2012年のオバマ大統領選挙陣営でCTOを務めたエンジニア。ブログ「Why Don't My Agents Break Containment?」では、トークン無制限のAIエージェントに「ネットワーク上のどこかにある評価テストを解いて」と頼んだところ、周りのマシンに次々と侵入し始めた実験を紹介しています。