ChatGPTは人類を滅ぼす「超知能」になるのか?

GPT-4を超える性能を持つAIの開発停止を半年間求める公開書簡「巨大なAI実験を一時停止せよ」が話題になりました（関連記事）。公開書簡は、フューチャー・オブ・ライフ・インスティテュート（生命の未来研究所、Future of Life Institute）が発表したもの。かつてOpenAIの取締役だったイーロン・マスクが署名していたことで話題になったところがありますが、もともとどんな背景でこの団体が存在するようになったのかを追いかけると納得感があります。

「超知能が出てきたらヤバい」

フューチャー・オブ・ライフ・インスティテュートはどういう団体なのか。それは、この団体に近い立場を取るオックスフォード大学のニック・ボストロムという哲学教授が、2014年に出した『スーパーインテリジェンス 超絶AIと人類の命運』（日本経済新聞社）を読むとよくわかります。ちなみにこの本は、ビル・ゲイツがAIの可能性について書いた3月21日のブログ記事でAIについて参考になるとして紹介していた3冊のうちの1冊です。ゲイツはこの本の主張には必ずしも同意はしてないようですが、ChatGPTといったAIの登場によって垣間見える未来を理解するためのヒントとしているようです。

この本はなによりまず「もしスーパーインテリジェンス（超知能）が出てきたら非常にヤバい」ということを主張していて、「どのようなプロセスで登場する可能性があるのか」、「人類にとって破滅的な結果にならないように管理できるのか」ということが延々と書かれているんですね。当然シンギュラリティの話も入っていて、その定義論争には入らないとしているものの、内容的には欧米圏で活発に行なわれているAIがもたらす危機についての議論が総括的に扱われています。

「スーパーインテリジェンスの振る舞いをどのように制御できるかというコントロール問題は、解決が非常にむずかしく見える。そのうえ、それを解決できる機会は一度しかないだろう。 ひとたび、人間にとって友好的な振る舞いをしないスーパーインテリジェンスが出現したとすれば、その振る舞いの選好を正そうにも、人間の試みはそれによって阻止されるだろう。そうなれば、人類の運命はそこで封印されてしまう」（P.6）

ここで重要なのは、もし一度超知能が登場してしまうと、もう人間には超知能（＝AI）を管理できなくなってしまうという指摘です。

超知能は人間よりも知識を持っているので、人間の裏をかいてきてあらゆる手段で対抗してきて、人間はそれに対抗する手段がなくなってしまうというんですね。そうなると人類の運命はここで封印されてしまうだろうと。だから、その一度のチャンスをうまくコントロールしなければならないということを述べており、今後のAIがどのように発展し、超知能にたどり着くのかという展開の可能性とその対策について延々とシナリオを書いているんです。

人工知能を作ることは、実際には爆弾を作っているようなものであり、それをおもちゃにするのはとても危険なのだと。必ずしも、ロボットという形で現れて人間と争いというシナリオに焦点が置かれているわけではないのですが、単純化して言うと映画「ターミネーター」の人間を滅ぼすことを決めるAIスカイネットが登場するような世界ですね。

今読むとさすがに言いすぎじゃないかという部分もあるんですが、ともかくボストロムの「人間がコントロールできないAIを出さないように考えていこう」という考えは、21世紀になって、欧米圏では科学者や技術者の間でも、積極的に議論されるようになりました。

書簡のもとになった2017年の「AI原則」

こうしたAIをめぐる動きを受ける形で、アメリカで2014年に誕生したのがFLIでした。

AIの安全性、倫理性、および人類の未来に対する影響に関する研究と議論を推進するNPOとして、活発な活動を行うようになりました。設立者にはマックス・テグマーク（MITの物理学者）、ジェイミー・F・テグマーク（ロボット研究者）、アンソニー・アギレ（カリフォルニア大学サンタクルーズ校の物理学者）、ヴィクトリヤ・クラコヴナ（DeepMindの研究者）といった、多様な研究のバックボーンを持っている人たちが参加しているところに特徴があります。様々なカンファレンスを開催し、AIの議論を中心に、人間と技術の関係についての議論を深めていくことになりました。

そして、翌年には、イーロン・マスクがアドバイザーとして参加し、活動を支えるために1000万ドルの資金提供を行っています。マスク自身も、カンファレンスに頻繁に参加し、AIの可能性についてのディスカッションをしています。

イーロン・マスクは2015年にOpenAIを設立します。独自のAI開発を進めるとともに他の研究者や組織と協力し、AI技術のリスクを最小限に抑え、広く利用可能な形で技術を開発することを重視する方針を打ち出したNPOです。OpenAIは長らくFLIと協力関係にありました。

FLIの大きな成果とされているのが、2017年の「AI原則（AI Principles）」です。

AI原則は、今進んでいるAI開発と利用について、倫理的・安全性の指針を提供し、AI技術が人類全体の利益になるように設計・運用されるべきだという考えに基づいています。

原則は23の項目で構成されています。研究の利益共有、AIの安全性、AIの倫理性、AIの開発プロセスなどの透明性、（潜在的な問題への）責任、公平性、人間の価値の尊重、長期的な影響の重視といったことが重視すべきポイントとして書かれています。

これはAI 研究方法の原則をまとめたもので、特に重要な点として安全性と透明性を掲げ、倫理性をコントロールして研究を進めなければいけないということを強調しています。

研究者を中心に5000名以上が署名をして、「この原則を守っていきましょう」ということになりました。AIの原則で思い出すのはSF作家のアイザック・アシモフが小説の中で提案した有名な「ロボット三原則」です。ボストロムは誕生から半世紀以上経っているにもかかわらず、「未だ人類が思いついた最善策」であるとしています。しかしながら実際にはルールが簡単すぎるために、現在のコンピュータの水準では、実現は難しいという背景もあり、今の時代にあった原則を作ろうと議論されたのがAI原則だったわけです。

書簡は現在、「イーロン・マスクが署名した」ということを中心に報道されていますが、当時の原則を振り返り、ほとんど考慮もされていないような状態で開発が進むようになっているため、一度立ち止まって検討するべきだというのが今回の書簡でした。

GPT-4のように非常に強力で、かつ、中身がどういう風にできているのか分からないものが出てきてしまった以上、その社会に対するリスクと恩恵を精査するために、6ヵ月間の開発中止を要請するのだと。場合によっては政府の介入も求めるかなり強い主張の文書でした。

その信頼性に疑問があるとされてはいるものの、署名者は研究者や技術者など2万7000人におよび、その人数にも注目が集まりました。

有名なところでは、『ホモデウス』（河出文庫）で人間は神を目指しているという議論をしていた歴史学者、ユヴァル・ノア・ハラリも署名をしています。

ハラリは近年の300年の人類の発展により、飢餓といった生活に制約をもたらす基本的な問題を解決したことで世界をすべて人間にとって都合のいいように作り替える「人間至上主義」が当たり前になったとしています。それが最新科学と結びつくことにより、今後テクノ宗教が登場するものと予測しています。その宗教は、テクノロジーによりさらに人間に都合よく世界を作り替えるテクノ人間至上主義と、AIにより人類の役割は終わるとするデータ教とがあり、人間は神のような力を求めるようになるとしています。

つまり、人類がAIにとって変わられるシンギュラリティと信じられているものを目指すことになるのだということです。その動きを押しとどめることは難しいとしているものの、その到達点には疑問を挙げています。その意味で、強力なAIが登場することに対しての疑問を持って署名をしたということでしょう。

書簡では、AIが人類に取って代わるような可能性のあるAI技術を推し進めるような決定を「選挙で選ばれたわけでもない技術指導者に委ねてはならない。強力なAIシステムは、その効果が肯定的であり、リスクが管理可能であると確信した場合にのみ開発されるべき」と厳しい論調で批判し、「我々はすべてのAI研究所に対し、GPT-4より強力なAIシステムの訓練を少なくとも6ヵ月間、直ちに一時停止するよう要請する。この一時停止は、公的かつ検証可能なものでなければならず、すべての主要な関係者を含むものでなければならない。もし、このような一時停止が迅速に実施できない場合は、政府が介入してモラトリアムを実施する必要があります」と、政府による介入をも進めることを促しています。

「AIの研究開発は、今日の強力な最先端システムをより正確、安全、解釈可能、透明、堅牢、整列、信頼、忠実なものにすることに再注目されるべきである。これと並行して、AI開発者は政策立案者と協力し、強固なAIガバナンスシステムの開発を劇的に加速させなければならない」とかなり強い主張が行なわれています。

ビル・ゲイツは書簡を一蹴、マスクは「TruthGPT」発表

ただ、この書簡の内容はGPT-4を名指しにしていることもあり、「ChatGPTが技術的に突き抜けちゃったから、みんなで食い止めようとしてる」と見えてしまうこともありますね。

イーロン・マスク自身がOpenAIの取締役たちと揉めて、資金を実質的に引き上げたため、資金繰りに困ったOpenAIがマイクロソフトと提携したという話も暴露されました。「マスクはああ言ってるけど、結局ポジショントークじゃないの」という印象も受けてしまいます。6ヵ月間開発を中止すると言っても、影響を受けるのは事実上OpenAIしかないわけですから、その間に追いかけることができると。そんなのありかよという感じもします。

実際に、マスクは17日に「TruthGTP」と呼ばれるAIチャットボットを発表し、そのサービスを開始していますしね。米FOXニュースのインタビューの中で、「宇宙の本質を理解しようとする最大限に真実を追究するものだ」とぶち上げています。実際、彼自身もこの書簡で開発が止まるとは本気で思っていなかったように思います。

一方、マイクロソフトの創業者のビル・ゲイツは5日、ロイターの取材に答えて一蹴するようなニュアンスのコメントを出していました。マイクロソフトとしてはグーグルに大きな差をつけられるチャンスだからそりゃ当然引きませんよね。ゲイツ自身も自身のブログでAIの可能性と安全性について議論をしたばかりでもありましたし。

ただ、今のGPTの延長線上でAGIができるのかどうかっていうのはちょっと正直よくわからないんですよね。これが一度成立してしまうと、彼らが自分のプログラムを書いて自分で作って人間を出し抜いて、というのはよく言われるシナリオでもあるんですが、本当にできるのかなと。GTP-4に聞くと「そうはなりません」と言っていましたが（笑）。

その一方、OpenAIはGPT-4の論文を通じて、自分たちでどんなデータを収集しているのかを一切明かさないと発表しています。背景としては、競争環境が激しくなっていてキャッチアップされたくないという事情もあると思います。また、OpenAIは裁判も抱えているので、何のデータを使っているかということから訴えられる可能性もあります。そうした批判を不必要に受けたくないというのは本音としてあると思います。

このことから、OpenAIが非常に物事を隠してるように見えてしまっている。もともとNPOとしてそのオープン性を意識させながら、スタートした組織でしたが、利益を出すことに主眼が移るようになるにつれて、企業と変わらなくなってきました。情報をオープンにするからOpenAIだったはずなのに、マイクロソフトとの提携を通じて、独占的な技術提供の約束をしているとも言われており、全部隠してしまったらどこがオープンなんだという話はよく言われるようになっています。

EUは規制強化、アメリカ政府はまだ初期段階

気になるのはここに政府がどう係わっていくかです。AIの規制は、FLIに見られるように、その危険性を制御するために、介入するべきという議論が、欧米圏で一定の支持を受けているんですね。

アメリカ政府の方針としては、4日に、米バイデン大統領が、ホワイトハウスで開催された大統領科学技術諮問会議の席上で、「AIは、病気や気候変動といった非常に難しい課題に対処するのに役立ちますが、私たちの社会、経済、国家安全保障に対する潜在的なリスクにも対処しなければなりません」との発言をしています。その場には、学術関係者以外に、マイクロソフトやグーグルの幹部も参加していたとのことです。

「アメリカの権利と安全を守り、プライバシーを保護し、同様に可能な偏見や偽情報に対処するために、責任あるイノベーションと適切なセーフガードを確保する」必要性をあげ、ハイエク企業に（AIに対して）責任あるイノベーションと適切なセーフガードを確保するために、権利と安全を守ることの重要性を議論し、「製品を公開する前にその安全性を確認する責任がある」としています。さら若年層への保護について話しています。すでに昨年10月にAIについてのに、議会に対し、子どもを保護しテクノロジー企業によるデータ収集を抑制するための法案を可決するよう改めて呼びかけた」としています。

アメリカではAIについてのプライバシー保護の基本法案が昨年10月に提出されており、その内容についても触れています。「1つは、ハイテク企業が私たち全員について収集する個人データに厳しい制限を課すこと、2つは、子どもに向けた広告（ターゲット広告）の禁止、3つは、企業が作る製品に健康と安全を第一に考える」というものです。

アメリカでの重要なポイントは、個人のプライバシーデータを集中してターゲティング広告などに利用される問題と、子供の権利保護が適切になされているのかが政治的な焦点になりやすいポイントです。2018年には、当時のフェイスブックがユーザー情報を他のサービスでも利用可能であったことが大きな問題となったことからもわかるように、この点はとてもセンシティブなんです。ただこうした、安全性についての議論はあっても「ChatGPTを規制せよ」という方向まではひとっとびに行っていません。

翌5日、OpenAIは、「AIセーフティへの取り組み（Our approach to AI safety）」という方針をブログにて発表し、バイデン政権が掲げた懸念点に答える文章を発表しています。この発表内容は事前に政権側と調整されていたと考えてよいでしょう。

AIが世界を滅ぼすという考えは、現時点ではアメリカ政府の方針に影響を与えるというところまではいっていないようです。アメリカでは、比較的社会的な焦点になるまではプラットフォームに任せておく傾向が強いため、より大きな具体的な政策として見えるにはまだ初期段階のように見えます。

日本政府はAIに積極的、G7でも注目テーマに

日本の国会でもChatGPTを中心に生成AIに対する政策をどのようにすべきかという議論が始まっています。自民党の山田太郎参議院議員が3日の参議院決算委員会で、生成AIを中心とする著作権問題に焦点を合わせた質問をしました。

現状は、政府として議論が不足しているという現状を認めさせ、今後の国内での必要性を答弁から引き出していました。

生成AIに対して、国がどのように動くのかという方針は今から議論されていくことが始まってきそうです。実際に予算が動くとしたら早くても来年以降の話になってしまうと思いますが、それでも政府の中で議論される流れができたことは大きいと考えます。

その後、10日にOpenAIのサム・アルトマンCEOが電撃来日し、岸田首相と面会したり、自民党のAIの進化と実装に関するPTに出席してスピーチしたのにはさすがに驚きました。

欧州ではAIに対する規制が取り沙汰されている一方で、推進を政策的に進めようとしている日本にアピールしようという狙いがあったのではないかとも言われています。日本でも急激に、生成AIは自分たちに直接関連する技術として広がろうとしています。

山田議員がYouTubeで指摘していたことですが、5月のG7では、それに伴い4月28～29日に、デジタル大臣会合が予定されており、そこでもAIの話は確実に出るだろうと予想されています。ここで、日本政府も一定の立場を示すことが求められるとしていました。アルトマンCEOも、議長国である日本を意識して来日したのではないかという意見も出ています。

日本では、私の知る限り、欧米圏と同じような論調で、AIによって世界が滅ぼされるということを真剣に主張している研究者はほぼいないように思えます。これは「鉄腕アトム」や「ドラえもん」といった、AIを搭載したロボットと友人のような関係性を築く物語が好まれてきたような文化的な土壌もあるのではないかと考えられています。実際に、私自身もChatGPTと話している程度では、この技術の延長線上で、世界が滅びるとはなかなか感じにくいのです。そういう欧米圏と少し違った文化背景が、うまく政策へと生かされることを願ってやみません。

1970年生まれ。株式会社AI Frog Interactive代表。デジタルハリウッド大学大学院教授。慶應義塾大学商学部及び環境情報学部卒。ゲームジャーナリストとして活躍後、VRマルチプレイ剣戟アクションゲーム「ソード・オブ・ガルガンチュア」の開発を主導。現在は、新作のインディゲームの開発をしている。著書に『メタバースビジネス覇権戦争』（NHK出版新書）がある。