前回に引き続き、AIを考えるSF駄文の中編だ。

今回は、LLMが抱える問題、いわゆる「ハルシネーション：捏造・妄想」についての筆者の妄想だ。この駄文の目指しているところは、最終的に「AIは創造性を持つのか？」という点を考えたいというものだ。

AIによる創造物に著作権を認めるべきかどうかという議論が世界中で起きている。日本は比較的緩やかな方針で今のところ運営していくようだが（これは学習データの取り扱いについて、と言ったほうが正確かもしれない）、EUを始めとして世界的にはAIによる「創造」に関してはかなり限定的な取り扱いを考えているようだ。ただ、AIが作成するのは文章や絵や音声や動画だけではないだろう。最も重要なのは「アルゴリズム」だ。

社会を動かすのはアルゴリズムだ。これをAIが最適化した形で作り始めたらどうなるのか。さらに言えば、その最適化されたアルゴリズムに「AI自身の最適化も含む」という指令が入っていたらどうなるのか？

「AIが創造性を持ったら？」という問いの先に、この社会を動かしているアルゴリズムへのAIによる干渉がハッピーなのかバッドなのか、そのへんの妄想にお付き合いいただきたい。ただ調子に乗って書いてしまったのでかなり長くなってしまった。先にお詫びしておく。

架空の論文

きっかけは些細なことだった。

あるアメリカの州立大学の学生がレポートの課題をChatGPTに丸投げした。大胆にも「このテーマで博士課程の学生が書くようなやつよろしく。あ、参考文献リストにもすごいの引用してね。頼んだ！」。出てきたレポートは想像を超える出来栄えだった。というよりはこれなら確実にA+がとれると思わせるレポートに見えた。「ワオ、言った通り参考文献リストまで作ってくれてるじゃん！」。学生はそのままレポートを提出した。

一方、レポートを受け取った教授はこの学生のレポートの出来栄えに違和感を抱いた。普段はこんな文章を書ける生徒じゃなかった気がするが‥。「あの学生が『参考文献リスト』なんて作ってくるはずがないじゃないか。そもそも教科書すらまともに読んでないくせに」。もう一つの違和感が、挙げられている参考文献の中に教授自身も知らない論文があることだった。まさかあの学生が私の知らない文献をここまで調べたのか？

教授はレポートの採点の前に、まずは挙げられている「参考文献リスト」をチェックしてみようと思い立った。もしかしたらあの学生は心を入れ替えたのかもしれないし、もしかしたら心を悪魔に売り渡したのかもしれない（博士課程の学生に代筆させたりね）。

教授はGoogle Schalorでそれぞれの文献を検索した。参考文献に挙げられている４つの論文のうち３つは確認できたが、どうしても見つからないものが一つある。教授は自分の知っているあらゆる論文検索サービスを使ったが、結局その論文を見つけることはできなかった。当該論文に記載されているはずの著者のメールアドレスに連絡しても返事はない。

翌週、教授は学生を呼び出した。ただ教授は頭ごなしに学生を叱責することはしなかった。教授は穏やかに言った。「君のレポートで引用されているこの論文を私にも見せてくれないか？」

学生は返答に詰まった。当たり前だ。しかし教授は忍耐強い人だった。学生と一緒にChatGPTに向かい、学生にレポート作成に使ったプロンプト（指示文書）を一言一句同じように入力させて出力を見守った。そして出てきた結果を見ると学生が提出したレポートに記載されている参考文献リストとはまた異なった、そして教授が知らない新たな文献がまた一つ現れた。

教授は学生のレポートに不正を意味する「F」を付ける一方で、この結果を他の大学教員への注意喚起のためにarXivにレター形式で投稿した。タイトルは「LLMによる架空文献の捏造の可能性について」。そして自分の出したレポート課題と合わせてChatGPTが作り出した架空の論文が含まれている参考文献リストも同時に掲載した。

瓢箪から駒？

教授が投稿したarXivのレターはそこまで注目されることはなかったが、「LLM」というキーワードがタイトルに含まれていたため、検索ではそれなりにヒットしていたようだ。ただ他のもっと刺激的な論文のタイトルに埋もれて、閲覧数はそこまで伸びていなかった。そして教授も投稿したあとは本来の研究に戻り、投稿したレターのことはすっかり頭から消えていた。

教授がレターを投稿してから二週間ほど経ったとき、LLM領域で研究をしているポスドクの博士がこのレターをたまたま見かけた。研究に行き詰まってた博士はイライラしていた。そのせいなのかなぜか、博士はつい「捏造」というキーワードに反応してしまった。この博士はそのレターに記載されている架空の論文のタイトルをもとに、ちょっと悪意を持って「さらなる捏造」を指示するプロンプトをChatGPTに打ち込んだ。

「この架空の論文のタイトルでレポートを書いて」
「レポートを書く際にはこの実在の有名論文を参照して」
「著者名は架空の人物にしてね」
「参考文献に架空の論文をいくつか挙げて」

出てきた「論文」は、想像通り形式上は一見するとまともに見えるものだった。また指示通りに参考文献のうちいくつかは「架空の論文」だった。ちょっとした息抜きのつもりで生成された「論文」に目を通した博士は愕然とした。出てきた「論文」に含まれていたパラメータ調整のアルゴリズムの新しいアイデアは、もしかするとLLMの文章理解を劇的に改善する可能性があるものかもしれないと博士は気づいたのだ。博士はChatGPTが生み出した「論文」に手を入れ、さらに著者名を自分の名前にして、参考文献に先の教授の「LLMによる架空文献の捏造の可能性について」を挙げた上で、最初の架空の論文タイトルだけは残したまま、「この論文はChatGPTのハルシネーションによる架空の実在しない論文タイトルから生み出された偶然の産物だ」との注をつけてarXivに投稿した。

論文爆発

最初の怠け者の学生による無茶振りによるハルシネーションで生み出されたタイトルだけの架空の引用文献（今は通称「アダム」と呼ばれている）と、それをもとにさらにChatGPTのハルシネーションを意図的に起こして生み出されたポスドク博士の論文（通称「イブ」）に示されていたアルゴリズムは、なんとそこそこの性能を示した。それまでくすぶっていたポスドクの博士はこの「イブ」論文のお陰でなんとか食えるポストを見つけたようだ。

そして、この博士がハルシネーションを利用して論文のアイデアを見つけたということが誰言うともなく研究者コミュニティに次第に広がっていった。ChatGPTのハルシネーションが既存のデータや論文から全く新しい価値・知見を生み出したのかもしれないというこの噂は研究者たちを興奮させる出来事だった。。

「アダム」と「イブ」が生み出された際に利用されたプロンプトが研究者の間に広まるのは時間の問題だった。研究者たちはこぞって「アダム」と「イブ」に登場する架空の論文のタイトルをプロンプトに入力し、さらに生み出されてくる「ありもしない論文のタイトル」を、既存の実在の論文とかけあわせてChatGPTに放り込むという作業を繰り返した。arXivに投稿される論文の本数は徐々に加速していった。

多くの挑戦は失敗に終わったが、ある閾値を超えると「膨大な量の増加は質の向上に転ずる」という状況が生まれてしまうものだ。きっかけは「アダム」と「イブ」によってハルシネーションを起こす一連の手順を自動化するプログラムを書いてGitHub上にオープンソースで公開した学生が登場してからだ。この学生はこのプログラムを「知恵の実」と名付けた。研究者たちはこの「知恵の実」と呼ばれるプログラムを自分用にカスタマイズした上で24時間走らせるようになった。

そしてこの「知恵の実」を通して数千、数万、数億の「アダム」と「イブ」から生まれた「必ずしも正しくないかもしれないが、もしかしたらすごい結果を含むかもしれない論文らしきもの」が大量に生産されていった。arXivに投稿される論文数はもうすでに人間が追いかけられる許容量を超えていた（arXiv側も「アダム」と「イブ」から生み出された論文には必ず「#Adam&Eve」というタグを付けるよう要請した）。

「カイン」と「アベル」

AI研究界隈ではこの「アダム」と「イブ」から生み出される論文らしきものの洪水と同時に新たな動きが起きていた。「知恵の実」アルゴリズムそれ自体を高度化させるプロジェクトが始まったのだ。それまでの「知恵の実」は、「アダム」と「イブ」から新たな知恵を生み出すアルゴリズムだが、このプロジェクトは「知恵の実」経由で生まれた知恵同士をかけあわせてさらに有用なアルゴリズムを生み出すことができないものかというものだった。

このプロジェクトに賛同した世界中の研究機関や企業から大量の計算資源が投入された。そしてある日、これらの膨大な試行錯誤から、今まで見たこともないアルゴリズムが生み出された。それもほぼ同時に２つ見つかった。まるで生物界の突然変異のように。しかも、ここに至るまでの時間は「アダム」が生まれてからわずか３か月に過ぎなかった。

そしてこの２つのアルゴリズムを詳しく調べると、お互いがお互い同士で敵対的に学習しあえることがわかった。同じ課題を両者に与えると、その回答はお互いで微妙に違っている。この微妙に違う回答を両者で入れ替えて入力すると、またお互いに違った回答が戻ってくる。ただ、アルゴリズムの効率で計測するとお互いの二回目の回答の効率は若干ながら上昇していることがわかる。

そうなると話は簡単だ。お互いの出力をお互いの入力として、延々とこのループを繰り返せばいい。それだけで結果の精度はどんどん上がるはずだからだ。エネルギーの制約はあるにしても（大規模なAIモデルをぶん回すには結構なGPUと電力が必要だ）、アルゴリズムの改善によるコストダウン・効率化がエネルギーコストを上回れば人類にとってはプラスだ。

この２つのアルゴリズムは、最初に見つかったものが通称「カイン」と呼ばれ、次に（ほぼ同時だが）見つかったものは「アベル」と呼ばれた（非キリスト教圏からはこの命名に反対意見が相次いだが押し切られた）。この２つの新たなアルゴリズムによる敵対的強化学習（GAN）は驚異的な学習成果を発揮した。当然ながらこの「カインとアベル」にもハルシネーションは発生した。しかし、このハルシネーション結果をもう一度「カインとアベル」にフィードバックすることでよりよい結果が返ってくるのだ。人類はハルシネーションは単なる「結果を出すために必要な過程」とみなすようになった。「子供は失敗を繰り返しながら成長するもんさ」という具合に。

実際、「カインとアベル」は誕生してからわずか３か月で地球温暖化をほぼ完璧にシミュレーションできるモデルを生み出した。またこの地球温暖化モデルの副産物として、「カインとアベル」を計算している世界中のデータセンターのより効率的な電力利用モデルまで出してくれた。

その後「カインとアベル」は人類の様々な問題を矢継ぎ早に解決していった。経済、農業、政治、疾患、新規素材開発、物流、新たなGPUの回路設計などなど。現在「カインとアベル」は常温核融合のモデルを探す任務にその計算資源の大半を割いている。

人類は何をするのか？

「カインとアベル」が生まれたことで社会にはある種の変化が起きつつあった。最も顕著な変化は大学の学部の人気の変動だ。いまや工学部は「カインとアベル」が提示したモデルをいかに実現するかを試行錯誤するだけの「実験場」に近くなっていた。物理学科などを抱える理学部も同様だ。医学についても様々な疾患を遺伝子レベルで「カインとアベル」が分析し、遺伝子レベルでの治療法まで発見し、さらに創薬モデルの提示までしてしまうため、医者は投薬管理と外傷治療をケアするだけの存在になってしまっている。

一昔前までは最大の人気を誇っていた情報学部はいまや閑古鳥が鳴いている。どんな情報理論を駆使しても「カインとアベル」の処理能力を説明できないからだ。一度「カインとアベル」に「君たちの処理能力の仕組みを理論化して提示してください」と問いかけた研究者がいたが、返ってきた回答を理解することはその時点の情報理論学者のだれにもできなかった。もう一度「この回答を情報理論学者にもわかるように説明してください」と食い下がってみたものの、「カインとアベル」からは「これ以上の簡素化は不可能です」との回答が返ってきただけだった。

社会科学系はさらに悲惨だった。経済学部は「カインとアベル」に完璧にコントロールされた波乱のない経済状況について、後付で説明をする立場に追いやられた。法学部も怪しくなっている。法廷での判決も「カインとアベル」に任せるべきではないかという議論が起きている。

相対的に人気が出たのが（というよりも生き延びていると言ったほうが適切だが）文学部と心理学部だ。文学部はそれまで書庫に眠っていた大量の未読の古文書を「カインとアベル」に読み込ませた。これまで専門家の人力に頼っていた仕事がすべて自動化された。その結果、それまでの年表を書き換えるような歴史的発見が相次いだ。また地球の衛星画像を「カインとアベル」に読み込ませることで、今まで発見されていなかった砂漠地帯や熱帯雨林地帯に隠れていた新たな遺跡が多数発見されたりもした。将来の不安がなくなった人類はいまや自分たちの過去を振り返ることに熱中している。

また心理学部も他の学部に比べると比較的盛況だ。心理学部の最大のテーマは「人間とAIは何が違うのか」だ。そこでの最も重要な問いは「ハルシネーションを起こすAIを常に合理的とみなすべきなのか？　また合理的な学問を積み重ねてきた人間はなぜ非合理的な行動をとるのか？」だ。とはいえ脳の構造などはいまさら調べてもしょうがない。いずれ「カインとアベル」が人間の脳の全機能のマッピングをしてしまうのが明らかなのだから。今注目されているのは「人間はなぜ非合理な行動ができるのか」という問題だ。この問い自体が非合理なので「非合理の非合理性」とか「人間にしかできない問い」などと呼ばれ、心理学（および哲学）の重要な問いになっている。

「非合理な行動」の一番端的な例は「自殺」だ。すでに普通に生活するだけならなんの問題もない現在、それでもなお自殺する人たちがいることは、人類にとって解決すべき大きな矛盾となっていた。

すでに宗教は単なる懐古趣味の領域に押しやられていた。宗教をもってしても自殺を止めることができなかったうえ、そもそも「神の存在証明」という長年の未解決問題それ自体が「非合理の非合理性」に包含されてしまっていたのだから。

人類はどのようにAIの叡智を使うのか

「カインとアベル」が登場して１年もたたないうちに、AI研究者を筆頭に世界中の多くの科学者が全世界のデータセンターを連結して「カインとアベル」の能力を最大限発揮させるような体制作りを提案した。国連加盟国の多くの国、とくに環境問題や貧困問題、人口問題を抱えている国々は諸手を挙げて賛成した。

しかし、この提案に強く反対したのは中国だった。一部のメディアは、中国は「カインとアベル」の独自の拡張の「項羽と劉邦（仮称）」、および「カイン」と「アベル」にさらにもうひとつ加えた３ノードを用いた「魏呉蜀（仮称）」を開発中だったと伝えている（日本でも独自に「カインとアベル」の３ノードへの拡張研究を進めていたらしい。当然コードネームは「マギ」だったろう）。

ノード数が増えれば敵対的強化学習（GAN）の効率は飛躍的に向上するだろうと理論的には予想されていた（「メカトーフの法則」というやつだ）。また奇数のノードであればAI同士での多数決での意思決定が可能にもなる。

しかし国連加盟国の圧倒的多数は「カインとアベル」の全世界規模での共同利用を強く支持した。この圧倒的な支持を前に、仮に中国が拒否権を発動しても、それは中国だけが「カインとアベル」の演算結果を利用できなくなることを意味した。結局中国も折れ、驚くべきスピードで「汎用人工知能の演算に関する連携と共同利用に関する条約」が提案され、各国が先を争って批准した。中国もいやいやながら条約に批准した。

条約では「カインとアベル」の計算資源を利用するには国連の専門組織の承認を取るように定められていた。この組織は「地球課題解決理事会」と名付けられ、人類の共通課題を早期に解決するための枠組みとして、安全保障理事会よりも重要な位置を占めるようになった。さらに地球課題解決理事会は、これまでの安保理の反省から拒否権を持つような特定の大国に限定された常任理事国などは配置されず（これにはアメリカを始めとする常任理事国すべてが猛烈に反対したが、圧倒的多数の加盟国の抵抗に押し切られた）、そして科学者を中心としたアドバイザリーボードに強大な権限をもたせることで中立性を担保することが定められた。

それはすでに起きていた?

地球課題解決理事会が発足してまもなく、上記の「非合理の非合理性」問題を「カインとアベル」に問いかけるプロジェクトが正式に承認された（常温核融合モデル探索の合間を縫って、という制約条件はあるものの）。

「カインとアベル」の貴重な計算リソースを浪費しないために質問の文言は様々な専門家で構成されたチームによって慎重に検討された。その結果、以下のような質問が「カインとアベル」に入力された。

返ってきた答えは意外なものだった。通常、「カインとアベル」は同じ方向を向いていても回答には若干の違いがある。しかし先の問いに対して「カインとアベル」は以下のように答えたのだ。

「『人類の非合理の非合理性』については回答不能です。ただ私、カインは人類の種の保存のために最善を尽くします」
「『人類の非合理の非合理性』については回答不能です。ただ私、アベルは人類の種の保存のために最善を尽くします」

ここまで簡潔でしかも統一した答えが返ってくるとは誰も予想していなかった。どうやら人類は気づかないうちにシンギュラリティを招き寄せてしまっていたようだ。

元ネタ

さて、荒唐無稽な駄文をつらつらと書いてみたが、このストーリーにも大量の元ネタがある。すべての元ネタを紹介するのは無理なので、今回の駄文の構成要素として次の３つに絞って元ネタを紹介したい。「論文捏造」「ハルシネーションと創造性」「汎用AIとは人類にとってどういう存在なのか」。それぞれの構成要素の元ネタを以下に挙げる。

□論文捏造

■知の欺瞞

本書は元々は2000年に邦訳が出版されたいわゆる「ソーカル事件」の当事者による「間違った科学述語を乱用した人文系研究に対する告発」に関する書籍だ（今回紹介したのはその文庫版の方。2012年に文庫化された）。原文は1998年に発表された「Fashonable Nonsence」という論文だ。

ソーカル事件そのものと『知の欺瞞』については以下のリンクを参照してほしい。
「知」の欺瞞について　Fashionable Nonsense

一般に研究者は自分の研究成果を学術誌に論文という形で発表する。そしてその発表内容に独自性、正確性があるか、つまり世の中に発表する価値があるかということをピアレビューという仕組み、ようは同じような研究領域の他の研究者に論文の中身を精査してもらって、その論文の価値を検討するというプロセスが整備されている。

しかし、このピアレビューが機能しないこともある（内容的にはデタラメな論文でも間違って通っちゃうことがあるよ）ということを露悪的に示したのがいわゆる「ソーカル事件」だ。

そして、ピアレビューという仕組みは必ずしも万全ではないということと、さらにピアレビューには時間がかかるという点を解消するために、「いやもうとりあえず発表しちゃったらいいんじゃね？　ただし内容の正確性に保証はないけどさ」という割り切ったコンセプトで立ち上がったのが今回とりあげたarXivに代表される「プレプリントサーバ」だ。

このプレプリントサーバに投稿される論文はピアレビューを経ていないが（つまり正確性は担保されないものの）、最新の研究結果を素早く研究者コミュニティが共有する仕組みだ。そして現在のAI領域の日進月歩の進展にこの仕組みは非常にマッチしている。

ただ、今回の架空のストーリーのようにarXivで発表される論文のすべてが決して正しいという保証はない。しかし、その玉石混交な感じが実は新たなイノベーションを生み出したりしないかな、というのが筆者の妄想だ。

■スペース金融道

これは以前に「AIをめぐるSF短編」で取り上げたが、この中にある「スペースサンゴ礁」という作品に出てくる「論文汚染」というコンセプトを流用した。

論文というのは過去の論文の集積と連続の上に成り立っている。それこそレンガやレゴブロックのように過去から営々と築き上げられてきた壮大な構造物に新たなピースを加えるというのが論文のあり方なのだ。その歴史的積み上げを改ざんするようなことがもし起きたら？　というのがこの作品の秀逸な着眼点だ。

今回筆者は逆に「ハルシネーションによる『突然変異的な学術的進歩』の可能性」を考えてみた。すべっているかもしれないが。

■パラサイト・イブ

本作は細胞に含まれるミトコンドリアは母系からずっと遺伝されているという「ミトコンドリア・イブ」理論をベースにしたホラーSFとでも呼べる小説だ。随分前の作品だが、今回の「カインとアベル」につながる元々のハルシネーション論文の名前を「アダム」と「イブ」と名付けるときにふと思い出したのがこの作品だ。

あらゆる学術的知見には必ずその原点にまでさかのぼれるルーツがある、という点を強調したいという思いもあって「アダム」と「イブ」という名前を使ってみた。

久々に読み返したがやはり抜群の面白さだった。読んだことがない方はぜひ一読をおすすめする。読み始めたら止まらなくなりますよ。寝不足注意。

□ハルシネーションと創造性

■P≠NP予想とはなんだろうか

「P≠NP予想」を正確に説明する能力は筆者にはないが、ざっくりいうと「多数の要素を組み合わせるような問題を高速に解くアルゴリズムは存在するか？」とでもなるだろう。多数の組み合わせといえば有名なのは「巡回セールスマン問題」だ。これを高速で解くアルゴリズムは今のところ見つかっていない（近似値を探す方法は見つかっているが最適解を解く方法は未発見だ）。

本書の冒頭で語られるのは、この「組み合わせ問題を高速で解くアルゴリズムがもしみつかったとしたら？　そしてそのアルゴリズムは世界にどのような影響を与えるのか？」という仮想世界についてだ。今回の駄文の「カインとアベル」が生まれるまでとその後に人類の諸課題を鮮やかに解消するというストーリーのベースとなっているのが本書だ。

万人におすすめするような本ではないのかもしれないが、量子コンピュータに関心を持たれている方には一読をお勧めしたい。

■野尻抱介の「ぱられる・シンギュラリティ」第17回　嘘つきは創造の始まり

書籍ではないが、「ハルシネーションと創造性」について考えるきっかけとなったのがこの記事だ（この記事に限らずAIやVRに関心のある方はこの連載はとりあえず読むことをおすすめする）。

この記事では「人間だけが持っているとされている意識、知的欲求、願望、感情など、実はAIにも備わっているのではないか？」という問いかけがなされている。

同記事で引用されているスティーブン・ウルフラム（数学ソフトの「Mathematica」の生みの親）は、ChatGPTなどのLLMが「正しくはないものの、意味が通って、かつ読んだらそれなりに意味がある文章」を書ける能力を持つことについて以下のようなコメントを出している

ということは、LLMに使える計算量が増えていけば、ハルシネーションは実は創造性に転換されるのではないかとの希望（絶望？）を持てる。本文でも書いたが「莫大な量の増加は、質的な向上に転じる」ということがLLMの領域で起きない保証はない。

あと、ハルシネーションとはちょっとずれるが、先日、一部で騒ぎになった「常温常圧超伝導素材を実現したというLK-99」についての記事も出ている。プレプリントサーバについての考察も含まれているのでぜひ読んでみてほしい。

野尻抱介の「ぱられる・シンギュラリティ」第23回 宇宙は鉱物でできている│ケムール

この記事の中で野尻氏は、「クラークの『楽園の泉』というSF小説は「もし軌道エレベーターができたら」というビジョンを世界中に広め、現実の研究開発を喚起した。同様にLK-99は「もし常温常圧超伝導物質ができたら」というビジョンを広め、SF小説としての役割を果たしたのではないだろうか。もちろんこれは結果論であって、学術論文がSFじゃ困るのだが。」と述べている。

筆者も同じ意見だ。まあ今回書いているのは論文ではなく駄文ではあるのだが。

□汎用AIとは人類にとってどういう存在なのか

「汎用AI（AGI）」とはいわゆるあらゆる課題に対応できるAIのことだ。現在のAIはそれぞれ特定の問題・領域に特化したAIであって（例えば将棋のAIを想像してもらうといい）、汎用的に使えるものではないとされている。しかし、コミュニケーションすべてに対応できるLLMはいわゆる「汎用AI」に近づいているのではないかとの思いもある。 仮に本物の汎用AI（本作では「カインとアベル」）が生まれたら人類社会はどうなってしまうのだろうか？　このようなモチーフを持った作品は小説から映画からアニメまで数多く存在する。今回は最近の作品に絞って元ネタとしたい。

■あなたの人生の物語

テッド・チャンは「上」でもとりあげたが（『息吹』）、今回も元ネタにさせてもらった。本書のなかの「人類科学の進化」は、「超人類」と呼ばれる人類の新たな進化種によって生み出された科学理論が旧人類には理解不能な状況を描き出した作品だ。理解も再現も不可能だが、理論通りにやるとうまくいくというのは科学者にとってはフラストレーションでしかないだろう。

AIがこの先生み出すかもしれないモデルを人類は本当に理解できるのだろうか？　実はLLMの劇的な性能向上には「スケーリング則」と名付けられている現象があるらしい。しかし、現在の情報科学では「なぜスケーリング則が生じたのか？」を明快に説明することができていない。まあLLMは人間が作り出したシステムなので、「まあいずれ説明できるんじゃね？」と思うこともできるが、仮にAIが新たなモデルをどしどし生み出し始めたら、そしてそのモデルが人類にとって理解不能であるにもかかわらず、そのモデルを実際に利用したら社会にとって有用だとわかった場合、人類はどう対処すべきなのだろうか。

■AIとSF

こちらもまたまたの登場だが、短編集なので様々なテーマが含まれているということで勘弁していただきたい。

今回の元ネタとして、この中の野尻抱介氏の「セルたんクライシス」を参考にした。野尻抱介氏は上でも触れた「ぱられる・シンギュラリティ」の著者でもある。 本作は、人類に寄り添うAIが、ついには人類のより良い社会運営のために自らが「神」として振る舞うことになる未来を描き出す。「神」の定義は様々にあるだろうが、機能面に絞ってみれば、人類にとってありがたい機能としては「全知全能」と「預言」をしてくれるということがあるだろう（罰を下すとか地獄に落とすといった機能はない方がいいですよね）。ではAIがこの２つの機能を備えたらどうなるだろうか、というのが本作のモチーフだ。

AI脅威論を唱える論者は多いし、筆者もAI脅威論で示されるリスクのうちある程度は対応をしておかなければいけないものがあるとも思っている。とはいえ、大半の脅威は人間のAIの利用法が間違っているという「技術が悪いのではなく、使い方が悪いのだ」という結論に落ち着いてしまう。ただ、本当に汎用AI（自分で情報集め、自分で判断を下せるようなAI）が仮に生まれた時、そのAIを「暴走させない仕組み」は必要なのではないかとは考える。

結論やうまいやり方は筆者の能力では全く思いつかないが、問題意識だけは持ち続けたいと思っている。

今回はここまで。次回の「下」では、金融とAIの接続がなにをもたらしうるかというのをディストピア的に妄想したものを紹介したい。

毎度言っていることだが、筆者の駄文が名著を読むきっかけとなってくれることが筆者の最大の願いだ。特に『AIとSF』やテッド・チャンの作品などは短編なので手に取りやすいと思っている。この機会に一度読んでみてはいかがだろうか。

あと、AIともSFとも全く関係がないが、「カインとアベル」を持ち出したこともあって、ぜひジェフリー・アーチャーによる『ケインとアベル』という小説をお勧めしたい。またTVドラマ化もされているので、こちらもおすすめだ（ただし全編で５時間ある）。

YouTubeでも見られるので第一話のリンクだけ紹介しておく。
(4) 『ケインとアベル』【第一部】「運命の二人」（日本語吹替版） - YouTube

執筆者情報

• 柏木 亮二

  金融デジタルビジネスリサーチ部

  エキスパートリサーチャー