ChatGPTの登場は、漠然とイメージしていたAIの進化を誰もが認知するきっかけとなった。最新のAIがうまくいっている技術的背景は何か。AIをより賢く、信頼できるものにするため、最先端の研究はどこに向かっているのか。東北大学の言語AI研究センター教授として日本の言語処理研究を牽引し、世界初のAI専門大学（大学院レベル）であるモハメド・ビン・ザイード人工知能大学（MBZUAI）の教授でもある乾健太郎氏に語っていただいた。

金融ITフォーカス2023年10月号より

AI研究におけるブレークスルー

外園：

先生は1990年くらいから言語処理の研究をされています。今、日本のトップを走っていらっしゃる。この30年で相当の進化があったと思うのですが、どのように感じておられますか。

乾：

本当に隔世の感があります。当時は、インターネットもなく、テキストを含むいろいろなものが電子化された世界にはなっていませんでした。その状況で、推論等に基づいて人間が話す意図を理解し、対話ができる、いわゆる言葉がわかるAIを目標にしていました。この目標に対して、どのあたりに難しさがあるかの材料はだいたい出ていたと思います。ここ数年のAIは、当時提起された問題の幾つかがちょっとずつ解かれてきている。そんなイメージです。

外園：

当時のAIといえば、エキスパートシステムで、大変なリソースを使って構築したものの、実用化は難しかったと認識しています。

乾：

膨大なルールを人手で書き、さらに、そのルールをうまく組み合わせて、難しい問題を解こうというのが、エキスパートシステムです。そこから試行錯誤を積み重ねていき、機械学習、データドリブンなやり方で進めてきました。そろそろ限界がきているよね、というところでディープラーニングが出てきました。そこで大きなブレークスルーがあったと思います。

ChatGPT成功の技術背景

外園：

先生もChatGPTはやはりすごいと感じていらっしゃいますか。

乾：

ヘビーユーザーかどうかは分かりませんが、毎日使っています。もう彼のいない生活は考えられない（笑）。

外園：

最近のAIがうまくいっている技術背景をどうみておられますか。

乾：

言語処理から見ますと、幾つか大きなことがあります。

一つは、“やわらかい記号”です。言語は、記号で表現される1つの体系です。記号は、きっちりした計算ができるのが特徴です。けれども、実は、僕らは記号の向こうにある種の意味を持っています。例えば、「着物」という記号と「和服」という記号は、見た目も違うし発音も違いますが、だいたい同じものだと思って使っています。そういう、記号が持っているやわらかい意味の部分を、記号だけでうまく扱うことは難しかったのです。そこに「分散表現」という手法により、記号が持つ意味をやわらかく表現することができるようになりました。

外園：

分散表現については、『女王』＝『王様』－『男』＋『女』の例が有名で、単語や文を数値ベクトルで表すことで、単語の近い遠いや足し引きが計算できる。過去のAIと大きな違いですよね。

乾：

そうです。言語には同義な表現がいっぱいあり、文・フレーズまで考えると、単語の組み合わせは膨大なオーダーになります。先のエキスパートシステムでは、膨大なルールや記号を処理しきれなかった。それが「分散表現」により、うまく処理できるようになってきました。

外園：

エキスパートシステムにたくさんのルールや知識を教えるのも1つの課題でした。AIの学習・知識の獲得についてはいかがでしょうか。

乾：

記号をやわらかく分散表現することとニューラルネットワーク上での学習は相性がすごくいいんです。ChatGPTなどの最新のトランスフォーマー型のニューラルネットは大量のデータを記憶することも得意です。そうすると、大量のテキストから、言語の並びのようなものを覚えるだけではなくて、ある種の世界知識を手に入れることができます。

例えば、「最近天気がいいから洗濯物がよく乾いて、うれしい」という文があると、「天気がいい」ことと「洗濯物が乾く」ことの間の関係が記憶されていくわけです。

すなわち、やわらかい記号表現・分散表現の上で、知識獲得もある程度できるようになってきた。そのあたりに、言語処理から見たときに大きなブレークスルーがあったと思います。

もちろん、そのためには大量のデータの入手が必須です。それを可能にしたのがウェブのような電子化された膨大なテキストです。それから計算機パワーの増大も大きく貢献しています。

外園：

よくAI自体は意味を理解しておらず、ただ記号レベルの処理をしているだけだとも言われます。いわゆる、記号と現実世界の意味が接地しているかを問うシンボルグラウンディング問題ですが、進化したAIは、疑似的にも解を与えていると言ってよいのでしょうか。

乾：

それはすごく面白い問題で、今もいろいろなトップ研究者が議論しているところで、コンセンサスはできていません。

まず、人間自身はグラウンドしていると言ってよく、そのグラウンドしている人間が紡ぎ出しているのが文章です。AIはその文章から知識を手に入れます。

外園：

すると回りまわって、AIも意味を理解している、グラウンドしていると言えるかですね。

乾：

もう少し詳しく言うと、先の例の「天気がいい」と「洗濯物が乾く」の2つの文自体はただの記号シンボルです。しかし、そこに因果関係があることの「知識」は、人間の文章から得ているわけで、知識自体はグラウンディングしているのではないかということです。確かに、人間の知識を文章から学習できていることが、今のAIがうまくいっている要因の1つだと思います。

一方で、タスクによっては「本当の意味ではグラウンドしていないからうまくいかず、駄目なのでは？」みたいな気持ちもあります。シンボルグラウンディングと言っても、いろいろなレベルがあるというのが研究者の見解です。

外園：

少し技術的な質問ですが、2018年末に出たBERTより今のChatGPTのような生成系AIの方が、言語タスクをうまく解いていると言えそうです。その要因は分かってきているのでしょうか？

乾：

まだ研究課題だと思います。まず、BERTと今の生成系AIのモデルは基本的なアーキテクチャーは同じですが、BERTは特徴抽出器で、抽出した特徴はベクトルで表現されます。それをたくさんの種類の後続タスクが使う。しかし、後続のタスクの種類はいろいろあるのに、ディープラーニング内の特徴量表現層には、同一の特徴量データを詰め込んでおかなければいけません。そこにちょっとボトルネックがあったと思います。

それが生成系AIになって、入力から非常に複雑なことも含めて出力へのマッピングを、途中のボトルネックなしに生成しようとしています。それが「生成モデル」の意味です。

途中に特徴抽出というボトルネックがないので、各々のタスクに対して、大量にデータを入れて、モデルを十分に大きくしたら、幾らでもスケールしていくはずです。今申し上げたことは、多分に臆測も入っています。それくらい分かっていないことが、いっぱいあります。

AIが信頼を勝ち取るには

外園：

AIをより賢くしたり、社会に応用するための今後の研究の方向性についてお聞かせください。

乾：

大規模言語モデルにも、もちろん限界はあります。ChatGPTではハルシネーションが起こります。自信を持って間違ったことを話すわけです。人間社会で使われていくには、信頼はすごく重要です。

科学技術振興機構（JST）の戦略的創造研究推進事業（CREST）において、「信頼されるAI」の研究を行っています。AIが信頼される存在になるには、説明もできなければいけません。

人間が理屈で納得する世界は記号です。記号的に他人と知識を共有していますし、お互いに知っていることを確認したり伝えたりするのも、基本的には記号です。人間同士と同じく、AIと人間とのインターフェイスも基本は記号ベースとなります。

外園：

「信頼されるAI」は、まさに、産業界が求めているもので、AIの出力の制御が必要になりますね。

乾：

はい。社会の中に、みんなが信用している知識データベースがあるとすると、AIの出力は、その知識と整合しなければなりません。記号表現された、信頼できる知識データベースに忠実なAIモデルをつくるにはどうすればいいかを研究しています。

外園：

さらに先生の目標は、AIの中に信頼できる推論機構を作り、「知識を、うまくニューラルネットワークに埋め込むことで、入力に対して、こういう結論を出力する」という推論プロセスを見える形で取り出す、と理解しています。

乾：

そういう側面をもう少し入れたいと思っています。ただ、それだけでは無理で、そこをすごくやわらかくやらないと、出力までの時間パフォーマンスは出ないと思います。単に記号だけでやると、それは昔の話に戻ってしまいます。ニューラルのやわらかさを持ちながら、でも記号的に捉えることができるような道具立てを手に入れていきたいと思います。

外園：

先の「洗濯物がよく乾いている」を観察した時に、「今日は天気がよかった」という仮説を推論することは、AIにとってチャレンジングなことと認識しています。このような、仮説推論は、先生の研究テーマの1つだと思っていますがいかがでしょうか。

乾：

説明可能なAIを目指すにあたって仮説推論はかなり重要で、AI研究の大きなパラダイムだったと思います。ただし、これまでの記号処理だけではなかなか難しかった。そこに、記号推論とニューラルを組み合わせて、膨大な処理をスピードを上げて行うなど、発展させる研究は十分考えられます。

AIの進化と、支える土壌

外園：

2010年以降、Googleの猫認識、AIが囲碁名人に勝利、自動運転の実現、ChatGPT登場など、AIに絡むトピックが次々と出てきました。次に社会にインパクトを与えるものは何でしょうか。

乾：

未来を想像するのは難しいですよね。例えばChatGPTをはじめとする今の大規模言語モデルの記号がやわらかくなって、ある程度の知識を持つ、というのはそんなに遠い話ではないと思います。もっと人間とのインタラクションが密になっていく世界があるのだろうと思います。

また人間の脳波を使って、脳とマシンを直接結ぶバイオロジカルな世界と、計算論的なAIの密な結合のインパクト、破壊力はすごいのではないかと思います。それが楽しい世界かどうかは分かりません。

外園：

私も計算領域は、すでに人間を凌駕していると思っています。例えば、囲碁におけるAI対AIは、神の世界の戦いになっているという話があります。強くなり過ぎて、とても人間が追いつかなくなった。別の分野でもAI同士が対決することで、人間が想像のつかないことを計算しはじめると面白い、と感じています。

乾：

ありうる話だと思います。

AIが人間の社会にもう少し入ってくると、AI同士のインタラクションが発生し、勝手に創発することになる。ただ、インタラクションするだけでは結局人間社会にとって役に立つものではないと思います。

囲碁がいい方向に学習するのは、勝つために、ある種の目的関数として非常にいい報酬を与えることができるからです。

外園：

AI対AIで対話を続けると、言葉を勝手に省略したり、作ったりして、しまいには、人間には分からなくなる、と想像しています。

乾：

今でも、機械同士が人間には分からない記号の列をやりとりして、それが会話になって、そこに報酬をうまく提示してあげると、より効率的な記号の列のような言語を創発する。そういう研究はあります。

外園：

とてもユニークですが、現時点では、どう役立つか分からない（笑）。そんな研究も、イノベーションには重要だと思います。

乾：

ChatGPTもそうですが、技術が開放されて、いろいろな業界において、試行錯誤が進む。その中で、悪用もされるけれども、対応も検討される。大規模言語モデルでは、まさに今それが起こっていると思います。試行錯誤、技術の民主化はイノベーションの起こる重要な必要条件だと思います。

外園：

イノベーティブな技術が社会に応用される時の注意点などはありますか。

乾：

技術は万能ではないので、試行錯誤が健全に行われるような規制・ルール作りが重要です。

AIの発展・活用に向けて産業界に期待すること

外園：

先生は「富岳」などを使い、国立情報学研究所（NII）と日本語版の大規模言語モデルを作るというプロジェクトをされています。今後の活動において、産業界に期待されることはありますか。

乾：

言語モデルの話でいいますと、日本語なり日本に関するデータの収集に協力いただきたいです。

データもモデルも、一回作ったら終わりではありません。また、政府のお金をぽんとつぎ込むだけではなかなか続かないです。民間の人たちも入って、その人たちも持続的にそこに参加できるような、うまい仕組みを考えないといけないと思います。

世の中はオープンソースが進んでいますし、こういう技術は、なるべくオープン化していって、使い方の民主化も含めて、みんなの公共財にしていくことが大切だと思います。

国立情報学研究所が中心になって大規模言語モデルの勉強会がかなり盛りあがっています。うまく情報交換して、その資源の共有と流通を行うことで、企業自身のマーケットも広がっていく、というサイクルにしていけるような動きを日本で作れるとすばらしいと思います。

外園：

本日はありがとうございました。歴史から技術背景、イノベーションの土壌、今後のテーマまで多くのお話をいただきました。AI言語処理を活用したソリューションを検討する際には、東北大学の先生のチームに相談させていただきたいです。また、先生方の研究が社会実装され、世界をよりよくする活動の一助になれるよう、私共も取り組んでいきたいと思います。

（文中敬称略）

金融ITフォーカス2023年10月号

ダウンロード

AIの技術革新と進化の方向性

ファイルサイズ：1.71MB