数理言語学には文に意味を与える理論があり、記号推論ベースの言語処理を担っている。一方、大規模言語モデル（LLM）は確率計算がベースであり、その対極にある。LLMが人間のように文の意味を理解しているかは重要な論点である。数理言語学ではこの論点をどう評価しどう検証できるのか、お茶の水女子大学の戸次大介教授に語っていただいた。

金融ITフォーカス2024年3月号より

数理言語学とはどんな学問か

外園：

戸次先生が専門とされる数理言語学では、大規模言語モデル（以下、LLM）とは対極的に、言語処理を論理式や証明によって行っており、非常に面白いと感じています。先生は、数理言語学の第一人者でありますが、そもそもどのような学問なのでしょうか。

戸次：

どこから語るべきか難しいのですが、計算機科学、哲学、言語学など複数の分野が合流してできた学問と言えます。その大きな流れの一つが論理学、もう一つはノーム・チョムスキーに始まる生成文法です。

論理学は、紀元前のギリシャの時代に遡ります。弁論で人をどのように説得するか、どのようなことが誤謬であるか、といった知識が発達して、そこから論理学が生まれたと考えられています。

一方、チョムスキーは、人間の脳にはある種の数理体系として捉えられるようなシステム（言語機能）が先天的に存在しており、人間が使用する言語というのはその現れに過ぎない、という言語観を提示しました。学校で習うSVOのような文法より、もっと精緻なシステムが先天的に存在するのではないか、と主張したのです。そうしたシステムがいったいどこから来るのかという疑問から、幾つもの言語学が派生するのが1970、80年代です。

外園：

数理言語学は、コンピュータが言語を処理する理論や手法を提供すると考えてもよいのでしょうか。

戸次：

1980年代には、Prolog言語を使って論理学とチョムスキー流の文法記述をつなぎ合わせることで、エキスパートシステムのような応用が可能になるのではないか、と皆が沸き立ちました。しかし実際には、ある程度までは成功したものの、いわゆる「規則を手で書く」ことの限界に突き当たりました。その後、言語学と論理学はそれぞれ独自に大きく進歩し、現在は理論言語学の最先端理論を、コンピュータ上で実装できるようになりつつあります。

外園：

先生の研究も、エキスパートシステムの課題をどう克服するか、という時代を経て今日に至ったものと思います。この研究分野に関心を持たれた経緯を教えてください。

戸次：

90年代、学部時代に所属していた研究室ではプログラミング言語を研究していました。ある時、研究室の部屋を歩き回っていると先輩のディスプレイに、日本語文を構文解析した、いわゆる「構文木」が表示されているのを見つけました。「この先輩は日本語を“コンパイル”しているのだ」と気づいた瞬間、稲妻に打たれたような気がしました。つまり、プログラミング言語と自然言語は本質的には同じものだ、と悟ったのです。

そこからひたすら日本語文法をプログラムする経験を経て、卒論も関連した研究を選びました。その後、計算言語学を専門とする先生の研究室に移り「日本語の正しい文法は、誰が提唱するどの理論なのか？」という疑問を抱いたのですが、どの言語学者も正解を持っていないことに気づき始めます。やがて、自分で理論を作ったほうが早いのではないか、と思うようになりました。一定の成果を得られるまでに、10年くらいかかったのですが。

外園：

その成果が2010年に出版された「日本語文法の形式理論――活用体系・統合構造・意味合成――」（くろしお出版）ですね。言語学の世界で、日本語文法の歴史を変えたと評価されている！

戸次：

それまでは、組合せ範疇文法（CCG）のような欧米由来の文法理論は、日本語のように語順も自由で、省略も多い言語には当てはまらない、と多くの人が思っていたと思います。しかし出版後には、あまりそういうことは言われなくなりました。

この文法理論をベースとして、日本語の構文解析をCCGに基づいて行うプログラムの開発も始まりました。机上の理論ではなく、実装して動かせるレベルの理論を初めて作った、といえるかと思います。

外園：

先生は、文法理論を構築する一方で、文に意味解釈を与える理論である「依存型意味論」（DTS）を新しく提案されています。それまで文の意味は「現実との対応による文の真偽」と捉えられていたものを、どう変革したのでしょうか？

戸次：

意味の理論で重要なことは「何ができるのか」に加えて「何ができないのか」が説明されることにあります。人間が意味を処理する際に「こういうことができてもよさそうなのに、実際にはできない」ということが数多く知られています。

外園：

どんなことが「できない例」でしょうか？

戸次：

「太郎は誕生日の夜、店に立ち寄って、ローストチキンを買った。そのチキンを結局一人で食べた」というと、「そのチキン」は太郎が店で買ったチキンのことを指せます。ところが「太郎は誕生日の夜、店に立ち寄って、ローストチキンを買ったか、もしくは財布を忘れて買えなかった。そのチキンを結局一人で食べた」とは言えません。「そのチキン」が何かを指すには、単に文脈上に対応する表現があればよいわけではない、ということを示す例です。詳しい説明は割愛しますが、DTSでは「そのチキン」が何を指せるかを計算するには、先行文の論理式から「チキン」への証明を構成します。文の意味理解には「証明」という概念を媒介しなければならない、というのがDTSの考え方です。

外園：

人間が組み立てた文がどのような意味を持つかは、数理的な証明を介して初めて計算できる、と理解してよいでしょうか。

戸次：

その通りです。DTSでは論理式をプログラミングでいう「型」とみなします。命題を型と、証明をプログラムと同一視する「カリー＝ハワード同型」という原理があるのですが、DTSはその原理に基づいて自然言語の意味を捉え直す試みです。プログラムとの親和性も高く、最近の研究ではコンピュータ上での実装も進んでいます。

LLMはどこまで文の意味を理解しているのか

外園：

数理言語学に「文の意味」を与える数理表現があることが分かりました。数理言語学の意味に照らした場合に、現在のLLMは、文の意味を理解しているとお考えですか。

戸次：

非常に難しい論点だと思います。認知科学や哲学の分野で、思考には「システム1」と「システム2」の2つのモードが存在するという説があります。システム1は連想的思考で、「あいにくの」と言われたら「雨」というように、脳の中で近い所にあって想起されるようなものです。一方、「システム2」は探索的思考で、パズルゲームや数学の問題を解くといったものです。

2020年くらいまでは、ニューラルネットはシステム1によるパターン認識のような問題が得意で、システム2の数理的な問題は苦手であると言われていました。ところが研究が進んで、探索の思考過程のようなものもLLMによって再現できると言われるようになりました。数学の問題を解くときに、まず、最初のワンステップの思考を生成させて、その生成されたものを入力に追加し、また次のステップの思考を生成させる、というやり方で、深い探索も展開できつつあるようにみえます。

外園：

LLMが、数学の問題まで解きつつあるのは、大変驚きです。解法への応用性や、意味の理解にどこまで肉薄していると言えるのでしょうか。

戸次：

私自身は、システム1と2は独立したもので、しかしその間に相互作用があると考えています。

われわれ人間も数学の問題を解くとき、最初は「これはどういう規則に従っていて、どういう定義に遡って考えればいいのか」と、システム2のように探索的に考えます。しかし10題、20題と解いているうちに、だんだん手が自動で動くようになり、問題を見た瞬間、「これはこの形だから」と連想的に解けるようになります。これはシステム2が最初に動いて、その結果の出力をシステム1が学習して、その後はパターン認識だけで解けるようになる、ということです。

現在のLLMも同じで、ある程度探索的な問題も解けるように見えるのは、システム2の探索結果がデータに含まれているので、それを学習して模倣しているからではないか、というのが私の見立てです。

外園：

応用問題までは解けない学生を思い出します。

戸次：

そうですね。このような見立てに基づけば、現在のLLMに対して2つの見方ができます。一つは、模倣しているだけなら人間の知能を解明したとはいえない、という考え方。もう一つは、人間自身も模倣しているだけだ、という考え方です。どちらが正しいかは検証を要します。

数理言語学的チューリングテスト

外園：

その検証方法として、LLMがどこまで文の意味を理解しているか、「数理言語学的チューリングテスト」について考えてみたいと思います。数理言語学者が定義する、文に意味を完全に与えるシステムが存在したとします。このシステムの回答とLLMの回答が常に一致した場合に、LLMは「意味を理解している」と言えるのでしょうか。

戸次：

テストケースが有限だとすると、実はチューリングテストには限界があります。

私は、機械学習の検証は「後出し」じゃんけん、理論言語学の検証は「先出し」じゃんけん、と考えています。機械学習ではデータセットが前もって存在しており、「それが解けるような関数を見つけなさい」と言われるので、モデルは「後出し」となります。一方、理論言語学ではまず理論を「先出し」で提示して、それを聞いた人が反例を考えることができます。モデル・理論と検証データの順番が逆になるのです。モデル・理論にとっては「先出し」で後から反証に耐える方が「後出し」より厳しい。

理論言語学は、ずっとこのような形で言語理論を磨き続けてきた歴史があります。誰かが1つの理論を提唱すると、外の誰かが手を挙げて「この例はどうだ？」と反証を提示して、その場で潰す、といった具合です。

外園：

先生ご自身が、色々な既存理論を潰しながら、新しい理論を発展させてきたと思っています。

戸次：

理論言語学者は、LLMの出してきた推論に対しても同じように反証を示すことができます。言語モデルは文の意味を理解できると言われているけれど、「では、これはどうか？あれはどうか？」と試してみるわけです。GPT-4くらいになると、こちらで解けないだろうと思っていた質問も解いてきます。でも、その解き方を見て「それなら、これはどうだ？」と質問していくと、かならず解けない問題に辿り着きます。

外園：

LLMは、最終的には、戸次先生の数理言語学的チューリングテストに落ちるわけですね。

戸次：

現状ではそうです。それをLLMの専門家に話すと「それなら予めその解けなさそうな例をデータセットにして公開してください」と言われます。しかし、言語モデルのふるまいを見て問題を作り出すので、予め示すのは難しいところがある。

外園：

先生がLLMに「これは解けないだろう」と試した例はありますか。

戸次：

GPT-3では解けずGPT-4で解けた例は、二つの命題の少なくとも一方が真となる選言（ディスジャンクション）に関する推論です。

実際は英語ですが日本語に訳すと「メアリーは馬かロバを見ました。彼女は動物を見ましたか？」と尋ねました。GPT-4は「メアリーが馬を見たとしたら、馬は動物ですから、動物を見たことになります。一方、ロバを見たとしたら、ロバは動物ですから、動物を見たことになります。いずれにしても、メアリーは動物を見たことになります」と回答してきて驚きました。

ただ、このGPT-4の回答は、少々テンプレート的だなと感じました。そこで、「ジョンは馬かロバを見た少女に会いました。ジョンは動物を見た少女に会いましたか？」と1段階埋め込んでみたら、解けませんでした。ですから、先の問題は、一見解けているように見えるけれども、作り込みなのかな、という印象を持っています。

外園：

典型的な言語学の問題については、データとして学習させている可能性もあるということですね。

戸次：

そうですね。しかし、それではデータ通りの形しか解けないので応用が効きません。先ほど文を節に埋め込んだように、自然言語は再帰を許すので、現象の組み合わせは無限にあります。「有限のテストセットを解いたら成功」とはいえません。

外園：

LLMがチューリングテストに合格し、人間の言語能力に近づくにはどうしたらよいでしょうか。

戸次：

LLMと意味理論の融合、つまりシステム1とシステム2の融合で、より人間の言語機能に近いモデルが生まれる可能性はあるでしょう。

外園：

冒頭のチョムスキーのシステムと関連しますが、脳と身体との相互作用や空間認知などは先天的なシステムとして人間に備わっているのだと思います。言語機能にとってはそういうシステムも不可欠で、後天的な学習だけで得られるものではない、と理解してよいでしょうか。

戸次：

そうですね、そのような人間の「生物としての作り込み」がニューラルネットによってどのように表現できるかは、今後の人工知能の発展の鍵になるかと思っています。

外園：

最後に、先生が今後の研究で何を目指していらっしゃるのか教えていただけますか。

戸次：

究極的には、言語学を通して人間というものの中枢を知りたいと思っています。その中で「こういうことだったのか」という新しい発見に到達して、その深淵を覗き込みたいという想いは強いです。

言語の一個一個のふるまいのパズルは、所詮、表層的な現れに過ぎません。それを解くのはパズル解きとしては面白い。けれども、物理学などでもそうですが、統一が起こったときは桁違いの驚きがあります。「これは同じことの違う現れだったのか」と気づいたとき、やはり心を打たれます。数理言語学にはそういう経験を何回もさせてもらいました。それがこの分野の魅力だと思います。

そして、そのような研究成果が何らかの形で社会的にも役に立てばなお良いかなと思っています。

外園：

先生の研究室とNRIは、文の意味を理解するAIを目指して、長く共同研究をさせていただいております。「数理言語学的チューリングテスト」もLLMの評価には不可欠と思っておりますので、今後ともよろしくお願いします。本日は、貴重なお話をありがとうございました。

（文中敬称略）

金融ITフォーカス2024年3月号

ダウンロード

数理言語学から考える大規模言語モデル

ファイルサイズ：1.56MB