チャットGPTなどに代表される、大規模言語モデルを活用した生成AIは、大量のデータとディープラーニング（深層学習）技術によって構築された言語モデルだ。
その精度は更に向上し、まるでこの世界のことを正確に理解しているかのように思える。だが、本当に理解しているのだろうか？
米国マサチューセッツ工科大学（MIT）の研究チームによると、AIが生成する世界モデルはまるで一貫性がないことがわかったという。
関連記事：生成AIの手を借りて作成したニュースは理解しづらいことが研究で判明
関連記事：陰謀論者を説得し、信念を変えるのは、人間よりAIの方が効果的であるとする研究結果
大規模言語モデルを活用した生成AIの問題点
大規模言語モデル（LLM）は、膨大な「計算量」「データ量」「パラメータ数」を瞬時に処理することで、人間に近い流暢な会話が可能となり、自然言語を用いたさまざまな処理を高精度で行える。
じつのところ、LLMは道案内（ルート生成）やゲームのプレイなどの複雑なタスクでは正確な作業をやってのける。だが予測が難しい現実世界では困ったことになることもある。
例えば、あなたがAIによる自動運転車に乗っていたとき、運悪く通行止めに遭遇したとしよう。こんなとき、正確な地図を持たないAIは、あなたをあらぬ場所へと連れ去ることになるかもしれないのだ。
関連記事：2023年は1万本以上の研究論文が撤回され過去最高を記録
生成AIは世界を理解しないままに作業を行なっている？
今回の研究で調査されたのは、GPT-4のような大規模言語モデル（LLM）のベースとなっている「Transformer（トランスフォーマー）」という生成AIモデルの一種だ。
トランスフォーマーは、大量の言語データをもとにして、シーケンス内の次のトークン、例えば、ある文章の中で次に続く可能性が高い単語を予測することができる。
だが、こうしたAIが世界を本当に理解しているのかどうか知るには、ただその予測の正確さを調べるだけでは不十分だ。
なぜなら、彼らはルールを理解していないくても、正確な予測をしている可能性があるからだ。
関連記事：AIの知性と人間の知性が異なる理由
そこでMITのアシーシュ・ランバチャン氏らは、AIに「決定性有限オートマトン」という問題を解かせ、2つの指標を基準にして彼らの世界モデルの正しさを確かめてみることにした。
決定性有限オートマトンとは、状態と入力をもとにして、次の状態が決まるゲームのようなものだ。
例えば、サイコロを振ってゴールを目指す双六を想像してみよう。このとき現在のマス目が状態で、サイコロの出目が入力、出目に応じて移動すべきマス目が次の状態に相当する。
今回の研究では決定性有限オートマトンに相当する問題として、AIに「オセロ」と「ニューヨーク市内の道案内」をやってもらった。
これらの課題は、仕組みやルールがわかっているために、AIがその世界についてどのように理解しているのか試すのに都合がいい。
関連記事：話題の会話型AI「bingチャット」を挑発した大学生、逆に脅迫される
そしてその結果を評価する指標は次の2つだ。まずは「シーケンス区別」と呼ばれる指標。例えば、AIにオセロの異なる2つの盤面を見せたとき、その違いを認識することができるだろうか？
それとは反対に、まったく同じ2つの盤面を見せたとき、AIは次に指すべき手として同じ手を予測するだろうか？ こちらの指標を「シーケンス圧縮」という。
LLMの世界モデルには一貫性がない
この課題に取り組んだのは、ランダムに生成されたデータで訓練されたAIと、一定の戦略にそって生成されたデータで訓練されたAIの2種類だった。
2種のAIの結果を比べてみると、驚いたことにより正確な世界モデルを持っていたのは、ランダムなデータで訓練されたAIだったのだ。
この意外な結果の原因は、ランダムなデータの方が、より幅広い選択肢を学習できるからだと考えられている。
例えばオセロの世界王者の指し手で学習をした場合、王者が指さないようなひどい悪手はおそらく学べないだろう。
だがランダムな指し手から学ぶなら、理屈の上ではあらゆる指し手を学ぶことができる。
この実験において、2つのAIは、ほぼ毎回正しいオセロの指し手を予測していた。
にもかかわらず、2つの指標から判断すると、オセロの一貫した世界モデルを持っていたのは、ランダムなデータで学習したAIだけだった。
そしてニューヨーク市内の道案内については、どちらのAIも一貫した世界モデルを持っていなかった。
その重要性は、AI自動運転車に乗っていたあなたが、運悪く通行止めに遭遇したときにわかるだろう。
というのも今回の道案内課題で、地図に記載されたいくつかの通りを閉鎖して迂回路を設定してやると、途端にAIパフォーマンスが低下したからだ。
なんと、普段は通過できる道をほんの1％閉鎖しただけで、ほぼ100％だった道案内の精度が、67％に急落したのである。
しかもその後、AIに地図を修復させると、道の上に高架が渡されていたり、ありえない方向に伸びる道路ができていたりと、不可思議なニューヨーク市が生成された。
これまでのアプローチでは人間世界を理解できない
こうした結果は、AIが世界を理解していないことを示している。それでいて彼らは特定のタスクを驚くほど上手にやってのける。
だがもしも正確な世界モデルが必要な作業を行わせるには、これまでのアプローチではだめだということでもある。
AIモデルが素晴らしいあまり、それが世界について何かを理解しているに違いないと思い込みがちです
ですが、この点については慎重に考えるべきで、この疑問に答えるために直感に頼ってはなりません（マサチューセッツ工科大学 アシーシュ・ランバチャン氏）
研究チームは今後、ルールが部分的にしかわかっていない問題など、さまざまな状況についても検証したいとのことだ。
その他、LLMを活用した生成AIには、ハルシネーション（幻覚）と呼ばれる現象や、悪質なプロンプトを用いて、本来禁止されている機能を解除して不適切な回答を得ようとする「Prompt Injection（プロンプトインジェクション）」の問題などが指摘されている。
まだまだ改善すべき点は多いが、それでも既にAIは我々の日常に浸透しつつある。我々の世界を本当に理解してもらうためのもう一手が必要のようだ。
この研究は『Conference on Neural Information Processing Systems』で発表される予定だ。また論文は『arXiv［https://arxiv.org/abs/2406.03689］』（2024年6月6日投稿）で閲覧できる。
References: Can Language Models Really Understand? Study Uncovers Limits in AI Logic - Neuroscience News［https://neurosciencenews.com/llm-ai-logic-27987/］
コメント