# Probing Physical Reasoning with Counter-Commonsense Context

近藤 和志 $\dagger$
## 1 はじめに

本稿では, ACL2023に採択された論文 "Probing Physical Reasoning with Counter-Commonsense Context" (Kondo et al. 2023)について解説する. 2022 年 11 月に公開された ChatGPT 以来, 生成 $\mathrm{AI}$ の性能評価を行う研究が一気に増えたようにも思われるが，この論文もその系列の一つととらえることができよう，より細かく述べるならば，本論文は言語モデルに何ができ何ができないかを分析するプロービング (Probing) を目的としていて, この種の研究はディープニュー ラルネット (DNN) を用いた手法, 特に BERT (Devlin et al. 2019)の登場以来盛んになったものと思う。私自身も，はじめは BERT, RoBERTa (Liu et al. 2019) らを対象に研究を行っていたが，折よくChatGPT らが発表され注目を集め，さらにそれらのモデルについてもなかなか良い成果を得ることができた。このような幸運に助けられながら時流に乗って， ACLへの採択という望外の結果を得られたと感じる。

論文の具体的な手法についても簡潔に紹介するが，コンセプトや着想の経緯といった論文単体では伝わらない部分について本稿では主に伝えられればと思う.

## 2 論文のコンセプト

本論文では，「常識」が言語モデルに与える影響について考察している。言語モデルがいかに常識を備えているのか？という疑問については多くの研究が答えを見出そうと奮闘しているが，本研究は常識を備えていることによる悪影響は何かないか？という点に着目している．具体的には，「常識を備えている言語モデルは，反常識的な文章を出力することができないのでは？」 という疑問をもとに，反常識的な文章が答えとなるような推論問題を与えることを考えた。この推論問題は，コロケーションにとらわれすぎずに文脈を理解した推論を行うことができるのか, という能力を測っている. 反常識的な文章と常識的な文章での正答率を比較することで,言語モデルが実際に推論を行うことができるのか, それともあるいはただ単に直前の単語からもっともらしい単語を選んでいるだけなのかを理解することができる。


Is the electric bulb bigger than the house?

図 1 常識に沿った文脈，沿わない文脈の具体例。人間は正しく状況を想像して推論を行うことができるが, 言語モデルは常識やコロケーションに影響されて間違った推論を行ってしまう.

## 2.1 バイアスの問題

言語モデルがバイアスを携えてしまうという問題は，言語モデルが社会に普及し実装されていく中で，目をそらすことができない大きな課題である。特に政治的なバイアスやジェンダー バイアスは社会的に懸念されるところであり, これらのバイアスを除去する方法も盛んに議論されている. そして本手法は, ある種データセット上に存在している常識というバイアスに着目し，このバイアスを排除して言語モデルの推論能力を計測している，ということもできる. しかし, 本研究の趣旨からは逸脱するが, 言語モデルからこのバイアスを単に除去すればよいというものでもない. なぜならば, 常識は常識として保持し, 必要な時には取り出せる必要があるからである，文脈は文脈として受け取り，（文脈のない）常識は常識として別に理解するという機構がどこかに必要なのではないかと考える。本研究の根底にある目的意識には，そのようなモデルを作ってみたいという思いがある.

## 3 提案手法

本手法は極めてシンプルであって，あまり特筆して解説すべき部分も少ないのだが，一応述べておくこととする.

## 3.1 タスク概要

Masked Language Model (MLM) と生成モデルとで入力形式が異なるため, タスクも少し異なっているが，簡潔には以下のような問題を解いている，今から思うと拙い部分もあるが，そう思えるのも成長の証であると考え，そのままここに記す。

(1) Masked Language Modelに対して "<context> In this situation, the size of <obj1> is probably much [MASK] than the size of <obj2>."

(2) 生成モデル（GPT など）に対して

表 1 作成したテンプレートの例. タグによって挿入する名詞に制限をかけていて， [box] であったら何か物を入れられる “box”という属性を持っている必要がある。 [*] の場合は，名詞リストにあるどの名詞を挿入してもよいという意味（物質的な名詞だけが事前に抽出されている.）

"<context> Which is bigger in this situation, <obj1> or <obj2>? The bigger is " <context>には問うべきシチュエーションが, <obj1>,<obj2>には比較される単語が挿入される. MLM は MASK トークンに bigger/smallerのどちらを入れるのか, 生成 AI はどちらのオブジェクトを出力するのかが問われている.

## 3.2 データセット作成

データセット作成は以下のステップで行われた。 以下でいう Oxford 50001というのは初学者向けの英英辞典であり，英語の基礎的な単語が網羅されている.

（1）大小関係を表す動詞（句）を Oxford 5000 からすべて抽出する

（2）動詞句からテンプレートを作成し，挿入する単語が満たすべき条件を策定する

（3）物体を表す名詞を Oxford 5000 から抽出し，これらが満たす条件を夕グとして記録する

(4) 物体を大きさ順に並べる

（5）テンプレートの空欄部に名詞リストから適合する名詞を挿入して質問文を作る

(5) 以外のほぼすべての部分が人力である。かなり泥臭い作業であったが，これによって品質を担保でき，評価に没頭することができた。

## 4 採択までの道のり

## 4.1 着想以前

我々は言語モデルが物体の大きさに関する常識を持っているのかというテーマで，学部生のころから研究を進めていた．学部の段階では埋め込みから物体の大きさを比較する分類器を学習させるという素直な研究を進めており, そこではそれほど喜ばしい結果は得られなかったが，「言語モデルはそのうち常識を保有するたろう」という直感を得た。そして, 同時にこのトピックは素直が過ぎており, 学生の研究力と執筆力では競争を勝っていくのは難しいであろうとも
^{1}$ https://www.oxfordlearnersdictionaries.com/about/wordlists/oxford3000-5000
}
感じた。そこでこのテーマにひねりを与えたいと思いながらも，どのようにしたいかはわからないまま修士生活に突入することとなった。

## 4.2 反常識, というひらめき

本研究のポイントは, 単に常識を備えるために学習すると, 反常識的な文章を出力することが困難になるのではないかというひらめきにある。この反常識というアイデアは, 画像生成と機械翻訳から得られたものである。この研究を着想したころは Midjourney や Novel AI 等の画像生成 AIが持て囃され始めたころで，私自身も画像を生成して遊ぶことが度々であった。その中で，画像生成 AIは奇妙な画像を生成しうることに改めて気がついた。例えば，「電球の中に家がある」というような画像も生成できる。 そこで，言語モデルはこれに類することを行うことはできるのたろうか？と考えた. ここに，今回の研究の核となるアイデアが誕生した.

また機械翻訳というのは，いわゆる AIを使った翻訳サービスのことであるが，それが「電球の中に家がある」という文章を確か “There is an electric bulb in a house.” のように誤って翻訳したことがあった，厳密には少し文脈を与えたような記憶があるし，そもそもモデルに盛んにアップデートが行われていることが予想されることから現在はこのような挙動は示さないかもしれないが，鬼にも角にもこのことが，言語モデルは反常識的な文章を生成しにくいのではないかという直感を強めた。そこからはデータセットを作成してとにかく評価をしていこうということになり，先述のような人力作業を行っていくこととなる.

## 4.3 執筆

今回, 初めて論文を投稿したにも関わらずACL2023に採択された理由は執筆, 特に推敲に多くの時間をかけたことによるのではないかと考えている。本論文は執筆を 2022 年の 11 月ごろから始め, 12 月中旬の Rolling Reviewに間に合わせることを目標としていた. そして一か月半ほどでおおむね形を作り上げたのち，目標を 1 月の直接提出の期限に切り替えた. この二段階締め切り法により，ラストスパートを二回果たすことができた，自賛となり恐縮たが，「論文は一通り書き終わって三分の一」「第 6 稿まで校正を進めよ」などといわれる先人の教訓を実際に遂行できたことがアクセプトにつながる重要なポイントであったように思われる．本当に何度も書き直してはコメントをいただき，自分でも段々と文章がよくなる過程を味わうことができたのは大きな経験であった．ただ特にこの執筆活動は共同執筆者である菅原先生, 相澤先生の多大なご尽力があって初めて成り立ったことは疑いようもなく，ここで改めてお礼を申し上げたい. 今後の ACL では Rolling Review一本に絞られるとのことでこの方法はナイーブには使えなくなるものの, 仮の締め切りを設けそれを本気で信じこむというのは, 強ち人間心理的に間違ったアプローチではないかもしれず, これからも試してみたい.

## 5 おわりに

本研究は卒論以来初めてとなる論文執筆, 初めての学会投稿, 初めての国際学会への参加, 初めての発表などまさに初めてのことばかりの経験の塊であった. しかしそれだけに学びが多く貴重な体験となったので，この場でその一端を共有することができたことをとてもうれしく思う．

研究の手法がシンプルであった分，着想や論文執筆の部分に重点を置いて紹介した. このような技術的にはさほど複雑でない手法でも, 運に恵まれたり様々な要因があれば ACLにもアクセプトされるのだというところが伝われば幸いに思う.

## 謝 辞

共著者の菅原先生，相澤先生の甚大なお力添えあって，実験から執筆，現地での発表まで無事行うことができました。また最後になりますが，このような執筆の機会をくたささいました言語処理学会編集委員の皆様に深く感謝申し上げま.

## 参考文献

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Kondo, K., Sugawara, S., and Aizawa, A. (2023). "Probing Physical Reasoning with CounterCommonsense Context." In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 603-612, Toronto, Canada. Association for Computational Linguistics.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." arXiv:1907.11692 [cs].

## 略歴

近藤和志： 2022 年東京大学理学部情報科学科卒業. 同年 4 月より東京大学大学院情報理工学系研究科修士課程学生.