大規模言語モデルが持つ抽象推論能力の分析

帰納推論能力とは，少数の例から共通するパターンを抽出し，新しいケースに適用させる能力である[1]．この能力は，事前学習データには存在しないような新しいパターンのタスクに遭遇した時でも，新たに学習データを用意するなどといった追加コストを支払うことなく頑健に対処するために必要である[2]．特に，抽象推論能力と呼ばれる図形やパズルなどといった記号を対象にした帰納推論能力は，学習コーパスの量が少ないため未見のパターンに対する適用能力の評価に適している[3]．しかしながら，既存の大規模言語モデルは未だ抽象推論能力が欠けており[1]，抽象推論能力について詳細な分析が必要である．抽象推論能力を測定するための代表的なデータセットとしてARC（AbstractionandReasoningCorpus）が挙げられる[2]．ARCのタスクの例を図1に示す．ARCは人間らしい汎用的かつ流動的な知能を持っているか評価するためのベンチマークである．具体的には，複数の入出力画像例から共通する操作を推論し，テストケースに当てはめる能力を調べるデーたタグの集合[4]を表す．タセットである．ARCを解くにあたって，画像や画像内の図形の認識および移動や回転などの操作，論理演算や算術演算などの能力が要求されている．ARCは数個の例から複雑なパターンを推論するという特徴から人間には解けるが人工知能には解けない傾向がある[2]．この問題によってARCへの注目が集まっており，コンペティションが開かれるほどである．現在，最も精度の高い手法を用いて約50%の精度を達成している1）．本研究ではタグを用いてARCのタスクに含まれるさまざまな推論パターンを分類し，大規模言語モデルが得意な操作および不得意な操作について調査する．タグについてはセクション3で説明する．実験結果より，画像の回転や複製などといった画像全体に対する操作が得意であり，画像内の図形に対する操作が不得意であることが得られた．