大規模言語モデルが持つ抽象推論能力の分析

人工知能が高度な汎化能力を持つためには，少数の例からパターンを抽出し，新しい入力に適用する抽象推論能力の向上が重要である．しかしながら，既存の大規模言語モデルは未だ十分な抽象推論能力を有しておらず，その能力について詳細な分析が必要である．本稿ではこれらの能力を評価する代表的なデータセットであるARC（AbstractionandReasoningCorpus）についてfew-shot学習を通して実際に解かせ，ARCの各タスクに必要な処理を能力ごとに分解し分類した上で，能力ごとの精度を分析することで大規模言語モデルの抽象推論能力を詳細に評価する．