言語モデルの自然言語理解能力を測る評価用データセットは多くの言語で不足している．また言語モデルのマルチリンガル性能に焦点を当てたとき，多言語間で対応の取れたデータセットは希少なため，その評価は限定的である．しかしデータセットを人手で構築するには限りがある．この問題を解決するため，本研究ではデータセットの作成過程を多段階に分割し，従来人手で作問していた工程を生成型マルチリンガル言語モデルに置換することで，効率的にマルチリンガルデータセットを作成する方法を提案する．本研究ではCommonsenseQAに焦点を当て，提案手法を用いて8言語に拡張する．作成したデータセットは作成に使用した言語モデル自身にとっても十分難易度の高いデータセットとなった．

言語モデルのマルチリンガル性能の評価に使用されるデータセットは主に，英語などで作成されたデータセットの翻訳[16,22,9,3,32]，多言語間における類似タスクの組み合わせ[35,12,2,23,17]，多言語資源から同一手順に従って作成[14,13,4,6,26]の3種類の方法で作成される（表1）．しかし翻訳で作成されたデータセットは，翻訳由来の不自然さがあったり，言語固有の文化や知識・常識の違いが考慮されていない[16,1,6,21,15]．また多言語で類似タスクを組み合わせて作成されたマルチリンガルデータセットは，各言語ごとにデータ作成されているため，言語ごとの知識や常識の評価が可能である一方，言語数を増やすごとに完全に対応の取れたタスクは稀になり，作成過程やデータ取得元などの差異により，厳密な言語横断的評価はできなくなる．よって多言語資源から同一手順に従って作成されたマルチリンガルデータセットのみが，言語ごとの言語固有の知識や常識の違いを考慮した言語横断的評価を可能とする．しかし，そのようなデータセット作成方法言語特有の知識言語間の対応作成コスト翻訳類似タスク多言語資源提案手法を人手で作成することは作業者の確保や金銭的な観点から作成能力に限りがある．また，データセット作成時に言語資源が知識ベースなど構造化データの場合，それらを元に自然言語文を作成する必要がある．多言語環境において構造化された言語資源は，言語間で共通ルールに従って開発されており，言語間で対応が取れている．そのため言語によらず同一手順でデータセット作成が可能である．本研究では，従来人手によって構造化された言語資源からデータセット作成していた工程を生成型マルチリンガル言語モデルに置換することで，低コストで効率的にマルチリンガルデータセットを作成する方法を提案する．本研究では，常識推論能力評価用データセットであるCommonsenseQA（CSQA）[28]に焦点を当てる．CSQAは構造化された多言語知識ベースであるConceptNet[27]から人手によって作成された代表的な常識推論QAデータセットであるが，コスト的な問題から現状，英語と日本語版のJCommonsenseQA（JCSQA）[15]のみしか作成されていない．そのため提案手法を用いてCSQAを8言語1）に拡張したMultilingualCommonsenseQA（mCSQA）を作成する．mCSQAにより言語モデルの言語横断的な常識理解能力を測ることが可能となる．提案手法により，十分に設計された作問手順に従って作成したデータセットは，作成に使用した言語モデル自身にとっても難易度の高いデータセットとなることがわかった．またmCSQAの1問あたりの作成金額はCSQAの100分の1まで削減できた．1）英語（en;English），日本語（ja;Japanese），中国語（zh;Chinese），独語（de;German），ポルトガル語（pt;Portuguese），オランダ語（nl;Dutch），仏語（fr;French），ロシア語（ru;Russian）.1.回答候補となるサブグラフの抽出3.言語モデルと人間でのフィルタリング