事前学習後のBERTは一般的な言語表現を獲得するが,ドメイン固有の知識が不足している.ドメイン固有の知識をBERTに注入する手法として,知識グラフを活用した研究が行われている.本研究では,日本語BERTモデルのファインチューニング時に知識グラフに記載されている知識を活用することによる,下流タスクへの性能向上の可能性を検討した.また,LIMEを用いて,文章分類タスクにおいて,知識を追加したことによる予測結果への影響調査を行った.

近年,BERT[1]をはじめとする大規模言語モデルが言語処理の幅広いタスクにおいて高い精度を達成している.BERTは大規模なコーパスを用いて文脈情報を加味した単語表現を獲得することを可能とする.事前学習後のBERTは一般的な言語表現を獲得するが,ドメイン固有の知識が不足している.ドメイン固有にモデルを最適化する手法の1つとして,事前学習またはファインチューニングの段階で外部の知識グラフ(以下KG)からBERTに知識を注入する研究が行われている[2,3,4].KGをBERTの学習に用いることで,テキストに書かれていないドメイン固有の知識などを考慮した言語表現の獲得が可能となる.BERTのファインチューニング時にKGの知識を活用するKI-BERT[4]では,GLUE[5]の8つのタスクでBERTと比較し著しい精度向上を達成した.英語や中国語など日本語以外の言語ではKGとBERTを掛け合わせた研究が活発に行われているのに対して,日本語BERTモデルを用いた手法の提案はまだ少ない.BERTのビジネス活用では,計算資源や学習時間などの学習コストが課題となる.したがって,知識グラフで表現された知識をファインチューニングで活用する手法は,ビジネス活用において需要が高い.そこで,本研究では日本語BERTモデルのファインチューニング時にKGの知識を活用することによる下流タスクの性能向上の可能性を検討した.JGLUE[6]の5つのタスクのうち4つのタスクで精度向上を確認した.また,実際のビジネスで利用されるデータの一例として,子育てオープンデータ協議会より公開されている子育てFAQデータでも実験を行い,効果を確認した.