日本語大規模言語モデルにおける知識グラフを活用した意味理解性能の向上

事前学習後のBERTは一般的な言語表現を獲得するが,ドメイン固有の知識が不足している.ドメイン固有の知識をBERTに注入する手法として,知識グラフを活用した研究が行われている.本研究では,日本語BERTモデルのファインチューニング時に知識グラフに記載されている知識を活用することによる,下流タスクへの性能向上の可能性を検討した.また,LIMEを用いて,文章分類タスクにおいて,知識を追加したことによる予測結果への影響調査を行った.