インストラクションと複数タスクを利用した日本語向け分散表現モデルの構築

文書を対象とした分散表現モデルは研究用途や実応用などの目的で盛んに使用され，高性能な分散表現モデルの需要は日々高まっている．分散表現を利用したInformationRetrieval（IR）[1]を始めとして，Summarization[2]やClassiﬁcationへの活用[3]などが報告されている．このように，文書の分散表現は自然言語処理において重要な要素の一つである．分散表現モデル構築の研究は，主に英語を焦点に当てて様々な議論がされている．その中でも特に(1)どのデータを使い，(2)どのようなモデルに，(3)どのような学習を施すのか，が日進月歩で報告されている．学習データに関する研究として，Wangら[4]はWeb上の半構造データから作成した学習データ270M件を利用することで，高精度な分散表現モデルを構築できることを報告している．一方で，Suら[5]やAsaiら[6]は既存の英語タスクのデータを複数利用することで，様々なタスクについて既存研究と比較して高い性能が得られることを報告している．日本語の分散表現モデルにおいては，TsukagoshiandSasano[7]がWangら[4]と同様の取り組みを行い，88M件のデータを利用することで高い性能が達成できることを報告している．本研究では，日本語分散表現モデル構築に向けて，どのデータを使うのかという問いについて，Suら[5]やAsaiら[6]と同様の方向性での検証を実施する．本研究では，日本語に関する様々なデータを収集し，それらを用いることで分散表現モデルの学習が可能か検証した．また，多言語データでの学習により，言語横断による性能向上が報告されている[8]ことを受け，本研究でも英語に関するデータを利用することにより，より高精度な分散表現モデルが構築できるか検証した．検証の結果，日本語データで学習したモデルがいくつかのタスクで精度が向上することを確認し，英語データを含めて学習することでさらに性能が向上することを確認した．分析から，学習に使用したタスクデータの種類に応じて，改善する評価指標と改悪する評価指標が異なることを確認した．