語彙置換継続事前学習による日英バイリンガルモデルの構築と評価

ニューラルベースのLLM(LargeLanguageModel)は，大量の英語データで事前学習が行われることが多い．これに英語以外の言語データで継続事前学習を行うことで，比較的少量の資源でその言語の高い性能を得ることが期待される．本稿では，オープンなLLMである事前学習済みLlama213BChatに対して日英2言語データで語彙置換継続事前学習を行い，LLMベンチマーク2種で性能評価した結果について報告する．トークナイザは語彙置換により日英2言語に適応させ，カリキュラム学習により言語間の知識転移と学習効率化を図った．ベンチマーク結果より，日本語性能の向上を確認した．