JParaCrawlにおける分割学習の提案

JParaCrawlは，約3000万文を超える日英対訳データである[1]．規模が非常に大きいため，一般のGPUを利用しても，VRAMの容量が足りないため，NMTの学習が困難である．そこで，本研究では，データを分割して学習することで，一般のGPUを利用しても，学習可能な方法を考案した．実験の結果，この学習方法が有効に動作することが示された．