半教師あり学習を用いた単語アライメントの改善

単語アライメントとは、翻訳文のペアにおいて、ソース文とターゲット文の間でお互いに翻訳になっている単語の対を見つけるタスクである。このタスクは、当初、統計的機械翻訳を改善するために提案された[1]。単語アライメントや深層学習技術の発展に伴い、単語アライメントは自然言語処理(NLP)のさまざまな分野に応用されている[2,3,4]。単語アライメントを改善する代表的な研究に、SpanAlign[5]、WSPAlign[6]、BinaryAlign[7]がある。SpanAlign[5]は、単語アライメントをSQuAD形式のスパン予測質問応答タスクとして訓練する。WSPAlign[6]は、SpanAlignにおける手動でラベル付けされたデータという要件を緩和し、大規模な弱教師あり事前学習データセット（Wikipediaのエンティティリンクと多言語Transformerエンコーダ言語モデルによる文脈化単語埋め込みに基づく約200万のノイズを含む段落ペア）を活用する。BinaryAlign[7]は、単語アライメントをバイナリ系列ラベリングタスクとして再定義し、現時点での最高精度を達成している。これらの単語アライメント手法は、(1)手動でラベル付けされたデータセット、またはラベル付けされたデータの厳格な要件を緩和するための大規模な弱い教師情報付き事前訓練データ、および(2)多言語Transformerエンコーダモデルに大きく依存している。そこで本研究では、Transformerデコーダに基づく多言語大規模言語モデル（LLM）が単語アライメントにおいてどの程度効果的であるかを探求する。また翻訳文ペアをラベルなしデータとして活用し、TransformerエンコーダベースおよびTransformerデコーダベースのモデル両方に適用可能な単語アライメントのための半教師あり学習手法を提案する。具体的には、少量の翻訳データ（1言語ペアあたり平均約35,000の翻訳文ペア）を用いた半教師あり学習手法を利用することで、BinaryAlignと多言語LLMベースの単語アライナーの性能をさらに向上させ、最先端の性能を達成することができた。