言語横断類似度推定のための多言語文符号化器のドメイン適応

Web上に蓄積された膨大なデータから網羅的に情報を得るために，言語横断情報検索[1]の技術が期待されている．埋め込みベースの言語横断情報検索などの応用を目指して，多言語文符号化器[2–4]の研究も盛んに進められている．これらの多言語文符号化器はWikipediaやCC100[5]などの一般的なテキストを用いて訓練されているが，高度な専門知識が要求される医療や学術のドメインに対応するためには，目的ドメインに特化した多言語文符号化器を開発することが望ましい．しかし，これらのドメインに特化した単言語文符号化器[6–11]の開発が進む一方で，言語横断情報検索に応用可能なドメイン特化の多言語文符号化器は存在しない．そこで本研究では，ドメイン特化の言語横断文符号化器を構築する手法を提案する．ただし，各言語における目的ドメインのコーパスを整備して多言語の事前訓練を行うには大きなコストが必要となるため，汎用的な多言語文符号化器[3,4,12,13]の開発と同様に，事前訓練済みの文符号化器を対訳コーパス上でファインチューニングするアプローチを採用する．先行研究では，知識蒸留[3]，翻訳ランキング[4]，対照学習[12]，敵対的学習[13]などの手法を用いて，対訳文における原言語と目的言語の埋め込みを近づけることに焦点を当ててきた．一方で本研究では，原言語と目的言語の埋め込みを近づけるだけでなく，ドメイン知識の獲得も同時に行う．学術（英日）・医療（英仏）・金融（英中）の3つのドメインおよび言語対における評価実験の結果，提案手法がドメイン適応なしのベースラインや既存のドメイン適応手法と比べて高い性能を達成することを確認できた．詳細な分析の結果，提案手法は目的ドメインの対訳コーパスが数千文対しか使用できない状況でも有効であることが明らかになった．