固定区間チャンキングを用いた文書翻訳手法の提案と分析

現在,長いコンテキストウィンドウを備えた大規模言語モデル(LLM)により,文書翻訳の障壁であった入力長の制限は大幅に克服されつつある.しかし,入力長の変動への適応,翻訳テキストにおける流暢性などは,LLMベースの文書翻訳タスクにおいても依然として克服すべき主要な課題である[1,2,3].LLMベースの研究初期には,主にプロンプティング技術が探索された[4,5].Wuら[5]は文単位で逐次入力を行い,先行するソース文および翻訳結果をコンテキストとして利用する手法を提案した.彼ら[5]は7Bモデルのフルファインチューニングなどを試みたが,その精度は当時のSOTAシステムやGPT-4等の商用モデルに及ばなかった.一方,文単位からチャンク単位へと移行し,多様な入力長の分布への適応するため,Ramosら[6]は,各文書を𝑘∈{1,2,4}固定数のチャンクに分割,先行するソース文と翻訳済みテキストをコンテキストとして利用する「chunk-to-chunk」訓練パラダイムを提案したが,訓練とテストの入力長の分布を厳密に一致させるには至っていない.その結果,推論時に未学習の入力長に直面した際の精度低下が懸念されている[2].また,Blob[7]のような既存の文積み上げ手法は,固定長のスライディングウィンドウや貪欲法的な戦略に依存しているため,長さ分布の一貫性を保証する大域的最適化が困難であり,小さな断片的なチャンクを生成しやすいという欠点がある.これらの問題を解決するため,本研究では動的計画法(DP)を適用した固定区間チャンキング(FRC:Fixed-RangeChunking)を提案する.本手法は,すべての文書チャンクの長さを所望の範囲内に収めるよう制御し,大域的に最適されたセグメンテーションを実現する.これにより,訓練と推論の入力長の分布を一貫して整合させることが可能となる.さらに,文アライメントが不完全な文書レベル並列コーパスにも対応可能な,二重境界マッチングに基づく軽量なチャンク対応付け手法を提案する.最後に,5種類の訓練データを構築し,これらを3つの訓練戦略に適用して4種類のモデルを訓練する.その上で,これら各モデルの特性について,複数の評価指標を用いて詳細な調査および比較検証を行う.