双方向推論とデータ拡張を両立する空白文字順序復元型LLM学習フレームワーク

本研究は、自己回帰型LLMの「未来文脈を活用できない」という構造的制約と、専門ドメインにおけるデータ不足問題を同時に解決するため、新しい学習フレームワークを提案する。過去と未来の文脈を同時に参照する必要がある、並べ替えた文字を復元するタスクを自動生成し、対象範囲を動的に変えることで大量の学習データを生成する。さらに、文字順序復元タスクと、文の前半を与えて後半を生成させる文章継続タスクを混合し、混合比率𝑚を変えたときの性能変化を定量化した。金融・医療ベンチマークにおいて、zero-shotで平均+1.0ポイント、two-shot医療で+3.2ポイントの改善を達成した。