双方向推論とデータ拡張を両立する空白文字順序復元型LLM学習フレームワーク

近年、GPT-3[1]やLLaMA系列[2]に代表される自己回帰型の大規模言語モデル（LLM）は、次トークン予測に基づく単方向学習により高い生成性能と指示追従能力を獲得してきた。しかし、この構造には制約がある。単方向学習では未来の文脈を過去の推論に利用できず、文全体の整合性や逆方向の理解が必要な場面で性能が低下する。例えば、契約文の欠損補完、医療記録の順序整合、トラブル事例の原因・結果分析など、双方向の文脈参照が不可欠なタスクにおいて、現行モデルは信頼性に課題を抱えている。さらに、金融や医療といった専門ドメインではラベル付きデータの不足が深刻であり、追加データの整備には多大なコストが必要となる。このため、双方向推論を強化しつつ、データ不足を緩和する手法が求められている。本研究では、汎用テキストから自動生成可能な「文字順序復元タスク」を提案する。このタスクは、ランダムに挿入した空白と文字乱序ヒントを用いて、過去と未来の文脈を同時に参照する推論を促す。また、空白位置や長さを動的に変化させることで、大量の疑似ラベルを生成し、専門ドメインにおけるデータ不足を補う。さらに、文字順序復元タスクと文章継続タスクを混合し、混合比率𝑚を変化させた場合の性能を定量的に評価することで、双方向推論信号の寄与を分析する。