本研究は、自己回帰型LLMの「未来文脈を活用できない」という構造的制約と、専門ドメインにおけるデータ不足問題を同時に解決するため、新しい学習フレームワークを提案する。過去と未来の文脈を同時に参照する必要がある、並べ替えた文字を復元するタスクを自動生成し、対象範囲を動的に変えることで大量の学習データを生成する。さらに、文字順序復元タスクと、文の前半を与えて後半を生成させる文章継続タスクを混合し、混合比率𝑚を変えたときの性能変化を定量化した。金融・医療ベンチマークにおいて、zero-shotで平均+1.0ポイント、two-shot医療で+3.2ポイントの改善を達成した。

近年、GPT-3[1]やLLaMA系列[2]に代表される自己回帰型の大規模言語モデル（LLM）は、次トークン予測に基づく単方向学習により高い生成性能と指示追従能力を獲得してきた。しかし、この構造には制約がある。単方向学習では未来の文脈を過去の推論に利用できず、文全体の整合性や逆方向の理解が必要な場面で性能が低下する。例えば、契約文の欠損補完、医療記録の順序整合、トラブル事例の原因・結果分析など、双方向の文脈参照が不可欠なタスクにおいて、現行モデルは信頼性に課題を抱えている。さらに、金融や医療といった専門ドメインではラベル付きデータの不足が深刻であり、追加データの整備には多大なコストが必要となる。このため、双方向推論を強化しつつ、データ不足を緩和する手法が求められている。本研究では、汎用テキストから自動生成可能な「文字順序復元タスク」を提案する。このタスクは、ランダムに挿入した空白と文字乱序ヒントを用いて、過去と未来の文脈を同時に参照する推論を促す。また、空白位置や長さを動的に変化させることで、大量の疑似ラベルを生成し、専門ドメインにおけるデータ不足を補う。さらに、文字順序復元タスクと文章継続タスクを混合し、混合比率𝑚を変化させた場合の性能を定量的に評価することで、双方向推論信号の寄与を分析する。