大規模言語モデルのタスク特化ドメイン適応における知識獲得効率に関する初期検討

事前学習済み大規模言語モデル（PLM:Pre-trainedLargeLanguageModel）の追加学習において、事前学習データセットに十分に含まれていない低資源言語や、それらの言語における特定ドメインの知識を効率的に獲得させることは、産業応用における重要な技術的課題である。例えば医療分野では、専門家間の学術的なコミュニケーションの大部分が英語で行われており、事前学習に利用可能な公開医学文献の大部分は英語である一方、日本語文献は極めて限定的である。また、医療分野は国ごとの制度や慣習の違いが大きく、高度な専門知識の正確な運用が不可欠である。このように、低資源ドメインに対しても、そのドメイン固有の知識を効率的に獲得させるための学習戦略が求められている。PLMの追加学習においては、様々な手法が提案されているが、特に知識獲得の観点で重要なものは継続事前学習と教師ありファインチューニングである。ドメイン適応を目的とした継続事前学習（CDP:用語と日本語医学用語からなる医学用語対に対して、それぞれの医学用語が含まれる英日例文対からなる知識プロービング・ベンチマークを構築した。英日例文対の英語テキストを入力とし、対応する日本語テキスト中の日本語医学用語を表す最初のトークンの出力確率を計測することで、英語医学用語から日本語医学用語への対応付け能力を表す指標として用いることができる。ContinualDomain-adaptivePretraining）は、事前学習と同様に次トークン予測による自己教師あり学習を行うことで、対象ドメインの新たな知識獲得を図る手法である[1]。一方、教師ありファインチューニング（SFT:SupervisedFine-tuning）は指示チューニングとも呼ばれ、新規タスクの学習過程で新たな知識も同時に習得することが期待される[2]。その他の追加学習手法として、人間の意図に沿った適切なテキスト生成を実現するための選好チューニングがある。また、パラメータ更新を伴わないものの、外部知識ベースを活用して新たな知識の利用を可能とする検索拡張生成も広く利用されている。こうした様々な追加学習手法は排他的ではなく、典型的には継続事前学習の後に教師ありファインチューニングを行うという段階的な学習戦略が採用されてきた。この過程において、継続事前学習によって新たな知識を獲得し、教師ありファインチューニングでタスクに応じた入出力形式を学習するという役割分担が期待されてきた。しかし、教師ありファインチューニングではデータ量過多が学習性能に悪影響を与えるという報告がある一方[3]、.継続事前学習では既存知識の破滅的忘却などの副作用も懸念される。このような状況において、両手法を組み合わせる際の最適な比率に関する知見の蓄積が求められていた。本研究では、英日医学翻訳を対象タスクとして設定し、英語の医学用語を適切な日本語の医学用語に変換する能力を、当該タスクのドメイン知識として定義した。これに基づき、医学専門用語の変換精度を定量的に評価するための知識プロービング・ベンチマーク（KnowledgeProbingBenchmark）を構築した（図1）。そして、Qwen-2.5ファミリーのベースモデルに対して、英日医学対訳コーパスを用いた継続事前学習と教師ありファインチューニングを異なる比率で実施し、ドメイン知識獲得の観点から最適な学習戦略を検証した。その結果、教師ありファインチューニングのみによる学習であっても、ドメイン知識を効率的に獲得できることが示唆された。