マイクロドメインに向けたLLMにおける知識活用方法の検討

大規模言語モデル（LLM）の著しい発展[1,2,3,4]をうけて，その業務活用が進んでいる[5]．多くの業務は組織の規則や業務特性に根差した独自のノウハウや知識が存在する．例えばカスタマーサポート業務では，製品の仕様や不具合に関して回答するために対象製品の知識が求められる．このような業務でLLMを活用する場合，LLMは独自知識を扱う必要がある．一方で，LLMは学習していない知識に基づく生成は行えないため，業務・製品ごとのドメイン知識をLLMに活用させる方法[6]が求められる．ドメイン知識の活用を促進する方法には，追加学習とRetrieval-AugmentedGeneration（RAG）[7,8]が存在する[5]．医療[9]，金融[10]，半導体デザイン[11]などの巨大なドメインでは追加学習によってドメイン特化型モデルの学習が行われているが，学習データが大量には存在しない個別の業務・製品の知識を扱う場合はRAGが主流である．一方でミドルウェアなど，複数の業務・製品が相互作用的に複追加学習推論継続事前学習(CPT)教師ありファインチューニング(SFT)OSSのLLM(Swallow-70B)追加学習後のLLMJP1-MCQQ:xxxxxxx?A:(1)aaa(2)bbb(3)ccc(4)dddJP1マニュアル(240MB)JP1教本(3.3MB)3.7kpairs(4.6MB)JP1-QAQ:xxxxx?A:aaaCPT⽤の専門⽂書(§3.2)12kpairs(25MB)SE-QAQ:xxxxx?A:aaaRetrieval-AugmentedGeneration(§3.4)137kpairs(280MB)GPT-4SFT⽤の合成データ(§3.3)雑な知識体系を成し，小規模のドメイン（マイクロドメイン）を形成する場合もある．しかし，マイクロドメインでの有効な知識活用方法は明らかになっていない．本論文ではミドルウェア製品であるJP1を対象として，マイクロドメインでの知識活用方法（マイクロドメイン特化手法）に関するケーススタディを報告する．図1に本論文のマイクロドメイン特化手法を示す．JP1はドメインとしては小規模な一方で独自の仕様に基づく複雑な知識体系を有し，その知識（語義，仕様，使用法など）は複数のマニュアル等で体系的に記述されている．そのため，広範な知識の関係性を学習するために追加学習を行う．しかし，学習に活用可能なデータがWeb上に数多く冗長に存在する主要なOSSと比較して，JP1はデータの量や多様性に限りがある．そこで，マニュアルを基に複数形式のデータを合成し，学習データを補強する．また，RAGも併用することで質の高いJP1の文書を推論でも再活用し，効率的な知識活用を図る．追加学習もRAGも行うことにより，下記のような効果が得られる可能性がある．•複数文書に跨った明示的/暗黙的な知識の関係性が学べる[5].名称説明開発セットテストセットJP1認定エンジニアJP1全般の理解，および運用に必要なテクニカルスキルを修得したエンジニアを認定する．10問24問JP1認定プロフェッショナル(ジョブ管理)ジョブ管理に関するJP1製品の導入とシステム構築ができるテクニカルスキルを修得したエンジニアを認定する．12問30問JP1認定コンサルタント(ジョブ管理)ジョブ管理に関するJP1製品について，最適なコンサルテーションができるテクニカルスキルを修得したエンジニアを認定する．20問40問†各試験のテストIDは上段から順に，HMJ-130E，HMJ-1313，HMJ-1223である．•RAGで検索を失敗しても適切に生成できる•RAGの検索文書を効率的に読解・活用できるJP1資格認定試験の多肢選択問題（MCQ:MultipleChoiceQuestion）を用いてJP1知識の活用能力を評価した結果，Swallow-70B[13]を用いたマイクロドメイン特化ではどの難易度の試験でも正答率が向上し，その有効性が確認された．特に，最難関のJP1認定コンサルタント試験ではマイクロドメイン特化後のモデルが合格点（正答率70%）に達した．また，追加学習とRAGの相補的な関係性も確認された．