製造業ドメインにおける日本語LLMの性能調査

近年の大規模言語モデル（LLM）の発展に伴い、LLMへ特定分野の専門知識を学習させる、ドメイン適応に関する調査が進められている。また、日本語に特化した日本語LLMも複数登場しており、様々なドメイン知識の学習に活用されている。一方で、複数ある日本語LLMのうち、特定ドメイン向け追加学習に適したLLMの選択方法は自明ではない。特に、製造業ドメインにおける日本語LLMの性能調査は不十分である。そこで、本研究では、製造業分野、特にファクトリーオートメーション（FactoryAutomation,FA）機器に関する質問応答タスクに対し、複数の事前学習済み日本語LLMの回答性能を比較した。教師ありファインチューニング（SupervisedFineTuning,SFT）の有無でLLMの生成結果を比較し、製造業分野のデータを用いたファインチューニングに適した日本語LLMを調査した。また、LLMの生成結果を分析し、製造業分野でのファインチューニングの有効性を検証した。