特定分野を対象とした日本語向けの大規模言語モデル（LLM）に関する性能評価の取り組みが知られている。しかしながら、製造業分野においては日本語LLMの性能調査が不十分である。本研究では、製造業関連機器についての質問応答タスクに対して複数の事前学習済み日本語LLMの性能を比較し、製造業分野における専門知識の学習にどの日本語LLMが適しているかを調査した。結果、教師ありファインチューニング（SupervisedFineTuning,SFT）を施したLLMにおいて、SFT前後でRouge-Lが0.080から0.224に向上することを確認した。一方で、依然としてハルシネーションの残存など、LLMの特定分野の専門知識の定着に課題が見られた。

近年の大規模言語モデル（LLM）の発展に伴い、LLMへ特定分野の専門知識を学習させる、ドメイン適応に関する調査が進められている。また、日本語に特化した日本語LLMも複数登場しており、様々なドメイン知識の学習に活用されている。一方で、複数ある日本語LLMのうち、特定ドメイン向け追加学習に適したLLMの選択方法は自明ではない。特に、製造業ドメインにおける日本語LLMの性能調査は不十分である。そこで、本研究では、製造業分野、特にファクトリーオートメーション（FactoryAutomation,FA）機器に関する質問応答タスクに対し、複数の事前学習済み日本語LLMの回答性能を比較した。教師ありファインチューニング（SupervisedFineTuning,SFT）の有無でLLMの生成結果を比較し、製造業分野のデータを用いたファインチューニングに適した日本語LLMを調査した。また、LLMの生成結果を分析し、製造業分野でのファインチューニングの有効性を検証した。