製造業ドメインにおける日本語LLMの性能調査

特定分野を対象とした日本語向けの大規模言語モデル（LLM）に関する性能評価の取り組みが知られている。しかしながら、製造業分野においては日本語LLMの性能調査が不十分である。本研究では、製造業関連機器についての質問応答タスクに対して複数の事前学習済み日本語LLMの性能を比較し、製造業分野における専門知識の学習にどの日本語LLMが適しているかを調査した。結果、教師ありファインチューニング（SupervisedFineTuning,SFT）を施したLLMにおいて、SFT前後でRouge-Lが0.080から0.224に向上することを確認した。一方で、依然としてハルシネーションの残存など、LLMの特定分野の専門知識の定着に課題が見られた。