金融分野に特化した複数ターン日本語生成ベンチマークの構築

応用可能性から、研究開発が進んでいる。金融に大規模言語モデル(LLM)の発展に伴い、様々な分特化した非公開のモデルとして、BloombergGPT[21]野において性能を評価する取り組みが必要となっが存在するほか、公開されているモデルとしては、てきている。本研究では、金融分野においてLLMLLaMA[9]をチューニングしたFinLLAMA[22]や、の生成の良さ測るための日本語生成ベンチマーFinGPT[23]、Instruct-FinGPT[24]などがある。クpfmt-bench-ﬁn-jaを提案した。pfmt-bench-ﬁn-jaは、加えて、日本語に特化したLLMという点でも、MT-benchに対応するような金融分野に特化した複様々な開発が進んでいる。CyberAgentのCALMシ数ターンの日本語生成ベンチマークであり、12カテリーズやrinna社のモデル、stabilityai社のstablelmゴリー、360問のベンチマークを新たに構築した。シリーズ、Elyza社のモデル、PreferredNetworks社の評価にあたっては、GPT-4o-miniをLLM-as-a-judgePlamo[25]など、様々なモデルが乱立している。として用いて、10段階評価でスコア計測をすることこうした特化型LLMの台頭に際して、これらのとした。実験として、複数のLLMに対してベンチモデルの性能を正しく評価する特化型のベンチマーマークを計測し、その結果を比較検討した。その結クの構築も必要であると考えられる。日本語に特化果、pfmt-bench-ﬁn-jaが一定レベルでLLMの性能評したベンチマークはすでに存在しており[26]、さ価を行うことができることが示された。構築したベらに金融に特化したものとしては、筆者らが以前ンチマークはGithubより利用可能である。提案したJapaneseLanguageModelFinancialEvaluationHarness(japanese-lm-ﬁn-harness)[27]が存在している。