応用可能性から、研究開発が進んでいる。金融に大規模言語モデル(LLM)の発展に伴い、様々な分特化した非公開のモデルとして、BloombergGPT[21]野において性能を評価する取り組みが必要となっが存在するほか、公開されているモデルとしては、てきている。本研究では、金融分野においてLLMLLaMA[9]をチューニングしたFinLLAMA[22]や、の生成の良さ測るための日本語生成ベンチマーFinGPT[23]、Instruct-FinGPT[24]などがある。クpfmt-bench-ﬁn-jaを提案した。pfmt-bench-ﬁn-jaは、加えて、日本語に特化したLLMという点でも、MT-benchに対応するような金融分野に特化した複様々な開発が進んでいる。CyberAgentのCALMシ数ターンの日本語生成ベンチマークであり、12カテリーズやrinna社のモデル、stabilityai社のstablelmゴリー、360問のベンチマークを新たに構築した。シリーズ、Elyza社のモデル、PreferredNetworks社の評価にあたっては、GPT-4o-miniをLLM-as-a-judgePlamo[25]など、様々なモデルが乱立している。として用いて、10段階評価でスコア計測をすることこうした特化型LLMの台頭に際して、これらのとした。実験として、複数のLLMに対してベンチモデルの性能を正しく評価する特化型のベンチマーマークを計測し、その結果を比較検討した。その結クの構築も必要であると考えられる。日本語に特化果、pfmt-bench-ﬁn-jaが一定レベルでLLMの性能評したベンチマークはすでに存在しており[26]、さ価を行うことができることが示された。構築したベらに金融に特化したものとしては、筆者らが以前ンチマークはGithubより利用可能である。提案したJapaneseLanguageModelFinancialEvaluationHarness(japanese-lm-ﬁn-harness)[27]が存在している。

本研究においては、金融における日本語ベンチ大規模言語モデル(LLM)は、近年、著しい性能マークに着目し、japanese-lm-ﬁn-harnessではカバーを発揮している。特に、ChatGPT[1]やGPT-4[2]をできていない、生成の良さを測るためのベンチマーはじめとした最新の言語モデルは、性能向上と汎クを構築する。japanese-lm-ﬁn-harnessでは、主に知化が著しい。その基本技術はTransformer[3]から始識を解く多肢選択問題を用いているが、生成の良さまっており、BERTや[4]や、GPTシリーズ[5,6,7]を測るためには、より自然な文を生成するタスクがなどが続いた。ほかにも、Bard[8]やLLaMA[9,10]、必要である。加えて、様々なLLMの性能を真に比Dolly[11]、BLOOM[12]、Vicuna[13]、PaLM[14,15]な較するためには、AIアシスタントとしての性能をどのモデルが提案されている。測るタスクが必要である。一方で、こうした生成のしかしながら、これらの大規模言語モデルは、良さを測るベンチマーク手法としては、MT-bench様々なタスクでどの程度の性能を発揮するかは未知[28]のように、非常に強力なGPT-4のようなLLM数であり、それらを評価する取り組みが進められてをLLM-as-a-judgeとして用いて、出力の良さをスコいる。たとえば、LanguageModelEvaluationHarnessア化することで評価を行うという手法がある。そこ(lmeval)[16]と呼ばれる、LLM用の様々なタスクにで、本研究では、このMT-benchに対応するようなよるベンチマーク計測プラットフォームが提案され金融分野に特化した複数ターンの日本語生成ベンチている。また、GPT-4[2]においても、様々なタスクマークを構築する。における性能を評価している。さらに、会計士試験なお、本研究で構築したベンチマークはhttps://の達成度[17]や医学分野における応用[18]、法律分github.com/pfnet-research/pfmt-bench-fin-jaで野への応用[19,20]を検証する研究などが存在する。公開している。―2312―.