金融分野における言語モデル性能評価のための日本語金融ベンチマーク構築

大規模言語モデル(LLM)は、近年、著しい性能を発揮している。特に、ChatGPT[1]やGPT-4[2]をはじめとした最新の言語モデルは、性能向上と汎化が著しい。その基本技術はTransformer[3]から始まっており、BERTや[4]や、GPTシリーズ[5,6,7]などが続いた。ほかにも、Bard[8]やLLaMA[9,10]、Dolly[11]、BLOOM[12]、Vicuna[13]、PaLM[14,15]などのモデルが提案されている。しかしながら、これらの大規模言語モデルは、様々なタスクでどの程度の性能を発揮するかは未知数であり、それらを評価する取り組みが進められている。たとえば、LanguageModelEvaluationHarness(lmeval)[16]と呼ばれる、LLM用の様々なタスクによるベンチマーク計測プラットフォームが提案されている。また、GPT-4[2]においても、様々なタスクにおける性能を評価している。さらに、会計士試験の達成度[17]や医学分野における応用[18]、法律分野への応用[19,20]を検証する研究などが存在する。特に、金融分野への応用は、様々なタスクへの応用可能性から、研究開発が進んでいる。金融に特化した非公開のモデルとして、BloombergGPT[21]が存在するほか、公開されているモデルとしては、LLaMA[9]をチューニングしたFinLLAMA[22]や、FinGPT[23]、Instruct-FinGPT[24]などがある。しかしながら、金融にフォーカスして、性能を評価するベンチマークはまだない。加えて、日本語に特化したLLMという点でも、様々な開発が進んでいる。CyberAgentのCALMシリーズやrinna社のモデル、stabilityai社のstablelmシリーズ、Elyza社のモデル、PreferredNetworks社のPlamo™やLLM-jp-13Bなど、様々なモデルが乱立しているが、論文化され、性能評価までしっかりと行われているモデルは少ない。また、日本語に特化させるために、既存の英語ベースのモデルをチューニングした研究も存在する[25,26,27]。こうした特化型LLMの台頭に際して、これらのモデルの性能を正しく評価する特化型のベンチマークの構築も必要であると考えられる。日本語に特化したベンチマークはすでに存在している[28]が、さらに金融に特化したものは存在しない。そこで、本研究においては、日本語かつ金融分野に特化したベンチマークの構築を行い、主要なモデルに対するベンチマーク計測を行うことで、日本語金融分野におけるLLMの性能評価を行う。構築したベンチマークおよび、各モデルの性能評価結果は、https://github.com/pfnet-research/japanese-lm-fin-harnessにおいて公開している。