大規模言語モデル(LLM)の発展とともに、分野や言語に特化した言語モデルの構築の必要性が議論されてきている。その中で、現在の大規模言語モデルがどの程度の性能を発揮するかを分野に特化して評価するベンチマークの必要性が高まっている。そこで、本研究では、日本語かつ金融分野に特化した複数タスクからなるベンチマークの構築を行い、主要なモデルに対するベンチマーク計測を行った。その結果、現時点ではGPT-4が突出していることと、構築したベンチマークが有効に機能していることを確認できた。

大規模言語モデル(LLM)は、近年、著しい性能を発揮している。特に、ChatGPT[1]やGPT-4[2]をはじめとした最新の言語モデルは、性能向上と汎化が著しい。その基本技術はTransformer[3]から始まっており、BERTや[4]や、GPTシリーズ[5,6,7]などが続いた。ほかにも、Bard[8]やLLaMA[9,10]、Dolly[11]、BLOOM[12]、Vicuna[13]、PaLM[14,15]などのモデルが提案されている。しかしながら、これらの大規模言語モデルは、様々なタスクでどの程度の性能を発揮するかは未知数であり、それらを評価する取り組みが進められている。たとえば、LanguageModelEvaluationHarness(lmeval)[16]と呼ばれる、LLM用の様々なタスクによるベンチマーク計測プラットフォームが提案されている。また、GPT-4[2]においても、様々なタスクにおける性能を評価している。さらに、会計士試験の達成度[17]や医学分野における応用[18]、法律分野への応用[19,20]を検証する研究などが存在する。特に、金融分野への応用は、様々なタスクへの応用可能性から、研究開発が進んでいる。金融に特化した非公開のモデルとして、BloombergGPT[21]が存在するほか、公開されているモデルとしては、LLaMA[9]をチューニングしたFinLLAMA[22]や、FinGPT[23]、Instruct-FinGPT[24]などがある。しかしながら、金融にフォーカスして、性能を評価するベンチマークはまだない。加えて、日本語に特化したLLMという点でも、様々な開発が進んでいる。CyberAgentのCALMシリーズやrinna社のモデル、stabilityai社のstablelmシリーズ、Elyza社のモデル、PreferredNetworks社のPlamo™やLLM-jp-13Bなど、様々なモデルが乱立しているが、論文化され、性能評価までしっかりと行われているモデルは少ない。また、日本語に特化させるために、既存の英語ベースのモデルをチューニングした研究も存在する[25,26,27]。こうした特化型LLMの台頭に際して、これらのモデルの性能を正しく評価する特化型のベンチマークの構築も必要であると考えられる。日本語に特化したベンチマークはすでに存在している[28]が、さらに金融に特化したものは存在しない。そこで、本研究においては、日本語かつ金融分野に特化したベンチマークの構築を行い、主要なモデルに対するベンチマーク計測を行うことで、日本語金融分野におけるLLMの性能評価を行う。構築したベンチマークおよび、各モデルの性能評価結果は、https://github.com/pfnet-research/japanese-lm-fin-harnessにおいて公開している。