金融分野に特化した複数ターン日本語生成ベンチマークの構築

本研究においては、金融における日本語ベンチ大規模言語モデル(LLM)は、近年、著しい性能マークに着目し、japanese-lm-ﬁn-harnessではカバーを発揮している。特に、ChatGPT[1]やGPT-4[2]をできていない、生成の良さを測るためのベンチマーはじめとした最新の言語モデルは、性能向上と汎クを構築する。japanese-lm-ﬁn-harnessでは、主に知化が著しい。その基本技術はTransformer[3]から始識を解く多肢選択問題を用いているが、生成の良さまっており、BERTや[4]や、GPTシリーズ[5,6,7]を測るためには、より自然な文を生成するタスクがなどが続いた。ほかにも、Bard[8]やLLaMA[9,10]、必要である。加えて、様々なLLMの性能を真に比Dolly[11]、BLOOM[12]、Vicuna[13]、PaLM[14,15]な較するためには、AIアシスタントとしての性能をどのモデルが提案されている。測るタスクが必要である。一方で、こうした生成のしかしながら、これらの大規模言語モデルは、良さを測るベンチマーク手法としては、MT-bench様々なタスクでどの程度の性能を発揮するかは未知[28]のように、非常に強力なGPT-4のようなLLM数であり、それらを評価する取り組みが進められてをLLM-as-a-judgeとして用いて、出力の良さをスコいる。たとえば、LanguageModelEvaluationHarnessア化することで評価を行うという手法がある。そこ(lmeval)[16]と呼ばれる、LLM用の様々なタスクにで、本研究では、このMT-benchに対応するようなよるベンチマーク計測プラットフォームが提案され金融分野に特化した複数ターンの日本語生成ベンチている。また、GPT-4[2]においても、様々なタスクマークを構築する。における性能を評価している。さらに、会計士試験なお、本研究で構築したベンチマークはhttps://の達成度[17]や医学分野における応用[18]、法律分github.com/pfnet-research/pfmt-bench-fin-jaで野への応用[19,20]を検証する研究などが存在する。公開している。―2312―.