ファイナンシャル・プランニングの自動化に向けたGPT-4及びRAGの性能評価

個人の家計や人生設計について資金計画を立てるファイナンシャル・プランニングは，税制や不動産等の幅広い金融知識を必要とし，一般に専門家との相談を通じて行われる1）．金融機関はファイナンシャル・プランニングに関して相談できるサービスを提供しており，これを他の産業界2）と同様に大規模言語モデル（LLM）で自動化することができれば，顧客の利便性向上や，新たな顧客層の開拓といった効果が期待できる．LLMは，様々な分野やタスクで高い性能が報告される[1,2,3]一方，誤った内容を真実のように出力する幻覚[4]や，LLMの学習後の情報に対応できない，といった問題がある．これらの問題は，法令や年齢・金額といった数値基準の正確な理解を要するファイナンシャル・プ1）https://www.jafp.or.jp/aim/fptoha/fp/2）チャット法律相談（https://chat.bengo4.com，弁護士ドットコム株式会社），Wendy’sFreshAI（https://www.irwendys.com/news/news-details/2023/Wendys-Taps-Google-Cloud-to-Revolutionize-the-Drive-Thru-Experience-with-Artificial-Intelligence/，TheWendy’sCompany）等．RAG参考書技能検定の試験問題を入力3級FP技能検定Retriever入力金融知識に基づき回答を出力性能を評価回答LLMランニングにおいては重要な課題である．この問題に対処する方法の1つに，Retrieval-AugmentedGeneration[5]（RAG）がある．RAGは，関連情報を含む文章を外部の情報源から抽出してLLMの入力に加えることで，その情報に基づく出力を可能にする．しかし，ファイナンシャル・プランニングの分野において，RAGを用いてLLMの性能を評価した取り組みは見当たらず，LLMが抽出された金融知識を活用できるか明らかではない．本研究では，ファイナンシャル・プランニングの自動化に向けて，現在のLLMがRAGによって抽出された金融知識をどの程度活用できるかを明らかにする．具体的には，RAGを用いて3級ファイナンシャル・プランニング技能検定（FP技能検定）に関する学習参考書のテキストをOpenAIのGPT-4に入力し，3級FP技能検定の学科試験を解かせた結果を定量・定性的に分析することで，LLMがRAGによって抽出された金融知識を活用できるかを評価する．本研究における取り組みの概要を図1に示す．