土木分野におけるLLMを用いた言語モデル評価手法の提案

近年，土木分野において従来紙により管理されていた諸元や巡視・点検情報がデジタル化されている．これに伴い，土木技術者の作業効率化・省力化へ向けた自然言語処理活用研究例も増加している[1,2,3,4,5]．一方で，いかに土木分野へドメイン適応させるかに焦点が当てた研究が多く，言語モデルの文章生成能力の評価には重きが置かれていない．また，土木用語を含む文章の正確性を評価する手法の確立やデータセットの整備は課題としても指摘されている[2]．評価手法の一つとして，人手評価はよく用いられるが，時間的・金銭的コストが高い．そのため，研究・開発の加速へ向けては自動評価手法の確立が必要となる．本研究では，土木分野における言語モデルの性能評価のため，言語モデルが適切に文章を理解し，土木工学の文脈を考慮して文章を生成できるかを測る評価手法の確立を目指す．QAタスクにおいて，既往評価手法と提案手法を人手評価と比較し，どの手法が土木分野において適切な評価が可能かを検討した．