土木分野においても自然言語処理技術への期待は大きく，近年実用へ向けた検討が増加している．この技術が充分に機能するためには，文脈を考慮した土木専門用語の言語モデルによる理解が必要であり，その適切な評価が求められる．しかし，既往研究はいかに土木分野へ適応させるかに焦点を当てた研究が多く，言語モデルの文章生成能力の評価には重きが置かれていない．そこで本研究では，土木分野における言語モデルの性能評価のため，評価の際に一度LLMで要約することで評価を行う自動評価手法を提案する．語彙数が多く回答長が長い場合には，既往手法に比較して本手法が有効に働き，より人手評価に近い結果となることを示した．

近年，土木分野において従来紙により管理されていた諸元や巡視・点検情報がデジタル化されている．これに伴い，土木技術者の作業効率化・省力化へ向けた自然言語処理活用研究例も増加している[1,2,3,4,5]．一方で，いかに土木分野へドメイン適応させるかに焦点が当てた研究が多く，言語モデルの文章生成能力の評価には重きが置かれていない．また，土木用語を含む文章の正確性を評価する手法の確立やデータセットの整備は課題としても指摘されている[2]．評価手法の一つとして，人手評価はよく用いられるが，時間的・金銭的コストが高い．そのため，研究・開発の加速へ向けては自動評価手法の確立が必要となる．本研究では，土木分野における言語モデルの性能評価のため，言語モデルが適切に文章を理解し，土木工学の文脈を考慮して文章を生成できるかを測る評価手法の確立を目指す．QAタスクにおいて，既往評価手法と提案手法を人手評価と比較し，どの手法が土木分野において適切な評価が可能かを検討した．