土木分野におけるLLMを用いた言語モデル評価手法の提案

土木分野においても自然言語処理技術への期待は大きく，近年実用へ向けた検討が増加している．この技術が充分に機能するためには，文脈を考慮した土木専門用語の言語モデルによる理解が必要であり，その適切な評価が求められる．しかし，既往研究はいかに土木分野へ適応させるかに焦点を当てた研究が多く，言語モデルの文章生成能力の評価には重きが置かれていない．そこで本研究では，土木分野における言語モデルの性能評価のため，評価の際に一度LLMで要約することで評価を行う自動評価手法を提案する．語彙数が多く回答長が長い場合には，既往手法に比較して本手法が有効に働き，より人手評価に近い結果となることを示した．