大規模言語モデルを用いた索引語の自動付与

本稿では大規模言語モデル(LLM)を利用した、科学技術文献に対する索引語の自動付与方法について報告する。本稿で対象とする索引語は全文献に付与される「主索引語」と医薬系文献において主索引語に付加される26語の「副索引語」である。前者については、過去の人手索引データで微調整（fine-tuning）したLLMで索引語の候補を生成し、辞書を用いて同義語集約、フィルタリング等を行う。後者についてはエンコーダ型言語モデルの微調整による教師あり二値分類を基本として、正例の少ない一部の索引語についてはLLMによる生成的手法を適用した。評価実験の結果、主索引については人手と遜色がなく、副索引は人手と比較して概ね8割以上の性能を達成した。