大規模言語モデルを用いた索引語の自動付与

JSTでは内外の科学技術文献（医学分野を含む）の検索・活用のため、これらに対して索引（語）を付与した文献データベースを整備している([1]､[2])。JSTの索引語は大きく「主索引語（以下、メインヘディング；MH）」と「副索引語（以下、サブヘディング；SH）」に分けられる。MHは通常の文献キーワードに相当し、基本的にJSTの科学技術用語辞書群から付与される統制語索引である。SHは医薬系文献のみを対象に主索引語に付加されるラベルであり、26語（ラベル）の中から付与される。索引語を正しく付与するためには文献の主題を把握し、その内容を適切な統制語群にマッピングする専門性の高い作業が必要である。このため、従来は主に訓練を受けた専門家が人手で行なってきた。しかしながら、作業時間の増大や熟練作業者の不足などの課題を受けて、自動化の検討を進めている([3])。MHの自動付与については「キーワード抽出」などの名称で連綿と研究が行われてきた。伝統的な方法はテキストから名詞（句）的な単語列を抜き出し大規模言語モデルを用いた索引語の自動付与菊井玄一郎1，鈴木慶二1，関根基樹1，水田寿雄11国立研究開発法人科学技術振興機構情報企画部{genichiro.kikui,k3suzuki,sekine,mizuta}@jst.go.jpて、統語的・統計的に重要なものを選ぶという「抽出型」の方法である([4]など)。統制語付与を超大規模なマルチラベル分類問題とみなす「分類型」の方法も試みられている([3])。さらに、近年では索引対象テキストを先行文脈としてLLMに投入し、索引語を得る「生成型」の手法が注目されている([5]など)。副索引の付与は文献と１つのMHを入力とする26ラベルのマルチラベル分類問題[6]（または26個の2値分類問題）とみなすことができる。テキスト読解を伴う分類問題についても生成型の手法([5])が有望である一方、学習データが一定程度あれば言語モデルの微調整（fine-tuning）による方法([7][8])も自動的な最適化が可能であるという点で検討に値する。JSTでは過去に人手で付与された索引データがあり、このうちの一部文献については自動索引の入力側、すなわち、テキストデータ（本文、あるいは、抄録）が利用可能である。そこで、我々はこれらのデータを用いて大規模言語モデル（LLM）、および、そのための指示文を調整することにより、索引語付与の自動化を試みる。機械学習においてはデータの品質が大きな鍵となる。一貫性の低い学習データは性能の上限を制約する。過去の研究によれば、索引語を人手で付与した場合、その一貫性はある程度にとどまることが知られている([9]など)。そこで、本稿では我々のタスクにおける「人手索引の一貫性」の近似的な評価を行い、自動索引の精度目標の参考とする。以下、第2章で主索引語、第3章で副索引語の自動付与方法について説明する。第４章で評価実験と結果について述べ、第５章でまとめる。なお、JSTでは文献を「医薬系」と「医薬系を除く理工系」の２つに分けて扱っている。以下では後者を単に「理工系」と呼ぶ。また、本稿で対象としている「文献」は論文、研究報告、会議予稿集などの学術文献、雑誌記事、各種報告書など、書籍以外の広範な科学技術文献である。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).生成した指示文の後に人手の索引語をカンマ区切り等で文字列化した「回答文」を付加したものである。この学習サンプルの指示文部分を含む全トークンを損失計算の対象としてモデルパラメータの更新を行う。指示文を含めるのは指示文中の文献の表題や本文が分野、文体の適応に有効と考えたためであり、予備実験でも有効性を確認している。なお、メモリ使用量と学習コストを低減するために低ランクアダプター(LoRA)を使用した。3副索引語（SH）の自動付与3.1副索引語の概要副索引語ii（SH）は、PubMedにおけるMeSH[10]のsubheadingと同様、医薬系文献において主索引語(MH)に付加されて、そのMHが文献中でどのような側面から言及されているかを示す「ラベル」である。JSTでは26個のSHを定義している（付録B）。SHごとに付加可能なMHの「意味カテゴリコード」の範囲が決まっている。なお、SHは利用頻度に応じて（利用頻度）高、中、低の３種類に分けている（ラベル数はそれぞれ11,7,8。付録B）。3.2副索引の自動付与手法第１章で述べたように、副索引語の付与は分類問題と見なすことができる。但し、いくつかの副索引語は正例率が0.005未満と極めて低く、学習が難しい。そこで、我々は正例率が一定以上の24個の副索引語については教師あり微調整による分類手法、残りの2つの副索引語については微調整の適用を断念し、副索引付与マニュアルをもとに人手で作成した指示文により各副索引語の付与の可否を回答させる生成的な手法とした。テキスト分類手法として、PET（PatternExploitingTraining）[7]を改良したADAPET[8]と呼ばれるアルゴリズムを試した。PETは分類問題を空所補充（＝単語予測）問題に変換することで、微調整の効果を高める方法であり、ADAPETはPETの損失関数を改良して学習サンプルの利用効率の向上を図った手法である。空所補充問題への変換のためのテンプレートを付録Cに示す。ii副標目とも呼ばれるiiihttps://huggingface.co/mistralai/Mistral-Nemo-Instruct-24074.評価実験以上で説明した手法による索引付与の出力性能について評価実験を行った。実験は医薬系分野と理工系分野に分けて行った。4.1実験データ実験用の文献テキストおよび正解索引(groundtruth)はJSTの文献データベースからサンプリングして準備した。理工系、医薬系とも、2019年から2023年にかけての文献データから、評価での利用に不適当なもの（抄録テキストが自動翻訳結果である文献など）を除いてベースセットとした。理工系文献はベースセットをランダムに訓練用、検証用、評価用に分割した。医薬系についても同様であるが、「重要な副索引」のうち出現頻度が極端に少ない「薬物動力学」と「薬物相互作用」については、評価セットに一定量含まれるようにサンプリングし、残りを検証用、訓練用のデータとした。それぞれのデータ量を表１にまとめる。訓練・検証データ評価データ理工系855,517800医薬系273,8026004.2実験手法主索引語(MH)については、訓練・検証データを用いてベースモデルiiiを微調整した後、検証データのF1値（マイクロ平均）が最大となるように後処理の閾値を決定した。副索引語(SH)のうち、分類モデルによる方法については、日本語版のmodern-bertモデルivに対して、索引語（ラベル）ごとにADAPETによる微調整を行い、MHを自動付与した評価データに対してSH推定を行った。学習データにおいて正例比率が概ね5%以下の索引語については一つのバッチに正例が１つは入るように負例を間引いてサンプリングした。推定の際には検証データによりF1値が最大になる尤度閾値を設定して正負を判定した。ivSBInstitutions（株）が事前学習したもの。https://huggingface.co/sbintuitions/modernbert-ja-310morg/licenses/by/4.0/).副索引のうち、生成的手法による索引付与判定については医薬系ドメイン用の指示チューニング済みモデルvを用いた。4.3評価尺度評価尺度は過去に人手で付与した索引語を正解（groundtruth）とした場合のシステムの出力の精度(precision)、再現率(recall)、F1値である（マイクロ平均、付録D）。なお、groundtruthとは独立に、別途人手作業により評価対象文献に付与した索引に対して、groundtruthを正解とした場合の評価値を算出し「人手の一貫性（性能）」の目安とした。4.4結果と考察4.4.1主索引語(MH)索引種別ごとに精度、再現率、F1値のマイクロ平均を算出した。表2に人手、自動（微調整済みモデル,Auto(FT)）、自動（微調整無しモデル）;Auto(base)）による索引結果のF1値を示す。微調整済みモデルによる結果は人手より若干落ちるものの、概ね同等の性能であることが分かる。一方、微調整前のモデルの性能はかなり低く、微調整の効果を示している。なお、一部で自動索引が人手を超えているのは、微調整の結果、過去データに良く適応したためと思われる。分野種別人手Auto(FT)Auto(base)医薬系CT0.5720.5200.305ST0.4620.4760.303CN0.7990.7500.629理工系CT0.4860.4840.305ST0.4210.4400.295CN0.5780.6220.4534.3副索引語(SH)利用頻度中以上の分類手法（ADAPET）の評価結果を表3にまとめる。殆どのSHについては人手と同程度か80%を超えるF1値となったが、正例データの少ない薬物動力学、薬物相互作用については80%を下回る結果となった。これらは利用頻度の高いSHでもあることから、LLMによる生成手法を適用した。その結果、薬物動力学でF1値0.612(人手の84%),薬vhttps://huggingface.co/google/medgemma-27b-text-it物相互作用で同0.615（80%）となり、指示文の調整に人手を要するとはいえ、人手の概ね8割程度には改善されることが分かった。*付のSHは利用頻度「高」のもの副索引語(SH)人手①ADAPET②②/①治療利用*0.7800.7020.90有害作用*0.6220.5510.89薬理学*0.6640.6410.97薬物動力学*0.7780.5590.72多剤併用*0.7620.7280.96薬物相互作用*0.7700.3960.51化学誘発*0.8690.8180.94病因0.4180.3590.86合併症*0.5110.581.14薬物療法*0.8260.8010.97放射線療法0.7520.7430.99外科的療法0.8090.7740.96治療*0.6150.691.12予防0.6230.5210.84診断0.6120.6671.09疫学0.5210.5791.11分析0.2050.1940.95血液分析*0.4920.7020.905.まとめと今後の課題JSTにおける索引語付与の自動化手法について解説した。主索引語については過去の人手索引データにより微調整したLLMによる「キーワード生成」に辞書類を組み合わせた手法により人手レベルの性能を達成した。副索引語については２つを除く重要索引語について、人手の索引結果を学習データとしてLLMを微調整した二値分類手法により、人手より多少劣化する程度の性能を達成した。正例が僅少なため分類学習が厳しい副索引語についてはプロンプト調整により性能を向上させることができた。今後の課題として、主索引については辞書不掲載であるが索引語とすべき用語の付与方法の検討がある。副索引についてはまだ人手レベルに及ばないものがいくつかあるため、索引マニュアルと実際の索引例を併用するfew-shotのアプローチなどが考えられる。org/licenses/by/4.0/).