専門用語自動獲得研究における評価手法の検討：実験環境評価から実務環境評価へ向けて

執筆、翻訳、文献管理といった言語・文書に関わる実務（以下「言語実務」と呼ぶ）において、専門用語を適切に処理することは極めて重要である。これまで、医療、法律、技術、特許など各分野で専門用語集が構築され、実務でも利用されている。自然言語処理(NLP)の研究分野では、専門用語の自動獲得タスク1）は長年取り組まれ、近年は大規模言語モデル(LLM)を活用した手法上の発展も見られる[1]。しかし、言語実務の場面においては、最先端の用語獲得手法が直接取り入れられることは少なく、品詞パターンや頻度を利用した比較的シンプルな機構に基づく自動化技術を下処理として用いつつ、多くの作業は人手に任されている2）。影浦[3]は、この課題の背景に、NLPにおける専門用語処理研究が言語実務の要請を反映していない1）NLP分野では「専門用語抽出」という用語が普及しているが、後述するように用語の抽出だけでなく生成を介する研究も広く含めるために、本稿では「獲得」の語を使うこととする。なお、テキスト中の用語の「同定」タスクも含める。2）筆者らによる言語実務関係者とのコミュニケーションに基づく。なお、Wissik[2]も専門用語抽出の研究が、EU等の機関における言語実務であまり活用されていないことをインタビュー結果をもとに明らかにしている。状況があることを指摘した上で、言語実務から定義した専門用語処理のタスクとして「専門語彙データを更新するフェーズ」と「翻訳において用語を同定するフェーズ」に注目し、そこで求められる要件を試論的に整理した。この論考が提示されてから約4年が経ち、関連するタスクへの取り組みは部分的に見られるものの、依然として、言語実務の要請と乖離した状況は続いている。筆者らは、「一から作った専門用語候補リストを人手による正解リストと比較する」という業界標準的な評価枠組みに偏り過ぎている点が背景にあると考える。実務をふまえたタスクを定義することに加えて、各タスクの結果を適切に評価するための手法・データセットのあり方を検討することが求められる。そこで本稿では、まず先行研究[3]の議論を出発点として、専門用語獲得に関するタスクを再整理する。続いて、これらのタスクに関連して、既存研究はどのような評価を行ってきたかを概観する。その上で、今後の評価手法のあり方の方針を検討する。なお、翻訳等の言語実務においては、対訳用語獲得も重要なタスクであるが、本稿ではベースとなる単言語での用語獲得の議論を中心とする。