実世界の文書に対する構文解析器の疑似評価

文区切り・単語区切り・品詞タグ付け・依存構造解析などを行う自然言語の解析器はさまざまな場面で利用されており、UniversalDependencies(UD)[10,9]など各言語のリソースが整備され、学習や評価に使われるようになった。しかし、実応用の場面で入力される文書は、特殊な語彙や文体を含むことが多く、それらに対して既存の解析器が好適な結果を出力できているとは限らない。例えば、自動車の不具合の報告の中の文(1)1）は、(1a)の構造2）を持ち、このように“checkenginelight”が複合名詞句として認識されれば、事物と動作の関係が抽出できて、現象の把握に役立つ。(1)Checkenginelightcameon.rootcomp.?engineNOUNcomp.?lightNOUNnsubj?comesVERBcomp.?onADV?(1a)CheckNOUNしかし、ある解析器の出力では(1b)のように、1）「エンジンを確認せよという警告が点灯する」の意。2）comp.はcompoundラベルを示す。“check”が動詞とタグ付けされることにより名詞句の部分が部分木を構成せず、文全体の構造が乱れていた。これは後段の処理の大きな障害となりうる。rootadvclobjnsubj?comesVERBcomp.?engineNOUN?lightNOUN?onADV?∗(1b)CheckVERBこのように特定の分野の文書に対して解析器を適用して、意味役割付与[1]や評価表現抽出[6]などの後段の処理をする局面で、現存する解析器が充分な性能を出せているだろうか。その性能はUDのコーパス上でのベンチマークによって測ることができているだろうか。特に、複数の解析器やその様々なモデルのうち最も適したものを用いたい時に、どれを選択すれば望ましい出力が得やすいか。これらの質問に答えるための正確な測定には、当該分野の文書に構文構造を付与したコーパスを用いることが望ましいが、そのようなコーパスは存在しないし、それを逐一作成するコストは膨大である。一方で、テキストマイニングの運用の局面では、しばしば当該分野で検索や分析の対象となる辞書を作成したり[7,13]、既存のオントロジーを流用するなどして、名詞句や固有名詞が列挙されたリソースが存在することが多い。文(1)における“checkengine”ないし“checkenginelight”がそれに該当する。これらの句が当該分野の文書中に現れた場合、(1a)のように構文木の中で部分木を構成するはずである。一方、(1b)のように句が分断されている場合、解析器の明らかな出力誤りである場合が多い。本論文では、分野特有の名詞句に対する解析結果の構造を調べることによって、構文構造のアノテーションに頼らずに解析器の実応用における性能を推定する方法を提案する。これによって、一般のベンチマーキングとは異なり、実応用の観点で複数の解析器の性能を比較することや、実用性を大きく損なう現象に絞って解析器のチューニングを行うことができるようになる。.自動車分野契約書分野warninglightprivateplacementsharescheckenginelightcontrolterminationreplacementtireadministrativeagentrepairshoprestrictedsubsidiarydealershopperformanceshareunitsChrysler200equityinterests