実世界の文書に対する構文解析器の疑似評価

本研究では、構文解析器の実応用上での性能を、ドメイン特有の名詞句の構造に着目して推定する手法を示す。構文構造を付与したコーパスに比して、当該ドメインの専門用語のリストは低コストで取得でき、それらが部分木を形成するかをもって、解析器が重要な句を認識する能力を調べる。これによって、ドメインに特化した観点で複数の解析器の性能を比較することや、実用性を大きく損なう現象に注目して解析器をチューニングすることが可能となる。2つのドメインで5つの解析器の性能を測る実験では、一般のベンチマーク上のスコアとは異なる傾向が観測され、実用の観点で考慮すべき点が示唆された。