専門家と非専門家によるアノテーション検証の割当の自動化

自然言語理解を実現するためには、言語的及び意味的な知識ベースの構築が必要になる。このような知識ベース構築プロジェクトの１つとして、森羅プロジェクト[1]がある。[1]ではWikipediaの記事を用いて知識ベースの構築を目指している。Wikipediaの記事から固有表現を抽出することで計算機が利用可能な形式でのWikipediaの構造化を進めている。しかし、Wikipediaのようなテキストの更新が頻繁に行われ、数が膨大なテキストから知識ベースを人手で構築することは困難である。この問題の解決策として、機械学習モデルを用いて、テキスト中に含まれる固有表現を抽出し、知識ベースの構築を自動化することでコストを下げることが挙げられる。機械学習モデルによる自動化を行った際の課題として、抽出された固有表現が正しいとは限らないという点が挙げられる。そのため、構築された知識ベースが実用的ではなくなってしまう。これを防ぐために、機械学習モデルが抽出した固有表現を検証し、間違って抽出された固有表現が混ざることを防ぐ必要がある。だが、人手による検証は数が膨大であるため困難である。よって、人手による検証をする必要のあるデータと、検証する必要のないデータを選択することで検証にかかるコストを下げることが必要である。また、人手による検証をする際の課題として、タスクに対する知識の量は人によって異なる点が挙げられる。タスクについて専門的な知識を持つ人を専門家、そうではない人を非専門家とすると、専門家はタスクに対して深い知識を持っているため、正確な解答をすることができる。一方で、非専門家は難しいタスクに対して正確ではない解答をする。また、解答を依頼する際のコストは、専門家の方が多く、非専門家の方が少なくい。そのため、専門的な知識を必要としないで判定が可能なデータについては非専門家、必要とするデータについては専門家に検証を依頼することが理想的である。そこで本研究では、固有表現の抽出結果の検証方法の選択を行うモデルを学習させる手法を提案した。検証方法として、機械、非専門家であるクラウドワーカー、専門家であるアノテーターの3種類を対象とした。この損失関数で学習させた機械学習モデルと、ランダムにデータの検証方法を決定した場合を比較して正解率、F1値、再現率、精度の比較をした。学習させた結果、学習させたモデルの方が正解率が高く、また割当先をうまくコントロールすることでF1値もランダムにデータの検証方法を決めるよりも良くなっていることがわかった。