専門家と非専門家によるアノテーション検証の割当の自動化

自然言語理解を実現するために、知識ベースの構築が必要である。人手による知識ベースの構築にはコストがかかるため、機械学習モデルを用いて自動化することができる。だが、機械学習モデルにより作成された知識ベースは正しいとは限らないので検証する必要がある。これを達成するために、本研究では、適切な問い合わせ先として機械、非専門家、専門家のいずれかを自動選択する手法を提案する。実データを用いた実験で、提案手法により問い合わせ先を選ぶ場合と、ランダムに問い合わせる場合とで比較したところ、提案手法の方がより精度良く検証が実現できることを確認した。