Wikipediaにおける文の品質推定のための大規模データセット

Wikipediaは誰でも編集できることで有名な巨大なオンライン百科事典である．しかし，Wikipediaの質は長い間論争の的となっており，それは自然言語処理（NLP）にとって非常に重要な問題である[1,2,3,4]．WikipediaのテキストはNLPのデータセットに広く利用され，主要なリソースとなっているため，Wikipediaの品質がNLPに与える影響は大きい[5,6,7,8]．実際，いたずらなどによる質の悪い編集も存在する．そのような編集はしばしば他の編集者によってWikipediaテンプレート1）でマークアップされ，修正される．そのような，ユーザーの編集が繰り返されることでWikipediaの質は信頼性面も含めて向上し続けているが，全ての質の悪い編集文を限られた編集者でチェックし修正することは非現実的である．そのため，この問題を機械でサポートする試みが過去にいくつかなされている．代表的なもの1）https://en.wikipedia.org/wiki/Wikipedia:Templateindex/CleanupはWikipediaのBot2）で，自動で間違ったWikipediaマークアップ書式を修正したり，廃止された機能を新しいものに置換したり，特に，荒らし的な編集を元に戻すというものもある．しかし，これらは素朴で表層的なエラーを対象としており，対象外のエラーに対する多次元的で詳細な評価は人間がチェックしている．その他のサポートの試みとしては，記事全体の品質を推定する研究や，ある特定の品質ラベルを識別しようとする研究も行われている[9,10]．前者のbotは文単位でのきめ細かい評価ができず，後者は限られた質の悪い点のみに着目している．そこで，我々はきめ細かく様々な側面から文の品質を推定するための大規模データセットを構築した．文の品質ラベルとして，編集者が各文に対して付与したWikipediaインラインテンプレート3）を利用している．対象ラベルをトークページに関するものなどを除いて人手で厳選し，ノイズの多い文をフィルタリングした結果，品質推定ラベルは合計153個，総文数は約341万文になった．事前学習モデルを用いた自動検出の実験では，引用を必要とする文，構文や意味の修正を必要とする文，命題に関する問題を持つ文は検出が困難であることがわかった．このデータセットはWikipediaの編集者をアノテーターとして大規模に文品質評価を行なったと見ることもでき，NLPの他タスクにおいても有用であると思われる．構築されたデータセットは一般公開されており利用可能である4）．