CrossWeighの日本語NERデータセットへの適用とラベルノイズの調査

通常,教師あり学習は訓練データに誤りがないという前提で学習が行われるが,実際には誤りを含む場合も多い.特にNERのデータセットはラベルの定義に曖昧なものがあるため,タグ付けには誤りが生じやすい.このような背景からWangらは誤ったラベルの付いたデータセットからNERのモデルを学習するCrossWeighを提案した.本論文ではCrossWeighを日本語NERデータセットに適用し,CrossWeighの効果を確認する.同時に,CrossWeighによって生成される重み付きデータを調査することでデータセット内にある誤りの発見を試みた.