固有表現抽出とは，文章中の固有表現の言及を検出し``人名''や``組織名''といった固有表現クラスへの分類を行う自然言語処理の基礎技術である．本技術は，質疑応答や機械翻訳といった技術への応用が期待される．固有表現抽出は近年の深層学習の発展により飛躍的な性能向上を遂げた\cite{li-etal-2020-dice,wang-etal-2021-automated}．しかし，固有表現抽出システムは人手で構築された学習データのもとに成り立っており，データ構築コストの高さが指摘されている\cite{NOTHMAN2013151}．近年では，より細かく固有表現を解析すべく，数種類の固有表現クラスに留まらず数百種類といった固有表現クラスに対して分類を行う細分類固有表現抽出の必要性が議論されている\cite{fg-ner-2018-empirical}．この場合，扱う固有表現クラスの数に伴い，学習データのラベル付けコストも高くなる．この問題を解決するため，Wikipedia記事のリンク構造を活用して学習データを自動生成することでコスト削減に取り組む研究が多く行われている\cite{richman-schone-2008-mining,nothman-etal-2008-transforming,NOTHMAN2013151,polyglot-2015,pan-etal-2017-cross,ghaddar-langlais-2017-winer,cao-etal-2019-low,strobl-etal-2020-wexea,Ling_Weld_2021,tedeschi-etal-2021-wikineural,malmasi-etal-2022-multiconer,tedeschi-navigli-2022-multinerd,strobl-etal-2022-enhanced}．WikipediaはWeb上で閲覧編集が可能な百科事典であり，膨大なエンティティの集合と，各エンティティを説明する記事からなる．記事中では出現した固有表現の言及に対して必要に応じてWikipedia内の他のエンティティを示すリンクが付与される．したがって，何らかの手段を用いて各エンティティに対して固有表現クラスを付与することで，リンク構造から固有表現抽出の学習データを自動生成することができる．先行研究では，Wikipedia記事に付与されているカテゴリーや，外部データにより各Wikipedia記事に対して付与されたカテゴリーを固有表現クラスに対応付けることで各エンティティの分類を行っている\cite{NOTHMAN2013151,polyglot-2015,ghaddar-langlais-2017-winer}．しかし，カテゴリーの定義と固有表現の定義が異なるため対応付けの際に分類誤りが発生するといった問題がある．Wikipediaのリンク構造は，リンク省略やNIL言及により固有表現抽出器の学習に用いるには不足している．\paragraph{リンク省略}Wikipediaでは，Wikipediaガイドラインにより多くのリンクが省略されている．本ガイドラインには，リンクが煩雑になることを防ぐために「同一エンティティを指す言及は初出の場合のみリンクする」といったルールが記載されている．例えば，記事中に言及「日本」が出現し，既に『日本』というエンティティにリンクしていた場合，以降の『日本』を指す言及へのリンクは省略される\footnote{例外として，記事中で重要と判断された場合，複数回リンクが付与される場合もある．}．また，「記事に紐づくエンティティの説明に重要であると判断される言及のみリンクする」といったルールも存在する．つまり，国名のように一般に認知されているエンティティに対するリンクが省略される場合がある．先行研究では，英語等の言語において固有表現の単語の先頭が大文字化されるといった表層的な言語特徴を活用したリンク検出\cite{nothman-etal-2008-transforming,richman-schone-2008-mining,NOTHMAN2013151,strobl-etal-2020-wexea,Ling_Weld_2021,tedeschi-etal-2021-wikineural,malmasi-etal-2022-multiconer}や，固有表現辞書を用いて検索を行いリンクを拡張する表層マッチ\cite{nothman-etal-2008-transforming,richman-schone-2008-mining,NOTHMAN2013151,polyglot-2015,ghaddar-langlais-2017-winer,strobl-etal-2020-wexea,Ling_Weld_2021,tedeschi-etal-2021-wikineural,tedeschi-navigli-2022-multinerd,strobl-etal-2022-enhanced}によりリンク省略に対応している．しかし，前者のような言語依存の特徴のほとんどが日本語には適用できない上，後者のような簡易的な表層マッチのみではカバー率の低下や，精度の低下といった問題が引き起こされる．\paragraph{NIL言及}固有表現の言及であるものの，紐づくエンティティがWikipediaに存在しない場合はリンクは付与されない．例えば，宮沢賢治の母親を指す言及「宮沢イチ」が出現した場合，Wikipediaには紐づく記事が存在しないため，リンクは付与されない．このような行き先のない言及を以下NIL言及と呼ぶ．NIL言及を無視してデータ構築を行った場合，本来ラベルがあるにも関わらずラベル無しと表示される偽陰性ラベルが混在してしまうため，データセットのカバー率が低下し，後続のモデル学習に悪影響を与える．先行研究では，外部辞書を用いた表層マッチ\cite{richman-schone-2008-mining,strobl-etal-2020-wexea}や深層学習による偽陰性ラベル検出\cite{pan-etal-2017-cross}，言語特徴や深層学習を用いた偽陰性ラベルを含む文のフィルタリング\cite{tedeschi-navigli-2022-multinerd}等の技術を開発し，解決に取り組んでいる．しかし，他言語で使用されるような辞書や言語特徴は直接日本語に適用できない上，簡易なラベル補完はノイズを増加させる危険性があり，フィルタリングは有用な教師情報を除去してしまうといった問題がある．本研究では，これらのリンク省略とNIL言及に対処するための言語非依存な手法を提案する．提案手法とともにWikipediaから固有表現抽出器を学習する工程を図\ref{fig:train_ner}に示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1\begin{figure}[t]\begin{center}\includegraphics{31-3ia14f1.pdf}\end{center}\caption{本研究におけるWikipediaからの固有表現抽出器学習工程：◎は提案手法を示す．}\label{fig:train_ner}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%リンク省略に対処するため，Wikipediaガイドラインを活用した深層学習ベースのリンク拡張手法を提案する．本手法では，ガイドラインのうち「同一エンティティに関するリンクは初出の場合のみ付与する」というルールに着目する．これはすなわち，リンク以前の文章には同一エンティティを指す言及が存在しないことを意味している．この性質を利用することで，リンクが示す言及の単語とエンティティを正のペア，リンク以前の単語とエンティティを負のペアとして扱うことができるようになる．これらのペアから単語とエンティティのペアの判定を行う二値分類器を学習し，分類器により全ての単語に対して紐づくエンティティを予測することで省略されたリンクの補完を試みる．NIL言及に対処するため，文章中の期待エンティティ率(ExpectedEntityRate;EER)を推定する手法を提案し，固有表現抽出器の学習に推定値による制約を適用する．本手法では，各エンティティのリンク頻度と頻度ごとのエンティティ数の関係を近似することで，文章に含まれる固有表現の言及の割合を示す期待エンティティ率を推定する．エンティティ率を用いて学習時に制約を課し偽陰性ラベルの影響を軽減する手法\cite{effland-collins-2021-partially}に対して本推定値を適用することで，NIL言及の影響軽減を試みる．本研究では，リンク省略とNIL言及によるリンク不足の課題を独立して扱うため，エンティティに対する固有表現クラスの割り当てには人手により作成された正解ラベルを用いる．これにより，Wikipediaのカテゴリー等と固有表現クラスの紐付けにより発生する誤りから，提案手法による誤りを切り分けて検証することが可能になる．Wikipediaの構造化を行う森羅プロジェクト\cite{Sekine2019SHINRASW}では，日本語のWikipediaのおよそ8割の記事が，拡張固有表現階層\cite{sekine-etal-2002-extended}で定義されたカテゴリーに人手で分類されており，本研究ではこちらを用いる．{拡張固有表現階層はWikipediaを階層的に分類するための定義であり，本研究では``名前''以下の約200カテゴリーを固有表現クラスとして扱う．}性能の比較に評価データが必要であるため，本研究では日本語Wikinewsから収集されたニュース記事に対して人手によりラベルを付与することで評価データを作成する．本作業は，拡張固有表現に対する深い知識が求められるので，前述のWikipedia記事分類を行った作業者に対して依頼した．本研究で，構築された固有表現抽出器はJENER(JENER:JapaneseExtendedNamedEntityRecognizer)として公開している\footnote{\url{https://github.com/k141303/JENER}}．本論文の貢献は以下の通りである．\begin{itemize}\itemWikipediaのリンク省略に対処すべく，Wikipediaガイドラインを活用した深層学習ベースのリンク拡張手法を提案した．\itemWikipedia記事中の期待エンティティ率(EER)の推定手法を提案し，EERにより固有表現抽出器の学習に制約をかける既存手法を適用することで，NIL言及によるラベル欠落の影響を軽減した．\item日本語Wikinewsから収集されたニュース記事に対して人手でラベルを付与し，評価セットとして公開した\footnote{\url{https://github.com/k141303/WikinewsENER}}．\item日本語のように固有表現に関する表層的な特徴が少ない言語において，先行研究より高品質な固有表現抽出器の学習が可能であることを示した．\item予測結果の詳細な分析によりWikipediaのリンク構造を用いて固有表現抽出器を学習する際の更なる課題を示した．\end{itemize}以下に本論文の構成を示す．\ref{sec:related_works}節では，固有表現抽出とWikipediaを活用した固有表現抽出器学習手法について関連研究を紹介する．\ref{sec:data_and_preprocess}節ではWikipediaや拡張固有表現の説明と前処理に関しての記述を行う．\ref{sec:propose_1}節では，Wikipediaのガイドラインにより省略されたリンクを拡張するための手法を提案する．\ref{sec:eer_estimation}節では，NIL言及が学習に及ぼす影響を軽減するために，期待エンティティ率の推定を行う手法を提案し，既存手法により学習制約を適用する．\ref{sec:experiments}節では，実験に用いる評価セットの構築方法や，提案手法や比較手法の実験設定について記述し，\ref{sec:experiment_results}節で実際に固有表現抽出機を学習し，評価，考察する．\ref{sec:experiment_analy}節では，拡張したリンク，推定した期待エンティティ率，固有表現抽出器の予測誤りに関する分析と，学習データにおける頻度をもとにした分析を行い，続く\ref{sec:discussion}節でWikipediaから固有表現抽出器を学習する際の課題を整理する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2