\section{はじめに}
\NERは，ユーザーが関心のあるクラスに対応する文中のスパンを検出するタスクである．\NERの代表的なSharedTaskとして知られるCoNLL2003SharedTask\cite{\CoNLLPaper}では，\dq{PER}（人物名），\dq{LOC}（場所名），\dq{ORG}（組織名），\dq{MISC}（その他）のカテゴリに対応する文中のスパンの検出を目的としている．例えば，``EUrejectsGermancalltoboycottBritishlamb.''という文章を入力とし，``EU''，``German''，``British''という文中のスパンをそれが所属する``LOC''，``MISC''，``MISC''というクラスとともに検出する．\NERは質問応答\cite{khalid_impact_2008}，関係抽出\cite{liu_neural_2018}，エンティティ・リンキング\cite{sun_modeling_2015}，対話システム\cite{bowden_slugnerds_2018}など様々なタスクで応用されており，自然言語処理において基本的で重要なタスクである．関心のあるクラスは\Userによって異なる．例えば政治を取材するジャーナリストであれば，人物名の中でも政治家名に関心があり，組織名の中でも政党に関心があるだろう．映画の好きな\Userであれば，人物名の中でも映画監督に関心があり，組織名の中でも映画スタジオに関心があるだろう．しかし，従来の\NER手法では，\Userの関心に応じて異なる多様なカテゴリに柔軟に対応できない．なぜなら従来の\NERシステムは，カテゴリがあらかじめ定義されたデータセットを用いて構築されるため，\Userにとって関心のあるカテゴリがあらかじめ定義されたデータセットが存在しなければ，それらのスパンは抽出できないからである．各\Userが関心のあるカテゴリを人手でアノテーションすることもできるが，これには膨大なコストと時間がかかってしまう．先行研究\cite{\PaperGraphCut}は，\WSLNERを大規模な\THESAURUSと組み合わせることで\Userの要求に柔軟に対応する\NERを実現する方法を提案した．\WSLNERとは，\Userが関心のあるカテゴリ（以下，\FOCUSCAT）に属する語句のリストを活用し，リストに含まれる語句の出現箇所を擬似的に固有表現と見做すこと（\DictionaryMatch）で\PseudoDataを作成し，この\PseudoDataに基づく学習によって，\FOCUSCATに属する固有表現の抽出を目指す方法である．例えば先の映画好きの例を考えてみる．この場合，大規模な\THESAURUSである\DBpediaから，映画監督\footnote{\url{https://dbpedia.org/ontology/MovieDirector}}・映画スタジオ\footnote{\url{https://dbpedia.org/class/yago/WikicatFilmStudios}}の情報を\FOCUSCATとして活用する．これらカテゴリの\KNOWNTERM（例：スティーブン・スピルバーグ，黒澤明，20世紀フォックス映画，東宝スタジオ）が含まれる文章の\KNOWNTERMのスパンを擬似的な教師データとして活用することで，映画監督や映画スタジオを検出できる\NERモデルを作ることができる．しかし，\PseudoDataには通常の\SupervisedDataとの乖離がある．多義性のある\KNOWNTERMに対して文脈を考慮せずクラスを付与してしまうことでラベル誤りが生じてしまう（\PseudoFalsePositive）．他にも，\KNOWNTERMを対象に行われる\DictionaryMatchでは，\THESAURUSには載っていない\UNKNOWNTERMを取り逃してしまう（\PseudoFalseNegative）．例えば，映画監督であるがお笑い芸人でもある北野武（ビートたけし）がお笑い芸人として取り扱われている文脈に対しても映画監督としてラベル付けしてしまったり，未知の，すなわち，\THESAURUSには載っていない映画監督や映画スタジオが自動アノテーションから漏れてしまうといった問題が生ずる．弱教師あり学習の先行研究\cite{\PaperBOND,zhu_weaker_2023,peng_distantly_2019}では，この2種類の\PseudoDataの誤りに頑健な学習法を提案してきた．\PseudoFalsePositiveに対しては，擬似正例の各カテゴリに含まれる他の語句と乖離した語句を本来は負例であるとみなす学習法で，その学習における影響を抑制する．例えば，映画監督を\FOCUSCATとして「北野武（ビートたけし）」が含まれる文脈を学習する際に，「ビートたけしは漫才コンビ：ツービートとして活躍したお笑い芸人である。」というようなお笑い芸人として出ている文脈が本来は負例であるとみなして\PseudoFalsePositiveの影響を抑制することができる．\PseudoFalseNegativeに対しては，擬似負例のうち擬似正例に近い語句を本来は正例であるとみなす学習法で，その学習における影響を抑制する．例えば，化学物質名を\FOCUSCATとし，物質名全体は\THESAURUSに載っていなくても，その構成要素は\THESAURUSに載っているような場合（例：4-ブロモ-1,1,1-トリフルオロブタンは\THESAURUSに載っていないが，1,1,1-トリフルオロブタンは\THESAURUSに載っているような場合）の影響を抑制できる．他にも，明らかに\FOCUSCATであると判断できる文脈の場合（例：映画監督を\FOCUSCATとした際に\THESAURUSに載っていない人名が「...はアカデミー監督賞を受賞した。」という文脈に現れる場合）に対して本来は正例であるとみなすことで\PseudoFalseNegativeの影響を抑制することができる．\PseudoFalsePositiveに頑健な学習法は有用だが副作用もある．特に，表層形や文脈が\FOCUSCATの他の語句から乖離しているが\FOCUSCATに含まれる場合に，\FOCUSCATから取り除いてしまうという副作用が生じうる．例えば，出現文脈が\FOCUSCATの他の語句から乖離している例として，\FOCUSCATが哺乳類の際のクジラがあげられる．クジラは哺乳類という人間や犬などの陸上生物が多いカテゴリに属している．しかし，水中で生活しており魚類などと共通の文脈に出現する．そのため，クジラが哺乳類に含まれる他の語句から乖離しているとして哺乳類から除外されてしまう危険性がある．このことは，\FOCUSCATの典型例と乖離した特徴をもつ\FOCUSCATの下位クラスの情報が欠けていることが一因である，と考えられる．例えば，哺乳類を\FOCUSCATとした際のクジラの事例であれば，哺乳類の下位カテゴリであり，クジラやイルカが属す鯨類の情報がカテゴリの判断に必要である，と考えられる．\PseudoFalseNegativeに頑健な学習法も有用だが副作用もある．特に，表層形や文脈が\FOCUSCATの例に類似しているが\FOCUSCATに含まれない場合に，\FOCUSCATに含まれる，と誤って判断してしまうという副作用が生じうる．例えば，表層形が類似している事例として\FOCUSCATを甲殻類としたときのカブトガニを考えることができる．カブトガニはその表層形の類似度によって，本来はクモ・サソリなどと同じ鋏角類であるにも関わらず，エビやカニの属す甲殻類に含まれる，と誤って判断される危険性がある．この副作用は，排他的なクラス，特に\FOCUSCATの持つ特徴と類似する排他的なクラスの情報が欠けていることが一因であると考えられる．例えば，\FOCUSCATを甲殻類とした際のカブトガニの事例であれば，甲殻類の表層形と類似したカブトガニ目やその上位カテゴリであり甲殻類と排他的な鋏角類の情報がカテゴリの判断に必要であると考えられる．以上のように，先行研究の\WSL手法は，\PseudoFalsePositiveや\PseudoFalseNegativeに頑健な学習法を通じて，PrecisionやRecallを\PseudoAnnotationより改善できる．一方で，過小な\FOCUSCATの予測や過剰な\FOCUSCATの予測につながる副作用があり，それらの副作用を抑制するには，\FOCUSCATの下位クラスや，排他的なクラス及びその下位クラスの活用が必要であることを述べてきた．そこで本研究では，\THESAURUSの階層的な分類項目全てを\PseudoDataに活用した\WSLNER手法を提案する．具体的には，\ALLCATを\DictionaryMatchに活用したマルチラベル固有表現抽出の\PseudoDataに基づき，\ALLCATを認識可能な弱教師あり学習モデルを訓練する．その後，この\ALLCATを認識可能な弱教師あり学習モデルで\FOCUSCATを予測させる，という手法である．この提案手法によって，\PseudoDataに追加した\FOCUSCATの下位クラスの情報を活用しながら，過小な\FOCUSCATの予測，という\PseudoFalsePositiveに頑健な学習法の副作用を抑制することを目指す．それとともに，\PseudoDataに追加した排他的なクラスの情報を活用しながら，過剰な\FOCUSCAT予測，という\PseudoFalseNegativeに頑健な学習法の副作用も抑制することを目指す．本論文では，実験を通じて\PROPOSALの優位性を明らかにした．具体的には\DBpedia\cite{\DBpediaPaper}，\UMLS\cite{\UMLSPaper}を\PseudoAnnotationに活用し，\CoNLL\cite{\CoNLLPaper}，\MedMentions\cite{\MedMentionsPaper}を検証用データセットとして利用した実験を行った．提案手法は\FOCUSCATのみを\PseudoAnnotationに利用するベースラインに比べてF1値において，約5～8\%の改善を達成することができた．さらに本論文では，この提案手法の改善がどれくらいの量の\SupervisedData追加に匹敵するのかを明らかにした．具体的には訓練事例数を制限した\SLとの比較実験から提案手法には\FOCUSCATのみを\PseudoAnnotationに利用するベースラインと比べて140～450文程度の\SupervisedData追加に相当する効果が有ることが分かった．\DBpedia，\UMLSの\PseudoAnnotationへの活用方法も含めて，本論文の実験で利用したコードの全てをGitHubにて公開した\footnote{\url{https://github.com/fracivilization/thesaurus-based-ner}}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
\label{sec:related_works}本論文で取り扱う\WSLとは，ルールや\THESAURUSに基づく擬似的な教師信号（\WS）に基づいた学習方法である．テキスト分類\cite{hingmire_sprinkling_2014}や固有表現抽出\cite{bellare_learning_2007}，関係抽出\cite{mintz_distant_2009}など\SupervisedDataを必要とする様々なタスクにおいて\WSLは利用されてきた．特に\NERにおいては，関心のあるカテゴリの語句のリストを利用して，同じカテゴリの\UNKNOWNTERM（語句のリストに含まれない語句）の取得をするために\WSLが利用されてきた．具体的には\KNOWNTERM（語句のリストに含まれる語句）に\DictionaryMatchするスパンを擬似的な正例とみなした\PseudoDataに基づき\NERモデルを学習する手法が試みられてきた（図\ref{fig:pseudo_dataset_comparison}）．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{31-3ia6f1.pdf}\end{center}\hangcaption{既存の\WSLNERとの比較．通常の\WSLNERでは関心のあるカテゴリ：\FOCUSCAT（\focuscat{哺乳類}・\focuscat{爬虫類}）に含まれる語句のみを\DictionaryMatchによる\PseudoAnnotationに活用する．先行研究\protect\cite{\PaperGraphCut}ではそれらに追加して，\FOCUSCAT及びその祖先と兄弟関係にあるカテゴリ:\COMPLEMENTCAT（\complementcat{魚類}・\complementcat{植物}）も\DictionaryMatchによる\PseudoAnnotationに活用する．提案手法では\THESAURUSに含まれる\ALLCATを\DictionaryMatchによる\PseudoAnnotationに活用する．例えば「マグロ」や「ミカン」などのエンティティや\othercat{魚類}・\othercat{植物}などのカテゴリも\PseudoDataに活用する．赤色のカテゴリは\FOCUSCAT，青色のカテゴリは\COMPLEMENTCATをそれぞれ意味している．}\label{fig:pseudo_dataset_comparison}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\KNOWNTERMに\DictionaryMatchするという\PseudoAnnotationには通常の教師信号との乖離が存在しており，それは二種類に分けられる．間違った\PseudoAnnotationをしてしまう\PseudoFalsePositiveと，本来アノテーションするべき語句を逃してしまう\PseudoFalseNegativeである．これら二種類のノイズに頑健な\WSL手法として主に二つのアイデアが提案されてきた．一つは事前学習モデルの持つ知識をノイズ除去に利用する方法であり，もう一つは\DictionaryMatchしなかったトークン・スパンなどのラベルなし語句を割り引いて学習する方法である．前者は\PseudoFalsePositive・\PseudoFalseNegativeに頑健な学習法であり，後者は\PseudoFalseNegativeに頑健な学習法である．事前学習モデルの持つ知識をノイズ除去に利用した研究として代表的なものは\citeA{\PaperBOND}，\citeA{zhu_weaker_2023}の研究である．\citeA{\PaperBOND}，\citeA{zhu_weaker_2023}らはEarlystoppingを利用してノイズへの過剰な適応を防ぎつつ事前学習モデルの持つ知識を活用するという学習法で，\PseudoFalseNegative，\PseudoFalsePositiveに頑健な学習をしていた．ラベルなし語句を割り引いて学習する研究として代表的なものはPU学習\cite{peng_distantly_2019}や擬似負例スパンのアンダーサンプリング\cite{\PaperNegativeUndersampling}といった手法である．他にもlenientCRF\cite{jie_better_2019}，Self-training\cite{\PaperBOND}などを通じて\PseudoAnnotationと異なるラベルを推測する手法も存在する．これらの手法は\KNOWNTERMに対しては特定が容易であるという\DictionaryMatchの特徴を利用し，擬似ラベルのない単語やスパンの影響を割り引くことで\PseudoFalseNegativeに頑健な学習をしている．\PseudoFalsePositiveに頑健な学習法は，学習結果のモデルのPrecisionを\DictionaryMatchよりも改善することができる．一方で，学習結果のモデルが本来であれば\FOCUSCATに属すはずのカテゴリの語も除外してしまう危険性がある．\PseudoFalseNegativeに頑健な学習法は，学習結果のモデルのRecallを\PseudoAnnotationよりも改善することができる．一方で，\FOCUSCATと排他的なカテゴリなど本来であれば\FOCUSCATに属さないカテゴリの語も学習結果のモデルが抽出してしまう危険性がある．提案手法ではこれら\PseudoAnnotationの誤りに頑健な学習法が持つ副作用を\THESAURUSの持つ階層的で総体的なカテゴリ知識で抑制することを目指す．具体的には\ALLCATを\PseudoAnnotationに活用し，\ALLCATを学習した\WSLNERモデルを活用する手法を提案する．\PseudoFalseNegativeに頑健な学習法の持つ，過剰な\FOCUSCATの予測という副作用に対しては，\FOCUSCATと排他的なカテゴリやその下位カテゴリの学習によって抑制を目指す．\PseudoFalsePositiveに頑健な学習法の持つ，過小な\FOCUSCATの予測という副作用に対しても，\FOCUSCATの下位カテゴリの学習によって抑制することを目指す．先行研究\cite{\PaperGraphCut}では，提案手法と同様に\THESAURUSの持つカテゴリ知識を用いて\PseudoAnnotationの誤りに頑健な学習法が持つ副作用を抑制しようとした．しかし，\PseudoFalsePositiveに頑健な学習法の副作用を考慮せず，\PseudoFalseNegativeに頑健な学習法の持つ副作用のみを対象としているほか，\ALLCATを利用した提案手法とは異なり，\FOCUSCAT及びその祖先と兄弟関係にあるカテゴリ（\COMPLEMENTCAT）の利用に留まっているという違いがある．例えば図\ref{fig:pseudo_dataset_comparison}のような\THESAURUSで\FOCUSCATとして「哺乳類」と「爬虫類」を選択した場合を考える．\FOCUSCATの祖先には「動物」，「生物」が存在する．ルートノードである「生物」には兄弟カテゴリが存在しないため，「哺乳類」・「爬虫類」の兄弟である「魚類」と，「動物」の兄弟である「植物」が\COMPLEMENTCATとなる．先行研究\cite{\PaperGraphCut}では，この\COMPLEMENTCATを\FOCUSCATに対する擬似負例として活用し，過剰な\FOCUSCATの予測を抑えようとした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
提案手法では，\ALLCAT\footnote{正確には全カテゴリではなく，ある程度の粒度以上の全カテゴリを活用している．実際に利用したカテゴリの個数については\ref{sec:expsetting}章を参照されたい．}を\PseudoData作成に活用し，その\PseudoDataに基づいて「\ALLCATを認識する\NERモデル」（以下，\AllcatModel）を学習し，この\AllcatModelによって\FOCUSCATの抽出を行う．本論文ではシングルクラスの固有表現抽出タスクを取り扱っている．つまり，文を入力とした際にその文に含まれるスパンとその一意なラベルを出力する．例えば\FOCUSCATが「哺乳類」と「爬虫類」の場合，図\ref{fig:pseudo_dataset_comparison}の「人間はスッポン，マグロ，ミカン，イチゴ，ワカメなど様々な生物を食してきた」という文の「人間」というスパンには「哺乳類」とラベルを付与することを目指している．一方で\ALLCATの情報をモデルに理解させるにはスパンに複数のラベルを付与して学習する必要がある．例えば，先の「人間」というスパンに対しては，「哺乳類」，「動物」，「生物」という複数のラベルが付与されることをモデルが学習する必要がある．そこで本稿では学習時には複数の正解を許容して\ALLCATの学習を行い，予測時には単一の正解クラスがあるとして予測する手法を提案する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{\ALLCATを含んだ\PseudoData作成}\label{subsec:pseudo_data_making}\ALLCATに含まれる語句のそれぞれに対し，\DictionaryMatchによって\PseudoAnnotationを行う．ただし，この際に各カテゴリへの語句の所属関係は\THESAURUSの所属・階層関係を推移的なものとみなして拡張したものとする\footnote{この所属・階層関係を推移的にみなして利用する語句を増やす手法は比較対象となる\WSL手法に対しても同様に適用している．}．具体例として図\ref{fig:pseudo_dataset_comparison}の「人間」という語句を考える．「人間」という語句は\focuscat{哺乳類}に直接所属し，さらに\othercat{動物}は\focuscat{哺乳類}の上位概念であり，\othercat{生物}は\othercat{動物}の上位概念である．このことから「人間」という語句は\focuscat{哺乳類}に追加して，\othercat{動物}・\othercat{生物}という3つのカテゴリに所属していると見做す．この所属情報から，「人間はスッポン、マグロ、ミカン、イチゴ、ワカメなど様々な生物を食してきた」という文の「人間」の部分に\focuscat{哺乳類}・\othercat{動物}・\othercat{生物}という3つのラベルを\DictionaryMatchによって付与する\footnote{ただし修飾語も含んだ文字列も取得するために\NPChunkerを利用し，\NounPhraseの末端に語句がある場合にラベルを付与した．}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{\PseudoDataに基づく\AllcatModelの学習}\label{subsec:train_ds_ner_model}\ref{subsec:pseudo_data_making}節で作成された\PseudoData上でモデルを学習させ，\AllcatModelの取得を目指す．本研究では，先行研究\cite{\PaperNegativeUndersampling}と同じBERT\cite{devlin_bert_2019}ベースのスパン分類モデルを学習させる．このスパン分類モデルはBERTにより文を符号化し，スパンの始端・終端のベクトルを元にMLPにより分類を行う（図\ref{fig:span_classification_model}）．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[t]\begin{center}\includegraphics{31-3ia6f2.pdf}\end{center}\hangcaption{二つの提案手法における訓練時と予測時のスパン分類モデルの挙動の違い．スパン「ゴールデン・レトリーバー」を分類対象のスパンと仮定した時の挙動を示している．訓練時には二つの提案手法で共通の処理を行う．具体的には，\THESAURUSの全カテゴリと特定のカテゴリが付与されていないことを示す“O”ラベルを対象にスパン分類確率を計算する．予測時には二つの提案手法で異なる処理を行う．一つ目の提案手法（\WithAlmostCatProposal）では予測時に\FOCUSCATの祖先カテゴリを除くことでユーザーのニーズより粒度の粗いカテゴリの予測をしないようにする．二つ目の提案手法（\AbbrevProposal）ではさらに\FOCUSCATと\COMPLEMENTCAT＋``O''ラベルの予測スコアからスパン分類確率を計算し，少数事例で学習の難しいカテゴリからのノイズの影響を緩和する（\ref{subsec:exclude-minor-categories}節）．赤色のカテゴリは\FOCUSCAT，青色のカテゴリは\COMPLEMENTCATをそれぞれ意味している．}\label{fig:span_classification_model}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%まず前処理として，\ref{subsec:pseudo_data_making}節で作成された\NERの\PseudoDataをスパン分類の\PseudoDataに変換した．具体的には，まずスパン最大長を決め文中のスパンを列挙した．その後，ラベルのあるスパンはそのままのラベルを利用し，ラベルの付与されていないスパンは``O''ラベルを持つスパンとした．学習時には，複数の正解に対処できるように，正解クラスに等しい重みが付与された確率分布を真の分布とした相互エントロピーをロス関数として学習を行った．例えば図\ref{fig:span_classification_model}の事例を考える．図\ref{fig:span_classification_model}では「ゴールデン・レトリーバーは人気がある．」という文$x$の「ゴールデン・レトリーバー」というスパン$s$の分類を学習する際の学習予測手順を提示している．訓練時にはモデルが出力した\ALLCAT（「生物」，「動物」，「植物」，「哺乳類」，「爬虫類」，「魚類」，「草」，「木」，「藻」），及び``O''ラベル上の予測スコアの全てを活用する．これらの予測スコアから，Softmax関数によって，\ALLCAT，及び``O''ラベル上の予測確率分布:$p(y|x,s)$を生成する．「ゴールデン・レトリーバー」は「哺乳類」であり，「動物」であり，「生物」である．そこで，これら3つの正解に対してそれぞれ$1/3$が付与された確率分布を真の分布として相互エントロピーを計算し，$-1/3(\logp(哺乳類|x,s)+\logp(動物|x,s)+\logp(生物|x,s))$をこの文$x$のスパン$s$に対するロス関数として学習を行っている．さらに，本研究では関連研究（\ref{sec:related_works}章）で述べた二種類の擬似アノテーションの誤りに頑健な学習法を適用した．一つは\citeauthor{\PaperBOND}で実行された手法で，\PseudoDataで学習をする際に\PseudoDataに含まれるノイズへの過剰適応を抑えるために途中で学習を打ちきる手法である．具体的には評価データセットに含まれるvalidationデータでスパン完全一致F1を評価し，Earlystoppingによって学習を早期に打ち切る．もう一つは\citeauthor{\PaperNegativeUndersampling}で実行された擬似負例スパンのアンダーサンプリングである．この手法では学習時に``O''ラベルが付与されたスパンを一定確率でロスの計算から除外することで，``O''ラベルの付与された擬似負例スパンの一部が本来は``O''ラベルではないことをモデルに教えることが出来る．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{\AllcatModelによる\FOCUSCATの抽出}\label{sec:extract_focuscat_using_allcatmodel}\ref{subsec:pseudo_data_making}節の\PseudoData上で学習した\AllcatModelを用いて\FOCUSCATの抽出を行う．具体的には，i)スパン最大長を決め文中の候補スパンを列挙する．次に，ii)\ALLCATから\FOCUSCATの祖先となるカテゴリを除いて分類する（図\ref{fig:span_classification_model}）．最後に，iii)これらスパン分類の出力を固有表現抽出の出力に変換する（図\ref{fig:span_classification_to_ner}）．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3\begin{figure}[b]\begin{center}\includegraphics{31-3ia6f3.pdf}\end{center}\hangcaption{提案手法で利用しているスパン分類の出力を固有表現抽出に変換する\protect\citeA{\PaperLUKE}の手法の図解．i)で列挙し，ii)で分類したスパンに対する最尤推定の結果を用いて，\dq{O}クラス以外の予測確率の高いものからスパンの重複のないように選んでいく．図中では「ゴールデン・レトリーバーはコーンスネークより人気がある．」という文章に対しての予測が図解されている．「ゴールデン・レトリーバー」，「コーンスネーク」が先に埋まることで，「スネーク」，「レトリーバー」，「コーン」の予測が妨げられる．最終的に「ゴールデン・レトリーバー」が\focuscat{哺乳類}として，「コーンスネーク」が\focuscat{爬虫類}として出力される．}\label{fig:span_classification_to_ner}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%ii)では\FOCUSCATの祖先となるカテゴリを除いて分類する（図\ref{fig:span_classification_model}の「\WithAlmostCatProposal」）．このことでユーザーのニーズより粒度の粗いカテゴリの出力を抑止する．先程と同様に図\ref{fig:span_classification_model}の事例を考えてみる．図\ref{fig:span_classification_model}では「ゴールデン・レトリーバーは人気がある。」という文$x$の「ゴールデン・レトリーバー」というスパン$s$の分類を学習する際の学習予測手順を提示している．\AllcatModelは$x$中の$s$に対して，\ALLCAT（「生物」，「動物」，「植物」，「哺乳類」，「爬虫類」，「魚類」，「草」，「木」，「藻」），及び``O''ラベル上の予測スコアを出力する．そこから，\FOCUSCAT（「哺乳類」，「爬虫類」）の祖先カテゴリである「生物」，「動物」を予測対象から除く．このことによって「哺乳類」，「爬虫類」を欲するユーザーに対して，提案手法が「生物」，「動物」を抽出しないようにする．そして最終的に「植物」，「哺乳類」，「爬虫類」，「魚類」，「草」，「木」，「藻」，及び``O''ラベルに絞られた予測スコアから，Softmax関数によって，スパンの予測確率分布を生成する．この予測ラベルを制限した予測確率分布を利用し，最尤推定によって各スパンの分類結果と分類確率を計算する．iii)の際には，\citeA{\PaperLUKE}の手法と同様にスパンを予測確率の高いものから重複のないように選んでいくという方法で変換を行った．（ただしこの際に``O''ラベルが予測されたスパンは除いた．）%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{粒度の細かいクラスを予測時に除くノイズ除去}\label{subsec:exclude-minor-categories}提案手法ではさらに，訓練事例数が少なく学習が困難であると思われる粒度の細かいカテゴリを予測時に使わない手法を提案する．この手法では\FOCUSCAT，\COMPLEMENTCAT，``O''ラベルに予測対象のカテゴリを絞って分類を行う．先程と同様に図\ref{fig:span_classification_model}の事例を考える．図\ref{fig:span_classification_model}では「ゴールデン・レトリーバーは人気がある。」という文:$x$の「ゴールデン・レトリーバー」というスパン:$s$の分類を学習する際の学習予測手順を提示している．\AllcatModelは$x$中の$s$に対して，\ALLCAT（「生物」，「動物」，「植物」，「哺乳類」，「爬虫類」，「魚類」，「草」，「木」，「藻」），及び``O''ラベル上の予測スコアを出力する．そこから，このノイズ除去を使う手法（「\AbbrevProposal」）では\FOCUSCAT（「哺乳類」，「爬虫類」），\COMPLEMENTCAT（「魚類」，「植物」），及び``O''ラベルに対する予測スコアのみを残す．絞られた予測スコアから，Softmax関数によって，\FOCUSCAT，\COMPLEMENTCAT，及び``O''ラベル上の予測確率分布を生成する．この予測ラベルを制限した予測確率分布を利用し，最尤推定によって各スパンの分類結果と分類確率を計算する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験設定}
\label{sec:expsetting}本論文では，\DBpedia\cite{\DBpediaPaper}，\UMLS（2021AA版）\cite{\UMLSPaper}を\THESAURUSとして\PseudoAnnotationに利用し，\CoNLL\cite{\CoNLLPaper}，\MedMentions\cite{\MedMentionsPaper}データセットを検証用データセットして活用した\WSLNERの実験を行った．\DBpediaは，Wikipdiaをベースとした\THESAURUSであり，466のクラスと21,942,484の用語を持つ．\CoNLLは，1,393項目のニュース記事に，35,089のスパンが\dq{PER}，\dq{LOC}，\dq{ORG}，\dq{MISC}（人名，場所，組織名，その他）のどれに所属するかをアノテーションしたデータセットであり，train/dev/testの項目数はそれぞれ946/216/231項目である．\WSL実施時には，\DBpediaの466のクラスから\CoNLLの4つのクラスに対応するクラスを\FOCUSCATとして選択し（付録\ref{sec:CoNLL2003CategoryMapper}），\CoNLLデータセットで評価を行った．\UMLSは，生物医学分野の\THESAURUSで，127のクラス(SemanticTypes)と16,132,274の用語を持つ．\MedMentionsは，4,392の生物医学論文抄録に352,496のスパンが\UMLSの各エンティティに対応付けられるようにアノテーションされているデータセットであり，train/dev/testの抄録数はそれぞれ2,635/878/879である．\WSL実施時には，これら127のクラスから\MedMentionsで固有表現抽出タスクの対象として指定されている21個のカテゴリを\FOCUSCATとして選択し，\MedMentionsデータセットで評価を行った．それぞれのタスクにおいて，train部分のデータセットは擬似アノテーションの対象として学習に活用し，dev/test部分のデータセットは正解アノテーションをそのまま使い，それぞれハイパーパラメータ調整と評価に利用する．先述の通り\PseudoDataを作成する際には，\NPChunkerを利用し，\NounPhraseの末端に既知語があるかどうかで\DictionaryMatchを行う．この際の\NPChunkerには，OntoNotes5\cite{weischedel_ontonotes_2013}のデータで訓練されたSpacyの\dq{en\_core\_web\_sm}モデルを利用した．また，\NounPhraseの末端に\KNOWNTERMがあるかどうかを判断する際に\CoNLLでは大文字・小文字の区別をおこないつつ\DictionaryMatchを行い，\MedMentionsでは大文字・小文字の区別をせずに\DictionaryMatchを行うようにした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{比較手法}本論文では，なるべく多くのカテゴリ（\FOCUSCATの祖先以外）を利用する提案手法（「\WithAlmostCatProposal」）と，\ref{subsec:exclude-minor-categories}節のノイズ除去手法を利用した提案手法（「\AbbrevProposal」）を4つの手法と比較する．1つ目の比較手法は，\PseudoDataを作成した方法と同じ\DictionaryMatchの手法である．この手法との比較によって，擬似アノテーションを行い，それを学習データとして用いることでどの程度の改善が得られるかを確認する．2つ目の比較手法は，通常の\WSLNERと同様に\FOCUSCATのみを\PseudoData作成のための\DictionaryMatchに活用したBERTベーススパン分類手法である．この手法との比較によって，\THESAURUSの持つカテゴリの一部ではなく全体を活用することで\WSLの副作用を抑制するという本論文のアイデアの是非を確認する．3つ目の比較手法は，\FOCUSCATに追加して\COMPLEMENTCATを\PseudoAnnotationのための\DictionaryMatchに利用し，\PseudoFalseNegativeに頑健な学習法の副作用を抑制しようとした先行研究\cite{\PaperGraphCut}の手法である．この手法との比較によって，\PseudoFalsePositiveに頑健な学習法の副作用を抑制し，Recallの減少を抑えられるのかを確認する．2つ目と3つ目の比較手法と提案手法における擬似データ作成手法の違いについては図\ref{fig:span_classification_model_baselines}に図解を行った．シソーラスにおける所属・階層関係に沿ったデータ拡張は2つ目と3つ目の比較手法でも用いられてきたのに対し，\FOCUSCATと\COMPLEMENTCAT以外のシソーラスに含まれるカテゴリ情報を用いたロス関数の設計は提案手法独自の特徴である．4つ目の比較手法は，\FOCUSCATをのみを含んだ教師データによる\SLである．この手法との比較によって，\SLに提案手法がどれだけせまれているかを確認する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.4\begin{figure}[t]\begin{center}\includegraphics{31-3ia6f4.pdf}\end{center}\hangcaption{提案手法と2つの\WSLNERとしてのベースラインとの\PseudoData作成方法の違い．通常の\WSLNERでは，関心のあるカテゴリ（\focuscat{哺乳類}，\focuscat{爬虫類}）に所属する語句のみを用いた\PseudoDataを利用する．先行研究\protect\cite{\PaperGraphCut}では，\FOCUSCATに追加して\COMPLEMENTCAT（\FOCUSCATを補完し\THESAURUS全体を被覆するような最小限のカテゴリ）である\complementcat{魚類}，\complementcat{植物}に所属する語句も利用する．本論文の提案手法では，\THESAURUSに所属する\ALLCATを利用することで，\othercat{生物}，\othercat{動物}，\othercat{草}，\othercat{木}，\othercat{藻}など先行研究では利用されていなかったカテゴリ情報を活用する．赤色のカテゴリは\FOCUSCAT，青色のカテゴリは\COMPLEMENTCATをそれぞれ意味している．}\label{fig:span_classification_model_baselines}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本論文で作成した比較手法及び提案手法の\PseudoDataにおける各カテゴリの訓練事例数については付録\ref{sec:pseudo_data_statistics}に記載した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{ハイパーパラメータ}BERTの事前学習済みパラメータとして，UMLSとMedMenrtionsの実験ではBioBERT\cite{lee_biobert_2019}\footnote{\url{https://huggingface.co/dmis-lab/biobert-base-cased-v1.1}}を利用し，DBpediaとCoNLL2003の実験では\dq{bert-base-cased}\cite{devlin_bert_2019}\footnote{\url{https://huggingface.co/bert-base-cased}}を利用した．スパン分類の分類器に活用したMLPの中間層の埋め込み次元数は，BERT最終層の埋め込み次元数の2倍とした．\citeA{\PaperBOND}の手法を参考にEarlystopping活用時には，100ステップごとにdevデータで評価を行い，5回連続でF1値の最大値が更新されなくなったときに学習を打ち切るようにした．\citeA{\PaperNegativeUndersampling}の手法を参考に\dq{O}ラベルをアンダーサンプリングする際，そのサンプルの割合はラベルのつけられているスパンと\dq{O}ラベルのスパンの比率によって指定し，\StrictF1の値が大きくなるようにハイパーパラメータ探索を行い，この\dq{O}ラベル/その他の比率を決定した（付録\ref{sec:parameter_tuning_by_undersampling}）．\DBpediaと\CoNLLを利用した実験においては\TableBaseline，\TableGraphcut，提案手法のそれぞれで\dq{O}ラベルがついたスパンとその他のスパンの比率を3.0，8.0，1.0になるようにした．\UMLSと\MedMentionsを利用した実験においては16.0，16.0，2.0になるように設定した．教師データで訓練する場合には40epoch学習して，devセットで最も良いF1値を出した学習済みパラメータを選択するようにした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結果}
\label{sec:main_result}表\ref{tab:exp_result}では，\DBpedia，\UMLSを\THESAURUSとして擬似アノテーションに利用し，\CoNLL，\MedMentionsを評価に利用した際の\StrictPrecision，Recall，F1スコアが示されている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[b]\input{06table01.tex}%\hangcaption{\DBpedia，\UMLSを\PseudoAnnotationに\CoNLL，\MedMentionsを評価に利用した\WSLNERの実験結果．「\TableDataMaking」の行は\PseudoData作成手法，「\TableBaseline」，「\TableGraphcut」，「\AbbrevProposal」の行は\WSLNERの手法，「\TableSupervised」の行は\SLの実験結果を示している．「\TableBaseline」は\FOCUSCAT，「\TableGraphcut」はそれに加えて\COMPLEMENTCATを擬似データに活用した際の精度を示している．「\WithAlmostCatProposal」は\ALLCATを擬似データに活用し，\FOCUSCATの祖先カテゴリのみ予測対象のカテゴリから除いた際の精度を示している．「\AbbrevProposal」は\ALLCATを擬似データに活用し，\FOCUSCAT，\COMPLEMENTCAT，\dq{O}カテゴリのみ予測対象のカテゴリとした際の精度を示している．\CoNLLの下の3つの列は\CoNLLでの精度，\MedMentionsの下の3つの列は\MedMentionsでの精度を示している．}\label{tab:exp_result}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%「\AbbrevProposal」と「\WithAlmostCatProposal」の比較によって，「\AbbrevProposal」が「\WithAlmostCatProposal」に対して全ての尺度で上回り，粒度の細かく学習事例の細かいカテゴリを予測時に利用しない（\ref{subsec:exclude-minor-categories}節）工夫によって精度向上が達成できていることがわかる．\TableDataMakingと\TableBaseline，\TableGraphcut，二つの提案手法との比較によって，\WSL手法がF1値において\DataMaking以上の精度を達成していることがわかる．ただし，Recallの増加の一方で，Precisionが減少しているのは\citeauthor{\PaperNegativeUndersampling}の\dq{O}ラベルのアンダーサンプリング利用の副作用として，\FOCUSCATの過剰予測という問題が生じているためであると考えられる．表\ref{tab:exp_result}の\TableBaselineと\AbbrevProposalの\CoNLLでの評価によって，\ALLCATを活用することでPrecision,Recallの改善が見受けられる．Precisionが47.07から43.50に減少した\MedMentionsにおいても詳細に見ていくと同様の効果が確認できる．なぜなら，付録\ref{sec:parameter_tuning_by_undersampling}の表\ref{tab:undersample_medmentions}から，\AbbrevProposalの\dq{O}スパンの他のスパンに対する比率を2.0から8.0に増加させた場合には，P./R./F.スコアは51.30/24.37/33.05となる．この数値と表\ref{tab:exp_result}の\TableBaselineの47.07/22.25/30.22という値を比較することによって，Recallを減少させずにPrecisionも増加していることがわかるからである．以上のことから，提案手法によって\WSLの副作用を抑制し，\FOCUSCATの過剰・過小予測が減っていると考えられる．表\ref{tab:exp_result}の\TableGraphcutと\AbbrevProposalの比較によって，\AbbrevProposalが\AbbrevGraphcutに対してより高い精度になっていることがわかる．特にRecallが上昇しており，\PseudoFalsePositiveに頑健な学習法の副作用としてのRecallの悪化を防げていると考えられる．一見\MedMentionsでは成立していないように見えるが，\GRAPHCUTと比べたときに\PseudoFalsePositiveに頑健な学習法の副作用としてのRecallの悪化を防ぐという当初の目的を超えて，\AbbrevProposalはPrecisionも上昇させることができている．なぜなら，先行研究との精度比較が容易になるように，付録\ref{sec:parameter_tuning_by_undersampling}の表\ref{tab:undersample_medmentions}から\AbbrevProposalの\dq{O}スパンの他のスパンに対する比率を2.0から8.0に増加させた場合に，P./R./F.スコアは51.30/24.37/33.05となる．この数値と表\ref{tab:exp_result}の\TableGraphcutの48.82/21.82/30.16という値を比較することによって，\MedMentionsにおいてもRecallを減少させずにPrecisionが増加していることがわかるからである．このようにPrecisionも上昇させられた理由として，\FOCUSCATの下位カテゴリの学習により\FOCUSCATの特定が精度高くできるようになったり，\COMPLEMENTCATの上位語の追加により\COMPLEMENTCATの中でも事例数の少ないカテゴリの学習が容易になったというような可能性を考えることができる．\AbbrevProposalと\TableSupervisedの比較によって，\WSLの中で最も精度の高い\AbbrevProposalであったとしても，まだまだ教師あり学習との精度差が大きいことがわかる．具体的には，\CoNLL，\MedMentionsデータセットそれぞれにおいて，F1で31，24\%もの精度差があることが読み取れる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{クラス別の精度比較}この節では\TableBaselineとのクラス別の精度比較によって，どういったカテゴリにおいて提案手法が優位であるのかを確認する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[b]\input{06table02.tex}%\hangcaption{\PseudoData作成手法，弱教師あり手法におけるクラスごとのF1精度比較．\DBpediaを\PseudoAnnotationに\CoNLLを評価に利用した実験結果．「\TableDataMaking」の行は\PseudoData作成手法，「\TableBaseline」，「\TableGraphcut」，「\WithAlmostCatProposal」，「\AbbrevProposal」の行は\WSLNERの手法の実験結果を示している．「\TableBaseline」は\FOCUSCAT，「\TableGraphcut」はそれに加えて\COMPLEMENTCATを擬似データに活用した際の精度を示している．「\WithAlmostCatProposal」は\ALLCATを擬似データに活用し，\FOCUSCATの祖先カテゴリのみ予測対象のカテゴリから除いた際の精度を示している．「\AbbrevProposal」は\ALLCATを擬似データに活用し，\FOCUSCAT，\COMPLEMENTCAT，\dq{O}カテゴリのみ予測対象のカテゴリとした際の精度を示している．「ALL」の行は全体での精度を示し，「PER」～「MISC」の行はそれぞれのカテゴリに対する精度を提示している．また「PER」～「MISC」の行は\AbbrevProposalが\TableBaselineに対して大きい順にソートしている．}\label{tab:class_wise_ws_result_on_conll}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{tab:class_wise_ws_result_on_conll}では，\DBpediaを\PseudoAnnotationに\CoNLLを評価に利用した実験結果を示している．「\TableDataMaking」の行は\PseudoData作成手法，「\TableBaseline」，「先行研究\protect\cite{\PaperGraphCut}」，「\WithAlmostCatProposal」，「\AbbrevProposal」の行は\WSLNERの手法の実験結果を示している．「\TableBaseline」は\FOCUSCAT，「\TableGraphcut」はそれに加えて\COMPLEMENTCATを擬似データに活用した際の精度を示している．「\WithAlmostCatProposal」は\ALLCATを擬似データに活用し，\FOCUSCATの祖先カテゴリのみ予測対象のカテゴリから除いた際の精度を示している．「\AbbrevProposal」は\ALLCATを擬似データに活用し，\FOCUSCAT，\COMPLEMENTCAT，\dq{O}カテゴリのみ予測対象のカテゴリとした際の精度を示している．「ALL」の行は全体での精度を示し，「PER」～「MISC」の行はそれぞれのカテゴリに対する精度差を提示している．また「PER」～「MISC」の行は\AbbrevProposalが\TableBaselineに対して大きい順にソートしている．同様に表\ref{tab:class_wise_ws_result_on_medmentions}では，\UMLSを\PseudoAnnotationに\MedMentionsを評価に利用した実験結果を示している．表\ref{tab:class_wise_ws_result_on_conll}と同様に「Eukaryote」～「InjuryorPoisoning」の行はそれぞれのカテゴリに対する精度を提示している．また「Eukaryote」～「InjuryorPoisoning」の行は\AbbrevProposalが\TableBaselineに対して大きい順にソートしている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[t]\input{06table03.tex}%\hangcaption{\PseudoData作成手法，弱教師あり手法におけるクラスごとのF1精度比較．\UMLSを\PseudoAnnotationに\MedMentionsを評価に利用した実験結果．「\TableDataMaking」の行は\PseudoData作成手法，「\TableBaseline」，「\TableGraphcut」，「\WithAlmostCatProposal」，「\AbbrevProposal」の行は\WSLNERの手法の実験結果を示している．「\TableBaseline」は\FOCUSCAT，「\TableGraphcut」はそれに加えて\COMPLEMENTCATを擬似データに活用した際の精度を示している．「\WithAlmostCatProposal」は\ALLCATを擬似データに活用し，\FOCUSCATの祖先カテゴリのみ予測対象のカテゴリから除いた際の精度を示している．「\AbbrevProposal」は\ALLCATを擬似データに活用し，\FOCUSCAT，\COMPLEMENTCAT，\dq{O}カテゴリのみ予測対象のカテゴリとした際の精度を示している．「ALL」の行は全体での精度を示し，「Eukaryote」～「InjuryorPoisoning」の行はそれぞれのカテゴリに対する精度を提示している．また「Eukaryote」～「InjuryorPoisoning」の行は\AbbrevProposalが\TableBaselineに対して大きい順にソートしている．}\label{tab:class_wise_ws_result_on_medmentions}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%このクラスごとの出力結果から，抽象度が高く多様な下位クラスを持つ，「PER」，「Eukaryote」，「Chemical」などのクラスに提案手法が強い一方で，「MISC」や「Bacterium」などあまり下位クラスの多様性が大きくなさそうなクラスにおいては有効性を発揮できていないことがわかる．表\ref{tab:class_wise_ws_result_on_conll}，\ref{tab:class_wise_ws_result_on_medmentions}の「ALL」の行からも，より抽象度の高い\CoNLLのクラスを\FOCUSCATとした際の提案手法の精度改善の幅がより専門性の高い\MedMentionsのクラスを\FOCUSCATとした際の提案手法の精度改善の幅が大きいこと見てとれる．このことからも提案手法はより粒度が粗く，その子孫に多様なクラスが存在する場合に有用である一方で，より粒度の細かいクラスに関しては親クラスをヒントに使うことが必ずしも有用であるとは言えないことが示唆される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{教師データを量を変えた場合との比較}\label{sec:data_size_shift}この章では，\ref{sec:main_result}章で確認できた\AbbrevProposalの改善がどれくらいの量の\SupervisedData追加に匹敵するのかを明らかにする．そのために，\TableBaseline，\AbbrevProposalの\WSLNER手法がどのくらいの量の\SupervisedDataを伴う教師あり学習に匹敵するのかを確認する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.5\begin{figure}[b]\begin{center}\includegraphics{31-3ia6f5.pdf}\end{center}\hangcaption{\CoNLL，\MedMentionsの教師データ量を変更した際のF1と\TableBaseline，\AbbrevProposalの精度比較．表では\TableBaseline，\AbbrevProposalとの比較が容易になるようにデータ量・精度の区間を拡大している．\TableSupervisedの実験結果は訓練データから指定された数の教師データをランダムに10回サンプリングし，精度の平均を計算することで計算を行なった．また\TableSupervisedに示されている誤差範囲は標準偏差である．全体像やより細かい数値については，付録\ref{sec:low_resource_detail}を参照されたい．}\label{fig:data_size_experiment_strict}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%図\ref{fig:data_size_experiment_strict}では，\CoNLL，\MedMentionsの教師データ量を変更した際の\StrictF1値の推移を\TableBaseline，\AbbrevProposalのF1値とともに表示している．\TableSupervisedの精度は訓練データから指定された数の教師データをランダムに10回サンプリングし，精度の平均を計算することで計算を行なった．まず\TableSupervisedと\TableBaselineを比較すると，\TableBaselineが\CoNLL，\MedMentionsそれぞれの評価において，360，900文ほどの\SupervisedDataを伴った教師あり学習と同等の効果があることがわかる．次に\TableSupervisedと\AbbrevProposalを比較すると，\AbbrevProposalが\CoNLL，\MedMentionsそれぞれの評価において，500，1350文ほどの\SupervisedDataを伴った教師あり学習と同等の効果があることがわかる．\pagebreak以上のことから\AbbrevProposalの改善が\CoNLL，\MedMentionsそれぞれの評価において140，450文追加程度の効果があることがわかる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結論}
本論文の実験から次の二つのことを確認できた．まず，\WSLNERにおいて着目する\FOCUSCATだけではなく，\ALLCATを利用する有用性を検証し，\CoNLLと\MedMentionsの両データセットにおいて，\BASELINEから5～7\%の改善を達成できた．さらに，\PROPOSALが760～1690文ほどの教師データのアノテーションに匹敵することも明らかにできた．本論文の実験を通じて得られた知見として，巨大なカテゴリ階層の一部である\FOCUSCATにしか関心がない場合であっても，単にそれらを擬似アノテーションの対象にするだけでなく，\ALLCATを考慮させることで\FOCUSCAT取得精度が上昇することを明らかにした．この実験結果は，分類の難しい事例を考慮したい際に，分類の失敗事例を教えるだけではなく，総体的な知識に基づいてなぜその事例が間違っているのかを教えることが有用であることを示している．次に，本研究の活用と発展について述べる．本研究で利用した弱教師あり学習は様々な分野において\THESAURUSさえあれば利用可能な方法であり，様々なカテゴリを含む\DBpediaなどの巨大な\THESAURUSを利用すれば，\Userのニーズに応じた固有表現抽出器を\WSLNERで作成する際に活用することができる．またLUKE\cite{\PaperLUKE}などの\THESAURUS情報を考慮させた事前学習済みモデルの学習においても\THESAURUSのもつ総体的な知識構造を教えることができるメリットがあるかもしれない．最後に，今回の研究の限界について述べる．まず教師あり学習の精度には24～31\%も劣っており，教師あり学習に匹敵した精度を実現するという理想にはまだ到達していない．また，今回の研究では\DBpedia，\UMLSというとても大規模で階層的なカテゴリ構造を持つ\THESAURUSを活用した．一方で，どれくらい小規模な\THESAURUSにおいても提案手法の優位性が成り立つのか，階層的クラスタリングとの併用により階層構造を自動で作成しても有用性が保たれるのかについては明らかにされていない．さらに本研究では，「映画監督」に関心があるが「お笑い芸人」には関心がない,ただし「映画監督」であり「お笑い芸人」である人間には関心がある，といった関心のある・ないカテゴリが重複する状況に対応できていないという課題も存在している.%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment本研究は，第一著者が奈良先端科学技術大学院大学自然言語処理学研究室で始めた研究を発展させたものです．奈良先端科学技術大学院大学自然言語処理学研究室においてセミナーなどで議論いただいた皆さんありがとうございました．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.7}\bibliography{06refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\appendix
\section{擬似データにおける各カテゴリの訓練事例数}
\label{sec:pseudo_data_statistics}この章では，本論文で作成した擬似データの各カテゴリの訓練事例数を提示する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[p]\input{06table04.tex}%\end{center}\hangcaption{\CoNLLのtrainsetに\DBpediaを用いて\PseudoAnnotationを行った\PseudoDataのカテゴリごとの訓練事例数．「\TableBaseline」の列では\FOCUSCATのみを利用したベースラインのカテゴリごとの訓練事例数，「\TableGraphcut」の列では\FOCUSCATと\COMPLEMENTCATを利用した比較手法の訓練事例数，「提案手法」の列では\ALLCATを利用したカテゴリごとの訓練事例数を示している．ただし正確には「提案手法」の「PER」「LOC」「ORG」「MISC」のカテゴリは\DBpediaに含まれないため\PseudoDataには含まれていない．その変わりに推論時にこれらのカテゴリの代替として利用した（付録\ref{sec:CoNLL2003CategoryMapper}）カテゴリの訓練事例数の総計を提示している．ページ内に収めるため提案手法の\PseudoDataにおいて20スパン以上出現するカテゴリのみ提示している．}\label{tab:category_statistics_in_conll_pseudo_data}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[p]\input{06table05.tex}%\end{center}\hangcaption{\MedMentionsのtrainsetに\UMLSを用いて\PseudoAnnotationを行った\PseudoDataのカテゴリごとの訓練事例数．「\TableBaseline」の列では\FOCUSCATのみを利用したベースラインのカテゴリごとの訓練事例数，「\TableGraphcut」の列では\FOCUSCATと\COMPLEMENTCATを利用した比較手法の訓練事例数，「提案手法」の列では\ALLCATを利用したカテゴリごとの訓練事例数を示している．ページ内に収めるため提案手法の\PseudoDataにおいて250スパン以上出現するカテゴリのみ提示している．}\label{tab:category_statistics_in_medmentions_pseudo_data}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{tab:category_statistics_in_conll_pseudo_data}，\ref{tab:category_statistics_in_medmentions_pseudo_data}には，\CoNLL，\MedMentionsのtrainsetに\DBpedia，\UMLSを用いて作成した\PseudoDataに含まれるカテゴリごとの訓練事例数を明示している．「\TableBaseline」の列では\FOCUSCATのみを利用したベースラインのカテゴリごとの訓練事例数，「\TableGraphcut」の列では\FOCUSCATと\COMPLEMENTCATを利用した比較手法のカテゴリごとの訓練事例数，「提案手法」の列では\ALLCATを利用した提案手法の訓練に利用した\PseudoDataのカテゴリごとの訓練事例数を示している．ただし正確には「提案手法」の「PER」「LOC」「ORG」「MISC」のカテゴリは\DBpediaに含まれないため\ALLCATを活用する\PseudoDataには含まれていない．その代わり，推論時にこれらのカテゴリの代替として利用した（付録\ref{sec:CoNLL2003CategoryMapper}）カテゴリの訓練事例数の総計を提示している．\TableBaselineを基準に\TableGraphcutの列を比較すると，\COMPLEMENTCATの訓練事例が追加されている他，\FOCUSCATの事例数が減少している．これは\TableBaselineと\TableGraphcutの両手法の前処理において，曖昧性のある（複数のカテゴリを持つ）語句を擬似データ作成の際に取り除いているからである．\TableGraphcutでは，\TableBaselineに比べて\COMPLEMENTCATが追加されているので，より曖昧性があるとされて除去される語句が増えている．\TableBaselineや\TableGraphcutを基準に提案手法の列を比較すると，\FOCUSCATの事例数が減少していることもあれば増加している場合もある．これは提案手法において\TableBaseline及び\TableGraphcutとは異なる曖昧性解消手法を利用していることに起因する．具体的には提案手法では同一名称を持つ複数のエンティティがある場合，その共通カテゴリを利用するという曖昧性解消手法を利用している．これは例えば「江川卓」という名前を考えた時に，エンティティとしてはロシア文学者の「江川卓」（えがわたく）と，野球選手の「江川卓」（えがわすぐる）という曖昧性があるものの，そのどちらのエンティティであっても人名を指していることには変わりないとして，「江川卓」を「文学者」や「スポーツ選手」というカテゴリの語句として利用はしないが，「人名」というカテゴリの語句としては利用する，といった曖昧性解消手法である．この曖昧性解消手法では粒度の粗いカテゴリしか付与されていないエンティティがあると\TableBaselineや\TableGraphcutよりも提案手法の訓練事例数が減少しうる．例えば，「ホモサピエンス」に対して二つのエンティティが存在し，片方は「哺乳類」「生物」カテゴリが付与され，もう片方には「生物」カテゴリのみ付与されている場合を考える．\FOCUSCATとして「哺乳類」を選択した場合の\TableBaselineでは，「ホモサピエンス」は「哺乳類」として活用される．一方で提案手法では「ホモサピエンス」は「生物」として活用されるものの，「哺乳類」としては活用されないといった事態が生じてしまう．また，この曖昧性解消手法ではエンティティ自体が多義的である場合に\TableBaselineや\TableGraphcutよりも提案手法の訓練事例数が増加しうる．例えば，「石原慎太郎」という語句に対して一つのエンティティが存在し，「政治家」，「小説家」という二つのカテゴリが付与されている場合を考える．\FOCUSCATとして「政治家」と「小説家」を選択した場合の\TableBaselineでは，「石原慎太郎」という語句は曖昧性を持っているとして除去される．一方で提案手法では「石原慎太郎」には一つのエンティティしか存在しないので「政治家」と「小説家」両方のカテゴリを持つ語句として活用される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[b]\input{06table06.tex}%\hangcaption{\CoNLLで\SupervisedData量を変化させた時の精度変化．「\TableDataMaking」の行にはデータ作成手法，「\TableBaseline」，「\AbbrevProposal」の行には\WSL手法である\BASELINE，\PROPOSAL，「\TableSupervised」の行以降には\SLで指定された数ランダムに教師データを取得した際の精度の平均値と標準偏差を提示している．「\Strict」の下の3つの列には\Strictの精度を，「\Lenient」の下の3つの列には\Lenientの精度を示している．}\label{tab:low_resource_conll}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{table}[t]\input{06table07.tex}%\hangcaption{\MedMentionsで\SupervisedData量を変化させた時の精度変化．「\TableDataMaking」の行にはデータ作成手法，「\TableBaseline」，「\AbbrevProposal」の行には\WSL手法である\BASELINE，\PROPOSAL，「\TableSupervised」の行以降には\SLで指定された数ランダムに教師データを取得した際の精度の平均値と標準偏差を提示している．「\Strict」の下の3つの列には\Strictの精度を，「\Lenient」の下の3つの列には\Lenientの精度を示している．}\label{tab:low_resource_medmentions}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{教師データ量を変更したときの実験結果詳細}
\label{sec:low_resource_detail}この章では，\ref{sec:data_size_shift}章において紹介した教師データ量を変更したときの実験結果の詳細を提示する．表\ref{tab:low_resource_conll}，\ref{tab:low_resource_medmentions}では，\CoNLL，\MedMentionsデータセットにおいて教師データ量を変更したときの精度の変化を示している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{Undersampling率を変えたときの精度変化}
\label{sec:parameter_tuning_by_undersampling}表\ref{tab:under_sample_conll2003}，\ref{tab:undersample_medmentions}には，\DBpedia，\UMLSを\PseudoAnnotationに利用し，\CoNLL，\MedMentionsで評価した実験において\dq{O}スパンのアンダーサンプリング率\cite{\PaperNegativeUndersampling}を変更した際の実験結果を提示している．表\ref{tab:under_sample_conll2003}，\ref{tab:undersample_medmentions}から，\Strictの観点でも，\Lenientの観点でも\PROPOSALが\WSL手法の中では最も精度が高いことがわかる．なぜなら，表\ref{tab:under_sample_conll2003}の4つの弱教師あり学習手法の最大の\StrictF1はそれぞれ``O''/その他比が3.0，8.0，3.0，1.0の51.80，50.69，58.90，60.18であり，最大の\LenientF1はそれぞれ``O''/その他比が0.1，1.0，0.1，0.5の61.73，63.06，66.28，65.95となっているからである．同様に表\ref{tab:undersample_medmentions}においても，最大の\StrictF1はそれぞれ``O''/その他比が16.0，16.0，3.0，2.0の30.22，30.16，34.86，35.20であり，最大の\LenientF1はそれぞれ``O''/その他比が2.0，0.5，0.1，0.1の44.87，47.44，50.42，54.90となっていることがわかるからである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table8\begin{table}[p]\input{06table08.tex}%\hangcaption{\DBpediaを\PseudoAnnotationに利用し\CoNLLで評価した際に\dq{O}ラベルの割合を変動させた際の精度変化．\BASELINE，\GRAPHCUT，\PROPOSAL，さらに対象・補完カテゴリに予測を絞った提案手法のそれぞれにおいて，正例に対する\dq{O}ラベルの割合を変動させた際の\Strictの精度と\Lenientの精度を提示している．}\label{tab:under_sample_conll2003}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table9\begin{table}[p]\input{06table09.tex}%\hangcaption{\UMLSを\PseudoAnnotationに利用し\MedMentionsで評価した際に\dq{O}ラベルの割合を変動させた際の精度変化．\BASELINE，\GRAPHCUT，\PROPOSAL，さらに対象・補完カテゴリに予測を絞った提案手法のそれぞれにおいて，正例に対する\dq{O}ラベルの割合を変動させた際の\Strictの精度と\Lenientの精度を提示している．}\label{tab:undersample_medmentions}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{tab:under_sample_conll2003}，\ref{tab:undersample_medmentions}の「\TableBaseline」及び「\TableGraphcut」と記載のある行以降を見ると，基本的に\dq{O}スパンの他スパンに対する割合が上昇することによってPrecisionが高くなるがRecallが減少するというトレードオフがあることがわかる．表\ref{tab:undersample_medmentions}の「\WithAlmostCatProposal」，「\AbbrevProposal」の結果においても基本的に\dq{O}スパンの他スパンに対する割合が上昇することによってPrecisionが高くなるがRecallが減少するというトレードオフがあることがわかる．一方で，表\ref{tab:under_sample_conll2003}からははっきりとした傾向が読み取れない．これは，\FOCUSCATに対して負例として働く\THESAURUS中の他のカテゴリの事例が学習データ中に豊富に存在していることで，\dq{O}ラベルを持つスパンの影響が小さくなっているためであると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{\CoNLLのカテゴリに対応させた\DBpediaのカテゴリ}
\label{sec:CoNLL2003CategoryMapper}本章では，\CoNLL\cite{\CoNLLPaper}と異なるラベル体系をもつ\DBpedia\cite{\DBpediaPaper}を\PseudoAnnotationに活かすにあたって\DBpediaのどのカテゴリを\CoNLLの4つのカテゴリと見做したかについて述べる．\CoNLLの\dq{PER}カテゴリに対して，\DBpediaの\dq{Person}，\dq{Name}カテゴリを利用し，\dq{ORG}カテゴリに対して\DBpediaの\dq{Organisation}カテゴリを利用し，\dq{LOC}カテゴリに対しては\dq{Place}カテゴリを利用し，\dq{MISC}カテゴリに対しては\DBpediaの\dq{Work}，\dq{Event}，\dq{MeanOfTransportation}，\dq{Device}，\dq{Award}，\dq{Disease}，\dq{ethnicGroup}，\dq{EthnicGroup}\footnote{\dq{ethnicGroup}，\dq{EthnicGroup}はどちらも民族を示すカテゴリだが，前者は属性名として利用されるものであり，後者はエンティティの分類に使われるものであるという違いがある}のカテゴリを利用した．\AbbrevProposalの学習時には，\DBpediaのより細かいカテゴリを利用している．そこで，予測時にこれらに対応するカテゴリを\CoNLLの4つのカテゴリにまとめる工夫をした．具体的にはこれら対応するカテゴリ群に予測された確率の総和を用いてまとめた．例えば\dq{PER}カテゴリに対しては\dq{Person}，\dq{Name}カテゴリに対する予測確率の総和を利用するといった具合である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{芝原隆善}{2017年京都大学総合人間学部知能情報学系を卒業．2019年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2022年同博士後期課程満期取得退学．2022年から株式会社レトリバに勤務．}\bioauthor{山田育矢}{中学から大学院博士課程まで慶應義塾大学SFCキャンパスで学ぶ．武藤佳恭教授（現名誉教授）に師事し，博士（学術）を取得．2000年の大学入学と同時にインターネットの基盤技術の研究開発を行う学生ベンチャー企業ニューロンを起業．その後，同社をフラクタリスト社に売却し，NATトラバーサル技術を事業化．2007年に自然言語処理の研究開発を行うStudioOusiaを共同創業．自然言語処理の基本的な問題である質問応答及びエンティティ抽出についての研究開発を推進．}\bioauthor{西田典起}{%2015年東京大学工学部電子情報工学科卒業．2017年同大学院情報理工学系研究科創造情報学専攻修士課程修了．2020年同専攻博士課程修了．博士（情報理工学）．同年より理化学研究所革新知能統合研究センター(AIP)特別研究員．2023年より同センター研究員．}\bioauthor{寺西裕紀}{%2014年慶應義塾大学商学部卒．2018年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2020年同大学院先端科学技術研究科博士後期課程修了．博士（工学）．同年より理化学研究所革新知能統合研究センター(AIP)特別研究員．2023年より奈良先端科学技術大学院大学客員助教を兼務．自然言語処理の研究に従事．}\bioauthor{古崎晃司}{1997年大阪大学工学部電子工学科卒業．2002年同大学院工学研究科博士後期課程修了．同年，化学工学会嘱託研究員，同年12月大阪大学産業科学研究所助手，2008年同准教授．2019年から大阪電気通信大学情報通信工学部情報工学科の教授．博士（工学）．オントロジー工学の基礎理論，オントロジー構築・利用環境の設計・開発，セマンティックWeb，LinkedData，医療，環境など各種領域におけるオントロジー開発・応用に関する研究に従事．LinkedOpenDataチャレンジにおいて，ライフサイエンス賞（2013年），アプリケーション部門優秀賞（2014年）を受賞．2014年，オープンデータ・アプリコンテスト技術賞受賞．情報処理学会，電子情報通信学会，医療情報学会，InternationalAssociationforOntologyanditsApplications，各会員．}\bioauthor{松本裕治}{%1977年京都大学工学部情報工学科卒．1979年同大学大学院工学研究科修士課程情報工学専攻修了．同年電子技術総合研究所入所．1984～85年英国インペリアルカレッジ客員研究員．1985～87年（財）新世代コンピュータ技術開発機構に出向．1988年京都大学助教授，1993年奈良先端科学技術大学院大学教授．2020年理研AIP知識獲得リーダ，現在に至る．工学博士．専門は自然言語処理．情報処理学会，人工知能学会，言語処理学会，AAAI，ACL，ACM各会員，情報処理学会フェロー，ACLFellow．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}