固有表現抽出は自然言語処理の基盤技術のひとつであり，自然言語処理を利用したシステムで広く応用されている．従来ではCRF(ConditionalRandomField)を用いた系列ラベリングを用いる手法が一般的であったが，近年では複数単語のまとまりを入力して，入力のまとまりが固有表現であるか判定するSpan-based手法も用いられる．本稿では，Span-based手法による固有表現抽出手法について述べる．複数単語からのベクトルのまとめ上げにBERTなどの事前学習モデルで用いられる特別なToken⟨CLS⟩の考え方を用いることで，従来一般的に用いられていたLSTM(LongShort-termMemory)やMaxPoolingを上回る性能が得られることを確認した．

固有表現抽出(NamedEntityRecognition:NER)は文章中の人名，地名，組織名などの固有表現を抽出，分類するもので，自然言語処理の基盤技術のひとつである．情報抽出[1]やセンシティブな情報の匿名化[2]など，自然言語を扱う様々なシステム内で広く応用されている．固有表現は日々新しいものが生まれる．それらの新語に対応したNERを実現するには，単語の表層に頼らない分類手法を用いる必要がある．ニューラルネットワークを用いたNERでは，単語をベクトル表現した上で，入力の各単語が固有表現またはその一部を構成する単語かどうかを判定する系列ラベリング[3,4]を用いるのが一般的である（図1-(a)）．しかし，系列ラベリングでは入れ子構造の固有表現に対応することができない．そこで，近年では入れ子構造の固有表現に対応した手法も多く提案されている[5,6,7]．本稿では，入れ子構造に対応した手B-ORGI-ORGL-ORGOOI-ORGbiLSTM-CRFベクトル化TheTimesofLondonreportedthat…(a)系列ラベリング固有名詞ではない会社名会社名地名𝑣1𝑣2𝑣6𝑣3𝑣4𝑣5ベクトル化TheTimesofLondonreportedthat…(ｂ)Span-based手法固有表現の開始（B-）や途中（I-），最後（L-）や固有表現ではない（O）などのラベルを付与していく．Span-based手法では，単語のまとまり（Span）を表すベクトルを計算し，Span全体が固有表現であるかどうか判定する．法の一つであるSpan-based手法を用いた固有表現抽出手法について述べる．Span-based手法の概略を図1-(b)に示す．判定の対象とする単語列から単一のベクトルを作成し，固有表現であるか，また固有表現である場合はその種類を判定する．判定対象の単語列に含まれるToken数は可変であることから，この長さが異なるベクトルを単一のベクトルに変換する必要がある．従来ではLSTM(LongShort-termMemory)やMaxpoolingが用いられることが多い．しかしLSTMは最初や最後に入力されるTokenのベクトルからの影響を強く受けやすく，またMaxpoolingでは2つの共通する単語を多く持つ単語列，例えば「NHK放送技術研究.TheTimesofLondonreported…FlatNERTheTimesofLondon(会社名)LondonTheTimes(地名)(会社名)NestedNERTheTimesofLondon(会社名)は1つの固有表現にのみ属するが，NestedNERでは複数の固有表現に属する場合がある．所」と「NHK放送技術研究所の」の間で出力ベクトルが似通ってしまうことが問題となる．そこで我々は，これらの問題を解決するために，ベクトルのまとめ上げ部分にTransformerを用いた．Transformerは一般的に入力の行列と同じ大きさのベクトルを出力するが，ここに，BERT[8]等で用いられる⟨CLS⟩を用いてまとめ上げる手法を提案する．