# 否定アノテーション付きコーパスの統一に向けた 否定スコープの自動変換

吉田 朝飛 1 加藤 芳秀 2 松原 茂樹 1,2
1 名古屋大学大学院情報学研究科 2 名古屋大学情報連携推進本部
yoshida.asahi.y7@s.mail.nagoya-u.ac.jp

## 概要

否定スコープ認識は，否定要素の影響範囲を特定するタスクである.このタスクに利用される主要コーパス BioScope, SFU, Sherlock は，異なる基準の否定スコープアノテーションをもつ. そのため, 否定スコープ認識モデルの fine-tuning においてこれらのコーパスを単に結合したデータを用いると，モデルの性能が低下するという問題がある. 本論文では，同一の否定スコープアノテーションをもつデー タを増やすために, BioScope と SFU の否定スコー プを Sherlock の否定スコープへ自動変換する手法を提案する。提案手法により変換した BioScope, SFU と Sherlockを結合したデータセットを用いて否定スコープ認識モデルを fine-tuning することで，モデルの性能が向上することを確認した.

## 1 はじめに

否定 (negation) は意味を反転させる言語現象である. 否定を意味する表現（否定要素; negation cue）及びその影響範囲（否定スコープ; negation scope）を正しく認識することは，自然言語文を理解する上で重要である．否定要素や否定スコープの自動認識手法 （例えば $[1,2,3] ） や$ 認識した否定情報を下流タスクへ応用する手法（例えば $[4,5,6]$ ）が多く提案されてきた。一般に，否定の自動認識タスクは否定要素検出と否定スコープ認識のサブタスクに分けられる.本研究では，英文の否定スコープ認識に取り組む.

否定スコープ認識に利用される主なコーパスは, BioScope corpus [7], SFU review corpus [8], Sherlock dataset [9] である。これらのコーパスを利用する際，注意すべき点がある。表 1 に示すように，コーパスごとに否定スコープアノテーションの基準が異なるという問題である. アノテーションの違いにより，単に 3 つのコーパスを結合して否定スコープ認識モ表 13 つのコーパスにおける文 “She does not have a cat." に対する否定要素（太字）及び否定スコープ（下線）のアノテーション

デルを学習すると，単体のコーパスを用いて学習した場合に比べてモデルの性能が低下するという報告がある [5]. Truong ら [2] は，同一基準で 3つのコー パスをアノテーションしてデータを統合することが，この問題の解決策になる可能性を述べている.各コーパスの否定スコープを同一基準に変換することでデータを統合できると考えられるが，否定スコープの変換手法はこれまでに提案されていない。

そこで本論文では，BioScope と SFU の否定スコー プを Sherlock の否定スコープへ自動変換する手法を提案する。変換先として Sherlockを選択した理由は，Sherlock の否定スコープ基準は BioScope や SFU のそれと比べてより複雑な否定スコープを表現できるからである。提案手法を用いた変換により，Sherlock とほぼ同一のアノテーションをもつ BioScope と SFU のデータが得られる. 変換された BioScope, SFU と Sherlockを結合することにより，より多くのデータを否定スコープ認識モデルの学習に利用することができる．提案手法の有効性を確認するため，変換した結果を結合したデータセットを用いて否定スコープ認識モデルを fine-tuning した.実験により，単に 3 つのコーパスを結合した場合とは異なり，提案手法により変換した結果を結合したデータセットを用いてモデルを fine-tuning することで，モデルの性能が向上することを確認した。

## 2 否定アノテーション付きコーパス

本節では，本研究で利用する 3 つの否定アノテー ション付きコーパスについて説明する。

BioScope BioScope corpus [7] ${ }^{1)}$ は, 生物医学分野のテキストに否定要素と否定スコープをアノテー ションしたコーパスである．否定アノテーションの例を文 (1), (2) に示す. 例文における太字と下線はそれぞれ否定要素と否定スコープを表す。

(1) The transcription factors did not change.

(2) The feature was not seen in the resting cells.

基本的に，否定要素の右側のみを否定スコープとしてアノテーションする。例外として，文 (2)のような受動態の文に対しては否定要素の左側もアノテー ションする.

SFU SFU review corpus [8] 2) は，レビューテキストに否定要素と否定スコープをアノテーションしたコーパスである．否定スコープアノテーション基準の大部分は BioScope と同一である.

Sherlock Sherlock dataset [9] ${ }^{3)}$ は Conan Doyle の物語に否定情報をアノテーションしたデータセットである。文 (3), (4) にアノテーションの例を示す.

(3) We did not drive up to the door.

(4) You'll see how impossible for me to go there.

Sherlock のアノテーションガイドライン [10] は BioScope に従っているが，いくつかの改良が加えられている。主な改良点は以下の通りである.

・否定されている event の全ての項を否定スコー プとしてアノテーションする（例えば文 (3)では，主語 we を否定スコープに含める）.

・接辞の否定要素を考慮する（例えば文 (4)では，接辞の否定要素 im とそのスコープの一部 possibleを同一単語中で区別する).

・不連続な否定スコープを許容する。

これらの改良により，より複雑な否定に対応した否定スコープを表現できる. Fancellu ら [11] は， Sherlock の否定スコープアノテーションは他の 2 つのコーパスのそれと比べて言語学的に妥当であると述べている。これらの理由から, 本研究では BioScope と SFU の否定スコープを Sherlock の否定スコープへ変換する手法を検討する。

## 3 否定スコープの自動変換

本節では，BioScope と SFU の否定スコープを Sherlock の否定スコープへ自動変換する手法を提案

1) https://rgai.inf.u-szeged.hu/node/105

2) https://www.sfu.ca/ mtaboada/SFU_Review_Corpus.html

3) https://www.clips.ua.ac.be/sem2012-st-neg/data.html
する．変換のベースとして，Yoshida ら [12] の否定スコープ認識手法を用いる。以下では，BioScope と SFUを組み合わせたコーパスを B\&S と呼ぶ ${ }^{4)}$.

スコープ変換は，変換元のコーパスには変換元の基準で正しいスコープが付けられているという点でスコープ認識と大きく異なる。変換において，B\&S における正しい否定スコープのアノテーションを最大限活用するため，提案手法は以下の式に従って $\mathrm{B} \& \mathrm{~S}$ の否定スコープを変換する.

$
S_{\text {left }} \cup S_{\text {cue }} \cup S_{\text {mid }} \cup S_{\text {right }}
$

$S_{\text {left }}, S_{\text {mid }}, S_{\text {right }}$ は以下の式で定義する.

$
\begin{aligned}
& S_{\text {left }}= \begin{cases}\mathrm{L}_{c}\left(S_{\mathrm{B} \& \mathrm{~S}}\right) & \left(\mathrm{L}_{c}\left(S_{\mathrm{B} \& \mathrm{~S}}\right) \neq \emptyset\right) \\
\mathrm{L}_{c}\left(S_{\mathrm{res}}\right) & \left(\mathrm{L}_{c}\left(S_{\mathrm{B} \& \mathrm{~S}}\right)=\emptyset\right),\end{cases} \\
& S_{\mathrm{mid}}=\mathrm{M}_{c}\left(S_{\mathrm{B} \& \mathrm{~S}}\right), S_{\mathrm{right}}=\mathrm{R}_{c}\left(S_{\mathrm{B} \& \mathrm{~S}}\right) .
\end{aligned}
$

ここで， $S_{\mathrm{B} \& S}$ は B\&S の否定スコープを， $S_{\mathrm{res}}$ は否定スコープ認識により得られるスコープを，c は否定要素を表す. $S_{\text {cue }}$ は否定要素の内部構造であり，次節で定義する。 $\mathrm{L}_{c}(S), \mathrm{M}_{c}(S), \mathrm{R}_{c}(S)$ はそれぞれ，否定要素の左側, 否定要素で囲まれた部分 ${ }^{5)}$, 否定要素の右側のスコープであり，以下で定義する.

$\mathrm{L}_{c}(S)=\left.\{i \in S \mid i<c_{l}\right.\}, \quad \mathrm{M}_{c}(S)=\left.\{i \in S \mid c_{l}<i<c_{r}\right.\}$,

$\mathrm{R}_{c}(S)=\left.\{i \in S \mid c_{r}<i\right.\}$.

$c_{l}$ と $c_{r}$ はそれぞれ， 1 番左の否定要素と 1 番右の否定要素の文中での位置である。提案手法の変換処理は，3つのコーパスの学習データ及びアノテーションガイドラインにおける以下の観察に基づく.
1. $\mathrm{R}_{c}\left(S_{\mathrm{B} \& \mathrm{~S}}\right)$ と $\mathrm{R}_{c}\left(S_{\mathrm{SH}}\right)$, 及び $\mathrm{M}_{c}\left(S_{\mathrm{B} \& \mathrm{~S}}\right)$ と $\mathrm{M}_{c}\left(S_{\mathrm{SH}}\right)$ は，ほぼ同一であるとみなせる。ここで， $S_{\mathrm{SH}}$ は Sherlock の否定スコープである.
2. $\mathrm{L}_{c}\left(S_{\mathrm{B \& S}}\right) \neq \emptyset$ である場合, $\mathrm{L}_{c}\left(S_{\mathrm{B \& S}}\right)$ と $\mathrm{L}_{c}\left(S_{\mathrm{SH}}\right)$ は，ほぼ同一とみなすことができる（例えば文 (2)がこの場合に該当する).

## 3.1 接辞や省略形を含む否定要素の処理

Sherlock は， unusual や don't のように，接辞や省略形を含む否定要素において，否定要素と否定スコープを同一単語中で区別する。一方で B\&S は，単語全体を否定要素として扱う。この違いに対処す
_{c}(S)$ が存在する.
}

Surprisingly, the restaurant didn't accept credit cards.省略形を含む否定要素に対する処理 (3.1 節)

Surprisingly, the restaurant didn't accept credit cards.否定要素の左側における否定スコープ認識 (3.2 節)

Surprisingly, the restaurant didn't accept credit cards.

図 1 提案手法による否定スコープ変換の例

図 2 図 1 中の例文の句構造木. 太字の句は, 否定スコー プの候補となる句を表す. 枠で囲った部分は，句の補正により除外される部分である.

るため，提案手法では単純なパターンマッチングを用いて接辞や省略形を含む否定要素とそのスコープを同一単語中で区別する. B\&S の否定要素 $c$ が語彙リスト $\mathrm{V}_{\mathrm{aff}}, \mathrm{V}_{\text {cont }}$ に含まれる接辞をもつ場合， $S_{\text {cue }}$ は否定要素から接辞を除いた部分の文字列とする. $\mathrm{V}_{\mathrm{aff}}, \mathrm{V}_{\text {cont }}$ は以下で定義する. 定義は，Sherlock のアノテーションガイドライン [10] に基づく.

$
\mathrm{V}_{\mathrm{aff}}=\{\text { dis, im, in, ir, un, less }\}, \mathrm{V}_{\mathrm{cont}}=\left.\{\mathrm{n}^{\prime} \mathrm{t}, \text { not }\right.\}
$

## 3.2 否定スコープ認識

提案手法では，Yoshida ら [12] の否定スコープ認識手法をベースとして $S_{\text {res }}$ を得る. Yoshida らの手法は Sherlock のドメインに特化したルールを含むため，Yoshida らの手法を修正する．以下では，図 1 中の例文と図 2 に示すその構文木を用いて修正について説明する. Yoshida らの手法は以下の手順からなる. 提案手法では手順 2 と 3 を修正する.

1. 文を構文解析し，否定要素を含む句をそのスコープの候補とする。

2. 否定スコープの候補である句の中から，ルールを用いて句を 1 つ選択する。

3. 句を補正し，否定スコープを決定する。

手順 1 では，否定要素が含まれる全ての句（図 1 の例では RB, VP, S）を否定スコープの候補とする.

手順 2 では，構文木上のパスに基づくルールを用いて，選ばれた候補の中から否定スコープに対応する句を 1 つ選択する. 提案手法では, Yoshida らのルールに新たなルールを複数追加したもの（図 3）

}} \\

図 3 句を選択するルール. 各行が 1 つのルールに対応し，上にあるものほどルール適用の優先度が高い. 下線を付したルールは，本論文で追加したルールである.

を用いる.ルールの追加は，Yoshida らのルールでは対応できない動詞や名詞の否定要素に対応するためのものである.この追加は，学習データを用いた予備実験に基づく. 図 1 の例では，ルールにより句 $\mathrm{S}$ が選択される. いずれのルールも適用されない場合には，Read ら [13] の default scope を用いる.

手順 3 では，選択された句から特定の要素を除外し否定スコープを決定する. Yoshida らのルールの一部は, Sherlock のような文学作品のドメインに特化していることが観察された. 例えば, Yoshida らは句読点 (punctuation) で囲まれた名詞句を否定スコープから除外するルールを利用している. 生物医学やレビューのドメインでは，句読点で囲まれた名詞句は否定スコープに含まれることが多いため，このルールは正しく機能しない. このようなドメインの違いに対応するため，提案手法では Yoshida らの補正ルールの一部である以下のルールを利用する.
- 句の最初の句読点, RB, CC, UH, ADVP, INTJ, SBARを除外する.
- 句の最初の句読点で区切られた PPを除外する.

・句読点で区切られた ADVP, INTJ を除外する.

・否定要素が等位項に含まれる場合， $\mathrm{CC}$ 及び否定要素より前にある等位項を除外する.

図 1 の例では，ルールにより surprisingly とそれに続くカンマが句から除外される.

図 1 の例のように，提案手法を用いることで B\&S の否定スコープを Sherlock の否定スコープへ変換することができる.

## 4 否定スコープ認識実験

## 4.1 実験設定

提案手法の有効性を，スコープ変換に基づくデー タセットの大規模化という観点から評価するため，否定スコープ認識の実験を行った. 実験では，提案手法により変換した B\&S と Sherlock を結合し
表 2 否定スコープ認識実験の結果＊



たデータセットを利用して事前学習済みモデルを fine-tuning し，否定スコープ認識の性能を評価した.

B\&S には正式なデータ分割が存在しないため, Truong ら [2] と同様の方法で B\&S をデータ分割した ${ }^{6)}$. SFU と Sherlock は PTB に基づくトークン分割がされているが，BioScope はトークン分割されていない. 前処理として NLTK [14] tokenizer を用いて BioScope の文をトークン分割した. 事前学習済みモデルは BERT [15] と RoBERTa [16] ${ }^{7)}$ を用いた.以下の異なる設定でモデルを fine-tuning した.

(i) Baseline: Sherlock の学習データのみ用いる.

(ii) Combination: Sherlock の学習データと，変換を行わない $\mathrm{B} \& S$ の学習データを用いる.

(iii) Conversion + Combination $(\mathbf{C}+\mathbf{C})$ : Sherlock $の$ 学習データと，提案手法により変換した $\mathrm{B} \& \mathrm{~S}$ の学習データを用いる.

変換手法における構文解析には, Berkeley Neural Parser $\left.[17,18]^{8}\right)$ を用いた. モデルの検証と評価には，Sherlockの検証データと評価データをそれぞれ利用した. 実装には，Truong ら [2] のコードを利用した. hyper-parameter は， Truong らと同様である.評価指標は，トークンレベル (token-level) の評価とスコープレベル (scope-level) の評価があり，いずれも適合率，再現率， $F_{1}$ を算出した. 否定要素は正


解を与え，句読点を含めたすべてのトークンを評価対象とした.

## 4.2 実験結果

実験結果を表 2 に示す. 先行研究での報告と同様に，単に3つのコーパスを結合したデータを用いてモデルを fine-tuning すると，Sherlock のみを用いた場合よりもモデルの性能が低下した。一方，提案手法により変換した B\&S と Sherlockを結合したデー タを用いてモデルを fine-tuning すると，モデルの性能が向上した. この事実は, 提案手法の有効性を示している.トークンレベルの $\mathrm{F}_{1}$ で， $\mathrm{C}+\mathrm{C}$ おける BERT の性能は，最高性能を達成している Wu \& Sun [1] の性能を上回った.

## 5 おわりに

本論文では，B\&S の否定スコープを Sherlock の否定スコープへ変換する手法を提案し，3つのコーパスを 1 つのデータセットへ結合した. 提案手法の有効性を確認するため，変換した結果を結合したデー タセットを用いて事前学習済みモデルを fine-tuning し，否定スコープ認識を行った. 実験により，単に 3つのコーパスを結合してモデルを fine-tuning すると性能が低下する一方，提案手法により変換した結果を結合したデータセットを用いるとモデルの性能が向上することを確認した。

今後の課題は，変換手法自体の評価である. Sherlock の基準で B\&S に否定スコープをアノテー ションし，変換の正確さを評価する予定である.

## 謝辞

本研究は，一部，科学研究費補助金基盤研究（C）

（No. 22K12148）により実施したものである.

## 参考文献

[1] Yin Wu and Aixin Sun. Negation scope refinement via boundary shift loss. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 60906099, Toronto, Canada, July 2023. Association for Computational Linguistics.

[2] Thinh Truong, Timothy Baldwin, Trevor Cohn, and Karin Verspoor. Improving negation detection with negationfocused pre-training. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4188-4193, Seattle, United States, July 2022. Association for Computational Linguistics.

[3] Aditya Khandelwal and Suraj Sawant. NegBERT: A transfer learning approach for negation detection and scope resolution. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 5739-5748, Marseille, France, May 2020. European Language Resources Association.

[4] Andrew Moore and Jeremy Barnes. Multi-task learning of negation and speculation for targeted sentiment classification. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2838-2869, Online, June 2021. Association for Computational Linguistics.

[5] Jeremy Barnes, Erik Velldal, and Lilja Øvrelid. Improving sentiment analysis with multi-task learning of negation. Natural Language Engineering, Vol. 27, No. 2, pp. $249-$ 269, 2021.

[6] Partha Mukherjee, Youakim Badr, Shreyesh Doppalapudi, Satish M. Srinivasan, Raghvinder S. Sangwan, and Rahul Sharma. Effect of negation in sentences on sentiment analysis and polarity detection. Procedia Computer Science, Vol. 185, pp. 370-379, 2021.

[7] György Szarvas, Veronika Vincze, Richárd Farkas, and János Csirik. The BioScope corpus: annotation for negation, uncertainty and their scope in biomedical texts. In Proceedings of the Workshop on Current Trends in Biomedical Natural Language Processing, pp. 38-45, Columbus, Ohio, June 2008. Association for Computational Linguistics.

[8] Natalia Konstantinova, Sheila C.M. de Sousa, Noa P. Cruz, Manuel J. Maña, Maite Taboada, and Ruslan Mitkov. A review corpus annotated for negation, speculation and their scope. In Proceedings of the 8th International Conference on Language Resources and Evaluation, pp. 3190-3195, Istanbul, Turkey, May 2012. European Language Resources Association.

[9] Roser Morante and Walter Daelemans. ConanDoyle-neg: Annotation of negation cues and their scope in conan doyle stories. In Proceedings of the 8th International Conference on Language Resources and Evaluation, pp. 1563-1568, Istanbul, Turkey, May 2012. European Language Resources Association.

[10] Roser Morante, Sara Schrauwen, and Walter Daelemans. Annotation of negation cues and their scope : Guidelines v1.0. Technical report, University of Antwerp, 2011.

[11] Federico Fancellu, Adam Lopez, Bonnie Webber, and Hangfeng He. Detecting negation scope is easy, except when it isn't. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 58-63, Valencia, Spain, April 2017. Association for Computational Linguistics.

[12] Asahi Yoshida, Yoshihide Kato, and Shigeki Matsubara. Revisiting syntax-based approach in negation scope resolution. In Proceedings of the 12th Joint Conference on Lexical and Computational Semantics (*SEM 2023), pp. 18-23, Toronto, Canada, July 2023. Association for Computational Linguistics.

[13] Jonathon Read, Erik Velldal, Lilja Øvrelid, and Stephan Oepen. UiO1: Constituent-based discriminative ranking for negation resolution. In *SEM 2012: The 1st Joint Conference on Lexical and Computational Semantics, pp. 310-318, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[14] Steven Bird and Edward Loper. NLTK: The natural language toolkit. In Proceedings of the ACL Interactive Poster and Demonstration Sessions, pp. 214-217, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[17] Nikita Kitaev and Dan Klein. Constituency parsing with a self-attentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 2676-2686, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[18] Nikita Kitaev, Steven Cao, and Dan Klein. Multilingual constituency parsing with self-attention and pre-training. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 34993505, Florence, Italy, July 2019. Association for Computational Linguistics.