言語処理学会 第30回年次大会 発表論文集（2024年3月）

否定アノテーション付きコーパスの統一に向けた否定スコープの自動変換
吉田 朝飛 1

加藤 芳秀 2 松原 茂樹 1,2
2 名古屋大学情報連携推進本部
yoshida.asahi.y7@s.mail.nagoya-u.ac.jp

1 名古屋大学大学院情報学研究科

概要
否定スコープ認識は，否定要素の影響範囲を特定するタスクである．このタスクに利用される主要コーパス BioScope, SFU, Sherlock は，異なる基準の否定スコープアノテーションをもつ．そのため，否定スコープ認識モデルの ﬁne-tuning においてこれらのコーパスを単に結合したデータを用いると，モデルの性能が低下するという問題がある．本論文では，同一の否定スコープアノテーションをもつデータを増やすために，BioScope と SFU の否定スコー
プを Sherlock の否定スコープへ自動変換する手法を提案する．提案手法により変換した BioScope, SFUと Sherlock を結合したデータセットを用いて否定スコープ認識モデルを ﬁne-tuning することで，モデルの性能が向上することを確認した．

1

はじめに

否定 (negation) は意味を反転させる言語現象である．否定を意味する表現（否定要素; negation cue）及びその影響範囲（否定スコープ; negation scope）を正しく認識することは，自然言語文を理解する上で重要である．否定要素や否定スコープの自動認識手法（例えば [1, 2, 3]）や認識した否定情報を下流タスクへ応用する手法（例えば [4, 5, 6]）が多く提案されてきた．一般に，否定の自動認識タスクは否定要素検出と否定スコープ認識のサブタスクに分けられる．
本研究では，英文の否定スコープ認識に取り組む．
否定スコープ認識に利用される主なコーパス
は，BioScope corpus [7], SFU review corpus [8], Sherlock
dataset [9] である．これらのコーパスを利用する際，注意すべき点がある．表 1 に示すように，コーパスごとに否定スコープアノテーションの基準が異なるという問題である．アノテーションの違いにより，
単に 3 つのコーパスを結合して否定スコープ認識モ

表 1 3 つのコーパスにおける文 “She does not have a cat.”に対する否定要素（太字）及び否定スコープ（下線）のア
ノテーション
コーパス 否定のアノテーション
BioScope She does not have a cat.
SFU
She does not have a cat.
Sherlock
She does not have a cat.

デルを学習すると，単体のコーパスを用いて学習した場合に比べてモデルの性能が低下するという報告がある [5] ．Truong ら [2] は，同一基準で 3 つのコーパスをアノテーションしてデータを統合することが，この問題の解決策になる可能性を述べている．
各コーパスの否定スコープを同一基準に変換することでデータを統合できると考えられるが，否定スコープの変換手法はこれまでに提案されていない．
そこで本論文では，BioScope と SFU の否定スコー
プを Sherlock の否定スコープへ自動変換する手法を提案する．変換先として Sherlock を選択した理由は，Sherlock の否定スコープ基準は BioScope やSFU のそれと比べてより複雑な否定スコープを表現できるからである．提案手法を用いた変換により，Sherlock とほぼ同一のアノテーションをもつ
BioScope と SFU のデータが得られる．変換された
BioScope, SFU と Sherlock を結合することにより，より多くのデータを否定スコープ認識モデルの学習に利用することができる．提案手法の有効性を確認するため，変換した結果を結合したデータセットを用いて否定スコープ認識モデルを ﬁne-tuning した．
実験により，単に 3 つのコーパスを結合した場合とは異なり，提案手法により変換した結果を結合したデータセットを用いてモデルを ﬁne-tuning することで，モデルの性能が向上することを確認した．

2

否定アノテーション付きコーパス

本節では，本研究で利用する 3 つの否定アノテーション付きコーパスについて説明する．

― 817 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

BioScope corpus [7] 1）は，生物医学分する．変換のベースとして，Yoshida ら [12] の否定

野のテキストに否定要素と否定スコープをアノテー

スコープ認識手法を用いる．以下では，BioScope とションしたコーパスである．否定アノテーションのSFU を組み合わせたコーパスを B&S と呼ぶ 4）．

BioScope

例を文 (1), (2) に示す．例文における太字と下線はスコープ変換は，変換元のコーパスには変換元の基準で正しいスコープが付けられているという点でそれぞれ否定要素と否定スコープを表す．
(1) The transcription factors did not change.

スコープ認識と大きく異なる．変換において，B&S(2) The feature was not seen in the resting cells.

における正しい否定スコープのアノテーションを基本的に，否定要素の右側のみを否定スコープとしてアノテーションする．例外として，文 (2) のよう最大限活用するため，提案手法は以下の式に従ってB&S の否定スコープを変換する．
𝑆left ∪ 𝑆cue ∪ 𝑆mid ∪ 𝑆right .

な受動態の文に対しては否定要素の左側もアノテーションする．
SFU SFU review corpus [8] 2）は，レビューテキス
トに否定要素と否定スコープをアノテーションしたコーパスである．否定スコープアノテーション基準の大部分は BioScope と同一である．

𝑆left , 𝑆mid , 𝑆right は以下の式で定義する．
 L𝑐 (𝑆B&S ) (L𝑐 (𝑆B&S ) ≠ ∅)𝑆left =
 L𝑐 (𝑆res )(L𝑐 (𝑆B&S ) = ∅),𝑆mid = M𝑐 (𝑆B&S ), 𝑆right = R𝑐 (𝑆B&S ).

Sherlock dataset [9] 3）は Conan Doyle のここで，𝑆B&S は B&S の否定スコープを，𝑆res は否定

物語に否定情報をアノテーションしたデータセット

スコープ認識により得られるスコープを，𝑐 は否定である．文 (3), (4) にアノテーションの例を示す．

要素を表す．𝑆cue は否定要素の内部構造であり，次(3) We did not drive up to the door.

節で定義する．L𝑐 (𝑆), M𝑐 (𝑆), R𝑐 (𝑆) はそれぞれ，否Sherlock

定要素の左側，否定要素で囲まれた部分 5），否定要(4) You’ll see how impossible for me to go there.
Sherlock の ア ノ テ ー シ ョ ン ガ イ ド ラ イ ン [10] は素の右側のスコープであり，以下で定義する．

BioScope に従っているが，いくつかの改良が加えら

L𝑐 (𝑆) = {𝑖 ∈ 𝑆 | 𝑖 < 𝑐 𝑙 }, M𝑐 (𝑆) = {𝑖 ∈ 𝑆 | 𝑐 𝑙 < 𝑖 < 𝑐𝑟 },れている．主な改良点は以下の通りである．

R𝑐 (𝑆) = {𝑖 ∈ 𝑆 | 𝑐𝑟 < 𝑖}.

• 否定されている event の全ての項を否定スコープとしてアノテーションする（例えば文 (3) で定要素の文中での位置である．提案手法の変換処理

は，主語 we を否定スコープに含める）．

は，3 つのコーパスの学習データ及びアノテーショ• 接辞の否定要素を考慮する（例えば文 (4) でンガイドラインにおける以下の観察に基づく．

は，接辞の否定要素 im とそのスコープの一部possible を同一単語中で区別する）．

𝑐 𝑙 と 𝑐𝑟 はそれぞれ，1 番左の否定要素と 1 番右の否

1. R𝑐 (𝑆B&S ) と R𝑐 (𝑆SH )，及び M𝑐 (𝑆B&S ) と M𝑐 (𝑆SH )は，ほぼ同一であるとみなせる．ここで，𝑆SH• 不連続な否定スコープを許容する．

は Sherlock の否定スコープである．

こ れ ら の 改 良 に よ り，よ り 複 雑 な 否 定 に 対 応 し

2. L𝑐 (𝑆B&S ) ≠ ∅ である場合，L𝑐 (𝑆B&S ) と L𝑐 (𝑆SH )た否定スコープを表現できる．Fancellu ら [11] は，は，ほぼ同一とみなすことができる（例えばSherlock の否定スコープアノテーションは他の 2

文 (2) がこの場合に該当する）．

つのコーパスのそれと比べて言語学的に妥当であると述べている．これらの理由から，本研究ではBioScope と SFU の否定スコープを Sherlock の否定スコープへ変換する手法を検討する．

33.1

接辞や省略形を含む否定要素の処理

Sherlock は，unusual や don’t のように，接辞や省略形を含む否定要素において，否定要素と否定スコープを同一単語中で区別する．一方で B&S は，否定スコープの自動変換
本 節 で は，BioScope と SFU の 否 定 ス コ ー プ をSherlock の否定スコープへ自動変換する手法を提案
1） https://rgai.inf.u-szeged.hu/node/1052） https://www.sfu.ca/∼mtaboada/SFU Review Corpus.html
3） https://www.clips.ua.ac.be/sem2012-st-neg/data.html

単語全体を否定要素として扱う．この違いに対処す
4） SFU や Sherlock とは異なり，BioScope では否定要素も否定スコープに含めるというフォーマット上の違いがある．この違いに対応するため，BioScope については，前処理として否定要素を否定スコープから除外する．
5） 否定要素が複数単語かつ不連続な場合 (neither, nor など) にのみ M𝑐 (𝑆) が存在する．

― 818 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図1

提案手法による否定スコープ変換の例

図 3 句を選択するルール．各行が 1 つのルールに対応し，上にあるものほどルール適用の優先度が高い．下線を付したルールは，本論文で追加したルールである．

SADVP,RB,SurprisinglyNPDT.

VPNN

the restaurant

VBD RB
didVP

n’t VBを用いる．ルールの追加は，Yoshida らのルールで.

は対応できない動詞や名詞の否定要素に対応するたNP

accept NN

めのものである．この追加は，学習データを用いた予備実験に基づく．図 1 の例では，ルールにより句NNS

credit cards

S が選択される．いずれのルールも適用されない場

図 2 図 1 中の例文の句構造木．太字の句は，否定スコープの候補となる句を表す．枠で囲った部分は，句の補正により除外される部分である．

るため，提案手法では単純なパターンマッチングを用いて接辞や省略形を含む否定要素とそのスコープを同一単語中で区別する．B&S の否定要素 𝑐 が 語
彙リスト Vaﬀ , Vcont に含まれる接辞をもつ場合，𝑆cueは否定要素から接辞を除いた部分の文字列とする．
Vaﬀ , Vcont は以下で定義する．定義は，Sherlock のア
ノテーションガイドライン [10] に基づく．

手順 3 では，選択された句から特定の要素を除外し否定スコープを決定する．Yoshida らのルールの一部は，Sherlock のような文学作品のドメインに特化していることが観察された．例えば，Yoshidaらは句読点 (punctuation) で囲まれた名詞句を否定スコープから除外するルールを利用している．生物医
学やレビューのドメインでは，句読点で囲まれた名詞句は否定スコープに含まれることが多いため，このルールは正しく機能しない．このようなドメイン

Vaﬀ = {dis, im, in, ir, un, less} , Vcont = {n′ t, not} .

3.2

合には，Read ら [13] の default scope を用いる．の違いに対応するため，提案手法では Yoshida らの補正ルールの一部である以下のルールを利用する．

否定スコープ認識• 句 の 最 初 の 句 読 点, RB, CC, UH, ADVP, INTJ,

提案手法では，Yoshida ら [12] の否定スコープ認

SBAR を除外する．

識手法をベースとして 𝑆res を得る．Yoshida らの手• 句の最初の句読点で区切られた PP を除外する．

法は Sherlock のドメインに特化したルールを含むた• 句読点で区切られた ADVP, INTJ を除外する．

め，Yoshida らの手法を修正する．以下では，図 1 中の例文と図 2 に示すその構文木を用いて修正につい• 否定要素が等位項に含まれる場合，CC 及び否て説明する．Yoshida らの手法は以下の手順からなる．提案手法では手順 2 と 3 を修正する．

定要素より前にある等位項を除外する．
図 1 の例では，ルールにより surprisingly とそれに続くカンマが句から除外される．

1. 文を構文解析し，否定要素を含む句をそのスコープの候補とする．

図 1 の例のように，提案手法を用いることで B&Sの否定スコープを Sherlock の否定スコープへ変換す

2. 否定スコープの候補である句の中から，ルールることができる．

を用いて句を 1 つ選択する．
3. 句を補正し，否定スコープを決定する．
手順 1 では，否定要素が含まれる全ての句（図 1の例では RB, VP, S）を否定スコープの候補とする．

4

否定スコープ認識実験

4.1

実験設定

手順 2 では，構文木上のパスに基づくルールを用提案手法の有効性を，スコープ変換に基づくデーいて，選ばれた候補の中から否定スコープに対応すタセットの大規模化という観点から評価するた

る句を 1 つ選択する．提案手法では，Yoshida らのめ，否定スコープ認識の実験を行った．実験では，ルールに新たなルールを複数追加したもの（図 3）

提案手法により変換した B&S と Sherlock を結合し― 819 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

否定スコープ認識実験の結果 ∗Token-level (%)
MethodPre.
Rec.
F1Baseline (BERT) ∗∗94.44 89.23 91.76
Combination (BERT)
94.74 87.23 90.83
Conversion+Combination (BERT)
93.84 92.43 93.13
Baseline (RoBERTa) ∗∗92.08 90.44 91.24
Combination (RoBERTa)
93.58 87.29 90.32
Conversion+Combination (RoBERTa)
91.47 92.10 91.76Khandelwal & Sawant, 2020 [3] (BERT) ∗∗–– 92.36
Truong ら, 2022 [2] (RoBERTa) – Baseline ∗∗–– 91.51
Truong ら, 2022 [2] (RoBERTa) – CueNB–– 91.24
Wu & Sun, 2023 [1] (BERT)
95.12 90.57 92.77
Wu & Sun, 2023 [1] (RoBERTa)
94.54 91.24 92.85
Yoshida ら, 2023 [12] (heuristics)
89.32 94.30 91.74
表2

Scope-level (%)
Pre.
Rec.
F1
99.11 71.77 83.25
98.57 66.61 79.48
98.91 74.21 84.79
99.45 58.60 73.74
99.19 58.44 73.53
99.08 60.53 75.14––––––––––– 85.35–– 87.10
98.94 74.70 85.13* 本の結果は，異なるシード値で 5 回実験を行った際の平均値である．先行手法は，いずれも学習データとして Sherlock のみを用いている．太字と下線は，それぞれ各評価指標で最も高い値と 2 番目に高い値を示す．
** 本研究の Baseline (BERT) と Baseline (RoBERTa) はそれぞれ，Khandelwal & Sawant [3]，Truong ら [2] – Baseline の再現に相当する．
本研究の結果と先行研究の結果が異なるのは，シード値の違いによるものである．

たデータセットを利用して事前学習済みモデルを解を与え，句読点を含めたすべてのトークンを評価

ﬁne-tuning し，否定スコープ認識の性能を評価した．

対象とした．

B&S には正式なデータ分割が存在しないため，Truong ら [2] と同様の方法で B&S をデータ分割し4.2実験結果た 6）．SFU と Sherlock は PTB に基づくトークン分実験結果を表 2 に示す．先行研究での報告と同様割がされているが，BioScope はトークン分割されに，単に 3 つのコーパスを結合したデータを用いてていない．前処理として NLTK [14] tokenizer を用いモデルを ﬁne-tuning すると，Sherlock のみを用いたて BioScope の文をトークン分割した．事前学習済

場合よりもモデルの性能が低下した．一方，提案手

みモデルは BERT [15] と RoBERTa [16] 7）を用いた．
以下の異なる設定でモデルを ﬁne-tuning した．

法により変換した B&S と Sherlock を結合したデータを用いてモデルを ﬁne-tuning すると，モデルの性(i) Baseline: Sherlock の学習データのみ用いる．

能が向上した．この事実は，提案手法の有効性を示(ii) Combination: Sherlock の学習データと，変換をしている．トークンレベルの F1 で，C+C におけるBERT の性能は，最高性能を達成している Wu & Sun

行わない B&S の学習データを用いる．
(iii) Conversion + Combination (C+C): Sherlock の学
習データと，提案手法により変換した B&S の学習データを用いる．
変 換 手 法 に お け る 構 文 解 析 に は，Berkeley Neural
Parser [17, 18] 8）を用いた．モデルの検証と評価には，Sherlock の検証データと評価データをそれぞれ利用した．実装には，Truong ら [2] のコードを利用した．hyper-parameter は，Truong らと同様である．
評価指標は，トークンレベル (token-level) の評価とスコープレベル (scope-level) の評価があり，いずれも適合率，再現率，F1 を算出した．否定要素は正6） https://github.com/joey234/
negation-focused-pretraining を参照した．
7） Hugging Face (https://huggingface.co/) で公開されている bert-base-uncased 及び roberta-base を用いた.
8） 構文解析の事前学習済みモデルは BERT [15] を選択した．

[1] の性能を上回った．

おわりに

5

本論文では，B&S の否定スコープを Sherlock の否定スコープへ変換する手法を提案し，3 つのコーパスを 1 つのデータセットへ結合した．提案手法の有効性を確認するため，変換した結果を結合したデータセットを用いて事前学習済みモデルを ﬁne-tuning
し，否定スコープ認識を行った．実験により，単に3 つのコーパスを結合してモデルを ﬁne-tuning すると性能が低下する一方，提案手法により変換した結果を結合したデータセットを用いるとモデルの性能が向上することを確認した．
今 後 の 課 題 は，変 換 手 法 自 体 の 評 価 で あ る．
Sherlock の基準で B&S に否定スコープをアノテーションし，変換の正確さを評価する予定である．

― 820 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は，一部，科学研究費補助金基盤研究（C）（No. 22K12148）により実施したものである．

参考文献[1] Yin Wu and Aixin Sun. Negation scope reﬁnement via
boundary shift loss. In Findings of the Association
for Computational Linguistics: ACL 2023, pp. 6090–6099, Toronto, Canada, July 2023. Association for Computational Linguistics.
[2] Thinh Truong, Timothy Baldwin, Trevor Cohn, and KarinVerspoor. Improving negation detection with negationfocused pre-training. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4188–4193, Seattle, UnitedStates, July 2022. Association for Computational Linguistics.
[3] Aditya Khandelwal and Suraj Sawant. NegBERT: A transfer learning approach for negation detection and scope
resolution. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 5739–5748,Marseille, France, May 2020. European Language Resources Association.
[4] Andrew Moore and Jeremy Barnes. Multi-task learningof negation and speculation for targeted sentiment classiﬁcation. In Proceedings of the 2021 Conference ofthe North American Chapter of the Association for
Computational Linguistics: Human Language Technologies, pp. 2838–2869, Online, June 2021. Associationfor Computational Linguistics.
[5] Jeremy Barnes, Erik Velldal, and Lilja Øvrelid. Improving
sentiment analysis with multi-task learning of negation.
Natural Language Engineering, Vol. 27, No. 2, pp. 249–269, 2021.
[6] Partha Mukherjee, Youakim Badr, Shreyesh Doppalapudi,
Satish M. Srinivasan, Raghvinder S. Sangwan, and RahulSharma. Eﬀect of negation in sentences on sentiment analysis and polarity detection. Procedia Computer Science, Vol. 185, pp. 370–379, 2021.
[7] György Szarvas, Veronika Vincze, Richárd Farkas, andJános Csirik. The BioScope corpus: annotation for negation, uncertainty and their scope in biomedical texts. In
Proceedings of the Workshop on Current Trends in
Biomedical Natural Language Processing, pp. 38–45,

Columbus, Ohio, June 2008. Association for Computational Linguistics.
[8] Natalia Konstantinova, Sheila C.M. de Sousa, Noa P. Cruz,
Manuel J. Maña, Maite Taboada, and Ruslan Mitkov. A review corpus annotated for negation, speculation and theirscope. In Proceedings of the 8th International Conference on Language Resources and Evaluation, pp.
3190–3195, Istanbul, Turkey, May 2012. European Language Resources Association.
[9] Roser Morante and Walter Daelemans. ConanDoyle-neg:Annotation of negation cues and their scope in conan doylestories. In Proceedings of the 8th International Conference on Language Resources and Evaluation, pp.
1563–1568, Istanbul, Turkey, May 2012. European Language Resources Association.
[10] Roser Morante, Sara Schrauwen, and Walter Daelemans.
Annotation of negation cues and their scope : Guidelines
v1.0. Technical report, University of Antwerp, 2011.
[11] Federico Fancellu, Adam Lopez, Bonnie Webber, andHangfeng He. Detecting negation scope is easy, except
when it isn’t. In Proceedings of the 15th Conferenceof the European Chapter of the Association for Computational Linguistics, pp. 58–63, Valencia, Spain, April

2017. Association for Computational Linguistics.
[12] Asahi Yoshida, Yoshihide Kato, and Shigeki Matsubara.
Revisiting syntax-based approach in negation scope resolution. In Proceedings of the 12th Joint Conference on
Lexical and Computational Semantics (*SEM 2023),
pp. 18–23, Toronto, Canada, July 2023. Association forComputational Linguistics.
[13] Jonathon Read, Erik Velldal, Lilja Øvrelid, and Stephan
Oepen. UiO1: Constituent-based discriminative ranking
for negation resolution. In *SEM 2012: The 1st Joint
Conference on Lexical and Computational Semantics, pp. 310–318, Montréal, Canada, 7-8 June 2012. As-sociation for Computational Linguistics.
[14] Steven Bird and Edward Loper. NLTK: The natural language toolkit. In Proceedings of the ACL Interactive
Poster and Demonstration Sessions, pp. 214–217,Barcelona, Spain, July 2004. Association for Computational Linguistics.
[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and KristinaToutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings ofthe 2019 Conference of the North American Chapter of the Association for Computational Linguistics:
Human Language Technologies, pp. 4171–4186, Min-neapolis, Minnesota, June 2019. Association for Computational Linguistics.
[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke
Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly
optimized bert pretraining approach, 2019.
[17] Nikita Kitaev and Dan Klein. Constituency parsing with aself-attentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational
Linguistics, pp. 2676–2686, Melbourne, Australia, July

2018. Association for Computational Linguistics.
[18] Nikita Kitaev, Steven Cao, and Dan Klein. Multilingual
constituency parsing with self-attention and pre-training.
In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3499–3505, Florence, Italy, July 2019. Association for Computational Linguistics.

― 821 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).