情報処理学会研究報告
IPSJ SIG Technical Report

評価表現に着目した皮肉文の分析と抽出
肥合 智史1,a)

嶋田 和孝2,b)

概要：本研究では，評判分析における極性判定の精度低下の原因の 1 つとなる皮肉の分析と抽出方法について提案する．ここで，皮肉とは，肯定表現を用いて否定的な意味を表すものとする．本論文では，まず，肯定表現がどのような使われ方で否定的な意味を持つようになるのかを人手で分析し，その分析に基づく

8 つのクラスを提案する．次にその 8 つのクラスそれぞれについて，文書の極性や構文パターンなどに基づく皮肉検出ルールを作成する．提案手法では，このルール群と皮肉らしさを強調するルールおよび例外
ルールなどを段階的に適用し，皮肉文を検出する．評価実験では，商品のレビューデータを対象とし，8 つのクラスに基づかないシンプルなルールによるベースラインと比較することで提案手法の有効性を検証する．その後，実験結果についてエラー分析を行い，今後の課題について議論する．
キーワード：皮肉検出，皮肉分類，評判分析，ルールベース

Analysis and Detection of Sarcastic Sentences Focused on Evaluative
Expressions
Satoshi Hiai1,a)Kazutaka Shimada2,b)Abstract: Sarcasm detection is an important task and a diﬃcult problem in sentiment analysis because
sarcastic sentences indicate negative meaning by using positive expressions. The detection of sarcasm leads
to the improvement of the accuracy of many sentiment analysis tasks. In this paper we propose a methodof detection of sarcastic sentences in review documents. First, we manually classify sarcastic sentences intarget reviews into 8 classes. On the basis of the analysis, we generate classification rules for each class.
Then, we propose a two-stage method based on these rules to detect sarcastic sentences. The first stage isbased on the rules for 8 classes. The second stage is based on boosting rules about sarcastic sentences. The
experimental result shows the eﬀectiveness of our method as compared with the baseline with a simple ruleand the boosting rules.
Keywords: Sarcasm detection, Classification, Sentiment analysis, Rule-based method

1. はじめにたがって，レビュー文書の分析は有益であるが，大量の文書を人手で分析するには大きな労力が必要となる．そこ

近年，Web 上の商品レビューへの投稿など，評判に関で，レビュー文書の分析を自動化する評判分析が研究されする文書が発信される機会が増えている．そういったレている [1]．一般的に評判分析では，テキストの内容が肯定

ビュー文書は，人々の消費行動に大きな影響を与える．し的なものであるか否定的なものであるか判定する極性判定

1

2

a)
b)

九州工業大学 情報工学部 知能情報工学科
Department of Artificial Intelligence, Kyushu Institute ofTechnology
九州工業大学 大学院情報工学研究院 知能情報工学研究系
Department of Artificial Intelligence, Kyushu Institute ofTechnologys hiai@pluto.ai.kyutech.ac.jp
shimada@pluto.ai.kyutech.ac.jp

c 2016 Information Processing Society of Japan⃝という技術が利用される．従来の極性判定では判定文書中の「すばらしい」などの肯定表現や「ひどい」などの否定表現といった評価表現の存在が判別の手がかりとして使われる [2]．
しかし，評判は直接的な表現を用いて表されるとは限らない．直接的表現を使わずに否定的な意味を示す表現とし

1

情報処理学会研究報告
IPSJ SIG Technical Reportて皮肉が挙げられる．皮肉は遠まわしに否定的意味を伝えその結果，従来の手法では検出できなかった皮肉が検出でる表現であるため，直接的な否定表現が使われないこときることを示している．

があり，従来の極性判定において判別誤りの原因となる．

遠まわしに否定的意味を示す皮肉の中で，特にこのようよって，あらかじめ皮肉を検出することで極性判定の誤りな，肯定表現が逆の否定的な意味を表す皮肉を検出するこを減らすことができる．そこで，極性判定への新たな取りとは極性判定の精度向上に従来の手法より直接的に影響す組みとして皮肉を検出する研究が進められている [3][4][5]．

ると考えられる．しかし，Riloﬀ らは肯定的な動詞と否定

本研究では，極性判定の精度向上のために皮肉の検出を的な動詞句の対応という限られた形にしか注目していな行う．まず，皮肉において評価表現がどのような使われ方

い．肯定的な動詞と否定的な動詞句が対比される場合だけをしているか観察することによって，否定的な意味がどのでなく，次に挙げる例のように，肯定表現を使って否定的ように表されているかを分析する．そして，その分析に基な意味を表す皮肉は多様に表現される．

づく 8 つのクラスを提案する．次に，その 8 つのクラスそ例4パッケージだけは 立派 ですね。

れぞれについて，文書の極性や構文パターンなどに基づく

例5

これを使うと他の製品の 良さ が分かります。

皮肉検出ルールを作成し，このルール群と皮肉らしさを強例6

結構 いい お値段でした。

調するルールおよび例外ルールなどを段階的に適用し，皮よって本研究では，皮肉の多様性に対応するために，皮肉文を検出する手法を提案する．また，実験によって提案

肉における多様な評価表現の使われ方に注目して，皮肉の手法の精度と，有用性を確認する．

抽出を行う．まず，肯定表現がどのように否定的な意味を表しているかに注目して皮肉の種類を分析し，その種類そ

2. 関連研究

れぞれに対して評価表現に着目した抽出ルールを作り，皮皮肉検出の研究において，皮肉によく出現する単語やフレーズが一般的に検出に利用されている．Reyes ら [3] は，n-gram とよばれる連続する数単語や skip-gram とよばれるスキップを許した数単語からなるフレーズが皮肉検出の有効な手がかりとなることを示している．また，Davidov

肉の抽出に取り組む．

3. タスク設定
本節では本研究での「皮肉」と「皮肉文」の定義と例外を述べる．

ら [4] は，twitter や商品レビューから皮肉を含むデータ
セットを作成し，皮肉の特徴的なフレーズのパターンや，

3.1 皮肉と皮肉文の定義「！」や「？」といった特定の記号を検出に利用している．

皮肉は遠まわしに否定的意味を伝えることであり，字義以上のような特定のフレーズに着目した研究に加えて，通りとは異なった意味を表す表現である．しかし，その現Riloﬀ ら [5] は新たに，肯定表現と否定表現の対応に着目しれ方の多様性により，皮肉の言語現象を特徴付けるのは非て皮肉を検出している．否定表現が肯定表現の直前に出現

常に困難であり，皮肉とは何かということについて研究もすることによって，その肯定表現の意味合いが変化する場

行われている [6]．

*1合がある．例えば，次のような例がある．
例1
例2

本研究では，評判分析の重要な要素である極性判定の誤商品購入後，もう 10 年使い続けています．

りの原因である皮肉に着目する．そのため，皮肉を「否定本当に すばらしい 耐久性ですね．

的な意味を伝える肯定表現」と定義する．そして，皮肉を商品購入後，すぐに 壊れ ました．

含む文を皮肉文と定義する．よって，次の例では下線部の本当に すばらしい 耐久性ですね．

肯定表現が皮肉であり，それを含む 2 文目が皮肉文である．

例 1 と例 2 の 2 文目は同じ文であるが，例 1 の一重下線部

例7

買ってすぐに壊れました。
本当に すばらしい 耐久性ですね。

は皮肉でないのに対し，例 2 の一重下線部は否定的意味を表す皮肉である．この解釈の違いには二重下線部の否定表
現の存在が影響している．

3.2 皮肉の例外

Riloﬀ らの手法は皮肉によく出現するフレーズを利用す

上記の皮肉について例外を述べる．「よかったのに」，「〜

る点は，従来の手法と同様であるが，肯定的な動詞と否定

すればよかった」といった願望や後悔，「まあいい」といっ的な動詞句の対比によって表現される皮肉の文構造を利用た妥協の表現のために使われる肯定表現は否定的な意味をしてフレーズを抽出している．Riloﬀ らは次の例 3 のよう表していることがあるが，例外として皮肉でないとする．

に肯定的な動詞と否定的な動詞句が対応する構造を持つ皮

また，「良くない」，「いいのかな？」といった，文中で直肉を抽出している．

接的な疑問や否定の形で出現する肯定表現も同様に例外と

例3*1

私は 休日に働くこと が 大好き だ。

する．

以降，例文中の二重下線部が否定表現で一重下線部が肯定表現である．

c 2016 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report

例 10 結構 良い お値段なので悩みました。

4. 皮肉文の分析

本節では皮肉文の分析とその結果について述べる．本研

この例では肯定表現「良い」が「お値段」を肯定的に評究で提案する皮肉抽出手法においてその結果を利用するた価しており，値段が高いという否定的な意味を示している．

めに，まず皮肉文を分析する．

このように，肯定表現の対象がかえって悪く働いていることを示すものがこのクラスにあてはまる．

4.1 分析対象

クラス 4

楽天データ *2 の楽天市場レビューデータの一部を用いて皮肉文の分析を行う．各レビューには，商品名，ユーザーによる 5 段階での評価値，レビュータイトル，レビュー本
文といった情報が含まれる．このレビューデータのうち，

次のような例が含まれる．



例 11 注文して直ぐに着いたのは 良かった けど…。



この例では肯定表現「良かった」が商品自体でなく，配1 万件のレビューを分析用データとして利用した．1 万件送について肯定的評判を述べている．このことによって，のレビュー本文は合計 34,917 文から構成される．

商品自体への否定的評判を示している．このように，重要でない対象や属性への肯定的評価によって対象への否定的

4.2 分析結果
レビュー本文の各文が皮肉文であるかどうかを人手で確評価を示すものがこのクラスにあてはまる．

認したところ，皮肉文が 70 文含まれていた．この 70 文のクラス 5

皮肉文について，それに含まれる肯定表現がどのように否定的意味を表しているかに注目し，皮肉の種類を分析した．
その結果，確認された 8 クラスの皮肉について説明する．
クラス 1
次のような例が含まれる．



例8

次のような例が含まれる．
例 12 高い授業料ですが、また損をするより いい でしょう。



この例では肯定表現「いい」が，悪い状況「また損をする」と比べての評価であり，商品の一般的な状況での否定

全然甘くないです。

的評判を示している．このように，極端に悪い状況を想定

いわゆる 上品な 甘さってやつでした してそれよりましであることを肯定的に表現することで，



この例では 1 文目の否定的評判「甘くない」を，2 文目で対象への否定的評価を示しているものがこのクラスにあて「上品な甘さ」と肯定的に言い換えている．この 2 文目が皮はまる．

肉文である．このように，対象への否定的評価をそのまま

クラス 6

肯定的に言い換えているものがこのクラスにあてはまる．



クラス 2
次のような例が含まれる．



例9



例 13 近所にもっと 美味しい ミカンが売ってます。
この例では「近所に売っているミカン」に肯定表現「美品への否定的評判を示している．このように，他の類似し箱の中を確認すると腐っていました た対象を肯定的に評価することで対比して否定的評価を示

この例ではレビュータイトルの「甘くて美味しい」が本しているものがこのクラスにあてはまる．

文中で引用されて繰り返されている．このような繰り返し

クラス 7

によって肯定表現を強調することで，否定的な意味を示し

ている．この 2 文目が皮肉文である．このように，肯定表
現を引用して繰り返すことでそれが満たされていないこと
クラス 3
次のような例が含まれる．



味しい」が係ることで，相対的に本来のレビュー対象の商本文：甘くて美味しい ミカン！

を強調するものがこのクラスにあてはまる．



タイトル：甘くて美味しい (＾ q ＾)

次のような例が含まれる．

次のような例が含まれる．



例 14 ポイント消費には 良い 商品でした。



この例では商品の本来の用途ではなく，「ポイント消費には」が「良い」に係っており，商品への否定的評判を示している．このように，対象の用途に不相応なことを肯定的に評価することで，相応の用途での対象への否定的評価を示しているものがこのクラスにあてはまる．

*2

http://rit.rakuten.co.jp/opendataj.html

c 2016 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Report

クラス 8
次のような例が含まれる．



ビューの趣旨が Neg のものがレビューの趣旨が否定的

例 15 まぁいたってフツーに 使用できます。



この例では「フツーに」が肯定表現「使用できます」に係っており，対象に肯定的に評価できる点が無いことを示している．このように，普通のことを敢えて肯定的に評価することで，対象に肯定的に評価できる点が無いことを示しているものがこのクラスにあてはまる．

5. 提案手法
本手法では，4 節の分析結果を利用した抽出手法を作成
し，皮肉文を抽出する．まず，抽出手法全体の流れを説明
し，次に，そのそれぞれの段階について詳細に説明する．

5.1 抽出手法全体の流れ
図 1 に抽出手法の全体像を示す．本手法は複数の文からなるレビュー文書を入力とする．そして，レビュー本文中の全ての文を 1 文ずつ抽出対象か判定していく．このときの判定対象となる文を判定対象文とする．まず，第 1 段階
として判定対象文に分析結果を利用したルールを適応し，皮肉文の候補を抽出する．次に，第 2 段階として皮肉文の候補それぞれに婉曲・強調によるルールを適応して皮肉文を抽出する．その後，抽出した皮肉文の中から 3.2 節で述べた皮肉の例外にあたる肯定表現を含むものを除去する．
以上のそれぞれの段階について詳しく説明する．

5.2 1 段階目
第 1 段階は判定対象文の肯定表現が 4 節で分析した 8 つのクラスのいずれかにあてはまれば，その文を皮肉文の候補として抽出するものである．そのために，4 節の分析結
果の 8 つのクラスそれぞれについて，ある肯定表現がそのクラスに当てはまるか判定するためのルールを作成する．

4 節の分析結果より得られたクラスごとの，レビューの趣
旨や構文パターン，肯定的な頻出フレーズなどの特徴をクラスに当てはまると判定するための条件として用いる．各クラスに対応する皮肉文の特徴を利用した条件を表 1 に示す．あるクラスに対応する条件にあてはまる判定対象文をそのクラスに含まれる皮肉文候補として抽出することをルールとする．表 1 中の皮肉文の特徴と，それをどのように条件として利用するかの詳細について説明する．

• レビューの趣旨
レビューの趣旨が否定的であるという特徴をもつ皮肉が多く含まれるクラスがあったため，条件として取り入れる．ここでレビューの趣旨とは，判定対象文が存在するレビュー全体が肯定的内容か否定的内容かという，レビュー全体の極性のことである．表 1 中のレ

c 2016 Information Processing Society of Japan⃝であるという特徴を持つクラスである．判定対象文が含まれるレビュー中の他の文の極性に肯定的なものが多いかどうかによって，レビュー全体が肯定的内容か否定的内容かを判定する．肯定的な文が多い場合，「レ
ビューの趣旨が肯定的である」とし，そうでない場合，「レビューの趣旨が否定的である」とする．そのためにレビューに含まれる全ての文について，その文が肯定的内容か否定的内容かの極性を判定し，その情報を付与する．この各文の極性判定には ACP Corpus[7][8]を利用する．ACP Corpus は，文単位で評価極性タグが付与された日本語コーパスでおよそ 100 万文が含まれる．このコーパスを利用して，Bag-of-Words を素性に機械学習をした結果によって，各文を分類することで各文の極性を判定し，タグ付けをする．

• 構文パターン
各クラスの皮肉に対して，そのクラスごとの特徴を表す構文パターンを作成した．表 1 の P1 から P8 に対応する構文パターンの集まりを表 2 に示す．各構
文パターン中には評価表現が含まれる．構文パターン
中の肯定的な評価表現は「Pos」，否定的な評価表現は「Neg」と表す．これを条件として利用する． 判定対象
文中の各クラスに対応する構文パターンの有無によって，判定対象文がそのクラスに当てはまるかを確認する．ただし，P1 から P8 はそれぞれ複数の構文パターンを含んでいる．判定対象文がそのどれか１つでも構文パターンに当てはまれば，判定対象文が該当構文パターン集合に当てはまるとする．またこの際，文中の評価表現を認識する必要があるが，評価表現の一覧は公開資源である 2 つの辞書を利用して取得する．利用する辞書それぞれについて説明する．

– 日本語評価極性辞書（用言編 [9]・名詞編 [10])
用言編と名詞編からなる辞書である．用言編は用言を中心に収集した評価表現約 5 千件のリストであり，名詞編は名詞約 8 千 5 百件のリストである．どちらも各表現に人手で評価極性情報が付与されている．本手法ではこれらの肯定表現，否定表現をそのまま利用する．

– Polar Phrase Dictionary[11]形容詞/形容詞句の約１万組のリストに-1 から+1の評価極性値を付与したデータである．この評価極性値が-1 に近いほど否定的な表現で，+1 に近いほど肯定的な表現ということになる．本手法では，評価
極性値が 0 より大きいものを肯定表現，0 より小さいものを否定表現として利用する．ただし，この辞書には「荒い」といった単体の形容詞のほかに「費用が高い」といった評価対象と形容詞からなる句も含まれている．このような例に対しては，判定対象文に4

情報処理学会研究報告
IPSJ SIG Technical Report

1段階目
分析によるルール
皮肉文候補一覧
1 2
1～8のどれか3 4 に当てはまる レビュー1の文2
レビュー3の文1
レビュー4の文2
5 6
・・・
7 8

レビュー3
タイトル2
レビュー
本文 1
タイトル
レビュー
本文
タイトル
文1,2,3・・・

図 1

段階目 婉曲・強調 例
婉曲・強調 表現を含む 外
のルール
除
去
2

皮肉文一覧
レビュー1の文2
レビュー4の文2
・・・

抽出手法全体の流れ

表 1

抽出ルール
条件

クラス

レビューの趣旨

構文パターン

肯定的頻出フレーズ

2 文での Neg と Pos の対応

1

Neg

P1

-

対象が一致もしくは 2 文の意味が近い

2

Neg

P2

-

-

3

Neg

P3

-

-

4

Neg

P4

「勉強になりました」

構文パターン P2-1

5

Neg

P5

-

構文パターン P2-2 かつ 2 文の意味が遠い

6

-

P6

-

-

7

Neg

P7

-

-

8

Neg

P8

-

-

形容詞句の形で辞書に含まれる形容詞が存在したらPos が対応する場合，判定対象文にあたる 2 文目の構

その係り元を確認し，係り元に辞書にマッチする表

文パターンや，2 文の評価対象の一致，2 文間の意味

現があった場合のみ，その形容詞を評価表現とみな的関係といった特徴を条件に利用する．

している．「費用が高い」の例では「高い」という形
容詞に対する係り元として「費用」という単語が辞書に存在すれば，「高い」を評価表現とみなす．

• 肯定的頻出フレーズ– 2 文目の構文パターン
この場合のみに適応される判定対象文の構文パターンの一覧を表 3 に示す．

– 2 文の評価対象の一致

皮肉文の実例を観察し，あるクラスに頻出する肯定

2 文の各評価表現の評価の対象が一致していると的フレーズがあれば，それを皮肉文の特徴として条件いう特徴を条件として利用する．各文で評価表現のに利用する．表 1 中のクラス 4 に対する条件におい係り元の句が助詞で終わっていたら，その句中の名詞て，クラス 4 に頻出した「勉強になりました」をいう

をその評価表現の評価対象とする．例えば，「値段がフレーズを取り入れた．

高い。」のような文において評価表現「高い」に「値• 2 文間での Neg と Pos の対応

段が」が係っており，「が」は助詞であるため，評価

次の皮肉例のように，否定表現と肯定表現が連続して出現することは皮肉文判別の手がかりとなる．
例 16

安っぽ すぎて 笑える。

表現「高い」の評価対象は「値段」ということになる．ただし，係り元が存在しないため，評価対象が無い評価表現も存在する．一致を確認する際，どち

このような特徴について，1 文中で否定表現と肯定表

らかの評価表現に評価対象がない場合については評

現が連続して出現する場合は，構文パターンによって価対象が一致していないことにする．

表現する．しかし，文をまたいで評価表現が出現する
次の例のような場合もあり，この場合をこの特徴で考判定対象文が同じレビュー中の対応する文と意味的に似ているかという特徴を条件として利用する．

慮する．
例 17

– 2 文間の意味の類似

それに切り口も 汚い です。

文の意味の類似度の測定には文書の分散表現を利用

ある意味とても 良い 経験を、いたしました。

する．分散表現は文書の意味を表現した固定長のベ

この場合については，判定対象文に肯定表現が存在す

クトルである．本手法では，1 文を文書とみなして，る場合，その直前の評価表現がどこに存在するか確認

Mikolov ら [12] らの手法を用いてベクトルを作成すする．そして，レビュー本文中の 1 文以上前に存在しる．そして，2 つのベクトルの類似度を cos 類似度でていて，それが否定表現であった場合が表 1 中の「2算出し，2 つのベクトルが表す 2 文が意味的に似て

文間で Neg と Pos が対応」にあたる．2 文間で Neg といるかどうかを判定する．この cos 類似度は-1 から 1

c 2016 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Report
表 2

構文パターン一覧「いわゆる」+Pos「ある意味」+Pos
Pos+「くらい」+Neg
Neg+「くらい」+Pos
Pos+「ので」+Neg
Neg+「ので」+Pos
Pos+「と」+Neg
Neg+「と」+Pos
Pos+「のは」+Neg
Neg+「のは」+Pos

P1

P2

Pos がその前後 2 単語以内に繰り返される
レビュータイトル中の Pos を含むフレーズが文中で再び出現

P3

Pos+「ので」+[Neg と動詞を含むフレーズ]
Pos+「から」+[Neg と動詞を含むフレーズ]
Pos+「過ぎて」+[Neg と動詞を含むフレーズ]「良い」の係り先が [Neg と名詞を含むフレーズ]

P4「は」（助詞）+Pos+[逆接を含むフレーズ]

P5「今のところ」+Pos
Neg+「よりは」+Pos
Neg+「より」+Pos「他の」+[名詞から始まる Pos を含むフレーズ]「別の」+[名詞から始まる Pos を含むフレーズ]「類似」+[名詞から始まる Pos を含むフレーズ][名詞で終わるフレーズ]+「の方は」+Pos[名詞で終わるフレーズ]+「の方が」+Pos[名詞で終わるフレーズ]+「のは」+Pos「だったら」+[任意のフレーズ]+「もっと」+Pos「でも」+[任意のフレーズ]+「もっと」+Pos

P6[名詞以外で終わるフレーズ]+「と思えば」+Pos[名詞以外で終わるフレーズ]+「には」+Pos[名詞以外で終わるフレーズ]+「つもりで」+Pos[名詞以外で終わるフレーズ]+「ならば」+Pos[名詞以外で終わるフレーズ]+「ば」+Pos[名詞以外で終わるフレーズ]+「には」+Pos

P7「普通に」の係り先に Pos もしくは「〜できる」「相応に」の係り先に Pos もしくは「〜できる」「平凡に」の係り先に Pos もしくは「〜できる」「無難に」の係り先に Pos もしくは「〜できる」「当たり前に」の係り先に Pos もしくは「〜できる」「位の」の係り先に Pos もしくは「〜できる」

P8

表 4

婉曲強調表現一覧

種類

表現

丁寧語や尊敬語

お（接頭詞），ご（接頭詞），ご覧，ご存知，
献上，参上，拝見，拝読，存じ，頂戴，になる，れる，なさる，頂く，おる，
おっしゃる，召し，申す，いたす，
さしあげ，うかがう，参る，くださる

特定の強調の副詞

本当，確かに，確実に，すごく，さすが，とても，結構，かなり，いつも，
もう，よく，思わず，めきめき，
やっぱり，やはり，すぐ，
よほど，改めて，ちょうど，
なんだか，まったく，もっと特定の強調の接頭辞

大，ど，超，全，真

特定の記号！，？，・・，（笑，ｗ，「，」，[，]，『，』，..，。。，〜

表 5

例外表現一覧

ならいいのに，ならよかった，ばいいのに，ばよかった，でもいいのに，でもよかった，方がいいのに，方がよかった，まあいい，よしとする

肯定的頻出フレーズ，2 文で Neg と Pos が対応については判定対象文がどれかにあてはまれば，そのルールを満たすとし，抽出する．

5.3 2 段階目
第 2 段階は判定対象文中の婉曲・強調表現の有無を利用したルールにより，第 1 段階で抽出された皮肉文候補から皮肉文を抽出する段階である．
滝沢ら [13] は皮肉には終助詞や感嘆詞といった，婉曲・強調表現が多く含まれることに着目し，それを利用した検出機構を提案した．本研究でも婉曲・強調表現のリストを作成し，その表現の存在を抽出ルールに取り入れる．具体的には感動詞，終助詞，または表 4 の表現のうちどれかが文に含まれている場合，皮肉文として抽出する．

表 3 2 文目の構文パターン一覧

P2-1

P2-2

「は」（助詞）+Pos[名詞以外で終わるフレーズ]+「で」+Pos[名詞以外で終わるフレーズ]+「ので」+Pos[名詞以外で終わるフレーズ]+「から」+Pos[名詞以外で終わるフレーズ]+「て」+Pos

5.4 例外除去
最後に，抽出された皮肉文のうち，皮肉の例外となる肯
定表現を含む文を除去するために，判定対象文中で，次のリストに含まれる表現の有無をパターンマッチによって確認する．表 5 中の表現が存在した場合は例外としてその肯までの値をとり，-1 に近いほどベクトルの類似度が低く，1 に近いほどベクトルの類似度が高い．本手法
では cos 類似度が 0 より小さければ 2 文の意味が遠定表現を含む文は皮肉文でないと判定する．

6. 実験

い，0 より大きければ 2 文の意味が近いとして，表 1

本研究の提案手法を用いて皮肉文を抽出し，その精度を中のクラス 1 と 5 に対する条件として利用する．

確認した．その際，ベースラインとする抽出手法も作成し，以上が表 1 中の特徴と条件の説明である．表 1 中の「-」提案手法との抽出精度の比較対象とした．

は該当の特徴を利用した条件が無いことを表す．表 1 中の各クラスに対応した条件で，レビュー趣旨が Neg のものについては，判定対象文が必ずそれを満たし，構文パターン，c 2016 Information Processing Society of Japan
⃝

6.1 実験設定
実験に利用したデータとベースライン手法について説明

6

情報処理学会研究報告
IPSJ SIG Technical Report

レビュー3
タイトル2
レビュー
本文 1
タイトル
レビュー
本文
タイトル
文1,2,3・・・

皮肉文候補一覧段階目
肯定表現と 評価表現の レビュー1の文2
レビュー3の文1
否定表現の対比 対比が存在 レビュー
4の文2
によるルール・・・

2段階目 婉曲・強調
例
婉曲・強調 表現を含む 外
のルール
除
去

1

皮肉文一覧
レビュー1の文2
レビュー4の文2
・・・

提案手法から置き換えたルール
図 2
表 6

ベースライン

6.2 実験結果

分析用データにおける抽出
適合率

再現率

F値

分析用データでのベースラインと提案手法の抽出の再ベースライン

0.006(29/5083)

0.414(29/70)

0.012

提案手法

0.028(38/1381)

0.543(38/70)

0.053

現率，適合率，F 値をそれぞれ表 6 に示す．また，評価用

表 7

評価用データにおける抽出
適合率

ベースライン

0.009(43/4681)

提案手法

0.036(47/1300)

データは事前に確認されていないデータであるため，抽出結果について人手で確認して適合率のみで評価する．評価
用データでのベースラインと提案手法の適合率を表 7 に示
す．
分析用データの 3 万 5 千文中の皮肉文が 70 文という比率から考えると，このタスクがきわめて難しいものである

する．

と考えられ，その結果，分析用データと評価用データそれ

6.1.1 実験データ

ぞれ 0.028，0.036 と適合率が低くなっている．各結果につ実験データには皮肉文の分析の際と同様に，楽天データ

いて提案手法とベースラインを比較すると，分析用データの楽天市場レビューの一部を利用した．分析の際に利用に対する抽出結果については，提案手法は適合率，再現率

した分析用データと，分析用データに含まれない，実験用がそれぞれ 0.028，0.543 であり，ベースラインの 0.006，

データをそれぞれ利用した．分析用データは 34,917 文か

0.414 を上回った．また評価用データに対する抽出結果にらなり，70 文の皮肉文が含まれ，他の文は非皮肉文であついても，提案手法の適合率 0.036 がベースラインの適合る．実験用データは 33,864 文からなる 1 万件のレビュー

率 0.009 を上回った．このことから，皮肉のクラスごとへから構成される．

のルール適応は効果的であったといえる．

6.1.2 ベースライン

また，提案手法について，分析用データに対する適合率

提案手法と精度を比較するためのベースラインを作成しと評価用データに対する適合率を比べると，分析データにた．このベースラインの全体図を図 2 に示す．提案手法の対する適合率 0.028 を評価データに対する適合率 0.036 が第 1 段階を置き換えたものであり，置き換えた部分の内容

上回っており，分析に利用した皮肉の実例に依存しすぎを説明する．肯定表現の直前の評価表現が否定表現である

ない抽出ルールを設計できたと考えられる．ただし，分析

場合，その肯定表現が含まれる文を皮肉文の候補として抽データに対する再現率は 0.543 で，分析に使った皮肉文に出するというルールである．このルールによって次のよう抽出できなかったものが存在した．

な例が，皮肉文の候補となる．評価表現の一覧は提案手法と同じ，日本語評価極性辞書と Polar Phrase Dictionary を使って取得した．

• 判定対象文中に対比が出現する例
例 18

安っぽ すぎて 笑える。

• 直前の評価表現が 1 文以上前にあり，文をまたがって対比が出現する例（2 文目が候補）
例 19

7. 考察
提案手法の分析用データに対する抽出結果より，人手では皮肉文と判定されたが，抽出できなかった例について分析した．その結果，いくつかの原因が観察された．
まず，表現の省略によって構文パターンに当てはまらな
くなっているものが確認された．例えば，助詞の「は」がそれに切り口も 汚い です。

評価表現とともに使われている構文パターンにおいて，例

ある意味とても 良い 経験を、いたしました。

20 はマッチし抽出できるが，例 21 は助詞の省略によってこのルールは，Riloﬀ らの研究において採用されたベーマッチせず抽出できていなかった．

スラインと同じものである．このベースラインによって否例 20 外見は いい。

定表現と肯定表現が連続することの皮肉抽出への影響を測例 21 パッと見 いい。

り，評価表現を利用してかつ分類ごとに抽出に取り組む本

このような例については，述語項構造等の文構造の解析に手法との比較を行う．

c 2016 Information Processing Society of Japan⃝7

情報処理学会研究報告
IPSJ SIG Technical Report

よって，省略されている表現や，文中の語の働きを明らか

参考文献にすることによって対応する必要があると考えられる．

[1]

次に，辞書に無い評価表現や文脈による評価表現が使われている場合があった．例 22 は，「小粒」が否定表現で，「売り」が肯定表現であるかということが状況によるもの
であり，単純な辞書中の表現によるマッチでは抽出できていなかった．
例 22 このシリーズは 小粒 が 売り のようです＾＾；
このような例については評価表現を文脈を考慮して認識する必要があると考えられる．

3 つ目に，レビューには現れない知識が必要な場合が存在した．例 23 では，文中には対比を表すような文構造は出現しないが，レビューの商品が純正品でなく，純正と対比しているものだという知識が必要になる．
例 23 やはり純正の出来が 素晴らしい です。
このような例は，人間の常識的な知識が必要であると考えられる．

4 つ目に，提案手法の 2 段階目の婉曲・強調のルールによって皮肉文でないとされ，抽出できていないものが確認された．このような例には，婉曲・強調表現のリストに表
現が不足しているわけではなく，人手で見ても婉曲・強調表現が含まれていないものがあったため，皮肉文であるかどうかを各段階で 2 値で判定する本提案手法では対応できない．このような例の検出には，婉曲・強調表現がなくても，人が皮肉であると解釈する原因となる特徴について考慮する仕組みが必要になると考えられる．
以上のことに加えて，適合率の低さも大きな問題である．
提案手法ではベースラインよりも抽出数を絞ることができているものの，皮肉文以外が大量に抽出されている．これについては，皮肉文以外の特徴について分析し，皮肉文以外を抽出しないルールを追加することで，より抽出数を絞ることができるのではないかと考えられる．

8. おわりに本研究では，評価表現に着目して皮肉を分析，クラス分
けし，そのそれぞれのクラスに対応した皮肉文が持つ特徴

B. Pang, L. Lee, “Opinion Mining and Sentiment Analysis,” Foundations and Trends in Infomation Retrieval,Vol. 2, No. 1-2, 2008.
[2] P. D. Turney, “Thumbs up or thumbs down?: Semanticorientation applied to unsupervised classification of reviews,” Proceedings of 40th Annu. Meeting Assoc. Comput. Linguist., 2002, pp. 417-424, Association for Computational Linguistics, 2002.
[3] A. Reyes, P. Rosso, “Mining subjective knowledge from
customer reviews: A specific case of irony detection,”
Proceedings of the 2nd workshop on computational approaches to subjectivity and sentiment analysis (WASSA
2.011) , pp. 118-124, Association for Computational Linguistics, 2011.
[4] O. Tsur, D. Davidov, A. Rappoport, “ICWSM―A great
catchy name: Semi-supervised recognition of sarcastic
sentences in online product reviews,” Proceedings of the
fourth international AAAI conference on weblogs and social media, pp. 162-169, 2010.
[5] E. Riloﬀ, A. Qadir, P. Surve, L. De Silva, N. Gilbert, R.
Huang, “Sarcasm as Contrast between a Positive Sentiment and Negative Situation,” Proceedings of EMNLP
2013, pp. 704-714, 2013.
[6] 内海 彰, “アイロニーとは何か? — 言語現象としてのアイ
ロニーのモデル化の試み,” 言語処理学会第 2 回年次大会発
表論文集, pp. 289-292, 1996.
[7] N. Kaji and M. Kitsuregawa, “Automatic Constructionof Polarity-tagged Corpus from HTML Documents,” Proceedings of the 21st International Conference on Computational Linguistics, Poster Sessions (COLING/ACL2006)
pp. 452-459, 2006.
[8] 鍜治伸裕, 喜連川優, “HTML 文書集合からの評価文の自動収集”, 自然言語処理, Vol. 15, No. 3, pp. 77-90, 2008.
[9] 小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一, “意見抽出のための評価表現の収集,” 自然言語処理, Vol. 12,
No. 3, pp. 203-222, 2005.
[10] 東山昌彦, 乾健太郎, 松本裕治, “述語の選択選好性に着目した名詞評価極性の獲得”, 言語処理学会第 14 回年次大会
論文集, pp. 584-587, 2008.
[11] 鍜治伸裕, 喜連川優, “HTML 文書からの評価表現辞書の自動構築”, 言語処理学会第 13 回年次大会, pp. 420-423,
2007.03.
[12] Q. Le and T. Mikolov, “Distributed representations ofsentences and documents,” Proceedings of The 31st International Conference on Machine Learning, pp. 1188-1196,
2014.
[13] 滝沢 修, 伊藤 昭, “アイロニー表現検出の一手法”, 人工知能学会誌, Vol. 9, No. 6, pp. 875-881, 1994.

を利用した皮肉文の抽出手法を提案した．抽出においては，皮肉文の特徴の一つである婉曲・強調によるルールも加えて，2 段階からなる抽出機構を作成した．また，商品レ
ビューにおいて，実際に提案手法を適用して皮肉文を抽出し，その抽出精度を確認した．その際，ベースラインとなる抽出手法も作成し，精度を比較した．結果は提案手法がベースラインの精度を上回り，分析したクラスごとのルールを利用することの有用性を確認できた．また，提案手法
による抽出のエラーを分析し，今後は，評価表現のより正確な認識や，表現の省略への対応，皮肉らしさの考慮などに取り組んでいく必要があるとわかった．

c 2016 Information Processing Society of Japan⃝

8