一般社団法人 電子情報通信学会
THE
INSTITUTE
OF ELECTRONICS,
社団法人
電子情報通信学会
INFORMATIONAND OFCOMMUNICATIONENGINEERS
THE INSTITUTE
ELECTRONICS,

信学技報
IEICE Technical Report
信学技報
NLC2018-10 (2018-09)
TECHNICALREPORT OF IEICE.

INFORMATION AND COMMUNICATION ENGINEERS

皮肉検出のための皮肉の対象の推定
肥合 智史†

嶋田 和孝††† 九州工業大学 大学院情報工学府
福岡県飯塚市川津 680-4†† 九州工業大学 大学院情報工学研究院
福岡県飯塚市川津 680-4
E-mail: †{s_hiai,shimada}@pluto.ai.kyutech.ac.jp
あらまし 近年，皮肉を検出するタスクが多くの研究で取り組まれている．皮肉では，肯定表現を用いて，否定的意図を伝えることがあり，極性語を重要な特徴としている感情分析の分析誤りの原因となることが考えられる．よって，皮肉の検出は感情分析の精度向上に貢献する．皮肉の重要な特徴の一つに，皮肉には，皮肉によって批判される対象が存在するというものがある．本研究では，皮肉の検出の精度向上に貢献することを目的として，皮肉の対象の検出に取り組む．まず，皮肉の対象検出のためのデータセットを構築する．次に，機械学習を用いた皮肉の対象の検出手法を適用する．そして，ベースライン手法との検出精度の比較や，検出できる対象の違いを観察し，検出手法の有用性を評価する．
キーワード 皮肉，感情分析，意見マイニング，皮肉の対象，マイクロブログ

Target Detection for Sarcasm Identification
Satoshi HIAI† and Kazutaka SHIMADA††† Graduate School of Computer Science and Systems Engineering, Kyushu Institute of Technology
680-4 Kawazu, Iizuka, Fukuoka 820-8502, JAPAN†† Department of Artiﬁcial Intelligence, Kyushu Institute of Technology
680-4 Kawazu, Iizuka, Fukuoka 820-8502, JAPANE-mail: †{s_hiai,shimada}@pluto.ai.kyutech.ac.jp
Abstract Sarcasm identiﬁcation has been treated as a task that classiﬁes text as sarcastic or non-sarcastic. Sarcasm identiﬁcation is a signiﬁcant challenge for sentiment analysis because sarcasm involves a positive expression
with negative meaning. Targets of sarcasm in sarcastic sentences are an important feature for sarcasm identiﬁcation.
In this paper, we study a detection task of targets of sarcasm in sarcastic sentences. First, we construct a dataset
for the target detection task. Then we apply two detection methods using machine learning models to the dataset.
We compare the methods with a baseline method. The results demonstrate the eﬀectiveness of our method.
Key words Sarcasm, Sentiment analysis, Opinion mining, Target of sarcasm, Microblogging

1. は じ め に

主に文章の内容が肯定的か否定的か分類するタスクとして研究されている感情分析における重要な特徴である．しかし，皮肉

皮肉は，相手の欠点や弱点を意地悪く遠まわしに非難する表

では，表層と意図が一致しないため，感情分析の誤分類の原因現である（注 1）. 皮肉では，肯定表現を用いて，逆に否定的な意味となる．よって，近年，より高度な文章理解のための挑戦的課を伝えることがある．

題として，皮肉を検出する研究が進められている [1]．

［例 1］ 彼は部下に仕事を押し付ける素晴らしい上司だ．

皮肉には，皮肉によって批判される対象が存在するという特例 1 においては，「素晴らしい」という肯定表現が用いられて徴がある [2]．例 1 においては，「上司」が皮肉の対象である．

いるが，上司への批判が示されている．文章中の極性表現は，我々は，以前，皮肉の対象に着目して皮肉の検出を行った [3]．
皮肉の対象となりやすい語のリストを作成し，文章中にそのリ（注 1）：https://www.weblio.jp/content/皮肉スト中の語が存在するかを手掛かりとする検出手法を提案した．

-7-

This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

Copyright ©2018 by—1—IEICE皮肉の対象となりやすい語のリストの作成のために，立場表現で，「上司と部下」のような二つの立場の間の関係に着目した検を利用した．立場表現は，例 1 中の「上司」のような立場を表出手法を提案している．これは，Tay らの手法に，特に対象にす表現である．この立場表現の中から，特に，「上司」，「先生」注目するという視点を加えたものであると位置づけられる．など，皮肉に出現しやすいものを絞り込んでリスト化した．そこれまでの研究 [3], [4] で，皮肉の対象の存在という特徴が，して，検出実験により，そのリストに基づく検出手法の有効性皮肉検出に有用であるとわかった．これを踏まえ，本研究では，を確認した．さらに，その後の研究 [4] で，皮肉の対象と対象

文章中の皮肉の対象を表す語の検出に取り組む．これに関連しに不満を持つ立場という二つの立場の間の関係に着目した検出たタスクとして，文章中の人物名や組織名などの抽出を目的と手法を提案した．例 1 には，皮肉の対象である「上司」に加えした固有表現抽出がある．固有表現抽出は，文章を単語の系列て，その対象に不満を持つ「部下」という立場表現が含まれてと見なし，系列中のどの部分が固有表現であるかを判定する枠いる．このように，二つの立場表現を含むデータについて，関組みである，系列ラベリング問題として取り組まれることが多係分類のための手法 [5] を利用し，その立場同士の関係を表す

い．判定のためには，機械学習を利用した手法が用いられ，特ベクトルを構築し，それを検出に取り入れることで，検出精度に，系列を学習することのできる，CRFs モデルや RNN モデルが利用されている [12], [13]．本研究では，皮肉の対象の検出が向上することを確認した．
これまでの我々の研究 [3], [4] の結果より，文章中に，皮肉の対象となる語が存在するかということは，皮肉検出において重のために，CRFs モデルや RNN モデルを適用し，リストに基づく手法と比較して，その検出精度を確認する．

要な手掛かりであるといえる．対象を認識するために，これま3. データセットの構築での研究では，立場表現のリストを利用した．立場表現は，「上司」や「部下」といった一般名詞であり，人の役割といった情報

本節では，皮肉の対象の検出に利用するデータセットの構築を含む．役割の中には，皮肉を言われやすものがあり，皮肉にについて説明する．皮肉の対象の検出は，皮肉を含む文章が与偏って出現する立場表現があることが考えられる．しかし，立えられたとき，皮肉を言われている対象を検出するタスクであ

場表現以外の語も，皮肉の対象となることがある．例 2 では，る．皮肉を含む文章に，人手で皮肉の対象をアノテーションす「君」という代名詞が皮肉の対象である．

ることで，対象検出のためのデータセットを構築する．

［例 2］ 君はさぼってばかりで忙しそうだね。

以降の節で，まず，アノテーション対象のデータについて説

このような代名詞は，皮肉の対象ではない場合でも，汎用的に明し，次に，データ中の皮肉の対象の種類について説明する．

使われるため，リストに含めることができず，皮肉の対象であ最後に，皮肉の対象のアノテーションの手順と結果について説る場合でも認識できない．この他にも，固有名詞が対象を表す明する．

語になることが考えられる．固有名詞は，リスト化しても各表

3. 1 皮肉を含んだ文章の収集

現の出現頻度は少なく，網羅もできないことが考えられる．こ

皮肉の検出の研究には，Twitter（注 2）への投稿を検出の対象にのような表現を対象として認識するには，その表現だけではなしたものが多い．本研究でも，Twitter への投稿から皮肉を含く，ある表現が対象となる場合の前後の表現のパターンなどのんだものを収集し，アノテーション対象のデータとして利用す文脈を考慮する必要がある．

る．皮肉を含んだ投稿の収集のために，多くの研究では，投稿者

本研究では，皮肉検出の精度向上に貢献することを目的としが投稿につけるハッシュタグが利用されている [8]～[10]．ハッて，皮肉の対象を検出するタスクに取り組む．まず，皮肉の対シュタグはその投稿の内容を表すタグである．英語の投稿にお象の検出のためのデータセットを構築する．次に，そのデータいては，皮肉を表す「#sarcasm」というハッシュタグが付いたを用いて，機械学習による対象の検出モデルを構築し，文章中投稿を収集することで，皮肉を含む投稿が収集できる．本研究の各語が皮肉の対象であるかを判定する．機械学習のアルゴリ

では，日本語の投稿をデータとして利用する．よって，同様に，ズムには，Conditional Random Fields (CRFs) [6] と，リカレ

日本語の投稿で，「#皮肉」というタグが付けられている投稿をントニューラルネットワーク (RNN) [7] を用いて，文章全体を収集することを試みた．しかし，「#皮肉」というタグが付けら考慮した皮肉の対象の検出を行う．

れている投稿の数は十分ではなかった．そこで，「(皮肉)」という表現を利用した．日本語の投稿には，次の例のように，「(皮2. 関 連 研 究肉)」という表現を用いて皮肉であることを示すものがある．

近年，皮肉の検出が盛んに研究されている．皮肉の検出は，［例 3］ うちの会社はミスが発生してもお咎め無しのとても素主に，文章が皮肉を含むかどうか分類するタスクとして取り組敵な (皮肉) 会社です。

まれている．多くの研究で，機械学習を用いた分類手法が提案

この「(皮肉)」という表現を含む投稿は，「#皮肉」というタグがされている．機械学習のための素性には，文章中の単語 N グラ付いた投稿より頻繁に投稿されていた．よって，「(皮肉)」といム [8] や，極性表現 [9], [10] などが用いられている．

う表現を含む投稿を 1,000 件の投稿を収集し，皮肉を含むデー

Tay ら [11] は，単語間の関係性を利用する検出手法を提案タ（皮肉ツイート）とみなした．

し，皮肉検出の最高精度を達成した．ニューラルネットによって，文章中の単語のペアごとの検出における重みを学習し，重要な単語ペアを考慮した検出を行った．我々は以前の研究 [4]（注 2）：https://twitter.com-8-—2—

の MeCab（注 3）を用いた．アノテータは，本文中の名詞に，皮肉の対象を表しているものがあるかを判断する．あれば，対象が皮肉ツイート
対象を表す名詞が存在する

明示的明示的なツイートであり，なければ，対象が非明示的なツイートであると判断する．次に，明示的な場合と，非明示的な場合対象を表す名詞が存在しないのそれぞれのアノテーションについて説明する．
まず，対象が明示的な場合について説明する．明示的である

非明示的と判断した場合，名詞中の，対象を表すものを選択し，その名詞に皮肉の対象であるとタグ付けする．このとき，皮肉の対象対象を表す名詞をタグ付けであると考えられる名詞が複数ある場合，そのすべてを対象と対象を表す候補を選択タグ付けする．例えば，例 5 では，「彼，毎回，大量，宿題，教育，熱心，先生」という名詞リストが得られるが，この中から，対象と考えられる候補が存在しない対象を表す「彼」，「先生」に，対象であるとタグ付けする．
次に，対象が非明示的な場合について説明する．例 6，7 の対象が読み取れないとアノテート
図1

ように，皮肉の対象が非明示的であるが，読み取ることができる場合を想定し，皮肉の対象の 6 種類の候補のリストを準備した．今回は，「人，団体 (国や組織等)，動物，もの，場所，サーアノテーション手順の概要

ビス」という候補リストを準備した．皮肉の対象が暗示的であ3. 2 対象の種類：明示と非明示る場合，アノテータは，このリストから皮肉の対象として読み皮肉ツイートには，文章中に皮肉の対象を表す語を含むもの取れるものを選択する．適切な対象がリストに含まれていないと含まないものがある．本データセットでは，これを明示・非場合，アノテータは，対象が読み取れないツイートとみなして，明示とよび区別する．

そのことを示すタグを付与する．
以上の手順によって，各皮肉ツイートに対して，皮肉の対次の例 4，5 は，皮肉の対象を表す語を含む例である．

象をアノテーションした．収集した 1,000 ツイートを，500 ツ［例 4］ 口先だけで何もしない政治家の鑑だ。

イートずつの 2 セットに分け，各セットについて，異なるアノ［例 5］ 彼は毎回大量の宿題を出す教育熱心な先生だ。
例 4 では，皮肉の対象は「政治家」である．また，例 5 では，皮肉の対象は「彼」と「先生」である．このように，対象を表テータ 2 名ずつにアノテートを依頼した．アノテーションの結果，2 名のいずれかが，対象が読み取れないとアノテートしたす語が複数含まれる場合もある．本研究では，一つ以上の対象

ツイートは 1,000 件中，合計 134 件であった．以降，このデーを表す語を含むデータを，対象が明示的なデータと呼ぶ．アノタを除外してアノテーションの結果を分析する．
まず，明示と非明示の判断の結果について説明する．2 名のテーションにおいては，すべての対象にタグ付けする．

アノテータの両方が，対象が明示的であると判断したツイート

次の例 6，7 は，皮肉の対象を表す語を含まない例である．

数は，合計 547 件であり，対象が非明示的であると判断したツ［例 6］ 何も考えずに決めるなんて、ある意味すごいよ。

イート数は，合計 146 件であった．明示か非明示かの判断の一［例 7］ 開始早々メンテとか幸先がいいですね。
本研究では，このようなデータを，対象が非明示的なデータと呼ぶ．ただし，このような場合に関しても，例 6 は人を対象としており，例 7 は何らかのサービスを対象としているという区別をすることができる．皮肉の対象をリストに基づいて認識した関連研究 [3] では，本文中に明示的に皮肉の対象が含まれていることが想定されていた．しかし，このように非明示的な場合にも，対象に関する情報を利用できれば，対象の存在を利用した皮肉検出手法の適用できるデータが増え，検出精度の向上に貢献できると考えられる．本アノテーションでは，非明示なデータに対しても，それに対応する対象を付与する．

致率を確認した結果，2 つのデータセットにおけるκ値の平均は，0.50 であった．Landis ら [14] らの指標によると，0.50 は中等度の一致 (Moderate agreement) である．
明示で一致した 547 件のツイートについて，各アノテータは，どの名詞が対象を表しているかをタグ付けした．この 547 件のツイートには，11,457 単語が含まれており，そのうち 3,803 語が名詞であった．その名詞のうち，2 名のアノテータの両方が，皮肉の対象であるとタグ付けした名詞は，592 語であった．各アノテータがタグ付けした名詞の一致率を確認した結果，2 つのデータセットにおけるκ値の平均は，0.65 であった．Landis ら [14]らの指標によると，0.65 は十分な一致 (Substantial agreement)

3. 3 皮肉の対象のアノテーション
3. 1 節で収集した皮肉ツイートに対して，皮肉の対象のアノである．2 名のアノテータの両方が，タグ付けした 592 語は，テーションを行った．このアノテーションの手順を説明する．

466 件ツイートに含まれていた．本研究では，この 466 件のツアノテーションの概要を図 1 に示す．

イートを明示的に皮肉の対象を含むツイートとして扱う．

まず，アノテータには，皮肉ツイート本文と，本文中の名詞の次に，非明示で一致した 146 件のツイートについてそれぞれ，一覧が提示される．ツイート中の名詞の抽出には，形態素解析

各アノテータは，候補リストから対象となるものを選択した．
（注 3）：http://taku910.github.io/mecab/-9-—3—

表1
ツイート数

表2

各候補に対するツイート数人

団体 動物 もの 場所 サービス

9710020

データセットの詳細

ツイート数

3

どの候補が選ばれたかの一致率を確認した結果，2 つのデータ対象を表す単語数 総単語数

訓練419523

評価

4769902

合計466592

11,457

セットにおけるκ値の平均は，0.51 であった．Landis ら [14] ら

表3の指標によると，0.51 は中等度の一致 (Moderate agreement)である．2 名が皮肉の対象として選択した候補が一致したツ

ベースライン

イート数は，合計 112 件であった．本研究では，この 112 件のツイートを対象が非明示的なツイートとして扱う．また，リス

10,555

実験結果

PRF

0.50

0.22

0.30

CRFs

0.71 0.25 0.36

RNN

0.04

0.010.02ト中のどの候補で一致したかを確認し，各候補に対するツイート数を表 1 に示した．112 件のうち，97 件が「人」で一致して4. 2 ベースラインおり，偏りの大きい結果となった．

我々の以前の研究 [3] では，文章中の皮肉の対象を，立場表4. 皮肉の対象の検出現のリストに基づいて認識し，皮肉検出に利用した．本研究で本節では，皮肉の対象の検出実験について説明する．我々のている．よって，以前の研究 [3] のリストに基づく簡単なベーは，リストで網羅できない皮肉の対象を検出することを目指し以前の研究 [3] では，本文中に皮肉の対象が明示的に含まれてスライン手法を設定した．ベースライン手法は，文章中の各単いることを想定し，立場表現リストを用いた語のマッチングに語について，リストに含まれていれば，その単語を皮肉の対象より，対象を認識している．一方，本研究においては，前節でであると判定し，リストに含まれていなければ，皮肉の対象で作成したデータ用いた機械学習による対象の検出を行う．本稿ないと判定する．リストには，以前の研究 [3] で利用したもの

では，対象が明示的な場合について，リストに基づく手法と，をそのまま利用する．このリストには，「にとっては」などの手機械学習による手法によって検出できる対象の違いに分析の焦掛かり表現を用いて収集された立場表現のうち，皮肉データに点をおき，機械学習による検出の有用性を評価する（注 4）．本節
では，まず，機械学習による皮肉の対象の検出手法と，リストおいて出現頻度の高いものを選好して得られた 472 語の立場表現が含まれている．に基づくベースライン手法を説明する．次に，検出手法の評価

4. 3 データセットのための実験とその結果について説明する．

次に，検出手法の評価実験に利用するデータについて説明す4. 1 皮肉の対象の検出手法

る．3. 3 節で構築したデータセットうち，本文中に皮肉の対象皮肉の対象の検出手法を説明する．ツイート中のどの単語がを表す語を明示的に含む 466 件のツイートを利用する．この皮肉の対象であるかを検出する．我々は，このタスクを系列ラ

466 件のツイートを，419 件の訓練用データと 47 件の評価用ベリングのタスクであるとみなし，CRFs モデルと RNN モデデータに分けて利用する．各データセットについての詳細を表

ルをそれぞれ利用した検出を行う．

2 に示した．

CRFs モデルによる手法は系列ラベリングにおいて，一般的4. 4 実験結果・考察な手法の一つである．素性としては，前後二単語までの単語の各単語が皮肉の対象であるかどうかを正しく判定できたかを表層と品詞を利用した．また，実装には，CRF++（注 5）を利用評価した．その結果を表 3 に示した．表中の P，R，F はそれした．

ぞれ，適合率，再現率，F 値を示している．

RNN モ デ ル に つ い て は ，特 に ，Gated Recurrent Unit

ベースライン，CRFs，RNN のそれぞれの F 値が，0.30，0.36，(GRU) [15] を用いる．GRU も多くの研究で用いられている

0.02 となっており，RNN モデルを利用した検出の精度が，ベーモデルである．このモデルは，文章の各単語の情報を順に入力スライン手法や CRFs を利用した検出精度を大きく下回った．

として，その入力それぞれに皮肉の対象であるかどうかを出

また，RNN モデルでの検出の適合率である 0.04 は，すべての単力する．各単語の情報は，分散表現と品詞情報を連結したベ語を対象であると判定した場合の適合率である 69/902 = 0.08

クトルである．分散表現は，word2vec [16] の skip-gram モデルによって作成した，200 次元のベクトルである．分散表現の作成のためのデータには，ランダムに収集した約 2,300 万件のTwitter への投稿を利用した．また，品詞情報は，どの品詞であるかを one-of-k 表現で表したベクトルである．

を下回っている．これは，モデルが複雑なものであるのに対し，利用した訓練データが 419 件と小規模であったためであると考られる．また，CRFs モデルを利用した検出の精度が，リストに基づくベースラインの精度をすべての指標で上回った．よって，CRFs を利用した検出では，リストでは網羅できていなかった皮肉の対象を正しく検出できていることがわかる．
次に，検出精度の高かった CRFs を利用した手法で検出され（注 4）：対象が非明示な場合の検出も皮肉の検出精度向上に貢献することが考える皮肉の対象について，リストに基づくベースライン手法と比られるが，本稿では扱わない．

較して，考察を行う．両方の手法で，検出できた対象について（注 5）：https://taku910.github.io/crfpp/- 10 -—4—

説明する．次のような例において，「客」という皮肉の対象を表

表 1 で示した通り，データ数が，「人」という候補を対象とすす語は，両方の手法で，正しく検出された．

るデータに偏っている．よって，データ数が比較的少ないクラ［例 8］ 予約している商品を取りに来ない熱心な客がいるらスについても，正しく推定できる手法を検討する必要がある．

しい。

そのための手掛かりとして，皮肉として使われている肯定表現

ベースライン手法においては，「客」が立場表現の一つであり，が，どのような対象に使うものかという知識が考えられる．例

リストに含まれているため，検出された．

えば，「名作」という表現が使われていれば，対象は「もの」で一方，ベースライン手法では，皮肉の対象を検出できず，CRFsを利用した手法では検出できた例に次のようなものがあった．

あることが考えられる．よって，知識に基づくルールベースの判定を取り入れた手法などを検討する．

［例 9］ Twitter のおかげで映画のネタバレが聞けた。

文

例 9 の皮肉の対象は，「Twitter」である．ベースライン手法では検出できず，CRFs を利用した手法では検出できた対象のほとんどはこのような固有名詞であった．ベースライン手法の用いたリストは，立場表現を集めたものであり，リスト中の各立場表現は，一般名詞である．よって，「Twitter」のような固有名詞を検出することはできない．
しかし，固有名詞であるからといって，皮肉の対象であるわけではない．CRFs を利用した手法で対象を検出できなかった
例に次のようなものがあった．
［例 10］ 進撃の巨人２期か～こっちの巨人は最下位に向けて進撃中ですね・・・#giants
このツイートには，「進撃の巨人」という固有名詞が含まれているが，太字の「巨人」という語のみが皮肉の対象である．今回，CRFs モデルの学習には，単語の表層と品詞という手掛かりのみを利用した．しかし，このような例を正しく検出するためには，「進撃中」のような皮肉として使われている肯定的な表
現のかかり元を考慮することや，「#giants」というハッシュタグが示すような，そのツイートの中心となっているトピックを考慮することが必要であると考えられる．
以上の結果より，一般名詞である立場表現のみに絞ったリストに基づく手法に対して，CRFs モデルを用いた手法では，立場表現だけでなく，固有名詞などもベースラインを上回る精度で検出できたため，CRFs モデルを用いた手法は，皮肉の対象の検出に有用であるといえる．そして，今後は，CRFs モデルの学習のための素性の改良が必要であると考えられる．

5. お わ り に本研究では，皮肉検出の精度向上に貢献することを目的として，皮肉の対象の検出に取り組んだ．まず，日本語の皮肉を含んだ Twitter への投稿を収集し，人手でのアノテーションを行い，皮肉の対象の検出のためのデータセットを構築した．次に，構築したデータセットに，皮肉の対象検出のための手法を適用し，評価実験を行った．その結果，関連研究 [3] で利用された立場表現リストに基づくベースラインの検出精度を，CRFs モデ
ルを利用した検出手法の検出精度が上回った．さらに，CRFsを利用した手法とベースライン手法で検出される皮肉の対象の差について考察をおこない，提案手法の有用性を確認した．
今後の課題としては，文章中の皮肉の対象の検出について，データセットの拡張や，そのデータを用いたより複雑なモデルの適用が挙げられる．また，対象が明示的でないデータにおける対象の推定にも今後取り組んでいく．非明示なデータでは，

献[1] A. Ghosh, G. Li, T. Veale, P. Rosso, E. Shutova, J. Barnden,
and A. Reyes, “Semeval-2015 task 11: Sentiment analysis ofﬁgurative language in twitter,” Proceedings 9th Int. Workshop on Semantic Evaluation (SemEval2015), Co-locatedwith NAACL, pp.470–478, 2015.
[2] J.D. Campbell and A.N. Katz, “Are there necessary conditions for inducing a sense of sarcastic irony?,” Language
Resources and Evaluation, vol.49, no.6, pp.459–480, 2012.
[3] S. Hiai and K. Shimada, “Sarcasm detection using features
based on indicator and roles,” Proceedings of SCDM 2018,
pp.418–428, 2018.
[4] 肥合智史，嶋田和孝，“関係ベクトルを利用した皮肉の検出，” 言語処理学会 第 24 回年次大会 発表論文集，pp.829–832，2018．
[5] K. Hashimoto, P. Stenetorp, M. Miwa, and Y. Tsuruoka,“Task-oriented learning of word embeddings for semantic relation classiﬁcation,” Proceedings of CoNLL 2015, pp.268–278, July 2015.
[6] J.D. Laﬀerty, A. McCallum, and F.C.N. Pereira, “Conditional random ﬁelds: Probabilistic models for segmenting
and labeling sequence data.,” Proceedings of ICML 2001,
pp.282–289, 2001.
[7] S. Hochreiter and J. Schmidhuber, “Long short-term memory,” Neural Comput., vol.9, no.8, pp.1735–1780, Nov. 1997.
[8] A. Reyes, P. Rosso, and T. Veale, “A multidimensional approach for detecting irony in twitter.,” Language Resources
and Evaluation, vol.47, no.1, pp.239–268, 2013.
[9] E. Riloﬀ, A. Qadir, P. Surve, L. De Silva, N. Gilbert, andR. Huang, “Sarcasm as contrast between a positive sentiment and negative situation.,” Proceedings of EMNLP 2013,
pp.704–714, 2013.
[10] A. Joshi, V. Sharma, and P. Bhattacharyya, “Harnessingcontext incongruity for sarcasm detection.,” Proceedings ofACL-IJCNLP 2015, pp.757–762, 2015.
[11] Y. Tay, A.T. Luu, S.C. Hui, and J. Su, “Reasoning withsarcasm by reading in-between,” Proceedings of ACL 2017,
pp.1010–1020, 2018.
[12] G. Lample, M. Ballesteros, S. Subramanian, K. Kawakami,
and C. Dyer, “Neural architectures for named entity recognition,” Proceedings of NAACL-HLT 2016, pp.260–270,
2016.
[13] X. Ma and E. Hovy, “End-to-end sequence labeling via
bi-directional lstm-cnns-crf,” Proceedings of ACL 2106,
pp.1064–1074, 2016.
[14] J.R. Landis and G.G. Koch, “The measurement of observer
agreement for categorical data,” Biometrics, vol.33, no.1,pp.159–174, 1977.
[15] K. Cho, B. vanMerriënboer, Ç. Gülçehre, D. Bahdanau,
F. Bougares, H. Schwenk, and Y. Bengio, “Learningphrase representations using rnn encoder–decoder for statistical machine translation,” Proceedings of EMNLP 2014,
pp.1724–1734, Oct. 2014.
[16] T. Mikolov, I. Sutskever, K. Chen, G.S. Corrado, and J.
Dean, “Distributed representations of words and phrases
and their compositionality,” Advances in Neural Information Processing Systems 26, pp.3111–3119, 2013.

- 11 -—5—