# コーパスごとの類似度を考慮した用例に基づく 感情推定手法の改善

\begin{abstract}
発話文を感情ごとに分類したコーパスを構築し，入力文と最も類似度が高い発話文 を含むコーパスの感情を推定結果として出力する用例べースの感情推定手法が提案 されている。従来手法ではコーパスを構築する際，発話テキストの収集者が個人個人で発話文の分類先を決定しているため, 分類先を決定する基準が個々によってぶ れてしまう。これにより, 例えば “希望” のコーパスの中に喜びの発話文が混じると いったことが起こり，推定成功率を下げてしまう，本稿ではこの問題を解決するた め，コーパスごとにおける入力文の形態素列の出現回数を用いて，入力文とコーパ スの類似度を定義する。そしてこの類似度を従来手法に導入した新たな類似度計算式を提案する。これにより，誤って分類されてしまった発話文の影響を緩和するこ とができる。評価実験では従来手法と比べて成功率が 21.5 ポイント向上し, 提案手法の有効性が確認できた。
\end{abstract}

キーワード：感性情報処理，類似度計算，用例ベース，N-gram
## An Improvement of Example-based Emotion Estimation Using Similarity between Sentence and each Corpus

\author{
Kenichi Mishina $^{\dagger}$, Seisi Tsuchiya ${ }^{\dagger \dagger}$, Motoyuki Suzuki ${ }^{\dagger \dagger}$ and Fuji Ren ${ }^{\dagger \dagger \dagger}$
}

Example-based emotion estimators need an emotion corpus in which each sentences are assigned with emotion tags. It is difficult to determine emotion tags for the sentence consistently because of ambiguity of emotion. As a result, there are several wrong tags in a corpus. It causes decrease in the performance of an emotion estimation.

In order to solve the problem, a new similarity between input sentence and emotion corpus is proposed. This similarity is based on frequencies of morpheme $\mathrm{N}$-gram of the both input sentence and corpus. Experimental results show that the proposed method improves emotion precision from $60.3 \%$ to $81.8 \%$.

Key Words: Affective computing, Similar calculation, Example-based, N-gram


## 1 はじめに

コミュニケーションの手段として, メールやWebの掲示板を日常的に利用するシーンは非常に多い. メールやWebの掲示板によるコミュニケーションの特徴として, 非言語情報が欠落しているため, 会話時に相手から感じる対人圧力が低くなり, 気軽に考えていることを書き出すことができるメリットがあげられる (杉谷 2007). しかし一方で, メッセージの受け取り手はテキストの内容のみから相手の考えを読み取らなければならないため, ちょっとした言葉の誤解が, 感情的な問題へと発展していくことがある (小林 2001)，また，書き方によっては書き手の感情が伝わりにくいことがあったり (加藤, 杉村, 赤堀 2005), 書き手はそれほど怒っていないにもかかわらず，非常に怒っているようにとらえられたりと，過剰に感情が伝わってしまうこともある (小林 2001). このように，書き手が思っている程, 伝えたいことが相手に伝わらない傾向があるため (Kruger, Epley, Parker, and Ng 2005), メールやWeb の掲示板では相手に誤解を与えやすいというデメリットを持っているといえる.

そこで我々は上記の問題点を解決するため, テキストから読み手が想起する書き手の感情を推定し，推定結果を書き手に示すことでテキストを書き手に修正させ，相手に誤解を与えないようにするシステムの開発を目指した研究を行っている。このようなシステムを実現するためには，読み手が想起する書き手の感情をテキスト中の発話文から推定する手法が必要となる.

発話文からの感情推定手法として, 目良らは複数の事象の格フレームタイプのうち, どれに入力文が当てはまるかを判定し, 該当した格フレームタイプに対応する情緒計算式を用いて発話者の感情が快か不快かを判定する手法を提案している (目良, 市村, 相沢, 山下 2002). この手法では，あらかじめ用意した情緒計算式のほかに，ユーザの嗜好情報を基にした単語に対する好感度データを用いる。単語に限らず，文の冒頭に現れる副詞や文末表現によって話し手の意図や心的態度を表すモダリティ (日本語記述文法研究会 2009)も, 感情推定に有用であることが考えられる。文末表現から情緒を推定する可能性についての検討を徳久らが行っており (徳久, 前田，村上，池原 2008), 文末表現と情緒の間に若干の相関がみられたと報告している.

単語や文末表現に感情の属性を振ったとしても, 単語や文末表現の組み合わせによって感情が変化すると考えられる。そのため, 単語や文末表現を用いて感情推定を行うためには, これらの組み合わせに対応して感情を出力するルールの作成が必要になると考えられる．ルールの例として，例えば“嬉しい”という語に“喜び”の属性が割り振られていたとする。ここで“嬉しいことなんてひとつもない”という文の感情を推定する場合, 推定結果としては“喜び”ではなく“悲しみ”や“怒り”といった感情が出力されるべきである。“喜び”の単語が含まれているからといって，単純に“喜び”を出力してよいわけではない. ここで“悲しみ”や“怒り”を出力するためのルールを作成しておくことで, 感情推定が可能になる. しかし, このようなルー ルの作成は単語に感情の属性を割り振る作業以上にコストがかかると考えられる。この問題を
解決する方法として, 三品らは用例に基づく感情推定手法を提案している (Mishina, Ren, and Kuroiwa 2006). この手法では, 発話者が表現している感情ごとに発話文を分類した感情コー パスを用い，入力文と最も類似度が高い発話文が含まれる感情コーパスの感情を推定結果として得る。類似度計算には機械翻訳システムの性能のスコアを求める BLEU (Papineni, Roukos, Ward, and Zhu 2001)を用いている.この手法を実装するためには発話文を収集して感情ごとに分類した感情コーパスを構築すればよく, 先に述べた例のようなルールを作成する必要がない. しかし, この手法は感情推定成功率が決して高くないため, 類似度の計算式を改良する必要がある.

この方法では入力文とコーパス中の各文の類似度を計算し，その最大值の文が持つ感情を出力している，そのため, 次のような特異な文によって感情推定に失敗することがある.

（1）感情が異なっていても，たまたま表現や文型が類似している文

(2) コーパスを構築する際に誤って分類された文

感情が異なるが類似している文の例として，“嫌悪”の文“嫌いなんです”と“喜び”の文“好みなんです”があげられる。ともに名詞の後に“なんです”が続く形となっており, 文型が類似している。ここで入力文として“好きなんです”が与えられたとき，入力文の“なんです”は二つの文に存在しており，形態素数も同じであるため，“嫌悪”と “喜び” の文との BLEU スコアは同じになってしまう，その結果, “嫌悪”と“喜び”が出力されてしまう。この推定結果としては“喜び”のみが出力されることが適切であると考えられる。

また，コーパスを構築する際には誤って分類される発話文を完全に取り除くことは非常に困難であると考えられる。このことから，誤って分類された発話文の影響を最小限に抑える手段が必要となる。

本稿では三品らの手法を改善し, (1)や (2)の文による影響を抑え, 感情推定成功率を向上させる手法を提案する。本稿では，まず 2 章で従来手法である “BLEUを類似度計算に用いた用例に基づく感情推定手法” について述べる。次に 3 章で, 従来手法で用いられていた類似度計算式とは異なる新たな類似度計算式を提案する。また, この新たに提案する類似度計算式で, どのようにして従来手法の問題点を解決するかについて述べる。そして 4 章では従来手法と提案手法の感情推定成功率の比較を行う。また三品らの方法とは異なる感情推定の従来法として, SVM を用いた感情推定を行い, 結果を比較する. 最後に 5 章でまとめと今後の課題を述べる.

## 2 BLEU を類似度計算に用いた用例に基づく感情推定手法

## 2.1 概要

三品らによって提案された類似度計算を用いた用例に基づく感情推定アルゴリズムは次の式で定式化される。

$
E(x)=\operatorname{argmax} \operatorname{sim}(x, s) \quad\left(s \in C_{e}\right)
$

ここで $x$ を入力文, $E(x)$ を推定結果となる感情, $C_{e}$ を感情 $e$ のコーパス, $s$ を $C_{e}$ に含まれる文, $\operatorname{sim}(x, s)$ を $x$ と $s$ の類似度を返す関数とする。三品らは $\operatorname{sim}(\cdot)$ に BLEU(Papineni et al. 2001) を用いている。この手法は，発話文を発話者の感情別に分類して構築した感情コーパスを用いることで感情推定を行う用例べースの手法である，発話文の分類先は，発話文の収集者が発話者の感情を判定することで決定する，図 1 に発話文からの感情推定の流れを示す.まず発話者の感情によって分類された感情コーパスを用意しておく．次に発話者の感情を推定する対象となる発話文を入力とする。そして，各感情コーパスに含まれる発話文と入力文との類似度を求める．最後に各感情コーパス別に，得られた類似度の最大値を求める。この類似度が入力文が表現している感情のスコアとなる。スコアは 0 から 1 までの値をとり，値が大きいほどその感情を表しているという意味になる。得られた類似度の中で最も値が大きい類似度の感情を, 感情推定結果として出力する。この方法では図 1 における類似度の計算に BLEUを用いている.

用例ベースではない手法では，単語や文末表現への感情属性の付与や，単語や文末表現の組

図 1 用例に基づく感情推定

み合わせから感情を導出するルールを作成する必要が出てくるため，作業コストが非常に高いと考えられる。しかし従来手法のような用例べースのシステムを構築する際には，発話文を集め, 発話者の感情ごとに発話文を分類してコーパスを構築すればよく, 用例べースではない手法と比べて作業コストが低いと考えられる。

## 2.2 BLEU

BLEU は機械翻訳システムが出力した複数の翻訳候補文から，システムの翻訳精度を評価するための尺度である。BLEU は次のとおりに定義されている (Papineni et al. 2001).

$
\operatorname{BLEU}(x, y)=\mathrm{BP} \cdot \exp \left(\sum_{n=1}^{\mathrm{N}} \frac{1}{\mathrm{~N}} \log p_{n}(x, y)\right)
$

なお, (Papineni et al. 2001) では $\mathrm{N}=4$ を用いている. $p_{n}(x, y)$ は機械翻訳文 $x$ と人による翻訳文 $y$ における共通形態素 N-gram 数の適合率（形態素 N-gram 適合率）を返す関数であり，BP は機械翻訳文が人による翻訳文に比べて簡潔すぎることによる適合率のペナルティである。三品らの方法では，BLEUにおける機械翻訳文をコーパス中の 1 文，人による翻訳文を入力文と変更して，類似度計算に用いている（以下，式 (2)を $\operatorname{sim}_{\mathrm{BLEU}}$ と表記する）.

## 2.2.1 形態素 N-gram 適合率

形態素 $\mathrm{N}-\mathrm{gram}$ 適合率 $p_{n}(x, s)$ は, 入力文 $x$ と感情コーパス中の 1 文 $s$ の間で共通な形態素 $\mathrm{N}$-gram が多く存在するかを表す値である，共通な形態素 $\mathrm{N}-\operatorname{gram}$ が多いほど $p_{n}(\cdot)$ は大きくなる， $x$ と $s$ を用いて, $p_{n}(x, s)$ は次のとおりに定義されている.

$
p_{n}(x, s)=\frac{\sum_{w_{n} \in G_{n}(s)} \operatorname{Count}_{n}^{*}\left(x, s, w_{n}\right)}{\sum_{w_{n} \in G_{n}(s)} \operatorname{Count}_{n}\left(s, w_{n}\right)}
$

$
\operatorname{Count}_{n}^{*}\left(x, s, w_{n}\right)=\min \left.\{\operatorname{Count}_{n}\left(x, w_{n}\right), \operatorname{Count}_{n}\left(s, w_{n}\right)\right.\}
$

ここで $G_{n}(s)$ を $s$ に含まれる“連続する $n$ 個の形態素から作られる形態素 N-gram”の集合を返す関数とする. Count $_{n}\left(x, w_{n}\right)$ は， $x$ 中の $w_{n}$ の出現数を返す ${ }^{1} . s$ が $x$ と共通な形態素 N-gram を持っていなければ Count ${ }_{n}^{*}(\cdot)$ はすべての $w_{n}$ で 0 になるため, $p_{n}(\cdot)$ は入力文と感情コーパス中の 1 文がどれほど共通な形態素 N-gram を持っているかの指標となる.

$p_{n}(\cdot)$ を求める例として, 形態素 unigram の適合率 $p_{1}(x, s)$ と形態素 bigram の適合率 $p_{2}(x, s)$ を計算する， $x$ を“明日からの旅行が楽しみです”,$s$ “明日がすごく楽しみです”とする。この

表 1 Count $_{1}$ と Count ${ }_{1}^{*}$ の例

表 2 Count $_{2}$ と Count Col $_{2}^{*}$ 例

ときの形態素 unigram の $\operatorname{Count}_{1}(\cdot)$ と Count ${ }_{1}^{*}(\cdot)$ の値を表 1 に示す2. 表 1 と式 (4)より, $p_{1}(x, s)$ は $1 / 2$ であることがわかる. また形態素 bigram の Count $(\cdot)$ と Count ${ }_{2}^{*}(\cdot)$ の値を表 2 に示す.表 2 と式 (4) より, $p_{2}(x, s)$ は $2 / 5$ であることがわかる. なお, 形態素 bigramには文頭や文末を表す記号は (Papineni et al. 2001) と同様に用いていない.

## 2.2.2 適合率のペナルティ

ここでは感情コーパス中の 1 文 $s$ が入力文 $x$ に比べて簡潔すぎることによる適合率のペナルティ BPについて説明する. $s$ が $x$ に比べて簡潔すぎる場合, $s$ に含まれるほとんどの形態素を $x$ が含んでいる可能性がある. この場合は $p_{n}$ が大きくなり, BLEU スコアが高くなってしまう. つまり，簡潔な文を数多く含んでいる感情コーパスのほうが，入力文との類似度が高くなりやすくなってしまうので，これを防ぐために $\mathrm{BP}$ が用いられる． $g(x)$ を $x$ の形態素数を返す関数として，BPは次のとおりに定義される。

$
\mathrm{BP}=\left.\{\begin{array}{lll}
1 & \text { if } & g(x)<g(s) \\
e^{(1-g(x) / g(s))} & \text { otherwise }
\end{array}\right.
$

$x$ を明日からの旅行が楽しみです”, $s$ を明日がすごく楽しみです”としたとき, $g(x)=7$, $g(s)=6$ となるため, $\mathrm{BP}=e^{1-7 / 6} \approx 0.846$ となる. これは $s$ が短かすぎるため, 適合率へペナルティが課せられることを意味する.


## 3 提案手法

## 3.1 コーパスごとの出現回数を考慮したペナルティ

三品らの方法には次のような文の影響を受け, 感情推定に失敗する問題点がある.

（1）感情が異なっていても，たまたま表現や文型が類似している文

(2) コーパスを構築する際に誤って分類された文

これらの文が影響を及ぼしてしまう原因として，1 文対 1 文の類似度のみを用いて感情推定を行っている点があげられる。これが原因で，例えば “喜び”の文を入力したとしても，この入力文と表現や文型が類似している文が “希望” のコーパスに存在していれば, 感情推定結果として “希望”が出力される可能性が非常に高くなる。また，“喜び”の文を“希望”のコーパスに分類されてしまっていた場合, “喜び” の文を入力した時に“希望”が出力される可能性もある.

この問題を解決するために, 形態素 N-gram 適合率に対して新たなペナルティFP を導入する。FPは入力文の形態素列が各感情コーパスにどの程度偏って存在するかを表す指標であり，各感情コーパス中の出現頻度から計算される。この指標を用いる理由は, 入力文に含まれる形態素列が，他の感情コーパスに比べて相対的に数多く出現している感情コーパスの感情を，入力文は表現している可能性が高いのではないか, と考えたためである. 入力文 $x$ において, 感情 $e$ に対するFPを次のとおりに定義する.

$
\mathrm{FP}_{n}=\frac{1}{\left|G_{n}(x)\right|} \sum_{w_{n} \in G_{n}(x)} \frac{f r e q_{C_{e}}\left(w_{n}\right)}{\sum_{c \in C} f r e q_{c}\left(w_{n}\right)}
$

ここで $C$ をすべての感情コーパス, freq $C_{e}$ を感情コーパス $C_{e}$ における $w_{n}$ の出現回数を返す関数とする．FPは，たまたま 1 文対 1 文の類似度が高かったとしても，類似度計算に用いている文を含むコーパスにおいて入力文の形態素列の出現回数が少なければ, 求められる類似度を低く押さえる効果を持つ。これにより，(1)と (2)の文による影響を改善する.

一般に，一部の文書に偏って存在している単語を表す指標として, TF-IDFがよく用いられている，その意味では，FPのかわりにTF-IDFを用いる方法が考えられる。しかしTF-IDF は, ある感情コーパス中の絶対的な出現頻度（ $t f$ 値）を, 他の感情コーパスにも出現しているかどうか, という形態素 N-gram の一般性を示す值（idf値）を用いて修正したものであり，ある感情コーパス中での出現頻度が低い形態素 N-gram であれば，たとえその感情コーパスに偏って存在していたとしても，その値は低いものとなる。そのため, TF-IDF を類似度計算に導入したとしても，FPよりその効果は薄いものとなることが予想される.

## 3.2 RECARE

従来手法で用いられていた $\operatorname{sim}_{\mathrm{BLEU}}$ に $\mathrm{FP}_{n}$ を導入し, 更に式を適切に変更することで, “類似

しているが感情が異なる文”や, “コーパス構築時に誤って分類されてしまった文”を含むコーパスに対して頑健な感情推定を行うための新たな類似度計算式 RECARE ${ }^{3}$ 定義する. RECARE は二つの文に類似した表現が含まれており，かつ二つの文が同じ感情を表しているかどうかを表すスコアとなる.

まず, 式 (2)で定義される $\operatorname{sim}_{\mathrm{BLEU}}$ に対し, 前節で定義した $\mathrm{FP}$ を導入する (これを $\operatorname{sim}_{\mathrm{BLEUFP}}+$ と表記する).

$
\begin{aligned}
\operatorname{sim}_{\mathrm{BLEUFP}}(x, s) & =\mathrm{BP} \cdot \exp \left.\{\sum_{n=1}^{\mathrm{N}} \frac{1}{\mathrm{~N}} \log \left(\mathrm{FP}_{n} \cdot p_{n}(x, s)\right)\right.\} \\
& =\mathrm{BP} \cdot \exp \left.\{\frac{1}{\mathrm{~N}} \log \prod_{n=1}^{\mathrm{N}}\left(\mathrm{FP}_{n} \cdot p_{n}(x, s)\right)\right.\} \\
& =\mathrm{BP} \cdot \exp \left.\{\log \left.\{\prod_{n=1}^{\mathrm{N}}\left(\mathrm{FP}_{n} \cdot p_{n}(x, s)\right)\right.\}^{\frac{1}{\mathrm{~N}}}\right.\} \\
& \left.=\mathrm{BP} \cdot\left(\prod_{n=1}^{\mathrm{N}}\left(\mathrm{FP}_{n} \cdot p_{n}(x, s)\right)\right)^{\frac{1}{\mathrm{~N}}}\right.\}
\end{aligned}
$

式 (7) では $\mathrm{FP}_{n} \cdot p_{n}(\cdot)$ の相乗平均を求めていることになるが, $p_{n}(x, s)=0$ となる $n$ が存在したとき， $\operatorname{sim}_{\mathrm{BLEUFP}}+=0$ となる. これは $n$ が高次になるほど起こりやすくなると考えられる ( $n$ が高次になるほど入力文とコーパス中の 1 文との共通な形態素 N-gram が現れにくくなると考えられるためである).このままでは, 低次の $p_{n}(\cdot)$ の情報も失われてしまう．しかし，単語や文末表現の組み合わせによって発話文の感情が決まるとするならば, “隣接する形態素同士の組み合わせからなる低次の形態素 N-gram”の適合率は積極的に利用すべきである。高次の形態素 N-gram の適合率が 0 になったとしても，低次の形態素 N-gram の適合率を破棄する理由はない. 以上のことから, 形態素 N-gram の適合率の相乗平均を求めることは, 用例ベースの感情推定には不向きであると考え, 提案する新たな類似度計算式では形態素 $\mathrm{N}-\mathrm{gram}$ の適合率の相加平均を求めることとした，以上のことから，RECARE を次のとおりに定義する.

$
\operatorname{sim}_{\mathrm{RECARE}}(x, s)=\mathrm{BP} \cdot \frac{1}{\mathrm{~N}} \sum_{n=1}^{\mathrm{N}} \mathrm{FP}_{n} \cdot p_{n}(x, s)
$

## 4 評価実験

## 4.1 提案手法と従来手法の比較

提案手法では従来手法と比べ, 下記の 2 点が異なる.
^{3}$ Robust Emotion CAtegorization with Rough Emotion Corpora
}

（1） 各感情コーパスにおける“入力文の形態素 N-gram”の出現回数によって決まるぺナルティ FP の導入

(2) 形態素 N-gram の適合率の相加平均による類似度計算評価実験では上記の 2 点によって感情推定の成功率がどの程度変化するのかを調べる。

## 4.1.1 実験設定

実験には，基本的な感情であり，収集したコーパス中に比較的頻出した “喜び”, “怒り”, “嫌悪”, “希望”の 4 種類の感情カテゴリを用いた。各感情コーパスには 838 文の発話文が含まれる. 発話文は Web 上の掲示板から 8 名の作業者によって収集した. 発話文の分類先となる感情コーパスは, 作業者の主観によって決定した。また発話文の分類先は複数選ぶことを許容した.

入力となる文とその感情は次の手順で決定した。まず，感情コーパスに含まれない，別途掲示板から収集した文を無作為な順番で被験者 4 名に提示し, 被験者に文の感情を判定させる。このとき，判定結果としての感情を “喜び”, “怒り”, “嫌悪”, “希望” の中から 0 個以上を選げせる. 被験者 4 名のうち 3 名以上の判定結果が一致した文を各感情ごとに 51 文ずつ用意し, 入力文として用いる。 なお, この予備実験で入力文に割り振られた感情の数はすべて 1 つとなった.感情推定の成功条件として, 出力として得られる 4 つの感情類似度のうち, 最も値が大きい類似度の感情と, 入力文の感情が一致すれば成功とした.

上記の (1), (2)の効果を確かめるために, 実験に用いた類似度計算式は三品らの方法 (式 (2)) と RECARE（式 (8)）に加え，BLEUにFPのみを導入した $\operatorname{sim}_{\mathrm{BLEUFP}}$ （式 (7)）と, RECARE から FP を除いた $\operatorname{sim}_{\text {RECAREFP- }}$ を用いた。 $\operatorname{sim}_{\text {RECAREFP- }}$ を次のとおりに定義する。

$
\operatorname{sim}_{\text {RECAREFP}}-(x, s)=\mathrm{BP} \cdot \frac{1}{\mathrm{~N}} \sum_{n=1}^{\mathrm{N}} p_{n}(x, s)
$

## 4.1.2 実験結果と考察

類似度の計算に用いる $w_{n}$ の $n$ の値を変化させながら, 推定成功率を計算した. 図 2 に感情推定の成功率を示す. 三品らの方法で最も推定成功率が良好だったのは $\mathrm{N}=2$ を用いたときの $60.3 \%$ であり, 提案手法では $\mathrm{N}=3$ を用いたときの $81.8 \%$ であった. ここでは, まず (1)の FPを導入したことによる成功率の影響について考察する。図 2 より, FP 無しの $\operatorname{sim}_{\text {RECAREFP- で最 }}$ も良好だった成功率 $57.8 \%(\mathrm{~N}=3)$ と比べて, FP 有りの提案手法 $\operatorname{sim}_{\mathrm{RECARE}}$ の成功率 $81.8 \%$ が大きく上回っていることがわかる。同様に，FP 無しの従来手法 $\operatorname{sim}_{\mathrm{BLEU}}$ の成功率 $60.3 \%$ と比ベて, FP 有りの $\operatorname{sim}_{\mathrm{BLEUFP}}$ で最も良好だった成功率 $77.9 \%(\mathrm{~N}=1)$ が大きく上回っている.これらのことから, 形態素 $\mathrm{N}-\mathrm{gram}$ の適合率の平均の求め方に関わらず，FP の導入が成功率の向上に寄与していることがわかる.

次に (2) の，類似度計算に形態素 N-gram の適合率の相加平均を用いたことによる成功率の影

相乗平均, FP 無 L( BLEU)

$\Rightarrow$ 相乗平均, FP 有り( BLEUFP+ )

$\nabla$ 相加平均, FP 有り( RECARE)

$\triangle$ 相加平均, FP 無L( RECAREFP- )

図 2 感情推定成功率

響を考察する. $\mathrm{N}=2$ 以降で $\mathrm{N}$ が増加するにつれて, 三品らの方法の成功率は減少しているが,提案手法においては成功率の減少は認められなかった。このことから, 形態素 N-gram の適合率の相加平均を類似度計算に用いることは, 高次の $\mathrm{N}$ を用いたときの成功率の改善に効果があることがわかる.

なお，類似度計算に相乗平均を用い，FP を導入した方法 $\left(\operatorname{sim}_{\mathrm{BLEUFP}^{+}}\right)$は， $\mathrm{N}$ を増加させると急激にその性能を落としていた。この原因は, $\mathrm{N}$ が大きくなると共通の形態素 $\mathrm{N}$-gram がコーパス中に存在しなくなる割合が増加するため, 式 (6) において, 1 文中のすべての $w_{n}$ で $\operatorname{freq}_{C_{e}}(w)_{n}$ が 0 になる, という場合が増加したためであった. 提案方法においては, 類似度計算に相加平均を用いることでこの問題を解決し，Nが大きい場合においても高い性能を維持していることがわかった。

このような場合は, 共通形態素 $\mathrm{N}-$ gram が存在しないため, FP と同様に形態素 $\mathrm{N}$-gram 適合率 $\left(p_{n}(x, s)\right)$ も 0 になる. そこで, $\operatorname{sim}_{\mathrm{BLEUFP}+}$ だけではなく, 同じように相乗平均を利用している従来方法 $\left(\operatorname{sim}_{\mathrm{BLEU}}\right)$ も影響を受けると考えられる。本実験においては, 従来方法における類似度計算に式 $(2)$ を用いている. この式では $p_{n}(x, s)$ の対数をとっているために, 実装上, もし $p_{n}(x, s)=0$ であった場合は, 非常に小さな正の值にフロアリングした上で対数を求めていた. そのため, $\operatorname{sim}_{\mathrm{BLEUFP}}+$ のように急激に性能を落とすことはなかったと考えられる．このことを確認するため, 式 (2)を式 (7) と同様, 対数を用いない形に変形した上で，フロアリングをせずに実験を行ったところ， $\operatorname{sim}_{\mathrm{BLEU}}$ も $\operatorname{sim}_{\mathrm{BLEUFP}}+$ と同様， $\mathrm{N}$ が大きくなるとその性能を急激に落とす結果となった。

## 4.1.3 感情推定に有効な形態素 N-gram

提案方法（や三品らの方法）においては, 各感情コーパス中に含まれる形態素 N-gramのうち, 感情ごとに出現頻度に偏りがあるものが, 感情推定において重要な意味を持つ. そこで, どのような形態素 N-gram が提案方法にとって有効に働いたのか, といったことについて調査を行った.

感情推定実験において, 三品らの方法では感情判定に失敗し, 提案方法で成功した入力サンプルを抽出し, その中に含まれるすべての形態素 N-gram について, 各感情コーパス内での出現頻度を調べた. 特に正解感情のコーパスに偏って頻出している形態素 N-gram を表 $3 \sim 6$ に示

表 3 喜びの文の感情推定に寄与していた形態素 N-gram のコーパス別出現回数の一部

表 4 怒りの文の感情推定に寄与していた形態素 N-gram のコーパス別出現回数の一部

表 5 嫌悪の文の感情推定に寄与していた形態素 N-gram のコーパス別出現回数の一部

表 6 希望の文の感情推定に寄与していた形態素 N-gram のコーパス別出現回数の一部

す.これを見ると，「喜び」の“ありがとう／感動詞”や“১／名詞”，「怒り」の“むかつく／動詞”,「希望」の “たい／助動詞，です／助動詞” 等, 感情を表現するであろうと思われる形態素 N-gram が感情推定に寄与していたことがわかる.

一方,「喜び」の “でし／助動詞，た／助動詞”や「嫌悪」の “顔／名詞” 等, 一見すると感情とは無関係と思われる形態素 N-gram も存在した。これらについては, 今後別の角度からの検証（例えば，Web 掲示板において喜びを表現する時は，「〜でした」のような丁寧な表現が用いられることが多い，といった仮説を立て，統計的に検証する）を行う必要があるが，今まで発見されていなかった事実を暗示するものである可能性がある。また，「怒り」に“職場／名詞”, “仕事／名詞”,「嫌悪」に“上司／名詞”, “会社／名詞”がはいっていることも，「Web の掲示板

においては, 仕事に対する不満や愚痴等が多い」といった事実を暗示しているのかもしれない.

## 4.2 FP の導入効果の検証

FP はコーパス中に含まれる以下のふたつの文の影響を低減する目的で提案された.

（1）感情が異なっていても，たまたま表現や文型が類似している文

(2) コーパスを構築する際に誤って分類された文

FP がこうした文に対して，どの程度頑健性を持っているかを検証するため，感情コーパス内に存在するこうした文を増減させ，その時の性能を評価した。また，FPのかわりにTF-IDF を用いた時の性能についても評価を行った.

## 4.2.1表現や文型が類似している文の影響

“入力文と感情が異なっているが，たまたま表現や文型が類似している文”の影響について， こうした文を各感情コーパスから削除した時の性能を評価することで検証を行った。

“たまたま表現や文型が類似している文”として “入力文とは感情が異なるコーパス中において，BLEU スコアが高い文”と定義し，各感情コーパスにおいて，このような文を BLEU スコア順に上位から $n$ 文削除した。また条件を揃えるため，正解となる感情コーパスからは乱数で $n$ 文削除した.

感情の推定成功率を図 3 に示す。ここで横軸は，コーパス 1 つあたりの除去した文数を表す. この結果を見ると, 三品らの方法, 提案方法どちらも “たまたま表現や文型が類似している文”

図 3 表現等が類似している文の影響

を削除することで性能が向上していることから，これらの文の影響を受けていたことがわかる。 しかし, 提案方法では文を一切削除しなかった場合においても比較的性能の低下が抑えられていることから，その目的である“たまたま表現や文型が類似している文”による影響を抑えることができていることがわかった.

## 4.2.2 感情分類を誤った文の影響

次に，各感情コーパス中で感情分類を誤った文を意図的に増加させ，その時の性能を評価した. 具体的には，各感情コーパスから $n$ 文を乱数で抽出し，それらを他の感情コーパスへと均等に混入させることで, 感情分類を誤った文を増加させた。

感情推定成功率を図 4 に示す。ここで横軸は，コーパス 1 つあたりの混入させた文数を表す. この結果を見ると, 混入する文が増加するに従って両方法ともに性能が低下し, 感情分類を誤った文の影響を大きく受けていることがわかる。しかし, 両者の性能差（表 7）はわずかではあるが拡がっており，提案方法の方が若干ではあるが，こうした文の影響を低減できていることがわかった。

図 4 感情分類を誤った文の影響

表 7 感情分類を誤った文に対する性能差

## 4.2.3 TF-IDF の導入との比較

FP の有効性を確認するため，FPのかわりに TF-IDF を用いた実験を行った。ここでは，TFIDF を FP と同様, 0 から 1 の範囲の値とするため, $t f$ 值として拡大正規化索引語頻度 (北, 津田, 獅々掘 2002)を用い, また $i d f$ 値も通常の $i d f$ 値 (Jones 1972)を式 (13) を用いて正規化し,下記のような計算式による TF-IDF 值を用いた.

$
\begin{aligned}
& \operatorname{sim}_{\mathrm{TFIDF}}(x, s)=\mathrm{BP} \cdot \frac{1}{\mathrm{~N}} \sum_{n=1}^{\mathrm{N}} t f i d f_{n} \cdot p_{n}(x, s) \\
& t f i d f_{n}=\frac{1}{\left|G_{n}(x)\right|} \sum_{w_{n} \in G_{n}(x)} t f_{n} \cdot i d f_{n} \\
& t f_{n}=\left.\{\begin{array}{lll}
0.5+0.5 \cdot \frac{\text { freq }_{C_{e}\left(w_{n}\right)}}{\max _{c \in C} f r e q_{c}\left(w_{n}\right)} & \text { if } & \text { freq }_{C_{e}}\left(w_{n}\right)>0 \\
0 & \text { if } & \text { freq }_{C_{e}}\left(w_{n}\right)=0
\end{array}\right. \\
& i d f_{n}=\left.\{\begin{array}{lll}
\frac{\log \frac{|C|}{D\left(w_{n}\right)}+1}{\log |C|+1} & \text { if } & D\left(w_{n}\right)>0 \\
0 & \text { if } & D\left(w_{n}\right)=0
\end{array}\right.
\end{aligned}
$

ここで $D\left(w_{n}\right)$ は $w_{n}$ を含むコーパスの数を返す関数である.

TF-IDF を用いた感情推定実験の結果を図 5 に示す。この結果を見ると，すべての $\mathrm{N}$ において FPのほうが 2.5 ポイント〜8 ポイント程度上まわっており, FP の有効性が認められた.

図 5 TF-IDF を用いた感情推定結果

## 4.3 提案手法と SVM の比較

三品らの方法とは異なる従来手法の一つとして, 良好なクラス分類が可能な SVM (Support Vector Machine) による感情推定を行い, 提案手法との比較を行った. 本稿では学習, 分類を行

## 4.3.1特徵ベクトルの生成

SVM を用いて感情推定を行うために，まず感情コーパスの各発話文から特徴ベクトルを生成する必要がある．今回は特徴べクトルとして, 1 文中に出現する $w_{n}$ の出現回数をべクトルして表現したものを用いた，特徴べクトルを生成するために，まず考慮する $w_{n}$ の最高次数 $\mathrm{N}$ を決め, それ以下の各 $n$ について, 感情コーパスから得られる形態素 N-gram すべてに通し番号を振った（このとき，形態素 N-gram が低次であるほど若い番号を振ることとした），次に，感情コーパスから取り出した一つの発話文 $s$ の形態素 N-gram を $m, s$ における $m$ の出現回数を $f$, それ以外の次元の值を 0 とする特徴べクトルを生成した. 例えば最高次数を $\mathrm{N}_{\text {max }}=2$ とした場合, 形態素 unigram と形態素 bigram を用いて発話文から特徴ベクトルを生成する. この時,特徴ベクトルの次元数は, コーパス中に出現するすべての unigram と bigram の種類数となる. $\mathrm{N}_{\text {max }}=1$ とした特徴ベクトルの例として, “ありがとうございました!! !という発話文の場合, 各形態素 unigram に割り振られる番号を表 8 のとおりとすると, “ありがとうございました！！”の特徴べクトル $v$ は以下のように表現される.

$
v=(0,1,0,1,1,0,0,1,2,0, \ldots, 0)
$

## 4.3.2 クラス分類モデルの構築

クラス分類モデルは感情コーパスの数と同じ数だけ構築する．例えば，“怒り”の分類モデルを構築する場合, ポジティブデータを“怒り”のコーパスに含まれる発話文から生成した特徴べ

表 8 形態素 unigram に対応する番号

^{4}$ http://svmlight.joachims.org/
}

クトル，ネガティブデータを“怒り”以外の感情コーパスに含まれる発話文から生成した特徴べクトルと定義し, 学習を行う.

本稿で学習に用いるポジティブデータの量はネガティブデータの量に比べて少なく，デフォルト值では良好な分類性能が得られない。そこで cost factor $\left(C_{+} / C_{-}\right)$の計算には，Morik らが定義した次の式を用いた (Morik, Brockhausen, and Joachims 1999).

$
\frac{C_{+}}{C_{-}}=\frac{\text { number of negative training examples }}{\text { number of positive training examples }}
$

cost factor 以外の学習パラメータはデフォルト値を用いた。 また学習パラメータで与えるカー ネルのタイプもデフォルトである線形カーネルを用いた.

## 4.3.3 実験設定

実験に用いた感情コーパスは， 4.1 節と同様に “喜び”, “怒り”, “嫌悪”, “希望” の各 838 文であり，入力文も 4.1 節と同様の文を用いた. 成功条件は, 入力文の感情と出力感情が一致すれば推定成功とした。

## 4.3.4実験結果と考察

表 9 に推定成功率を示す. SVM で最も高かった推定成功率が $\mathrm{N}=2$ を用いたときの $80.4 \%$ であり，提案手法の中で最も高かった成功率 $81.8 \%$ と比べると 1.4 ポイント程度の差になっている.このことから, 発話文の感情推定において, 適切な $\mathrm{N}$ を選択すれば，SVM と提案手法は同程度の感情推定成功率が得られることが示された。

しかし，表 9 を見ると， $\mathrm{N}_{\text {max }}>2$ を用いた場合の SVMによる推定精度が急激に減少していることがわかる．これは“感情コーパス中で出現回数が少ない高次の形態素 N-gram”を素性として利用している事例に対する過学習が原因であると考えられる。一方提案方法においては, $\mathrm{N}$ を増加させていってもその性能にはほとんど差がなく, “出現回数が少ない高次形態素 N-gram” の影響をほとんど受けていないことがわかる。これは, RECAREの計算を相加平均で行ったこ

表 9 SVM と提案手法の感情推定成功率

との効果であると考えられる.

一般に感情コーパス中の文数などによって最適な $\mathrm{N}$ は異なることが考えられ，SVM の場合は，実際の応用に際し評価実験を通して最適値を探索することが必要である。一方 RECAREであれば，十分大きな $\mathrm{N}$ を設定しておくことで，（計算量や記憶容量等の問題を除けば）常に最適な推定精度を得ることが可能となる。

更に, 例えば 6 形態素からなるある特定の文末表現がある特定の感情に数多く出現する, といったことがあった場合, SVMであれば，全体として考慮すべき形態素の長さを決定する必要があるが，RECARE ならば，その特定の文末表現を利用するためだけに $\mathrm{N}=6$ と設定してしまっても，悪影響をほとんど及ぼさない。こうしたことから，SVMに比べて RECAREが有効であることが示された。

## 5 まとめ

本稿では, “感情が異なっていても，たまたま表現や文型が類似している文”や, “コーパスを構築する際に誤って分類された文”の影響を改善し, 高い精度で感情推定を実現するための類似度計算手法である RECARE を提案した。

入力文で使われている形態素 N-gram が, 各感情コーパス間でどの程度偏っているか, といったことを表す值であるFP を定義し，BLEUをべースとした類似度計算に導入した．更に，高次の N-gram に対する学習サンプル数の不足からくる，いわゆる「ゼロ頻度問題」に対処するため, 相乗平均で計算される BLEUをべースとした類似度を変形し, 相加平均を用いて類似度計算を行う方法を提案した。

評価実験の結果, 従来手法に比べ, 推定精度が $60.3 \%$ から $81.8 \%$ と大きく向上し, また問題としていた 2 種類の文のうち，特に“たまたま表現や文型が類似している文”の影響を効果的に低減させていることを確認した。 また形態素 N-gram を素性に用いたSVMによる感情推定に比べ，提案手法では $\mathrm{N}$ が大きい場合に推定精度の低下がほとんど見られず，発話文の感情推定には提案手法が有効であることを示した.

今後, 「希望」や「自信」,「脅迫」といった更に複雑な感情を加えた時の性能の評価, また,必要があれば推定結果として複数の感情を出力することが可能となるようなアルゴリズムの改善について検討を行う予定である.

## 謝 辞

本研究の一部は, 科学研究費補助金（挑戦的萌芽研究, 課題番号 21650030）の補助を受けて行われた。記して謝意を表す.

## 参考文献

Jones, K. S. (1972). "A statistical interpretation of term specificity and its application in retrieval." Journal of Documentation, 28, pp. 11-21.

Kruger, J., Epley, N., Parker, J., and Ng, Z.-W. (2005). "Egocentrism over e-mail: Can we communicate as well as we think?" Journal of Personality and Social Psychology, 89 (6), pp. 925-936.

Mishina, K., Ren, F., and Kuroiwa, S. (2006). "An emotion similarity calculation using dialog sentence corpora." In Proceedings International Symposium on Artificial Intelligence and Affective Computing 2006, pp. 168-176.

Morik, K., Brockhausen, P., and Joachims, T. (1999). "Combining statistical learning with a knowledge-based approach — a case study in intensive care monitoring." In Proceedings 16th International Conf. on Machine Learning, pp. 268-277.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2001). "BLEU: a method for automatic evaluation of machine translation." In Proceedings 40th Annual Meeting on Association for Computational Linguistics, pp. 311-318.

徳久雅人, 前田浩佑, 村上仁一, 池原悟 (2008). 対話行為と情緒を解析するための文末表現パターンの作成. 電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション, 107 (480), pp. 45-50.

北研二, 津田和彦, 獅々掘正幹 (2002). 情報検索アルゴリズム. 共立出版, 東京.

小林正幸 (2001). なぜ、メールは人を感情的にするのか. ダイヤモンド社.

日本語記述文法研究会 (編) (2009). 現代日本語文法. くろしお出版.

加藤由樹，杉村和枝，赤堀㑆司 (2005). 電子メールを使ったコミュニケーションにおいて生じ

る感情への電子メールの内容の影響. 日本教育工学会論文誌, 29 (2), pp. 93-105.

杉谷陽子 (2007). メールはなぜ「話しやすい」のか?：CMC(Computer-Mediated Communication)

における自己呈示効力感の上昇. 社会心理学研究, 22 (3), pp. 234-244.

目良和也, 市村匠, 相沢輝昭, 山下利之 (2002). 語の好感度に基づく自然言語発話からの情緒生起手法. 人工知能学会論文誌, 17 (3), pp. 186-195.

## 略歴

三品賢一：2006 年徳島大学工学部知能情報工学科卒業. 2008 年同大大学院先端技術科学教育部システム創生工学専攻博士前期課程了。2010 年同博士後期課程中退. 在学中は感性情報処理の研究に従事. 電子情報通信学会会員.
土屋誠司：2002 年三洋電機株式会社入社. 2007 年同志社大学大学院博士後期課程修了. 博士 (工学). 同年徳島大学大学院助教. 2009 年同志社大学理工学部インテリジェント情報工学科助教. 主に，知識処理，意味解釈の研究に従事. 言語処理学会, 人工知能学会, 情報処理学会, 電子情報通信学会各会員.鈴木基之：1993 年東北大学工学部情報工学科卒業. 1996 年同大大学院博士後期課程を退学し, 同大大型計算機センター助手. 博士 (工学)。2006 年〜2007 年英国エジンバラ大学客員研究員. 2008 年徳島大学大学院ソシオテクノサイエンス研究部准教授, 現在に至る。音声認識・理解, 音楽情報処理, 自然言語処理, 感性情報処理等の研究に従事. 電子情報通信学会, 情報処理学会, 日本音響学会, ISCA 各会員.

任福継：1959 年生. 1982 年北京郵電大学電信工程学部卒業. 1985 年同大学大学院計算機応用専攻修士課程修了. 1991 年北海道大学大学院工学研究科博士後期課程修了. 博士 (工学). 広島市立大学助教授を経て，2001年より徳島大学工学部教授. 現在に至る. 自然言語処理, 感性情報処理, 人工知能の研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, 電気学会, AAMT, IEEE 各会員.