DEIM Forum 2013 E3-2

感情変化に着目した振り返り・共有を促す体験記録ハイライトの提案
武田

十季†

浦

哲也†

熊野 史朗††

小笠原 隆行††† 西田

定方

徹†

稔†

小林

京介†

† NTT サービスエボリューション研究所 〒 239–0847 神奈川県横須賀市光の丘 1-1†† NTT コミュニケーション科学基礎研究所 〒 243–0198 神奈川県厚木市森の里若宮 3-1††† NTT マイクロシステムインテグレーション研究所 〒 243–0198 神奈川県厚木市森の里若宮 3-1
E-mail: †takeda.toki@lab.ntt.co.jp
あらまし

近年の各種記録メディアの普及により，個々人の日常生活における見聞きした体験をデジタル記録として残すことが容易になった．一方で，蓄積される記録が膨大になるにつれ，活用されないまま記録が埋もれてしまうという問題がある．本研究では，記録の活用を促すために，体験時の感情状態を推定し，膨大な体験時の記録の中から個人にとって価値の高い部分の記録をハイライトすることを提案する．本提案の実現に向けて，ハイライトする体験
時の記録を「想起しやすく伝えたくなる記録」と定義し，本定義を満たすハイライト抽出のために「感情が大きく変化し，感情が高ぶる体験ほど，その人にとって想起しやすく伝えたい体験」という感情状態の仮説を立た．本仮説の妥当性を検証するために，映画などの映像視聴の体験を対象とした被験者実験 (11 名) を行い，感情が大きく変化し，感情が高ぶった場面での刺激映像の静止画を提示する方法と，それ以外の場面の静止画を提示する方法とを比較した．
その結果，前者の方が被験者にとって想起しやすく伝えたくなるという有意な傾向が確認された．さらに，皮膚電気
活動からの感情変化の推定に取り組み，センサデータの時間変化に着目することが有効であることの可能性を示した．
キーワード

感情推定，ハイライト，体験の想起，記憶支援，情報管理，ライフログ，生体信号

Toki TAKEDA† , Tetsuya URA† , Shiro KUMANO†† , Takayuki OGASAWARA††† ,Kyosuke NISHIDA† , Toru SADAKATA† , and Minoru KOBAYASHI†† NTT Service Evolution Laboratories
1-1, Hikarinooka Yokosuka-Shi, kanagawa 239–0847 Japan†† NTT Communication Science Laboratories
3-1, Morinosato Wakamiya, Atsugi-shi, Kanagawa, 243–0198 Japan††† NTT Microsystem Integration Laboratories
3-1, Morinosato Wakamiya, Atsugi-shi, Kanagawa, 243–0198 Japan
E-mail: †takeda.toki@lab.ntt.co.jp

1. は じ め に
近年の記録メディアの普及により，個々人の日常生活の活動の GPS 機能付き記録メディアや，スケジュール管理アプリ等が普及し，振り返りたい対象が明確な場合，日時や場所をキーワードとした記録の探索が可能となった．

や状況をライフログとして取得・蓄積する環境が整いつつある．

しかし振り返りたい対象が明確でない場合は，そもそも検索

特に，人が日常生活の中で体験する「できごと」，つまり，見のためのキーワードを想起することができない．また，振り返たことや聞いたことなどをデジタル記録として残すことは容易るきっかけが与えられないまま時が経過すれば，振り返る動機になり，体験時に残される記録は膨大化している．膨大な記録

自体も忘却してしまうことがある．さらに，友人との偶然な再を全て振り返ろうとすれば多大な時間と労力を割くことにな

会時や久しぶりに話す祖父母との電話時など，限られた時間内

る．このため，活用したい記録を効率的に探し出す手法が求めや特別な状況下においては，伝えたいことを思い出せないまられる．一方で，近年はデジタルカメラやスマートフォンなど

ま，共有できずに終わる場合もある．本研究では，振り返る記

録の対象が不明確な場合，または，振り返りの動機自体を忘却行う．

して思い出すことができない状況下において，携帯電話画面や本論文の構成は以下のとおりである．まず 2 章で関連研究を

フォトフレーム等の提示画面から，個人にとって価値のある記

述べ，3 章では感情を用いた体験記録のハイライトのために有録の部分，すなわち「ハイライト」を提示することで，思い出効な感情状態の仮説と検証実験について述べる．4 章では，感すきっかけを与え，体験時に残される記録の振り返りや共有を情状態を推定するための手法の提案，検討について述べ，5 章

促すことを提案する．

にてまとめと課題について述べる．

ここで，個人にとって価値のある記録とはどのようなものであろうか．日常生活において，体験を他人に共有する際には，

2. 関 連 研 究起こった「できごと」と共に，「感情」などの主観的な情報を本研究では，体験時に推定される体験者自身の感情状態を利加えて話されることがよくある．こうした傾向は日記や Blog，

用して，体験記録のハイライトを行う．以下に，感情推定に関SNS 上で「できごと」を共有する際にもみられる．つまり，人する従来研究の動向を述べ，本研究の位置づけを明確化する．

は，「できごと」と「感情」を同時に記録し伝えることで，振り工学分野においては，複数センサを用いて人の感情を自動的

返りや他人への共有における情報の価値を高めている．さらに，に推定する技術が盛んに取り組まれてきた．特に，生体信号

楽しい体験や悲しい体験など様々な「感情」を伴った「できごデータを用いて感情状態を推定する研究は多数存在する [1–5] ．

と」のうち，振り返りたい体験内容は，振り返り時の感情状態

これらの感情推定分野における一般的な手法は，感情状態を喚によって変わり得る．また，共有時においては，共有する相手起するために映像や音，絵などの刺激を与え，その時の生体信によって伝えたい体験内容が変わり得る．ゆえに，今は「楽し号を計測し，ポジティブ・ネガティブなどのあらかじめ特定した

かった体験」を伝えたい，今は「悲しい体験」は思い出したく感情の種類の中からユーザ自身によって評価された感情データないというように，「感情」をキーワードとして体験を想起でき，と，取得される生体信号データとの関係を学習させている．具体験記録を選択，整理できることは重要である．しかし，膨大体的には，取得される生体信号データに対して，様々な演算をな体験の全てに対して，「できごと」への「感情の付与」をその行って出力される特徴量と，ユーザが評価した特定の感情デー

人自らが日記や Blog のような形で記録に残すことは現実的にタとを合わせて教師データとし，感情状態の分類を行っている．

困難である．このため，この人間の記録活動を自動化できるこ

しかし，いずれの従来研究においても，実験環境下におけるとが望まれる．
以上より本研究では，体験時に記録された情報のうち，記録から一定期間経過の後に閲覧した際，以下の 3 つを満たすもの
を，個人にとって価値のある記録と定義し，ハイライトすべき体験の記録とする．
（ 1 ）「できごと」を想起しやすい記録であること（ 2 ） その時の「感情」を想起しやすい記録であること（ 3 ） 伝えたい記録であること

感情推定の精度向上への取り組みが主となっており，感情の推定結果をユーザへ提示し，日常生活に役に立てようとする試みはほとんどされていない．
一方で，”Aﬀect Aura” [6] は，感情の推定結果を，日常生
活においてユーザへ提示することによって，利点を得ようとす
る新たな試みを行っている．この研究では，4 日間にわたりデスクワークにおける１時間ごとの感情推定を行い，5 日後に，4 日間の活動内容の概要に加え，推定された感情状態をユーザへ視覚的に提示することで，感情状態の可視化はユーザの振り

また，個人にとって上記定義 (1)〜(3) を満たす記録をハイライ

返りの活動において役に立つことを実験的に示している．しかトするために，体験時に生じる「感情」の時間変化を利用する

し，”Aﬀect Aura”では，推定された感情状態の可視化のみにことに着目する．なお，本研究では，体験した「できごと」や限られており，膨大な記録から振り返りや共有を促すような記生じる「感情」を情報として記録したものを，「体験記録」と呼録を抽出する，という視点からは取り組まれていない．また，

ぶことにする．
「できごと」は，写真や映像，音声記録等のこと

体験者自身に特化した体験記録のハイライトを抽出するのためを指し，「感情」については 3 章にて説明する．

に，有効な感情状態を明らかにする研究も行われていない．

本提案の実現に向けた本研究における取り組みは以下の通りである．

•

体験者自身にとって，想起しやすい体験記録，人に伝えたくなる体験記録をハイライトするために有効な感情状態を明
らかにする

•

ハイライトに有効な感情状態を推定するための手法を提案し検討を行う

一方で，コンテンツのハイライト技術の研究は盛んに取り組まれている．例えば，三浦ら [7] の研究では，料理の映像記録
から，調理動作及び料理や素材の状態を示す部分を重要なシーンとして，料理中のハイライト抽出を行っている．森山ら [9]は，ドラマ映像の心理的内容に基づいた映像要約の生成を提案している．これは，映像の物理的様相，例えば，カット編集による効果、BGM、効果音、などのトラック構造に現れる心理的演出のパターンと，映像が伝える心理的内容の対応関係を用

前者の取り組みでは，映画などの映像視聴の体験を対象としいて，心理的に重要な箇所のみを切り出して要約映像を生成すた被験者実験を行い，ハイライトに有効な感情状態を明らかにるものである．中村ら [8] は，楽曲動画の特徴に加え，動画にする．後者の取り組みでは，映像視聴時の皮膚電気活動の測定

投稿されるコメントを用いて視聴者の盛り上がりを考慮し，サ値から，ハイライトに有効な感情状態を推定する手法の検討をムネイル動画の自動生成を行っている．

図 1 感情モデル

しかし，いずれの研究も，万人に有用なコンテンツの抽出を

図 2 体験記録ハイライト抽出に用いる感情状態の仮説:(I) 感情の大きな変化が認められ，(II) 変化先の感情状態が強い状態

目指しており，そのための情報としてコンテンツの物理的構造や物理的特徴に注目している．他方，本研究では，体験者ごとの体験に対する受けとめ方に合わせてハイライトされる部分は変化することが望ましいと考え，視聴する体験者自身にとってのハイライト抽出を目的としている点で大きく異なる．そのため，体験時に推定される感情状態を用いることで，個人に適した体験の記録のハイライトに取り組む．

3. 感情を用いた体験記録ハイライト

から，本研究では，本感情モデルを採用することは適しているとする．ここで，本感情モデルを用いて，1.「できごと」を想起しやすい記録，2. その時の「感情」を想起しやすい記録，3.
伝えたい記録，を取得するにはどのようにしたらよいだろうか．
我々は，以下に示す I，II を共に満たす感情状態を抽出することで，これらの体験記録を取得できるものと仮説を立てた．

I 感情の大きな変化が認められる
II 変化先の感情状態が強い

本研究では，体験時に推定される感情状態を用いた，振り返りや共有を促すハイライト抽出を実現するにあたり，ハイライ
トすべき体験記録をここで述べる感情状態が強い状態とは，図 2 に示す感情モデル
上において，中心から同心円上に広がる方向で，任意の閾値以上の状態を指す．I をあげた理由は，「できごと」が生じて刺激（ 1 ）「できごと」を想起しやすい記録であることが与えられると感情は変化するが，変化前から大きく異なる感（ 2 ） その時の「感情」を想起しやすい記録であること

情状態に変わるほど，その「できごと」は本人にとって特別な（ 3 ） 伝えたい記録であること意味を持つ場合があるからである．例えば，辛い思いをしていと定義する．本章では，本定義を満たすアプローチとして用いる時に，友人から言われた一言によって，嬉しい感情に変わっる感情状態の仮説を立て，仮説検証のための被験者実験と，そた場合，その一言を得た「できごと」は，特別な体験と考えら

こから得られた結果について述べる．

れる．II をあげた理由は，前述したとおり，感情の強さと記憶

3. 1 感情モデルと記憶の関係の残りやすさは関係性があることが示されているため，日常の体験時の感情状態を測定可能な情報として抽出し，さらに被体験の共有の場においても，「できごと」と「感情」を想起しや験者が自分自身の感情状態を評価可能とするために，感情を定すいことが期待されると考えられるからである．なお，感情が義する必要がある．感情には様々なモデルが提案されているが，大きく変化した後，感情状態が依然として強い状態で滞留する

記憶と感情の間の関係性をよく表すモデルの一つとして，図 1

場合もハイライトすべき条件として考えられるが，「できごと」

で示すような，高覚醒-低覚醒を表す覚醒度と，ポジティブ-ネガ

は感情の変化部分で起こると考え，今回は変化部分のみに着目

ティブを表すバランス度の二軸から構成される感情モデル [10]した．

がある．このモデルの各軸は，記憶に影響を与える重要な要素

3. 3 感情状態の仮説検証であることが示唆されている．例えば，覚醒度が高いと記憶に

本実験の目的は，I と II を共に満たす体験シーンを提示した

残りやすい覚醒度説 [11] や，ポジティブな感情を喚起した出来場合はそうでない体験シーンを提示した場合と比べて，より体事が記憶されやすいというポジティブ優位説 [12] ，ネガティブ

験を想起しやすく，他者へ伝えたいと感じやすい，という仮説

な感情を喚起した出来事が記憶されやすいというネガティブ優が満たされるかを明らかにすることにある．体験シーンとは，位説 [13] 等が存在する．また，本モデルは自己の感情状態のリ

被験者が一定時間ごとに自身の感情を評価した場合の，評価のアルタイムな評定に対して優れていることが示されており [14]1 区間の体験記録を指す．ここで，3. 2 で述べた感情状態と記，感情推定の従来研究でも多く用いられている [5] [6] [15]．

憶の残りやすさに関する従来研究の実験 [11–13] では，一般的

3. 2 本研究での仮説に，感情を喚起するような刺激体験を与え，喚起された感情状

3. 1 で述べた感情モデルは，記憶に対して重要な要素から構態ごとに，体験後に思い出せた「できごとの数」による定量的成されていることと，自己評定のリアルタイム性を備えることな比較が行われている．しかし，本研究では日常レベルでの体図 3 感情モデルへ入力するために用いた端末画面

験記録の活用のしやすさを求めることを目的とするため，「でき

図 4 サムネイル抽出の概要

ごとの想起しやすさ」「感情の想起のしやすさ」「伝えたさ」という主観的な評価を行う．
本実験では仮説の検証に向けて，被験者の感情状態に変化を与えるために，被験者に対して映像による刺激を提示した．まず，被験者 (A とする) へ映像を提示し，その間，一定時間ごとに指示を与えて，その時の感情状態を評価させた．次に，映像視聴という体験を通して，シーンごとの「できごと・感情の想起しやすさ」と「伝えたさ」を評価するために，視聴から数日
後，映像を見たことがない別の被験者 (B とする) に対して，ある条件で抽出された映像のサムネイルについて説明させる実験を行った．以下に，実験内容の詳細について述べる．
まず，被験者 (A)11 名 (男性:8 名，女性:3 名) に対して約 90

図 5 感情モデルでのハイライトシーンサムネイル抽出

分間 (全 6 作品，1 作品:5〜20 分) の映像を視聴させた．映像
内容は，感情を効果的に喚起させるために，作品中の登場人物

き，作為的なサムネイル抽出にならないように，各分割区間内への感情移入を促すことが期待できる実写映画を選択した．被での中央地点周辺において登場人物が映っている部分をサムネ

験者には，記憶に何かしらの影響を与えないようにするために，

イルとして用いた．

主観評価による視聴時の感情データの収集を目的としているこ「ハイライトシーンサムネイル」の選択条件を以下に示す．

とのみを伝えてある．映像視聴中には，約 2〜3 分間隔でベル

いま，被験者が感情モデルの座標上に各時刻 t = t1 , t2 ,.. におを鳴らし，ベルが鳴ったタイミング時の被験者自身の感情状態

いて入力を行ったとき，図 5 のように，時刻 ti の入力座標をを評価させる．感情評価は前述した感情モデルを用いて評価さri (xi ,yi )，時刻 ti +1 の入力座標を ri+1 (xi+1 ,yi+1 ) としたとき，√せるが，評価と入力方法は [8][9] らの研究を参考に，図 3 のよ
うに感情モデルを端末のタッチディスプレイ上に提示して，モデル上を直接指でタッチすることで評価と入力を行わせる．被験者にはあらかじめ感情モデルの各軸の説明を行い，モデルの中心部をニュートラルとして，評価時の感情がニュートラルな2
x2i+1 + yi+1
>R

ri+1 =
かつ(1)√

di+1 =

2kx2i+1 − x2i k + kyi+1− yi2 k > D(2)

状態からどれだけ離れているかで評価を行うよう伝えてある．

を満たす入力座標の中から，kri+1 + di+1 k の値の降順で上映像視聴から 10 日〜13 日経過後，映像を視聴した被験者

位から感情の入力シーンを選択する．ここで R と D は以下(A) に映像から抽出したサムネイルを提示し，そのサムネイルの条件で決められる閾値である．今回は，R を各被験者のについて映像を視聴していない別の被験者 (B) に対して説明さ

0.8 ·( 1 ∑NN)

i=1

ri ，D を 0.8 ·( 1 ∑NN)

i=1

di とした．N は感情せた．サムネイルは図 4 に示すように，視聴時に入力された感の入力回数とする．
「比較シーンサムネイル」は，R を各被験者

情評価データを元に，仮説で立てた感情状態のシーンを切り抜の 0.4 ·

いた「ハイライトシーンサムネイル」と，仮説と対局のシーン

かつ，di+1 < D を満たす入力座標の中から，ランダムで感情として，感情の変化が小さく，変化後の感情状態がニュートラの入力シーンを選択したものとする．

( 1 ∑NN

i=1)

ri ，D を 0.4 ·( 1 ∑NN

i=1)

di とし，ri+1 < R，ルに近い時のシーンを切り抜いた「比較シーンサムネイル」の被験者 (A) には，上記条件によって抽出された 4 シーン以内

２種類を含む．ここで述べるシーンとは，感情評価の入力区間の「ハイライトシーンサムネイル」と，4 シーン以内の「比較である約 2〜3 分間を指しており，1 シーンにつき 3 つのサム

シーンサムネイル」，計 8 シーン以内をランダムに提示し，各ネイルを提示する．3 つのサムネイルは，1 シーンをさらに 3

シーンに含まれる 3 つのサムネイルが何を表しているのか，聞分割した中から 1 サムネイルずつ選択したものである．このとき役の被験者 (B) に対して説明させた．各シーンの説明終了時に，説明した被験者 (A) に，図 6 に示す「1. サムネイル周辺

図 6 主観評価項目

図8

感情モデルの象限の定義と推定する感情変化のパターン

その検証実験について述べる．

4. 1 感情変化推定手法
4. 1. 1 従来手法による感情変化推定
本研究の推定対象の感情状態は，「I. 感情の大きな変化が認められ II. 変化先の感情状態が強い」状態に加え，「どの感情状態からどの感情状態へ変化したか」という感情状態の内容も含めて推定することを目指す．感情モデルを用いた感情推定の従来研究では，「高覚醒度-低覚醒度」や「ポジティブ-ネガ
ティブ」の 2 分類推定や，À高覚醒度かつポジティブ，Á高覚
図7

醒度かつネガティブ，Â低覚醒度かつポジティブ，Ã低覚醒度

実験結果

かつネガティブ，Äニュートラル，の 5 分類推定など，感情変化ではなく，感情モデル上における象限の推定に関して多くのできごとを想起しやすかったか」「2. サムネイル周辺の感情を想起しやすかったか」「3. 相手に伝えたいと思ったか」という評価項目に対して 7 段階で評価を行わせた．

3. 4 実 験 結 果

取り組まれてきた [2] [5] [4] ．いま，本研究の推定対象である，大きな感情の変化を推定するために，図 8 に示すように

U0 ,UP H ,UN H ,UN L ,UP L と，感情モデル上を５つの象限に分けて，各象限間の遷移を感情変化の粒度とする．

実験結果を図 7 に示す．縦軸は「ハイライトシーンサムネイ
ル」と「比較シーンサムネイル」に対する 7 段階評価の回答に，

1〜7 点でスコア付けを行ったものの全被験者 (11 名) の平均値を表している．3 つの評価項目に対して「ハイライトシーンサ
ムネイル」と「比較シーンサムネイル」の結果に差があるか t
検定を行ったところ，いずれの評価項目においても，2 種類のサムネイルの間には p < .05 の有意差がみられた．

ここで，U0 から UN H への感情変化の推定を例にあげる．感情入力区間 ti−1 ∼ti と ti ∼ti+1 のセンサデータから演算によって算出される特徴ベクトルを Si ，Si+1 としたとき，従来の象限の推定は入力: Si ⇒ 出力: U0
入力: Si+1 ⇒ 出力: UN H

以上の結果より，I. 感情の大きな変化が認められ，II. 変化先と表すことができる．しかし，上記手法による感情変化推定での感情状態が強い，体験シーンを提示した場合はそうでない体は，U0 の推定と UN H の推定の２段階の推定を踏むため，精度験シーンを提示した場合と比べて，1.「できごと」を想起しやが低下してしまう問題があげられる．また，上記手法では感情

すい 2. その時の「感情」を想起しやすい変化を検出するのに有効な特徴量を十分に活用できていないと

3. 伝えたい，ということが示された．これは，仮説が妥当であることを示唆する．
よって体験記録のハイライト抽出に，感情状態 I，II を用いる
ことは有効であるといえる．

4. 感情変化推定技術
3 章の被験者実験では，体験の振り返りや共有時に体験記録の中からハイライトして提示するためのハイライト抽出方法に，I. 感情の大きな変化が認められ II. 変化先の感情状態が強い，という感情状態を用いることが有効であることを示した．
本章では，I と II を満たす感情状態をセンサを用いて推定する上で，従来の感情推定手法の課題を述べ，新しい手法の提案と予想される．

4. 1. 2 提案手法による感情変化推定
本研究では，感情の変化そのものを推定するために，象限の遷移 U0 → UN H をパターン P0→N H とおき，
入力: Si , Si+1 , J(Si , Si+1 ) ⇒ 出力: P0→N Hの よ う に ，感 情 の 変 化 を パ タ ー ン Pn→m

( n=0, P H, N H, N L, P L m = P H, N H, N L, P L |n 6= m ) と表すことで，パターンの分類問題に取り組むことを提案する．このように象限の２区間を推定対象とすることで，象限 Un 単体の推定では利用することができなかった，２区間の相対的な値

図 9 皮膚コンダクタンスの波形データの変化を特徴量として利用可能となることから，感情変化推定の精度向上が期待できる．ここで，J は各特徴量に対して演算を行うことを表しており，これは象限の２区間における相対的な値の変化，つまり時間変化を考慮した特徴量算出のための演算である．詳細は 4. 2. 3 で述べる．なお，感情変化後の状態が象限 U0 以外となるパターン Pn→m は 16 通りあげられるが，今回は，変化推定手法の検証を行うためにパターン P0→N H の推定から取り組む．これは従来の研究 [16] で，人の生理的反応
は，ポジティブな感情よりもネガティブな感情に対してより顕著な傾向を持っていることが確認されているからである．また，

図 10 データ収集時の風景

低覚醒への変化時よりも高覚醒への変化時の方が，人の生理的表 1 用いる特徴量の例

反応は顕著な傾向を持つことが期待されるからである．どの感

特徴量

情遷移のパターンが重要であるかは，目指すサービスや，想定Si1 ∼ Si5

シーン内でのパターンの頻出しやすさに依存すると考えられ，

Si6 ∼ Si9

この点についての議論は今後の取り組み課題とする．

Si10

4. 2 評 価 実 験
4. 2. 1 皮膚電気活動
提案する感情変化推定手法の有効性を検証するために用いるセンサを選択するにあたって，従来研究でも感情モデル上の特徴量の内容区間 i を 5 分割した各分割区間の SCL の中央値
各分割区間の SCL 中央値の差
区間 i の SCL の最大値と最小値の差
区間 i の SCR ピーク数

Si11
Si12 ∼ Si14

区間 i を 3 分割した各分割区間の SCR ピーク数
区間 i の SCR ピークの振幅値の平均値

Si15
Si16 ∼ Si18

区間 i を 3 分割した各分割区間の SCR ピークの振幅値の平均値
区間 i の SCR ピーク間隔の分散値

Si19
Si20 ∼ Si22

区間 i を 3 分割した各分割区間の SCR のピーク間隔の分散値

感情状態の推定において高い精度が示されている皮膚電気活
動 (EDA: Electro Dermal Activity) に着目した [17–19]．精神的な変動や興奮によってアセチルコリン作動性の交感神経活動に基づいて手掌や足底のエクリン腺から精神性発汗が生じる
が，皮膚電気活動の測定値によって，その発汗量を推定することが可能である．本研究では直流成分である皮膚コンダクタン
スレベル (skin conductance level, 以下 SCL と呼ぶ) と，交流成分である皮膚コンダクタンスレスポンス (skin conductance

response, 以下 SCR と呼ぶ) を測定する．測定される SCL とSCR の波形データを図 9 に示す．従来の皮膚電気活動を用いた感情推定の研究では，一般的に，SCL の平均値や傾き，SCRのピーク数，振幅値，分散値などを特徴量として算出し，入力
データとして用いられている．

4. 2. 2 データの収集
感情を喚起する刺激に映像 (25 分) を被験者 16 名に閲覧してもらった．実験風景を図 10 に示す．被験者には，利き手ではない方の第 2，3 指末腹側部に，Ag − AgCL 電極を装着してもらい，SCL と SCR を測定した．利き手側では，実験実施者
が 2-3 分に 1 回ベルを鳴らすタイミングで，端末画面上に提示した感情モデルへ自身のあてはまる感情を入力してもらった．

生体信号は電極で検出後，アンプ GSR100C(Biopac Systems)で増幅し，A/D 変換機 Biopac MP150 system でデジタル変換した．サンプリングレートは 1000Hz とした．変換後，生体信号処理ソフト Acknowlege(Biopac Systems) および，自作のMatlab(The Mathworks) プログラムにより特徴量算出処理を行った．
取得された信号データは 3Hz でローパスフィルタを施し，30Hz でリサンプリングした．時刻 ti−1 ∼ ti の感情入力区間 iの特徴量を Sik = (si1 , si2 , ..sik ) とおいたとき，用いる特徴量の例を表 1 に示す．ここで k は特徴量の数とする．なお，取得される特徴量は被験者ごとに 0∼1 の範囲で正規化をおこなっている．

4. 2. 3 推定手法の検証方法
本検証の目的は，提案する感情変化推定手法が，象限 U0 と象限 UN H の各象限で推定を行って変化を求める場合に比べて精度が良いか検証することにある．検証は，4. 2. 2 で算出した特徴量を元に，

C1：比較法 象限 U0 とそれ以外の象限 Un (n 6= 0) の分類
C2：比較法 象限 UN H とそれ以外の象限 Un (n 6= N H) の

分類対象

precision

recall

象限 U0 と象限 Un (n 6= 0)

35.48%

36.66%

象限 UN H と象限 Un (n 6= N H)

64.28%

32.14%

P0→N H 入力:Si , Si+1 と Pn→n

53.33%

25.80%

P0→N H 入力: Si , Si+1 , J(Si , Si+1 ) と Pn→n66.66%

45.16%

表2

推定結果

Si+1 に対して J(Si , Si+1 ) を加えると，適合率，再現率ともに改善した．また，C1 の象限 U0 と象限 Un の分類，C2 の象限
図 11 被験者 A と B のある時刻での U0 から UN H への SCL の波
形データ

分類

C3：提案法 パターン P0→N H とそれ以外のパターン Pn→nの分類の各分類によって得られる精度の比較によって行う．上記の nは n = 0, P H, N H, N L, P L である．

UN H と象限 Un の分類精度が低いにも関わらず，演算 J によって算出された特徴量を入力とした P0→N H の適合率は 66%を満たしている．
以上の結果より，感情変化の抽出には，生体信号 (SCL と

SCR) の時間変化を特徴量とすることが有効であると示唆される．しかし，今回は象限 U0 から象限 UN H への特定のパターンのみを対象とした評価であり，さらに，サンプルの少なさと偏りに課題が残るため，今後は，十分なサンプル数を揃えた上で評価を行う必要がある．

パターン，及び，象限を分類する識別関数の導出にはサポー
トベクトルマシン (Support Vector Machines(SVMs)，以下SVM) を用いる．SVM のツールには LIBSVM [20] を用いた．
特徴量はスケール調整を行っておき，カーネル関数には RBF
カーネルを用いて，Grid-search にて適切なパラメータを探索して得られた値を利用して学習させた．
ここで，提案手法であるパターン分類「入力: Si , Si+1 , J(Si, Si+1 ) ⇒ 出力: P0→N H 」の入力演算 J を以下の仮説にて決定した．図 11 に被験者 A の異なる時刻で得た U0 から UN H への SCL の時間波形の例を示す．横軸は時間を示し，縦軸はコンダクタンスを示す．同じ象限 U0 でも異なる時刻での U0 − 1と U0 − 2 の差は大きいが，U0 − 1 から UN H − 1 への変化と，

U0 − 2 から UN H − 2 への変化を比べると，いずれもピーク数や振幅値が増大していて，変化傾向が似ていることが分かる．
そこで，変化傾向を特徴量として表すために，演算 J(W1 , W2 )とおいたとき，W2 − W1 ，W1 /W1 + W2 ，W2 /W1 + W2 の演算を行って特徴量を算出した．

4. 3 検証結果と考察
今回の実験で収集したデータは，P0→N H のデータが 31 サ
ンプル，それ以外のパターンが 111 サンプルの計 142 サンプルであった．データの偏りを無視するために，今回の精度評価は，

P0→N H と判定されたサンプルのうちの正解サンプル数を表す
適合率と，P0→N H の 31 サンプルから抽出された正解サンプル数を表す再現率によって評価を行う．また，比較対象の評価においては，象限 U0 からランダム関数を用いて 31 サンプル抽出したものと，象限 U0 以外の象限のサンプルを利用して学習させ精度評価を行う．象限 UN H に対しても同様のことを行う．
表 2 に，C1：比較法，C2：比較法，C3：提案法，の分類の推定結果を示す．ここで，C3 においては，特徴量 Si ，Si+1のみを入力とした場合と，特徴量 J(Si , Si+1 ) を入力に加えた場合の推定結果を示している．結果から分かるように，C3：提案法，つまり，P0→N H の推定においては，入力する特徴量 Si ，

5. まとめと課題
本研究では，膨大に蓄積されていく体験時の記録から，個人にとって価値のある記録をハイライト提示して振り返るきっかけを与えることで，記録の活用を促すことを目指している．その実現に向けて，人間の記録活動における記録の価値に着目し，体験時に生じる「感情」という個人に特化した情報を利用する
ことで，体験者自身にとって「想起しやすい体験記録」「人に伝えたくなる体験記録」をハイライトすることを提案した．また，体験記録のハイライト作成のために用いる感情状態として，感情モデル上で「強い状態へ大きく変化する感情状態」と仮説を立て，被験者実験にてその有効性を示した．さらに，感情変化の推定において，センサデータの時間変化を考慮した提案手法は，考慮しない場合よりも精度良く推定可能であることを示した．
今後は日常空間への応用へ取り組んでいくが，その中での課題として大きく以下の 2 点があげられる．１点目は，様々な時間幅で変化する感情の測定に向けた検討があげられる．今回は，
約 2-3 分おきの感情変化を対象にしていたが，日常生活においては様々な時間幅をもった感情変化が起こり得るため，様々な時間幅の変化に対しても測定可能であるか検討を進めていく予定である．2 点目は，日常生活に柔軟に対応した感情推定技術に取り組むことがあげられる．これについては，サービスシーンを想定して環境を限定することで，そこで取得可能な情報や利用可能なセンサを検討していく予定である．例えば，リビン
グのテレビの前やデスクワーク時の PC 前に座っている最中には，web カメラから取得される表情や，マイクから取得される音声を用いることがあげられる．また近年普及している脈拍セ
ンサや，開発が進んでいる皮膚電気活動測定センサ等のようにウェアラブルセンサを利用した生体信号データを用いるといった拡張も考えられる．

文

献[1] C.D. Katsis, N. Katertsidis, G. Ganiatsas, and D.I. Fotiadis,
Toward emotion recognition in car-racing drivers: A biosignal processing approach , IEEE Transactions on Systems,
Man, and Cybernetics Part A: Systems and Humans, vol.38,
no.3, pp.502-512, 2008.
[2] J. Kim, and E. Andre, Emotion recognition based on physiological changes in music listening , IEEE Transactions on
Pattern Analysis and Machine Intelligence, vol.30, no.12,
pp.2067-2083, 2008.
[3] C.A. Frantzidis, et al., On the classiﬁcation of emotional
biosignals evoked while viewing aﬀective pictures: An integrated data-mining-based approach for healthcare applications , IEEE Trans. on Information Techn. in Biomedicine,vol.14, no.2, pp.309-318, 2010.
[4] L.I. Kuncheva, T. Christy, I. Pierce, S. P. Mansoor, Multimodal Biometric Emotion Recognition Using Classiﬁer Ensembles , Modern Approaches in Applied Intelligence,
Springer, 2011.
[5] J. Healey, L. Nachman, S. Subramanian, J. Shahabdeen,
and M.E. Morris, ”Out of the Lab and into the Fray: Towards Modeling Emotion in Everyday Life”, in Proc. Pervasive, pp.156-173, 2010.
[6] D.McDuﬀ, A.Karlson1, A. Kapoor1, A. Roseway, M.Czerwinski, AﬀectAura: An Intelligent System for Emotional
Memory , SIGCHI, 2012.
[7] 三浦宏一, 浜田玲子, 井出一郎, 坂井修一, 田中英彦, 動きに基づく料理映像の自動要約 , 情報学論 コンピュータビジョンとイ
メージメディア研究会, 44, SIG 9, pp.21-29, 2003.
[8] 中村聡史, 山本岳洋, 後藤真孝, 濱崎雅弘 ”視聴者反応と音楽的特徴量を用いたサムネイル動画の自動生成”, WebDB Forum2012, A2-3, 2012.
[9] 森山 剛, 坂内 正夫 ”ドラマ映像の心理的内容に基づいた要約
映像の生成”, 電子情報通信学会論文誌, Vol.J84-D-2, No.6,
pp.1122-1131, 2001.
[10] Larsen, R.J. and Diener, E. Promises and problems with thecircumplex model of emotion. Pers Soc Psychol Rev (1992),
25-59.
[11] Cahill,L.andMcGaugh,J.L.Anoveldemonstrationof enhanced
memory associated with emotional arousal. Conscious
Cogn, 4 (1995), 410-421.
[12] Jersild,A.”Memory for the pleasant as compared with theunpleasant”. Journal of Experimental Psycholosy, 14, 284288, 1931.
[13] Hanawalt,N.G., Gebhardt,L.j. ”Child - hood memories ofsingle and recurrent incidents”. The Jounal of Genetic psychology, 107, 85-59, 1965.
[14] R.Cowie,E.Douglas Cowie,S.Savvidou, E. McMahon, M.Sawey, ’FEELTRACE’: An Instrument for Recording Perceived Emotion in Real Time , Proceedings of the ISCA
Workshop on Speech and Emotion: A Conceptual Framework for Research, Pages 19-24, Textﬂow, Belfast, 2000.
[15] M.Morris, F.Guilak,
Mobile Heart Health: Project
Highlight , PERVASIVE computing Published by theIEEE(2009).
[16] R.W.Levenson and A.M.Ruef, Empathy: A physiologicalsubstrate , Journal of Personality and Social Psychology,
vol.63, no.2, pp.234?246, 1992.
[17] H.Critchley , Electorodermal responses: what happens in
the brain , Neuroscienist, 8, 132-142, 2002.
[18] J.Hernandez, R.R.Morris, R.W.Picard, Call Center Stress
Recognition with Person-Speciﬁc Models , In Proc of theAﬀective Computing and Intelligent, pp.125-134, 2011.
[19] Y. Ayzenberg, J.H. Rivera, R.W. Picard, FEEL:Frequent
EDA and Event Logging - A Mobile Social Interaction Stress
Monitoring System , In Proceedings of CHI Extended Abstracts, pp.2357-2362, 2012.

[20] Chih-Chung Chang, Chih-Jen Lin, LIBSVM : a libraryfor support vector machines , 2001. Software available at
http://www.csie.ntu.edu.tw/ cjlin/libsvm/