情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C602016/3/2

心拍数を用いた映画分類の試み
成田 伊吹†	  	  丸山 一貴†	  	 	  	 概要：近年．配信サービスの多様化等で映画の視聴が簡単になり，気軽に映画を観られるようになった．数多く視聴してきた映画の内容を忘れないために毎回レビューを残すのは困難であるし，印象は強烈なシーンやクライマックスに引きずられがちになってしまう．映画全体を通しての情動記録として心拍数を利用すれば，評価として蓄積することができ映画の分類をすることができる．また，映画を分類するための特徴量と分類の可否を検討する．

Heart Rate as an Implicit Review to Classify Movies
IBUKI NARITA†	  KAZUTAKA MARUYAMA†	  	 	  	 Abstract: An evolution of contents delivery platforms brings us the more opportunities to see movies. Viewing a lot ofcontents makes it difficult that we remember the review of them. It is unable to write a review per viewing a content andour impression is strongly influenced by a few intense scenes or a climax. In this paper, we propose to use a time seriesof heart rate throughout the movie as a record of our emotion. The advantage of it is the ease to be recorded. The
proposal of some features of heart rates to classify movies and its analysis are also included.

1. は じ め に	  	 2. 関 連 研 究	  近年，映像技術の発達により，多くの映像コンテンツが	  映画の分類をする研究として，阿部ら[1]は，他人のレビ普及し，映画を見る機会が増えた．しかしながら，印象とューを用いてナイーブ・ベイズ分類によって映画ジャンルいうのは，強烈なシーンやクライマックスに引っ張られがの分類を行った．本研究では，他人の評価ではなく自分自ちになるため，映画全体を通しての内容は記憶に残りづら

身の評価を対象としているのと，印象的なシーンに引っ張くなる．また，映画の自分自身の評価をその都度記録するられないように，映画全体の評価を逐一記録できる方法とことは困難である．

して，生体反応を用いて映画の分類を行う．	  最近ではウェアラブル端末の発達により，誰でも簡単に	  生体反応を用いた分析については多くの研究がある．久

心拍数を測ることができる．心拍数を映画の評価の代わり

米ら[2]は，心拍数を ICA 基底で解析をすることで，映像視として，記録することができれば，一度観た映画全体の内聴時の，自律神経活動の時間変化の解析を研究している．

容を思い出すきっかけになるだろう．映画を視聴しながらオンら[3]は，視聴者の瞳孔径，視点及び心拍情報を用いて，取得した心拍数のデータを使用して，視聴済みの作品の映映像コンテンツに対する興味度を算出し，視聴者中心の映画ジャンルや，他人のレビューからではわからない，自分像要約方法を提案している．数分の恋愛映画とドキュメン

自身の映画評価の分類ができる．心拍数から最大値－最小タリー映画を鑑賞しながら，瞳孔の大きさや心拍数だけで値，平均値，中央値，90 パーセンタイル値，移動平均とエなく視聴者の興味度を計測している．相澤ら[4]は， 	 ウェンベロープ，RSI を用いた特徴量を抽出し映画分類に使用

アラブル機器で記録した個人体験映像の要約と構造化につする．これらの特徴量から心拍数の分類結果と映画の評価いて論じ，主観を反映させた効率の良い映像要約のために，の分類結果が近いのではないかという仮説を立てる．

映像と記録した脳波による実験を示し，精度良く興味映像	  本研究の目的は，映画視聴時に心拍数を測ることにより，を抽出し得ることを研究している．鎌田ら[5]は，様々な映心拍数から映画の分類を試みることである．様々なジャン像コンテンツを視聴しながら，心電図，筋電図，脳波，発ルの映画を視聴し，心拍数を取得する．得た心拍数を映画汗量，末梢血流量，頭部運動，瞬目といった多くの生体反全体を通しての評価とする．その評価から映画の分類をす

応を計測して，印象的なシーンの検出を行った．佐藤ら[6]る．心拍数の分類結果と映画評価の分類結果に関連性がな

は，映像コンテンツをリアルタイムで計測できることを目いか検証し，特徴量の妥当性を検討する．

指し，握力，体温と映像コンテンツに対する人の印象との関連性に着目し，握力と体温をリアルタイムで測定できる体感センサを開発した．これを利用した，映像コンテンツ† 明星大学 情報学部
School of Information Science, Meisei University© 2016 Information Processing Society of Japanの印象計測を行った．Shahina ら[7]は，心拍数を用いて，運転中のドライバーのストレスを検出する研究を行った．

407

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C602016/3/2	  本研究では多くの生体反応のうち映画視聴時に体に負担	  しかしながら，シーンごとの感情とグラフ上の心拍数とをかけないように，ウェアラブル端末による心拍数計測をの関連性が発見できなかったので，グラフ全体から特徴量選択し，様々なジャンルの映画を対象として心拍数の特徴を抽出して分析する方法を検討することとした．

量による映画の分類を行なう．

4. 特 徴 量 の 抽 出

3. 心 拍 数 の 取 得 と 場 面 付 け	  本章では，分類に使用する特徴量とその抽出方法につい3.1 心 拍 数 の 取 得て述べる．今回使用する特徴量は，最大値－最小値，平均	  本研究では心拍数の取得手段として，Apple Watch を使値，中央値，90 パーセンタイル値，移動平均とエンベロー用する．Apple Watch とは 2015 年に Apple 社から発売されプ，RSI である．心拍数と似たようなグラフの動きをするた腕時計型ウェアラブル端末である．Apple Watch を映画株価の分析で使用される分析方法を参考にした．最大値－鑑賞時に着用して，リアルタイムの心拍数を測定する．１

最小値は，映画一本のすべての心拍数の中から最大値と最分間に約１２個の心拍数が取れる．取れた心拍数のデータ小値を出して求める．図 2 は最大値－最小値をグラフで表は，iPhone アプリのヘルスケアに図 １のように保存され示したものである．平均値に関しても同様にすべての心拍る．ヘルスケアとは心拍数や消費カロリー，血糖値といっ数から平均を求める．

たデータを集約したアプリである．取得した心拍数のデー
タを，Excel に書き出し，グラフ化し，心拍数による分類結果を評価するために用いる．さらに，視聴時の感情（驚いた，笑った，泣いた，など）の状態をどのシーンで感じたか細かくメモしておく．これは評価の分類のために使用する．

図 2	  心拍数の最大値－最小値
Figure 2	  Difference between maximum and minimum value ofheart rate．
中央値と 90 パーセンタイル値については，すべての心拍数を小さい値から順にソートしてから，中央に位置する値，90 パーセントに位置する値を算出する（図 3）． 図 3 の緑色で表示されている心拍数が中央値で，赤色で表示されている心拍数が 90 パーセンタイル値である．

図 1	  ヘルスケアに転送された心拍数データ
Figure 1	  Time series of heart rate transferred to iPhone
Healthcare app．
3.2 デ ー タ の 分 析	  グラフ化された心拍数のデータを目視で分析し，様々なジャンルで心拍変動に違いがあるのかを判断した．分析方法は取得した心拍数を，グラフ化した．目視で心拍数が上

図 3	  心拍数の中央値と 90 パーセンタイル値がっているところをピックアップし，実際の映像と相互関

Figure 3	  Median and the 90 percentile of heart rate．

係にあるか比較した．印象的なシーンの時に，心拍数がどのように変化しているのかも比較した．さらに，視聴時に	  ここまでの特徴量の抽出は，映画一本につきそれぞれ一メモした感情をグラフの動きに影響されているか比較した．

つずつの特徴量が算出される．

© 2016 Information Processing Society of Japan408

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C602016/3/2

ここからは株価の統計に用いられる一般的な分析手法を利用して特徴量を抽出する．まず，移動平均について説	  最後に RSI について説明する．映画一本分のすべての心明する．映画一本分のすべての心拍数のうち最初の 12 個の拍数のうち最初の 12 個の心拍数で RSI を計算する．求め心拍数の平均値を求める．次に 13 個目の心拍数と 1 個目の方を式 1 に示す．

心拍数を除いた 12 個の平均値を求める．このように 12 個𝑅𝑆𝐼＝の心拍数の平均値を一つずつずらして求める方法を移動平!
!!!

×100

(1)

均とする．これは心拍数の全体的な動きをみるのに使用す

ここで A は 12 個心拍数の上り幅の平均を意味する．上りる．株価の場合，5 日移動平均，25 日移動平均，75 日移動幅とは，前の心拍数から次の心拍数が増えた時の値の差で平均などがあり，短期長期によって日数を変えて株価の動ある．上り幅を合計し，12 で割った値が A である．B は下向を見る．5 日移動平均を使用する場合，当日から遡った 5がり幅の平均を意味する．下がり幅とは，前の心拍数から日間の終値の平均値を１日ずつずらしてグラフ化する．本

次の心拍数が減った時の値の差である．下がり幅を合計し，研究では，１分間に約 12 個の心拍数のデータが取得される

12 で割った値が B である．直近の 12 個の心拍数を用いてので，12 個の移動平均を求める．移動平均について算出さ計算する．13 個目以降は A，B それぞれに 11 をかけて，れたグラフを図 4 に示す．

13 個目の上り幅と下がり幅を足す．ここからは最初の手順と同じように 12 でそれぞれ割り，式 1 を計算することにより，2 個目の RSI が算出される．以降はこれを繰り返す．
株価統計の分野では一般的に RSI の数値が 70％以上になると買われすぎ，30％以下になると売られすぎと判断する．
本研究では RSI を心拍数の増減の幅を見るために使用する． 70%以上と 30%以下になった心拍数の箇所の数を特徴量とする．RSI を算出したグラフを図 6 に示す．

図 4	  心拍数の移動平均
Figure 4	  Moveing average of heart rate．	  次にエンベロープについて説明する．これは移動平均を何パーセントか上下に乖離させたものである．株価では一般的に，25 日移動平均を使用した場合，5%乖離や 10%乖離を用いられる．今回の研究では 5％と 10％乖離させたものを使用する．グラフ化した時に心拍数とエンベロープの

図 6	  心拍数の RSI動きをみることによって，心拍変動の様子を見る．エンベ

Figure 6	  RSI of heart rate．

ロープを算出したグラフを図 5 に示す．本研究では移動平均とエンベロープをセットとし心拍数がエンベロープの	  本研究では，心拍数の特徴量の抽出として 7 つ手法用い10%，5%乖離させた値を超えた箇所の数を特徴量とする．

る．すべて時間領域の特徴量を抽出する．Shahina ら[7]の研究では，周波数領域を用いており，自動車の運転中に一定時間での心拍数測定を行っている．本研究では映画視聴時を対象としている．さらに，映画視聴時の心拍数変化では，各シーンが繋がって映画全体のストーリーの流れになるため，時間領域を使用することに大いに影響があると感じた．よって，周波数領域については時間領域を用いた時より影響が出ないと感じたので，今回は周波数領域を用いての抽出については行わない．

5. 評 価図 5	  心拍数のエンベロープ	  それぞれの映画から 7 つの手法で特徴量を抽出した．最Figure 5	  Envelope of heart rate．

大値-最小値，平均値，90 パーセンタイル値，中央値は各© 2016 Information Processing Society of Japan409

情報処理学会 インタラクション 2016IPSJ Interaction 2016

161C602016/3/2

映画に 1 つずつ特徴量が抽出される．移動平均とエンベロープからは，10%乖離と 5%乖離とから 2 つずつ特徴量が抽出される．RSI からは，70%以上と 30%以下とから 2 つず

表 3	  中央値を用いた特徴量

つ特徴量が抽出される．よって，映画 1 本から 8 つの特徴

Table 3	 Extracted median value．

量が抽出された．	  今回視聴した映画はジャンルが 6 種類の全 33 本である
（表 1）．特に印象的だった映画に対して，特徴量とともに映画全体を通しての感想と情動を付与する．また，複数回視聴経験のある映画についても記録しておく．
表 1	  視聴した映画
Table 1	  List the movie．

それぞれの映画から 8 つの特徴量を抽出し，特徴量の比較を行った．90 パーセンタイル値，中央値，最大値－最小値，平均値の特徴量を表 2 から表 5 に示す．

表 4	  最大値－最小値を用いた特徴量
Table 4	 表 2	  90 パーセンタイル値を用いた特徴量

Extracted difference values between maximum
and minimum．

Table 2	  Extracted 90 percentile value．

© 2016 Information Processing Society of Japan410

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C602016/3/2

表 5	  平均値を用いた特徴量
Table 5	 Extracted average value．

表 7	  エンベロープ 5%乖離を用いた特徴量
Table 7	 Feature values extracted from moving averageenvelope based on 5% deviation．

90 パーセンタイル値と中央値，平均値について，ジャンルごとに特徴量の類似性を見るとばらつきが見られた．しかしながら最大値—最小値では，ジャンルの特徴量にまとまりがあるように見られた．また，中央値のホラー系にも少なからずまとまりが見られる．平均値と中央値を比較したところ映画の特徴量の順番に似たような結果が出た．エンベロープと RSI の特徴量の結果は，表 6 から表 9 に示す．

表 8	  RSI 70%以上を用いた特徴量
Table 8	 

表 6	  エンベロープ 10%乖離を用いた特徴量

Feature values extracted from RSI overbought above
70%．

Table 6	  Feature values extracted from moving averageenvelope based on 10% deviation．

© 2016 Information Processing Society of Japan411

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

表 9	 RSI 30%以上を用いた特徴量

Table 9	  Feature values extracted from RSI overbought below

161C602016/3/2	  今後の課題としては，特徴量に重みの付与や，データ解析をして，より精度の高い分類をする必要がある．

30%．

参考文献
[1] 阿部倫子， 田中久美子， 中川裕志:コメントを用いた映画の分類， 情報処理学会研究報告， NL， 自然言語処理研究会報告，Vol．150， pp．105-110， (2002)．
[2] 久米拓弥， ファウスト ルセナ， 工藤博章， 大西昇:異なる提示方式の映像刺激で生じる心拍変動の独立成分分析を用いた解析， 映像情報メディア学会技術報告， Vol．35， No．16， pp．
1-4， (2011)．
[3] オン コックメン， 大野雄也， 亀山歩:瞳孔径・視線と心拍情報を用いた映像要約方法とその評価， 電子情報通信学会論文，
A， Vol．J93-A， No．11， pp．697-707， (2010)．
[4] 相澤清晴， 石島健一郎， 椎名誠:ウェアラブル映像の構造化と要約：個人の主観を考慮した要約生成の試み， 電子情報通信学会論文誌， D-Ⅱ， Vol．J86-D-Ⅱ， No．6， pp． 807-815， (2003)．
[5] 鎌田幹夫， 板東武彦， 黒岩義之:映画コンテンツ視聴時の生命信号計測・評価．
[6] 佐藤美恵， 間峠慎吾， 森俊文:体感センサを利用した映像コンテンツの印象計測の検討， 映像情報メディア学会誌， Vol．60，
No．3， pp．425-430， (2006)．
[7] Shahina Begum， Mobyen Uddin Ahmed， Peter Funk， Reno
Filla: Mental State Monitoring System for the Professional Drivers
Based on Heart Rate Variability Analysis and Case-based Reasoning，Proceedings of the Federated Conference on Computer Science andInformation Systems， pp．35–42， (2012)．

エンベロープについては 10%乖離と 5％乖離とで違いがみられた．RSI については，ジャンルのごとの特徴量が近いように見て取れる．特にホラー系の映画については，これまでの特徴量より類似性があることが分かった．70%以
上，30%以上ともに印象的な感想や情動のある映画にまとまりがあり，比較的高い特徴量が抽出された．
映画の感想による分類は，映画全体を通して面白い，また見たいと思えるような感想を持ったものに関して，全部の特徴量で値が高くなる傾向が見られた．つまらないと感じた映画は，90 パーセンタイル値，中央値，最大値—最小値，平均値で最も低い値を出した．

6. 考 察	  特徴量を用いての映画分類は，ジャンルごとや映画の感想で異なった結果をもたらしたが，まだ，完全な映画分類には及ばなかった．しかしながら，最大値−最小値と RSIに関しては評価の分類とジャンルの分類に有効である．90
パーセンタイル値と中央値，平均値に関しては組み合わせることでさらに精度の高い分類が有効であると考える．今回得られた特徴量から機械学習を用いたデータ解析やそれぞれの特徴量に重み付けをする必要がある．

7. ま と め	  今回の研究では特徴量を用いた映画分類を試みた．特徴量を用いることは，映画分類において重要な方法であると考える．

© 2016 Information Processing Society of Japan412