情報処理学会 インタラクション 2015
IPSJ Interaction 2015

A57
2015/3/5

視聴者のまばたき同期自動計測システム
島津 真人1,a)

野村 亮太1,b)

概要：人の自発的なまばたき反応は外的な視聴覚情報に対する注意過程に緩く連動している．特に、人に再現性の高い注意を引きつけることのできる動画は、結果的に視聴者間でのまばたきを同期させることが知られている．本研究では、動画を再生している間のまばたきを自動的に測定し、その同期の程度を算出するシステム、AMSES （Automatic Measurement System of Eyeblink Synchronization）を報告する．
このシステムは、従来は手作業で行われていたまばたきの分析をリアルタイムで処理することを可能にし、安価な視線検知デバイスを利用することで、高価な視線検知デバイスを利用する手法と比較してはるかに簡便で安価に解析を行えるという特徴をもつ．今後、まばたきの同期パターンの媒体（プレゼンテーション、映画、テレビＣＭ、ウェブ広告など）による違いやコンテンツの種類による違いを明らかにしていくために本システムが活用されていくことが期待される．

An Automatic Measurement System of Eyeblink Synchronization
among Audience Members while Watching Videos
Makoto Shimazu1,a)Ryota Nomura1,b)

Abstract: Spontaneous eyeblink responses loosely depend upon individual’s attentional process relatingexternal audio-visual stimuli. Especially, Movies, that commonly supply senses whereby enhancing reproducibility of audience’s attentional pattern, synchronize eyeblink responses among audience. This study
reports an automatic measurement system of eyeblink synchronization (AMSES) for examining the universality of this phenomena. AMSES actualize simpler and lower-cost real-time processing of eyeblink analysis
than using existing expensive equipment for gaze tracking and conventional manual analysis. AMSES would
provide a lot of opportunities to explore the diﬀerences in patterns of eyeblink synchronization in accordancewith each medium (e.g., presentations, movies, TV commercial, web advertisements, and so on) or with theircontents.

1. はじめに観客のまばたき反応の同期が有効であることがわかってきた．自発的なまばたき反応は，注意配分と注意解放の過多く人や生物が集まる状況でそれらが見せる振る舞い程に関係しているため，まばたき同期（synchronization ofは，集合的行動（collective behaviors）と呼ばれ，認知科eyeblinks）は多くの視聴者が共通したパターンで注意配分学の新たな潮流になっている．そのなかでも，共通する視をしていることを示す集合的行動の指標になりうる．

聴覚情報の知覚を通して生じる感情の共有体験は，認知科だが，従来開発されてきたまばたき検出システムはあく学研究のみならず，ウェブコンテンツ制作やマーケティンまで個人を対象にしたものであり，集合的な振る舞いをグといった分野においても強い関心を集めている．集合的リアルタイムで扱うことは難しかった．また，実験装置

な感情共有には，視聴者の興味や物語への没頭体験が重要はほとんどの場合で専用機器を用いており，システム全な役割を果たす．近年，これを予測する指標の一つとして体では極めて高額なものであった．そこで本稿では，ごく簡便で安価な装置のみを利用してまばたきを自動測定

1a)
b)

東京大学
University of Tokyo
shimazu@eidos.ic.i.u-tokyo.ac.jp
nomuraryota@gmail.com© 2015 Information Processing Society of Japanし，同期の程度を算出して可視化まで行う新たなシステ
ム，AMSES（Automatic Measurement System of Eyeblink373Synchronization ）を報告する．

まばたき

2. まばたきの同期現象：位相化と同期指標ることが指摘されてきた．実際に映画を見せた研究では，暗転したり登場人物がフェードアウトしたりする意味的な位相 θ

まばたきは生理的な機能だけではなく，認知的な機能を果たしている．古くから自発的なまばたきは注意に関係す

2π0

区切りと対応してまばたきが増えた [1]．落語の映像を用い

t0

t1

t2

時間 t

た研究でも，場面転換や人物区別の部分に対応してまばたきは増え，演者が表情やしぐさを強調する部分でまばたきは減った．この研究では，映像を見た観客どうしのまばたき同期の程度が噺家（話し手）の熟達 [2] および観客（聴き手）の経験 [3], [4] によって変わることなどが示されてい図 1

まばたきパターンを用いた位相の設定

視聴者ごとのまばたきの位相重⼼の位置る．また，近年ではデフォルトモードネットワークとも関連することが明らかにされている [5]．時間軸に沿って流れてくる視聴覚情報の分節化や符号化などの処理に関連しているのである．言い換えれば，まばたきが同じタイミングで生起するということは，映像に含まれる視聴覚情報が観客の内的過程へ共通した作用を及ぼしていることを示唆する．つまり，共通外力に対する出力が十分に正確なら，位相が近い場合位相が離れている場合

たとえ要素間の相互作用を仮定しなくても集合的な振る舞いは同期する [2]．結果として，同一の動画を視聴する者ど

図 2

まばたきの位相の一致による重心の振幅の変化

うしでまばたきが同期しうる．

1 ∑ jθn (t)eN nN

今後の研究においては，まばたき同期現象がどこまで普遍的なのか，また，集合的な感情の共有体験にどのように関わるのかを研究することが不可欠である．そのような多くの実験を実施していくうえでは，より簡便な測定装置と汎用ＰＣによってまばたき検知とその同期の程度を算出するシステムが求められる．

A(t)ejθ(t) =(2)

これを変形することで，A(t) は以下のように求まる．
vu NN∑∑
1u
A(t) = t{cos θn (t)}2 + {sin θn (t)}2(3)Nnn

本研究では，同一の動画を見た視聴者のまばたきどうしこの A(t) の時間的推移をみることで，動画中のどこでまばの同期を解析する．そこでまず，まばたき開始（onset）をたき同期の程度が高まったのかを知ることができる．A(t)基準として次のまばたき開始までの時間をまばたき間隔が高まった箇所の動画の内容を検討することによって，まIBI（inter blink interval）と定義した [1]．次に，IBI を 1

ばたき同期に影響を及ぼした視聴覚情報を推測できる．

周期（2π ）とし，各時刻 t の相対的な位相を算出した [6]．
図 1 にまばたきパターンから位相 θ を生成する部分を図示する．このように，２つのまばたき（tn , tn+1 ）の間の位相θ(t) を以下のように定義する．
t − tnθ(t) = 2π(tn ≦ t < tn+1 )tn+1 − tn

3. システム概要
AMSES は，動画を見た際の視聴者のまばたきのタイミング（まばたきパターン）を動画の位置・種類と関連付けて記録し，同一動画を見た視聴者間でのまばたきの同期度(1)を解析するものである．システム全体としては，動画を再生しながらまばたきパターンの記録を行うアプリケーショ

同期の程度を示す指標としては Richardson ら [7] が用いたンと，視聴者間でのまばたきパターンの解析・表示を行うのと同様の手法を用いる．ある時刻 t における位相を単位アプリケーションの２つで構成されている．3.1 節では記円上にプロットした例が図 2 になる．図中の赤点はある時録を行うアプリケーションについて，3.2 節では解析を行

刻における各視聴者の位相を表しており，青点はすべてのうアプリケーションについての説明を行う．

赤点の重心の位置を示している．図示したように，重心の原点からの距離によって各視聴者の位相が近いか遠いかをjθ(t)判断できる．重心を A(t)e，各視聴者の位相を θn (t) とするとき，重心は以下のように求めることができる．

© 2015 Information Processing Society of Japan

3.1 まばたきパターンの記録
このアプリケーションはまばたきを行った時刻を動画の再生位置と紐付けて記録する．図 3 に実際の利用シーン

374

図 3 まばたきパターン記録アプリケーションの利用シーン

図5

まばたきパターン分析アプリケーションのスクリーンショット

態では目が開かれており，PRESENCE になると目を閉じているとした．また，しばしば目が開いているにもかかわらず PRESENCE になるタイミングがあるため，2 フレーム以上 PRESENCE や GAZE/EYE が続いた場合に目の開閉の状態が変化するものとした．さらに，目が閉じた瞬間のフレームでは FAIL がしばしば発生するため，FAIL であった場合の処理としてはエラーを出すのではなく，無効フレームとしてスキップするという実装になっている．
これを用いて，図 4 に示したアプリケーションを用いて
図4

まばたきパターン記録アプリケーションのスクリーンショット動画を再生し，まばたきを記録する．このとき，まばたきのタイムスタンプとしては動画の再生位置，及び実際の時を，図 4 にはアプリケーションのスクリーンショットを刻の２つを記録する．この２つは本来であれば一致すべき示す．

ものであるが，記録を開始してから動画の再生が開始されはじめにまばたきの検知手法について説明を行う．既存るまでのタイムラグや測定環境によっては動画にラグが発の手法としては web カメラを利用して動画解析を行う手生するといった都合により，現実的には異なってしまう．

法 [8], [9] や赤外線を用いる手法 [10] などがあるが，今回はそこで，動画のどの部分を再生しているときにまばたきが赤外線を用いた視線検知デバイスである EyeTribe[11] を利行われたかを確認できるように動画の再生位置を記録し，用して行った．EyeTribe は ITU Gaze Tracker[12] という動画のラグの影響についても確認ができるように実経過時安価かつ高精度に視線検知を行うデバイスの研究を製品化間も同時に記録した．

したものである．利用方法が赤外線カメラ兼照射装置であるデバイスをモニタの前に置くだけでよく，実験参加者に3.2 まばたきパターンの解析対する負担が小さいという利点がある．また 2014 年 12 月

本アプリケーションは，2 節で説明したまばたきの同期時点で 99 ドルと非常に安価である点や開発者向けの API現象について可視化し，分析できるようにしたものである．

が提供されている点で扱いやすいデバイスであることから

図 5 のように単位円のプロット，及び重心位置を極座標表利用した．AMSES では，この API を利用して目の検知状示した際の動径を時刻に対して表示したグラフを表示する態を取得し，まばたきを検知した．

ことができる．これにより，実際の動画のどの部分でまばEyeTribe では，各フレームごとに目の検知状態としてたきパターンが同期したのかという点を容易に確認するこGAZE，EYE，PRESENCE，FAIL，LOST の 5 つのステーとができ，動画中における言動とパターンの同期との関連タスが取得できる．これらはそれぞれ視線が検知できてい性について分析がより進むことが期待される．

る状態，両目の虹彩の検知ができている状態，ユーザー検知ができている状態，トラッキングに失敗している状態，

4. おわりにトラッキングしていた対象が消失した状態を示している．

本稿では，まばたきパターンの同期に関する分析システ

今回は，まばたき検知するにあたって，GAZE や EYE の状

ムについて紹介した．本システムにより，安価かつ正確に© 2015 Information Processing Society of Japan375

まばたきを検知し，そのまばたきパターンの同期現象を測定することができた．本文中で述べたように，人の注意過程とそれに関連したまばたき反応は，共通した視聴覚情報を知覚する際には普遍的な機能である．これが確かならば，[12]

Johansen, S. A., San Agustin, J., Skovsgaard, H.,
Hansen, J. P. and Tall, M.: Low Cost vs. High-end
Eye Tracking for Usability Testing, CHI ’11 Extended
Abstracts on Human Factors in Computing Systems(2011).

プレゼンテーションや講演，演劇といったライブパフォー
マンスはもちろんのこと，映画やドラマ，ＣＭなどの映像作品に関しても同様の現象が生じているという可能性も十分に考えられる．今後は，AMSES の正確さを評価するとともに，これを用いて各種のコンテンツによるまばたきパターンの傾向を分析していく予定である．
謝辞 本研究に関して様々な形で協力していただいた噺家や寄席関係者の方々に感謝いたします．本稿のシステム開発にあたっては，日本学術振興会より特別研究員奨励費（課題番号：12J08089，題目「動的な『演者−観客−観客系』の視点から捉えた噺家熟達化過程の解明」，研究代表者：野村亮太）の支援を受けました．
参考文献
[1]

[2]
[3]

[4]

[5]

[6]
[7]

[8]

[9]

[10]

[11]

Nakano, T., Yamamoto, Y., Kitajo, Keiichi, T. T. andKitazawa, S.: Synchronization of spontaneous eyeblinks
while viewing video stories, Proceedings of the Royal Society B: Biological Sciences, p. rspb20090828 (2009).
野村亮太，岡田 猛：話芸鑑賞時の自発的まばたきの同期，認知科学， Vol. 21, No. 2, pp. 226–244 (2014).
Nomura, R., Hino, K., Shimazu, M., Liang, Y. andOkada, T.: Emotionally excited eyeblink-rate variabilitypredicts an experience of transportation into the narrative world (in prep.).
野村亮太，岡田 猛：演芸における観客どうしの相互作用を推定する，信学技報，Vol. 114, No. 273, pp. 13–18(2014).
Nakano, T., Kato, M., Morito, Y., Itoi, S. and Kitazawa,
S.: Blink-related momentary activation of the default
mode network while viewing videos, Proceedings of theNational Academy of Sciences, Vol. 110, No. 2, pp. 702–706 (2013).
松本 隆，宮野尚哉，徳永隆治，徳田 功：カオスと時系
列，培風館 (2002).
Richardson, M. J., Marsh, K. L., Isenhower, R. W.,
Goodman, J. R. L. and Schmidt, R. C.: Rocking together: Dynamics of intentional and unintentional interpersonal coordination, Human movement science,Vol. 26, No. 6, pp. 867–891 (2007).
Królak, A. and Strumillo, P.: Vision-based eye blinkmonitoring system for human-computer interfacing, Human System Interactions, 2008 Conference on, IEEE
(2008).
Lalonde, M., Byrns, D., Gagnon, L., Teasdale, N. andLaurendeau, D.: Real-time eye blink detection with
GPU-based SIFT tracking, Computer and Robot Vision,
2007. CRV’07. Fourth Canadian Conference on, IEEE
(2007).
Ryan, S. B., Detweiler, K. L., Holland, K. H., Hord,M. A. and Bracha, V.: A long-range, wide field-ofview infrared eyeblink detector, Journal of neuroscience
methods (2006).
TheEyeTribe: The Eye Tribe Tracker, , available from⟨https://theeyetribe.com⟩ (accessed 2014-12-08).

© 2015 Information Processing Society of Japan376