WISS2009

EyeWish: 目を閉じることを利用したインタラクション手法
EyeWish: An interaction technique using closing eyes

渡邊 恵太

塚田 浩二∗

Summary. 「目を閉じる」という行為は日常的で容易な行為でありながら，さまざまな意味を持っている．本研究では，こうした目を閉じるという行為を，「願う」「祈る」「想像する」といった文化的なメタファとして捉えた新しいインタラクション手法「EyeWish」を提案する．EyeWish はカメラから入力した画像を用いて，目の検出を行い，目を閉じる／開くという行為を通じてインタラクションを行う．本論文では，EyeWish のコンセプトに基づき WishTrend, WishMusic, WishMemory の 3 つのアプリケーションを試作した．そして，EyeWish のコンセプトと，これらの試作に基づき，本研究について議論する．

1

はじめに

「目を閉じる」という行為は日常的で単純な行為でありながら，さまざまな意味を持っている．
まず，願をかけたり，祈りを捧げたりするときには目を閉じる．たとえば，神社や寺院への参拝時に，神前で賽銭を投げ入れ，拝礼する際である．次に，昔を振り返る時にも目を閉じる．故人の追悼において，黙祷する際などである．さらに，思考を深める際にも目を閉じる．瞑想したり，より深く考えたり，集中力を得ようとする場合である．また，視覚を遮断することで他の感覚を研ぎ澄ますこともある．耳を澄まして遠くの／静かな音を聞こうとする場合などである．他にも，人を喜ばせるようなときに，目を閉じさせることもある．たとえば，目を閉じている間に，目の前にプレゼントを用意して，目を開けると同時にプレゼントが目に入るようにする．生理的な面では，眠る際や目の疲れを休めるためにも目を閉じる．
このように目を閉じることには日常的な行為でありながら，「願う」「祈る」「想像する」「集中する」「耳を澄ます」など，さまざまな文化的意味を持っている．
従来の目を操作に利用した研究は，画面操作の視線入力 [1] として目を利用したり，ウインクをスイッチとして利用する [5] ものはあったが，目を閉じるという行為の本質的な意味に着目したシステムはほとんどみられなかった．
本研究では，こうした目を閉じるという行為を，「願う」「祈る」「想像する」といった文化的なメタファとして捉えた新しいインタラクション手法「EyeWish」を提案する．
本論文では，まず EyeWish のコンセプトと基本的∗

Copyright is held by the author(s).
Keita Watanabe, 慶應義塾大学 SFC 研究所, Koji
Tsukada, お茶の水女子大学 アカデミックプロダクションな実現方法について説明した後，試作した 3 つのアプリケーション（WishTrend, WishMusic, WishMemory）について述べる．さらに，EyeWish のコンセプトおよびアプリケーションに関して詳しく議論する．

2

EyeWish2.1 コンセプト
EyeWish とは，目を閉じるという行為を，「願う」「祈る」「想像する」といった文化的なメタファとして捉えた新しいインタラクション手法である．ユー
ザはシステムに対して，願ったり祈ったりするメタファを用いて，応答を求めることができる．たとえば，ユーザは，目を閉じて「願う」ことで，多様な情報を得ることができる．また，目を閉じて「思い出す」ことで，過去の写真／メモなどを思い出として振り返ることができる．
さらに，ユーザの置かれたコンテキストの利用や，情報提示方法を工夫すれば，システムに対する信頼を深め，時には信仰的な効果を与えることも期待できる．たとえば，Web ページには多くの占いサイトがあるが，占いの手法は通常の GUI を用いることがほとんどである．すなわち，ユーザはプロフィールを入力し，結果を表示するためにボタンを押すことになる．EyeWish を用いれば，目を閉じて「祈る」ことで占いの結果を表示したりできるため，ユーザ体験がより豊かな物になると考える．このような応用については，後に詳しく議論する．

2.2

システム実装ここでは，EyeWish の実装について述べる．EyeWish では，「目の開閉」をバックグラウンドで動作する画像処理によって検出し，「目を閉じる」「目を開く」という行為をイベントとして検出する（図 1)．
近年，多くのノートパソコンはディスプレイ上部にカメラ（以下 PC カメラ）を内蔵している．こうWISS 2009

EyeWish Applications
WishTrend

WishMusic

WishMemory

EyeWishServer
OpenCV
目の検出（開いている時）
図 2. システム構成

種アプリケーションに TCP ソケット経由で送信する機能も実装した．

アプリケーション

3

本研究では，EyeWish のコンセプトに基づき，WishTrend，WishMusic，WishMemory の 3 つのアプリケーションを提案・試作した．
目の検出（閉じている時）
図 1. 目の開閉の検出

した PC カメラを用いることで，ユーザがパソコンに向かって作業している状態で，ほぼ正面の顔画像を手軽に取得できる．こうして得られた顔映像を利用し，OpenCV を用いた以下のような画像処理を行う．
まず，パターンマッチングを用いて顔認識を行い，顔の有無を判定する．次に，顔が存在した場合，顔の位置を取得し，目の存在するであろう推定領域を導く．この領域に対して，パターンマッチングを行い，目の有無を判定する．ここで，目が存在した場合は「目が見つかった」状態とする．
「目が見つかった」状態において，顔の位置が一定以上変化せずに，目が検出されなくなった場合，「目を閉じた」状態とし，イベントを発生する．
「目を閉じた」状態において，顔の位置が一定以上変化せずに，目が検出された場合，「目を開いた」状態とし，イベントを発生する．
「目を開いた」状態は，自動的に「目が見つかった」状態へと移行する．
こうした OpenCV を用いて目の開閉を行うシス
テムはミドルウェア「EyeWishServer」として独立させ，イベントは TCP ソケット経由で各種アプリケーションに送信される (図 2）.
また，次章で述べるアプリケーションを実装する
際の補助的な役割として，ユーザがパソコン上で現在利用している最前面のプログラム名を取得し，各3.1 WishTrend
WishTrend は目を閉じるという行為を「願う」「何かを悟る」というメタファとして捉えた，Web上のトレンドを「悟る」Web ビューアである (図 3,
図 4)．ユーザが，Web ブラウザを利用している時に目を閉じると，数秒1 経過後に BGM が流れだし，最近のトレンドを捉えた多数の Web ページが，画面上部から下部に向かってスクロールして表示される．したがって，ユーザは目を開くと，目の前にそれらの Web ページが提示された状態となる．
トレンドの判定は，現在 Web 上でよく検索されているキーワード2 を利用した．このキーワード（最大 8 種類）を用いて，Google API で検索を行い，各数個の Web ページを取得する．そして，Adobe
Flash の Web ブラウザコンポーネントを用いて表示する．

図 3. WishTrend と WishMemory の提示例
12

現在の実装では約 3 秒
テクノラティジャパン：人気のブログ検索キーワード
http://rss.rssad.jp/rss/technorati/trjcf/keyword ranking

EyeWish: An interaction technique using closing eyes

閉じたことを検知

Web をみていると最近注目の Web が現れる

図 6. WishMusic
目を開いている目を閉じる

目を開くで徐々に低下させる．目を開けると，輝度は徐々に100%に戻っていく．これは，目を閉じた際に画面が意味を持たないことを象徴的に表現すると共に，目を開いた際の明順応を緩和する役割を持っている．

図 4. WishTrend

3.2

WishMemory

WishMemory は，目を閉じるという行為を，「想像する」「回想する」ことのメタファとして捉えた，
写真ビューアである (図 3, 図 5)．
ユーザが写真ビューアやメッセンジャー3 を使っているときに目を閉じると，画面が暗転し，過去に撮影した写真が提示されていく．目を閉じて開くと，そこには過去に撮影した写真が溢れている．
ここでは，より長い時間回想することで，多くの写真を思い出す，という表現を行うために，目を閉じている時間に応じて，より多くの写真が提示される仕様とした．
3.3

WishMusic

WishMusic は，目を閉じるという行為を「耳を澄ます」ことのメタファとして捉えた，「自然と音が聞こえてくる」ミュージックプレイヤーである (図 6)．
ユーザが，ゲームやテキストエディタを利用している時に目を閉じると，スピーカーから徐々に音量を上げながら音楽を再生する．次に，目を開けると，音量を徐々に下げながら，音楽が停止する．また，目を閉じるとともに，ディスプレイ輝度を 50%ま目を開いている

閉じたことを検知

メッセンジャーをみていると目を閉じている時間だけ写真をロード

目を閉じる

図 5. WishMemory3

特定の人物との思い出を表現する

目を開く

4
4.1

議論
目の開閉の認識

ここでは，目の認識精度について述べる．明るい
室内でノートパソコン内蔵の PC カメラを利用した
場合，ユーザが (カメラでなく）ディスプレイを見ている状態で目を開閉しても，比較的安定して検出することが出来た．ただし，現在の認識手法は，画面内には 1 人のユーザ（1 つの顔) しか存在せず，基本的に正面を向いている，とするという制約を設けている．これらは，一般的なノートパソコンの利用状況においては大きな問題はないが，生活空間での応用を考えると，複数人の顔が写り込んだ場合や，ユーザの姿勢が変化した場合でも動作する認識手法が必要となる可能性もある．
一般に，画像処理以外の手法を用いて，認識精度を向上させる方法としては，(1) 目の検出するためのデバイスを着用する，(2) 利用環境条件を自然な形で限定する，といったアプローチが考えられる．

(1) については，たとえばメガネにカメラを取り付け，目の部分だけの画像を検出するデバイスを利用すれば，認識精度も向上し，多様な環境に対応できるように思える．しかし，目を閉じるという自然な行為を検出するために，特殊なデバイスを着用することは負担が大きいと考える．
(2) については，今回の実装（パソコンを利用した状態を想定）のように，ユーザの状況を自然な形で限定することである．カメラとユーザの顔の位置関係が一定になるように工夫すれば，認識精度は自然と向上すると考えられる．たとえば，「祈る」というメタファに基づいて，宗教的な像の下部に，見上げるようにカメラを取り付けることが考えられる．
ユーザがうつむき気味に目を閉じて「祈る」ことで，神の声が聞こえてくるようなシステムを高い精度で作ることが出来るのではないだろうか．

WISS 2009

4.2 コンテキスト認識
EyeWish システムにおいては，目を閉じる行為を，「願う」「祈る」「回想する」といった複数のメタファに対応づけているが，現実的には，人間の思考（＝どのメタファとして目を閉じているか）をシステムが直接判別することは困難である．そこで，現在実装した 3 つのアプリケーションにおいては，現在のパソコン上のタスク（=最前面のウインドウ）を元にして，目を閉じる行為がどのようなメタファに結びつくのが適当かを判断している．
WishTrend は，Web ブラウジングを行う際の探求心／好奇心から，目を閉じることを多様な情報の到来を「願う」を行為として捉える．WishMemory
は，写真ビューアやメッセンジャーを使う際の特定イベント／人物への想いを，「回想する」行為として捉える．WishMusic はゲームやテキストエディタなどの集中しがちなタスクにおいて，気分転換のために「耳を澄ます」行為として捉える．
また，生活空間での応用を考えた場合，前述したように利用状況を限定することで，さまざまなコンテキストを表現できる可能性がある．たとえば，祭壇の前に立てばそれは「祈る」行為である可能性が高い．また，神社によって御利益に違いがあるように，「学問の祭壇」，「恋愛の祭壇」といった複数の祭壇を設けることで，適切な情報提示を行うことも考えられる．
さらに，明示的に目を閉じさせる方法も，コンテクストを限定する上で有効である．たとえば，占いサービスで結果を出す前に「目を閉じて祈りましょう」と表示する．そして，目を閉じたことを検知したら音などで占っている状況を演出する．このように，目を閉じさせるきっかけは明示的にし，その後の閉眼状態をうまく活用した占いやゲームなどのコンテンツに応用する方法も考えられる。

4.3「目を閉じる」意義

現在の GUI ベースのコンピュータシステムは（ひいては我々の世界は），視覚情報を中心としており，視覚情報は他のモダリティよりも重要な情報源となることが多い．したがって，目を閉じて敢えて視覚情報を遮蔽することは，（逆説的に）ユーザにとって印象深い行為である．EyeWish は，この印象の強さを活用することで，新しいユーザ体験を与えるインタラクション手法になりうる．
一般に，神社などで目を閉じて「祈る」ことや「願う」ことは，必ずしも直接的な利益をもたらす物ではない．むしろ，気持ちの切替や，内面的な目標設定の確認をすると考えることが出来る．このように，実世界においては，目を閉じて「願う」ことは実際に効果があるかに関わらず，行為自体に一定の意味がある．
たとえば，情報推薦においてもアルゴリズムだけではなく，インタラクションが重要だという指摘 [2]がある．すなわち，情報推薦を行う際に，ボタンをクリックして結果が表示される場合と，WishTrendのように，目を閉じて「願う」メタファを利用する場合では，ユーザの印象は変化するように思われる．

5

関連研究

目を利用したインタラクション技法としては，さまざまな研究／製品が提案されている．たとえば，視線入力を用いたインタフェース [1] や，目の開閉時のこめかみの動きを検出しスイッチとして利用するこめかみスイッチ [5] がある．また，ドライアイ予防の製品として，ウインクグラス [4] がある．一
定時間瞬き（目の動き）がないと，メガネに取り付けた透明のプレートが曇り，目を閉じることを促す．
アート作品としては，無意識的な瞬きを利用して写真を切り替える Depth ofthe Field [3] などがある．
これらはいずれも目を活用した興味深いインタラクションを提供しているが，本研究のように目を閉じる行為を「願う」「祈る」といった文化的なメタファで捉えているものではない．

6

おわりに

本研究では，こうした目を閉じるという行為を，「願う」「祈る」「想像する」といった文化的なメタファとして捉えた新しいインタラクション手法「EyeWish」を提案した．そして，EyeWish のコンセプトに基づき，WishTrend, WishMusic, WishMemory という 3 つのアプリケーションを試作した．さらに，EyeWish の展望として，画像認識，コンテキスト認識，目を閉じる行為の意義と行ったことについて議論した．

参考文献[1] M. Kumar and T. Winograd. GUIDe: gazeenhanced UI design. In CHI ’07: CHI ’07 extended abstracts on Human factors in computing
systems, pp. 1977–1982, New York, NY, USA,2007. ACM.
[2] 大坪 五郎. 「人間」に情報を推薦することについて考える. ヒューマンインタフェース学会誌 Vol.9
No.4 2007, pp. 251–256. ヒューマンインタフェー
ス学会, 2007.
[3] 高 尾 俊 介.
Depth of the Field - Processing
Photography
BlinkSeries.
http://minimum.ycam.jp/works/depth/index.html.
[4] 増 永 眼 鏡 株 式 会 社.
ウ イ ン ク グ ラ ス.
http://www.masunaga1905.jp/brand/winkglasses/.
[5] 谷口 和弘, 西川 敦, 宮崎 文夫. こめかみスイッチ：
瞬きパチパチでスイッチカチカチな常時装用入力装置. インタラクション 2008 論文集, pp. 25–26.
情報処理学会, 2008.