WISS2005

Face-Connect:顔の動きに基づいたサービス推薦・選択手法
Face-Connect:Recommendation and Selection Technique of Service Based on Movement of Face

駒木 亮伯

岩井 将行

神武 直彦

高汐 一紀

徳田 英幸∗

Summary. In ubiquitous computing age, numerous kinds of location-aware service are rapidly evolved．
Hot Spot services of a public space using the location information are also diversified．A recommendationand selection technique of the service, however, is not considered. This paper proposes a new frameworkof recommendation and selection technique of service, called Face-Connect, based on movement of face．
This framework analyzes a human’s face by using multiple cameras and makes a movement and a direction
history of face．This framework calculates a gaze status by using these history．

1

はじめに公共空間を対象とした多様なホットスポット端末が開発されている (図 1)．ホットスポット端末を利用した様々なサービスの研究が行われている [1]．また，ユーザの行動に応じて部屋の位置をゾーンに分ける研究がなされてる [2]．これらの研究は，ゾーンに応じてサービスを切り替え，ユーザの嗜好を反映したサービス提供を可能にしている．

2

Face-Connect の概要
Face-Connect は，ホットスポット端末の前にいるユーザが行う顔位置と向きを測定し，履歴化する．履歴化した顔動作の分散度合いを測り，ユーザのホットスポット端末に対する注視状態を判定する．
これにより，ホットスポット端末前にいるユーザに対して，端末はサービスの推薦や顔の動きを利用したサービスの選択を可能にする．

2.1

図 1. Smart Furniture

従来のデスクトップ環境では，ユーザは端末に対して手の届く位置にいる事が多く，ユーザは明示的にマウスやタッチパネルを用いてクリックやダブルクリックによってサービスを選択していた．しかし，多種の目的を持った不特定の人が存在する公共空間
では，端末に対して手が届かないゾーンにいるユーザにサービスを推薦，選択させる手法が求められる．
本論文では，公共空間に設置されたホットスポット
端末前でのユーザの顔動作に応じたサービス推薦・選択手法，Face-Connect を説明する．Face-Connect
は，ユーザがホットスポット端末に対して手を触れずサービスの推薦・選択を可能にするアプリケーションフレームワークである．
∗c 2005 日本ソフトウェア科学会 ISS 研究会．
°Akinori Komaki, Masayuki Iwai, Naohiko Kohtake,慶應義塾大学大学院 政策・メディア研究科, KazunoriTakashio, 慶應義塾大学 環境情報学部, Hideyuki Tokuda,
慶應義塾大学 環境情報学部, 慶應義塾大学大学院 政策メディア研究科

ユーザ位置と向き検出手法

顔位置は，二台のカメラを利用し三点測量によって求められる [3]．カメラによる動画像処理を行い，動画像から顔領域を検出する．顔領域を基に，顔を囲う四角形の中心点と顔輪郭の重心点を求める．二台のカメラで得られた顔輪郭の重心点とカメラの位置座標を元に三点測量しユーザの位置情報を三次元位置で算出する．また顔の向きは，顔輪郭の重心点と顔を囲う四角形の中心点のずれから判定する．例
えば，重心点が中心点から左下にずれているならば，ユーザは右下を向いていると判断する．

2.2

注視状態の判別

本研究では，単位時間におけるホットスポットとユーザの相対的な距離の差分と，ホットスポットに対する顔の動きを履歴化し注視状態を判別する．
具体的には，ホットスポットの位置を (0,0) とし，ある時刻 t での位置 (Xt,Yt) とδ t 秒前の位置 (Xtδ t,Yt-δ t) から距離 D1,D2 を算出しホットスポッ
トとユーザの相対的な距離を求める (図 2)．本シス
テムは，この時間帯 t-δ t における距離 D1 と D2の差分 (Pt) を算出する．そして，一定時間 Pt を履歴化し，Pt の平均を求める．Pt の平均が 100cm 以上距離が縮まった場合，ホットスポットに近づいているとし，100cm 以上距離が離れた場合，ホットスポットから離れたとし，それ以外の場合，ユーザは立ち止まっていると場合わけする．また，単位時間t におけるホットスポットに対する顔の動きについて分析する．ここでは，時間 t と時間 t-δ t とを比WISS 2005

べ，人の顔が左右に動いたか，静止していたかを測定する．そして，一定時間顔の動きを履歴化し，4/5以上顔の動きがない場合，じっと見つめているとし，4/5 以上顔が左右に動いた場合，きょろきょろしているとし，それ以外は眺めているという場合わけをする．

図 2. 距離算出

以上のように顔の位置と動きを履歴化し場合わけした結果から，ユーザの注視状態を判別する．本シ
ステムでは，3 × 3 のマトリックスを作成し，注視状態を S1 から S9 までの 9 つの状態 (Status) に場合分けした (図 3)．この 9 つの状態を元にホットスポットでのアプリケーションはサービスを提供可能になる．

3.1

アプリケーションの起動シナリオ

今回実装した GAPP では，ユーザが GAPP の広告 (図 4 には三つの CD 広告が存在する) に対してじっと見つめ近づくと，注視した広告にダイアロッグが表示される．さらにそのまま注視し続けると，Music Player が起動し，ホットスポット端末から音楽が流れる (図 4)．GAPP は，ユーザが端末に手を触れずに，注視するだけで音楽再生サービスの起動を可能にしている．また，人が注視しなく端末から離れると自動的にアプリケーションは初期の広告画面に戻る．
3.2 Face-Connect との連携

GAPP は，Face-Connect を利用して実装されている．GAPP は Face-Connect が提供する Statusの内 (図 3)，S1 ,S2 ,S4 ,S5 の場合にサービスをユーザに推薦する．また，Status が S1 ,S2 の場合にサービスを選択し決定する．
Face-Connect より，マウスやタッチパネルなどと違い端末に手を触れずにアプリケーションを起動できる．公共空間にいる人がホットスポット端末に近づき見つめるだけで，ホットスポットはサービスを提供できる．

4

まとめ

本論文では，公共空間に設置されたホットスポッ
トにおけるサービスの推薦，選択についてのフレー
ムワークを提案し，それを利用したサンプルアプリケーションについて説明した．本研究の仮説や精度についての評価と考察は，今後の課題とする．

謝辞

図 3. Status の決定

3Gaze-Driven Application

本研究は総務省「ユビキタスネットワーク制御・管理技術の研究開発 (ubila プロジェクト)」の一部として支援していただきました．

参考文献

本研究では，Face-Connect を利用したサンプルアプリケーション，GAPP(Gaze-Driven Application) を実装した．GAPP は，ユーザが端末に手を触れず，音楽を再生する広告アプリケーションである (図 4)．

[1] Th. Prante, C. Rocker, N. A. Streitz, R.
Stenzel, C. Magerkurth, D. van Alphen, D.
A. Plewe. Hello.Wall-Beyond Ambient Displays.
Video Track and Adjunct Proceedings of the Fifth
International Conference on Ubiquitous Computing (UBICOMP 03), pp. 277–278, October 2003.

図 4. Gaze-Driven Application[2] Kimberle Koile, Konrad Tollmar, David Demirdjian, Howard Shrobe and Trevor Darrell. AuraLamp: Contextual Speech Recognition in an
Eye Contact Sensing Light Appliance. UbiComp
2003: Ubiquitous Computing: 5th International
Conference, 90-106, Seattle, WA, USA, October,2003.
[3] Akinori Komaki and Kohtake Naohiko andKazunori Takashio and Hideyuki Tokuda.
CatchMe:Multi-Camera Person Tracking
System for Indoor Public Space. The First
Korea/Japan Joint Workshop on Ubiquitous
Computing & Networking System 2005, 405-410,June, 2005.