MIRROR ACTION:振る舞いに適した鏡状情報提示システム
鈴木祥太†

小野哲雄‡

山本敏雄†

MIRROR ACTION: Information Presentation System Using Mirror
Based on User’s Behavior
SHOTA SUZUKI†

1.

TETSUO ONO‡

はじめに近い将来ユビキタスネットワーク社会が訪れ，日常生活に溶け込んでいるモノが高度化し，電子化・ネッ

TOSHIO YAMAMOTO†

2.

MIRROR ACTION

2.1

概要

MIRROR ACTION とは，鏡の前で行う振る舞いをトワーク化されると予想される．そして，将来的にセ入力情報とし，それに適した情報を鏡上に提示する日ンサやネットワークで繋がり互いに連携することで，常生活支援システムである．入力情報に鏡の前で行う新たなサービスが行われると考えられる．また近年，自然な振る舞いを用いることで，ユーザは特別な操作エンターテイメントやバーチャルリアリティなどのを要求されず，振る舞いをそのまま続けることができ様々な分野で身体の振る舞いをコンピュータシステムる．従って，ユーザは従来の鏡と同様に本システムをで扱う研究が盛んである．しかし，これらは日常生活利用することで，その振る舞いに適した情報を得るこにおいて実用的ではない場合が多い．実世界志向の情とができる（図 1）．具体的には，振る舞いの最中や報環境デザインの観点より，ユーザに違和感のないイ外出後に役立つ情報を鏡上に提示する．これにより，ンタフェースを提供するためには，システムを周囲の利用中と外出後のユーザの行動に影響を与え，日常生環境に溶け込ませることが有効であると考えられてい活を支援する．

る[1]．具体的な方法として，生活空間にすでに存在している物体を高度化し，拡張するもとの物体に類似したインタフェースを持たせることが挙げられる．そこで本研究では，高度化するモノの対象として“鏡”に着目した．
日常生活における鏡は，家の中から外へ出かける，デパートのトイレの中から通路へ出るなどといった，ある空間からある空間に移動する場所に設置される場合が多い．また鏡の利用目的として，自分の格好を確認する意味合いが強く，鏡の前で行われる振る舞いも髪を整えたり，服装を整えたりといった身だしなみに関連した振る舞いが多い．
本研究では，鏡の前で行う自然な振る舞いを推定し，

図 1 MIRROR ACTION の表示画面

本システムで推定される振る舞いと提示される情報

その振る舞いに適した情報提供を行うことで，日常生の関係を表 1 に示す．例えば，手が右半身や左半身に活を支援することを目的としたシステム MIRROR

位置し，服を整える振る舞いの最中と推定された場合，ACTION を提案する．

提示情報として，過去 1 週間分のユーザ画像を提示する．この情報を参考とすることで，全く同じ格好を 2† 公立はこだて未来大学

日前にしていたり，黒色の格好が多いといった情報をFuture University-Hakodate‡ 北海道大学
Hokkaido University得ることができ，ユーザに格好を変えるという選択肢を与える．

情報処理学会 インタラクション 2010
表 1 振る舞いと表示される情報の関係
振る舞い提示される情報

髪を整える

ヘアスタイル情報

手が頭領域にある

服を整える

一週間分のキャプチ

手が右半身・左半ャしたユーザ像

身領域にある

一週間分のキャプチ

手が顔領域にある

化粧をする

判断条件

ャした化粧後の画像
上記以外の場合

2.2

天気・ニュース情報

上記以外

MIRROR ACTION の特徴鏡を用いた関連研究として，西田らは健康情報を継続的に把握し続けることを支援するためのシステムの提案をしている[2]．このシステムでは，タッチパネ
ル操作により情報を選択する．しかし，鏡に触れるという行為は不自然であり鏡らしさを生かせていない．
次に古川らは，ユーザの肌に負担をかけずに様々なメークアップを試すことができるシステムを提案している[3]．また，長尾らはイベントや天気などを考慮したファッション支援システムを提案している[4]．しかし，これらはターゲットや利用用途が限定されており，多数のボタンやアイコン，タグなどを用いた複雑な操作が必要となる．細谷らは，鏡上で遠隔地の家具の操作などが行えるミラーインタフェースシステムの提案をしている[5]．しかし，このシステムは鏡の前での自然な振る舞いを利用しているものではなく，あくまで手をマウスとしたジェスチャコマンド[6]を用いて家具を操作するものであり，操作方法を覚える必要がある．
そこで本研究が提案するシステム MIRROR ACTION
では，鏡の前で行われる自然な振る舞いを操作方法とすることで，不自然なタッチパネル操作や，ジャスチャコマンドを用いない操作方法を実現した．また，自然な振る舞いに適した情報を鏡上に提示をすることで，ターゲットや鏡の利用用途を限定しないシステムとした．
2.3

システム構成MIRROR ACTION のシステム構成は，鏡の役割をするディスプレイ，ディスプレイ上部に設置されたWeb カメラ，画像処理を行うコンピュータで構成される（図 2）．本システムは，WEB カメラの映像を左右反転させて出力し，ディスプレイを鏡に見立てると同時に，ユーザの振る舞いを画像処理により推定し，振る舞いに適した情報を合成して提示する機能を持つ．本システムは Visual C++ で開発し，画像処理の実装には OpenCV 1.1pre を用いた．

図 2 システム構成図

2.4

振る舞いとは人の振る舞いは，同じ振る舞いでもその一連の流れは多種多様である．例えば，顔を洗う一連の流れでは，ある人は顔の中心から外側にかけて洗ったり，別の人では顔を下部から上部にかけて洗う場合もある．また，鏡に正対して行われる振る舞いでは，主に手の位置に変化が生じると考えられる．そのため，手の位置に着目することで，振る舞いの一連の流れを考慮した判断が可能になると考えた．例えば，頭部付近に手がある場合，髪を整えている振る舞いである可能性が高い．
そこで本研究では，ユーザのキャプチャ画像から顔と手の検出を行い，その相対的な位置関係から，振る舞いの推定を行うことにした．次節では，本システムで実装した顔と手の検出方法，顔と手の位置を用いた振る舞いの推定方法，振る舞いに適した情報の提示方法について述べる．
2.5

処理の流れ

ここでは，MIRROR ACTION で実装した処理を述べる．
2.5.1 顔と手検出全体の主な処理の流れを以下に示す（図 3）．画像
から顔の検出（顔検出画像(2)）には，正解画像と非正解画像を学習した正面顔検出器を用いて，Web カメラでキャプチャした元画像(1)から顔の中心位置・半径を求める．次に手を検出するために，元画像からユーザの身体だけを抜き出した前景画像(3)を計算する．
前景画像の計算には，背景画像の時間的な明度変化を考慮した物体検出を行う動的背景差分手法を用いた[7]．手の検出には，前景画像から YCbCr を用いた肌色抽出処理後に，2 値化処理をした中間画像 (4)上で行う．YCbCr を用いる理由は，RGB の場合に比べ色差や輝度を比較しやすく，より肌色を抽出しやすいため

MIRROR ACTION:振る舞いに適した鏡状情報提示システム

図 3 主な処理の流れである．この際，顔の肌色は手の検出にあたってノイて情報の提示の仕方に変化が生まれ，入力情報と出力ズとなるため，顔検出画像と中間画像から顔の肌色領情報の関連性を持たせることができた．逆に情報が消域を黒く潰すことで除去し，手検出用画像(5)を作成える際は，提示していた情報が上部に移動し，画面外する．その後，ラベリング処理を行い各手候補領域の．これらのアニメーションをへ消えていく（図 5 左）

座標・面積を求め，手検出画像(6)のように，閾値よ用いない方法に比べ，情報の切り替えを視覚的に認知り面積が大きい上位 2 つまでの領域を手として検出すしやすくなり，ユーザの認知的負荷の軽減に繋がったる．と考えている．

2.5.2 振る舞いの推定
顔と手の検出後に振る舞い推定を行う（表 1）．振る舞いの推定は，元画像（図 3(1)）を図 4 のように 6領域（1 顔，2 頭，3 右半身，4 左半身，5 右背景，6 左背景)に分割し，手が 6 領域のどの部分に位置するかを判断条件とした．各領域は，顔の中心座標・半径を基準として計算する．またこの時，領域の優先順位を顔，頭，右半身，左半身，右背景，左背景とした．
しかし実際には，振る舞いの最中であっても，手が想定しない領域に短時間移動する可能性がある．この時，提示される情報が次々と切り替わり，ユーザが困惑する可能性を避けるため，本システムでは一定時間

図 4 振る舞いに用いる各領域以上，判断領域に手が位置していることを条件に追加した．
2.5.3 情報の提示
MIRROR ACTION では，常にディスプレイ上部に情報を提示し，ユーザの振る舞いの変化に応じて情報を切り替える．
情報が切り替わることによって，表示場所の領域を

図 5 提示情報の切り替え一定に保ち，振る舞い時に適切な情報が一目で得られる．また，振る舞いと提示される情報の関連性を自然に意識させる工夫として，本システムでは情報提示の切り替えアニメーションを用いた．アニメーションの様子を図 5 に示す．情報が現れる際は，振る舞いの行われる場所（手の場所）から情報が出現し，画面上部に整列する（図 5 右）．これにより，振る舞いによっ3.

今後の課題と展望

MIRROR ACTION をより有用なものにするために
主に 4 つの改善手法が考えられる．まず１つ目に，鏡に映ったユーザの姿から，ユーザ認識や性別・年代・感情の判断[8][9]，好みの服の色など，より詳細な情情報処理学会 インタラクション 2010

報を取得することで，パーソナライズされた情報提示が可能になると考えられる．2 つ目に，本システムの見た目をより実世界にある鏡に似せることで，生活にや商品情報の広告を行うことが可能となる．

4.

おわりに溶け込んだシステムになると考えられる．例えば，西本論文では，鏡の前で行われる振る舞いの判断を行田らの手法[1]のように，ハーフミラーを用いて，そい，それに適した情報提示を行う日常生活支援システの背面からカメラで画像を取得してプロジェクタで投ム MIRROR ACTION を提案し，システムの開発と実影するという方法などがある．3 つ目に，ユーザが意装を行った．現在は，判断可能な振る舞いの種類は少図しないタイミングでの提示情報の切り替えを防ぐこなく，まだ振る舞いに応じて適した情報を提示するシとで，ユーザが本システムをより使いやすくなると考ステムにするための改善点があると考えられる．また，えられる．例えば，情報提示部分に顔方向[10]や視線実際にユーザに利用してもらい，アンケートなどを用がある場合には，提示情報の切り替えを行わない方法

いた定性的評価を行うことで今後の発展に繋げていきなどがある．最後に，判断できる振る舞いの種類を増たい．

やすことが考えられる．例えば，鏡に接近する振る舞いを行った場合，ユーザは注目した部分を細かく確認したいと考えられる．この時，ユーザが確認したい部分を拡大することで，ユーザの見る行為をサポートする．
今後の展望としては，２つの方向性が考えられる．
1 つ目の方向性は，家庭内で利用する場合であり，日常生活により密着した情報を提示する．２つ目の方向
性は，公共の場所で利用する場合であり，商品やイベント情報の広告を行い，より一般化した情報を提示する．
前者では，将来的に家庭環境のユビキタスネットワーク化が進み，1 家庭 1 台のサーバを持つことを想定している．そこでは，家庭内の家具などは共通のデータベースを利用して，家具同士などの連携したシステムサービスが可能になると考えられる．これにより，日常生活により密着した情報提示ができる可能性がある．例えば，食料品の買い忘れを防ぐために，冷蔵庫と鏡が連携を行い，足りない食料情報を取得し，身だしなみを整え終えたタイミングでその情報を提示することが挙げられる．
後者では，ショッピングモールなどのトイレにある鏡を想定している．その場合前者とは違い，様々なユーザが利用する．従って，日常生活により密着した情報提示を行うのではなく，その場所に適したより一般的な情報提示を行う．例えば，ユーザが化粧をしているのであれば化粧品の商品の広告や，髪を整えているのであれば整髪料や洗髪料の広告を行う．この際，提示する情報にショッピングモールのイベント情報や商品を用いることで，ユーザの購買意欲を促進する新たな情報提示サービスになると考えられる．また，振る舞い毎に情報を切り替えることで，振る舞いとは関連性のない広告の複数提示を防ぐ．それによって，ユーザの認知的負荷を減らし，より効果的にイベント情報

参考文献

1) 牛田，田中，苗村，原島，“鏡メタファ実世界指向情報環境 i-mirror におけるアプリケーション”，
IMPS2001，I-4.07，(2001)．
2) 西田，平山，柿倉，掘，末廣，平井，“3 次元視覚を用いた洗面型ディスプレイ”，電気学会研究会資料．SC，pp.19-24 ，(2001)．
3) 古川，塚田，“魔法の化粧鏡 -実時間顔画像認識に基づくメークアップシュミレーション-”，画像ラボ，pp.34-38，(2002)．
4) 長尾，高橋，田中，“過去の行動から服のコーデ
ィネートを推薦する鏡状アプライアンス”，ヒューマンシンポジウム，(2007)．
5) 細谷，北端，佐藤，原田，野島，森澤，武藤，“実世界インタラクションのためのミラーインタフェース”，インタラクション，(2003)．
6) 木村，柴田，鶴田，酒井，鬼柳，田村，“ジェスチャ操作を活用する広視野電子作業空間の設計と実装”，情報処理学会論文誌，pp.1327-1339，(2006)．
7) 森田，山澤，寺沢，横矢，"全方位画像センサを用いたネットワーク対応型遠隔監視システム"，
電子情報通信学会論文誌（D-II)，Vol．J88-D-II，
No．5，pp.864-875，(2005）．
8) 本郷，石井，丹羽，山本，“顔画像から性別と年齢の統合的推定方法の提案”，電子情報通信学会
技術研究報告．PRMU，パターン認識・メディ
ア理解，pp.1-6，(2002)．
9) 谷，長谷川，坂本，坂田，兼田，福島，“注視特性と正準相関分析による顔表情や感情の測定法”，
映 像 情 報 メ デ ィ ア 学 会 技 術 報 告 ， pp.9-12 ，(2009)．
10) 武岡，尾崎，足達，“個人認証のための顔画像抽
出と顔方向の自動認識”，名古屋女子大学紀要・
社会編，pp.145-151，(2004)．