実世界インタラクションのためのミラーインタフェース
細谷英一

北端美紀

野島久雄
日本電信電話株式会社

佐藤秀則

森澤文晴

原田育生

武藤伸一郎

NTT マイクロシステムインテグレーション研究所

１． はじめに体を介して、あたかも実世界との直接的なインタユビキタス時代の到来により、家庭内のさまざラクションを行っているかのような感覚で操作可まな機器が電子化されネットワーク化されようと能な実世界インタフェース「ミラーインタフェーしている。しかし、これまでユーザは機器毎に異ス」手法を提案し、そのプロトタイプについて説なるインタフェースを個別に学習する必要があり、明する（図１）。本システムは、自己像表示画像上またそれらは家庭内でリテラシーの低いユーザにに映っている実世界の物体を直接ポインティングは困難なものが多かった。本稿では、リテラシーすることが可能である。また、従来法同様に、実フリーな家庭内端末システムの実現を目的として、物体像以外のアイコン等とのインタラクションも自己像が表示された実空間の鏡像画像（自己像表可能なため、ポインティングされた実物体自身か示画像）を用いることにより、ＣＧやメニューだらメニューを表示し、コマンドの選択を促す直感

けでなく画面上に表示される実画像を介して実物的な操作感を得ることも可能である。

体にアクセス可能な、汎用的かつ直感的なインタカメラ

フェース「ミラーインタフェース」を提案する。

情報表示

メニュー表示また、試作したプロトタイプシステムを示す。

Status : Ｌ

L M H

２． ミラーインタフェース

メニュー表示エアコン

P

これまで、画像から非接触に人間の動作を抽出し、Rコマンドを選択・実行する手法が提案されているFF[1]-[4]。これらは、手振り動作を画像認識しコマビデオンド選択する方法[1]や、自己像表示画像を用いて、その上に重畳表示したアイコン等を自己像が触れる方法[2]-[4]により、希望するコマンドを選択する手法であった。このような自己像表示を用いたインタフェースは、ユーザに自己の姿がフィードバックされる点に特徴がある。筆者らは、その特徴を活用した自然な操作系の構築を目指しており、[5]では北端らが、他のインタフェースに対する比較実験を行い、自己像表示を用いたインタフェー

図１：ミラーインタフェース
３． 実世界とのインタラクション
３．１ 直感的メニュー表示
本システムでは、画面上の物体像を手で触れることにより、直接的に物体の持つ機能を利用可能とする手段を提供する。画面上の手の位置（現シ実物体像（スタートアイコン）

閉じるアイコン

メニューリスト①②

的なディスプレイ及びカメラを想定し、自己像以外の物体映像も活用することにより、画面上の物
A Mirror Interface for Real World Interaction
Eiichi Hosoya, Miki Kitabata, Hidenori Sato, Ikuo
Harada, Hisao Nojima, Fumiharu Morisawa andShinichiro Mutoh
NTT Microsystem Integration Laboratories{hosoya, kitabata, hide, harada, nojima, morisawa,mutoh}@ aecl.ntt.co.jp

テレビ

大画面ディスプレイ

ユーザ

スの優位性を示している。
本稿では、家庭内で機器等を操作するための多目自己像③

図２：直感的メニュー表示例ステムではマーカ使用）を検出し、物体像との重４．２ 実験なりを検出することにより、図２のようなユーザIR タグを付けた複数の物体を背景に配置したイの手振り動作方向に応じた、物体像を起点としたンタフェース実験を行い、動作を確認した（図４）。

階層的なメニューリストの表示を可能としている。

また本システムは、ユーザと背景を別の部屋とし、３．２ 実物体アクセス

自己像と背景画像を重畳することにより、他の部実物体とのアクセスには、本稿のミラーインタフ屋に飛び入って操作することも可能である。

ェースに加え、当研究所開発のタグ位置／センサ情報提供システム[6]を利用している。この装置は、物体との赤外線（IR）信号送受信による画面上の（x, y）座標検出と、無線を用いたセンサ値の受信、アクチュエータへの信号送信が可能である。予めID 登録を行った家電機器等を実物体として用い、画面上でアクセスしたい物体像を触ってメニュー選択することにより実物体とアクセスできる。
４． プロトタイプシステム
４．１ システム構成
本プロトタイプのシステム構成を図３に示す。物
図４：プロトタイプシステムによる実験

体の位置認識も可能なタグ位置／センサ情報提供
システムと連動して実世界とリンクされている。

５． おわりに

ミラーインタフェースシステムは、カラーカメラ自己像表示画像上で、直接リアルタイムに実物１台、大画面ディスプレイ、マイク、スピーカ、体とのインタラクションが可能な「ミラーインタPC 及びソフトで構成される。初めにユーザがディフェース」を提案・試作した。今後は評価及び具スプレイの前に立つと、自動的に顔認識ソフトに体的なアプリケーションの検討を行う。

よる認証が行われログインする。自己像が写る画

謝辞

面上で、手の位置認識用のマーカを動かすことに本研究をご支援頂く NTT 同研究所のユビキタスインタより、ＣＧメニューの選択やコマンドの実行を可

フェース研究部小倉武部長、小野澤晃グループリーダ、ス能としている。実物体の位置は３．２節で述べた

マートデバイス研究部久良木億部長、門勇一グループリー

IR タグにより画面上にマップされており、画面内ダに感謝します。の自己像を用いたタッチ動作等により、タッチさ参考文献れた実物体が特定される。ユーザは、物体像をタ[1] 桐島,他,“注視点の学習と選択制御による身振りの実時ッチして選択することにより、物体の持つ機能を間画像認識”, 信学技報 PRMU2001-203, pp.69-76, 2002.1

直接操作している感覚を得ることができる。

[2] M. W. Krueger, et al., "VIDEOPLACE An ArtificialReality", Proc. CHI-85 Human Factors in Computing

赤外線カメラSystems, pp.35-40, Apr. 1985

カラーカメラ[3] 佐木,他,“パソコン映像入力を用いたアクション・インタフェースの試み”, 第 12 回ヒューマン・インタフェース・ディスプレイ

シンポジウム, pp.213-218, 1996.10[4] 今野,他,“ジェスチャー入力によるマルチモーダルイン

マーカ

自己像マイクスピーカ

ユーザタラクティブシステムの試作”,ＨＩ研究会,pp.65-72,1995[5] 北端,他,“キャラクタエージェントとのインタラクションの検討―自己像表示を使ったインタフェースの評価―,

対象物体（センサ付）

ＰＣＰＣ（ﾐﾗｰｲﾝﾀﾌｪｰｽ用） （位置認識・ﾃﾞｰﾀ通信用）

図３：システム構成

第 5 回ノンバーバルインタフェース研究会,pp.11-16,2002[6] 森澤, 他 , “遠隔地の 「 ヒト･モノ 」 に触る Stick-on
Communicator(StiC)”,インタラクション 2003（発表予定）