WISS2013

実世界オブジェクトへの機能拡張によるインタフェースの提案
松嶌 信貴

赤池 英夫

角田 博保∗

概要. 近年登場したメガネ型デバイスにおける新たなインタフェースを提案する．従来のメガネ型デバイスにおけるインタフェースにはそれぞれ問題点が挙げられる．音声やジェスチャを使った手法にはコマンドの種類が制限される問題がある．複雑な操作を可能とするポインティング手法については空中や自分の身体に表示・操作する手法があるが，前者では触覚フィードバックが得られず，後者では身体の一部を専有される問題がある．いずれの手法もユーザの周辺の環境を活用してはいない．そこで本研究では周辺にある実世界のオブジェクトを活用し，各オブジェクトの特徴やアフォーダンスに応じた機能を拡張するインタフェースを提案する．カメラを用いてユーザ視界からオブジェクトを認識するとともに，ユーザインタフェースを重畳表示し，直接触ることによる操作を実現する．物体を動かす，傾ける，回転させる，表面へのタッチ等さまざまな操作を割り当てることができ，広く応用が考えられる．未来ビジョンとしては，現実世界と仮想世界をシームレスに利用する方法として，実世界オブジェクトの機能を拡張する手法を示した．

1

はじめに本研究では，ユーザの周辺にある実世界オブジェクトを活用することによる，メガネ型デバイスにおける新たなインタラクションを提案する．
ウェアラブルなコンピュータであるメガネ型デバイスが登場し，多様なアプリケーションが開発されている．メガネ型デバイスへの代表的な操作手法には，空中での手・指による操作があるが，触覚フィードバックを得られない．また視線による操作では Midas
Touch Problem が知られている．いずれの手法についても，ユーザの周辺の環境を活用してはいない．
そこで本研究では，ユーザの周辺にある実世界のオブジェクトを活用し，直接触って操作できる機能拡張インタフェースを提案する．
図 1. タイマー: カップ麺の拡張

2

提案手法

ユーザの周辺にある実世界オブジェクトにその特徴やアフォーダンスに応じたインタフェースを拡張し，直接触っての操作を実現する．カップ麺のような円筒型オブジェクトを活用する例を考えると，垂直軸で回転させることにより，タイマーの時間を設定する機能が拡張（図 1）できる．物体への操作は他にも，動かす，傾ける，表面へのタッチ等の操作を割り当てることができ，広く応用が考えられる．

3実装システム

ユーザ視界に情報を表示するためにヘッドマウン
トディスプレイを使用する．周辺にある実世界オブジェクトや手・指を認識するために，ヘッドマウン∗Copyright is held by the author(s).
電気通信大学大学院 情報理工学研究科 情報・通信工学専攻

トディスプレイに併せて頭部に RGB・深度カメラを装着する．
現在の試作では，オブジェクトに貼付した AR マーカから ARToolKit1 を用いて実世界オブジェクトを認識し，深度ビットマップから OpenNI2 の手・指認識ライブラリを用いて手・指を認識している．RGB・深度カメラには PrimeSense 社の CARMINE 1.093を使用している．
認識したオブジェクトには，その特徴に応じたユーザインタフェースをヘッドマウントディスプレイにより重畳表示する．オブジェクトの形状に沿って表示することにより，実世界のオブジェクトに機能が拡張されたように感じられる表示を目指す．ヘッド1

http://www.hitl.washington.edu/artoolkit/
http://www.openni.org/3
http://www.primesense.com/
2

WISS 2013

マウントディスプレイには，Sony 社のヘッドマウ
ントディスプレイ HMZ-T24 を使用している．また，画像処理や提示するユーザインタフェースの生成のためにパーソナルなコンピュータを使用している．
システムを軽量化ワイヤレス化するため，現在スマートフォンによる実装にとりかかっている．スマー
トフォン画面はレンズを通して見ることにより，ヘッドマウントディスプレイのような表示器として使用できる．スマートフォン内蔵のカメラ画像から AR
ライブラリ vuforia5 を用いてオブジェクトを認識している．

4

関連研究

周辺の環境を活用したインタフェースには，C. Harrison らの OmniTouch[1] がある．ウェアラブルな深度カメラと小型プロジェクタにより，ユーザ前方の平面に対してインタフェースを投影し，操作できる．しかし，平面へのタッチ操作のみを対象としており，物体に対するタンジブルな操作を実現する本研究とは異なる．
周辺にあるオブジェクトに機能を拡張し，タンジブルな操作を実現した研究として，J. Huber らのLightBeam[2] がある．深度カメラとプロジェクタにより，紙やマグカップにインタフェースを提示し，直接触れることによるタンジブルな操作を提案して未来ビジョン
本研究が目指すのは現実世界と仮想世界を区別なく便利に利用できる世界である．本研
究では，メガネ型デバイスを用いて実世界オブジェクトに情報を付加するだけではなく，オブジェクトの機能を拡張する．
カップ麺のタイマーは一例に過ぎず，日常的に使っているさまざまなオブジェクトに機能を追加することが考えられる．実世界オブジェ
クト向け拡張機能をアプリケーションとして，メガネ型デバイスからダウンロードして使える仕組みをつくれば，製品を製造している企業が機能拡張アプリケーションを提供することもできるし，第三者が開発し公開することも考えられる．
実世界オブジェクトを認識し，対応するアプリケーションを探すのが困難となりそうである
が，例えば製品バーコードの情報を使用することでオブジェクトを特定でき，アプリケーショいる．しかし，手に把持またはテーブル上に配置した状態での使用方法の調査が主であり，ウェアラブルなメガネ型デバイスを使用する本研究とは異なる．
周辺オブジェクトを活用した現実拡張インタフェー
ス [3] は著者らの試作を発表したものである．

5おわりに

本稿では，メガネ型デバイスにおけるインタラクション手法として，周辺にある実世界オブジェクトに機能を拡張する手法を提案した．当日は実装したアプリケーションのデモを行う．

参考文献[1] C. Harrison, H. Benko, and A.D. Wilson. OmniTouch: Wearable Multitouch Interaction Everywhere. UIST 2011, pp.441-450, 2011.
[2] J. Huber, J. Steimle, C. Liao, Q. Liu, andM.Muhlhauser. LightBeam: Interacting with
Augmented Real-World Objects in Pico Projections. MUM 2012, Article No. 16, 2012.
[3] 松嶌, 赤池, 角田. 周辺オブジェクトを活用した現実拡張インタフェースの提案. ヒューマンインタ
フェースシンポジウム 2013, pp.545-548, 2013.
45

http://www.sony.jp/hmd/products/HMZ-T2/
https://developer.vuforia.com/

ンとともに特徴量情報等のオブジェクト情報をダウンロードすることで解決できる．ユー
ザ自身が周囲のオブジェクトに好みの機能を設定してもよいだろう．
実世界オブジェクトを認識し，アプリケーションのダウンロードが自動で行われるようになると，現実世界と仮想世界とをシームレスに利用できるようになるだろう．