情報処理学会 インタラクション 2014
IPSJ Interaction 2014

C1-0
2014/3/1

Other Faces:
３次元物体の複数面に対する指接触検出システム
荒井観†1†2

Anirudh Sharma†2

高梨伸彰†1 Pattie Maes†2

複数面を持つ立体物に対して，上部に設置した一つのデプスカメラにより，上面だけでなく側面に対する指の接触も検出するシステム，”Other Faces”を開発した．指先の 3 次元位置を推定するとともに，対象物のエッジ領域の 3 次元位置情報を用いて対象物の周りに接触検出空間を生成し，その空間内への指の侵入を検出することにより，カメラから見えない側面に対する指の接触検出を実現した．これによりカメラの下に置かれた対象物の，底面を除く全面に対する接触の検出が可能となった．開発システムを用いたアプリケーションとして，利用者がノートＰＣや靴の各パーツに直接触れることでそれぞれのパーツの詳細情報を呈示する，新たな情報検索/呈示手法を提案した．簡易な構成で物体とのインタラクションを拡張する本システムが，実空間 AR システムの基盤として活用されることが期待される．

Other Faces:
A Touch Detection System for the Faces of a 3D Object
KAN ARAI†1†2 ANIRUDH SHARMA†2NOBUAKI TAKANASHI†1 PATTIE MAES†2
Other Faces is a tracking system that enables touch detection for the lateral faces as well as the top surface of a multi-facedobject. Touch detection for lateral faces is achieved by detecting fingertip positions and creating a virtual touch detection spacearound the object using depth information of the object’s edge. When the finger enters into the created space, our system detects
it as contact with the lateral face of the object. This allows the user to interact with all faces of the object placed under thecamera. As one use-case for this system, we show how information can be presented about the different parts of a product such asa computer or a shoe. Users can get detailed information about the part where the user touches the object. We believe that Other
Faces could be useful as a system for direct information searches related to an object using the object itself as a reference.

小売り店舗内で，店舗利用客が製品の側面に印刷/実装され1. イントロダクションている部分に触れることで更なる詳細情報を取り出すこと

近年，プロジェクタとカメラを組み合わせることで，物ができれば，自分の持つモバイルデバイスや，店舗に設置体や人をカメラで認識して，認識対象と関連する映像を投された情報端末を利用することなく，特定部分の情報を直影するシステムが研究されてきた [1] [2] [3] [4]．いくつか接検索して入手できる．また，利用客の製品に対する細かの研究では投影された映像情報とのインタラクションを実な行動をセンシングすることで，各商品のどの部分に利用[ a]現しており，現実空間中の物体を媒介とした情報のやり取客が興味を持っているかを把握するマーケティングシステりを可能にした．しかしながらこれらの既存研究は，対象ムとしての役割も期待できる．

物が奥行を持つ 3 次元物体であっても，カメラから直接見

そこで著者らは，一つのデプスカメラのみで，物体上面える面を参照したインタラクションのみを扱っており，カへの接触だけではなく，側面への接触も検出するシステム，メラから直接見えない物体側面を考慮したインタラクショ

Other Faces を開発した．指先の 3 次元位置をリアルタイムンについては言及していない．現実に存在する物体は常にに取得するとともに，カメラの下に配置した物体のエッジ一つの面のみが重要な役割を担っているわけではなく，た領域の 3 次元位置情報を用いて対象物の周りに接触検出空とえば食品パッケージの側面には詳細な成分情報が印字さ間を生成することにより，カメラから見えない側面に対すれており，PC の側面には様々なコネクタや機能が実装される指の接触検出を可能にした．ている．もしカメラに面する物体上面（本稿ではカメラが物体側面に対する既存の行動検出技術として，上方から見下ろす構成を想定し，カメラに向いている面をShopperception 社は，店舗内の棚に対する顧客行動を天井上面，カメラから見えないカメラ光軸方向に広がる面を側に設置したデプスカメラでセンシングすることで，顧客が面とする）とのインタラクションだけではなく，側面とのどの棚に手を伸ばし，どの商品を手にしたかを認識するシインタラクションも実現できれば，物体を介した直接的なステムを開発しているが[5]，自由に動かすことができる物

情報のやり取りがより高い自由度で可能となる．たとえば，体を対象にはしておらず，接触といった細かな動作も検出していない．また，手の検出領域も棚の周りでマニュアル†1 日本電気株式会社 情報・メディアプロセッシング研究所
NEC Corporation, Information and Media Processing Laboratories†2 MIT Media Lab© 2014 Information Processing Society of Japanに設定する必要があった．一方で本システムは，多様な形状や大きさの物体を対象にするとともに，指検出領域を自574

動的に作成して物体全面に対する接触の検出を実現した．

2. システム構成
2.1 ハードウェア
指や対象物の位置やサイズを把握するためのカメラとして，デプスカメラ：Xtion Pro LIVE (ASUS 社）を用いた．
また接触に対する視覚フィードバック呈示のために，LEDピコプロジェクタを使用した（図 1 右上）．これらカメラとプロジェクタを上方から見下ろすように配置するためのマウントを作成し，図 1 左に示すように取り付けた．カメラからの情報入力，演算処理，映像出力を制御する PC として Versa Pro VJ-28HD-D(CPU:Core i7 2.8GHz)を使用した．
2.2 ソフトウェア
本システムの制御ソフトは，デプスカメラからの画像を取得するための OpenNI と，画像処理と奥行情報取得/解析のための OpenFrameworks を用いて VC++2008 環境で実装された．
指の接触検出は大きく分けて以下の 3 つのアルゴリズムによって構成された．
指先の 3 次元位置取得



物体上面への接触検出

物体側面への接触検出

これらすべての処理において，デプスカメラからリアルタイムに得られるデプスマップ（以下，デプスマップ：図 2左下）と，デプスマップを背景差分したのちに 2 値化処理したバイナリ画像（以下，バイナリ画像）が用いられた．
本稿ではカメラの視軸方向を奥行方向とし，図 2 に示すカメラがとらえる平面を 2 次元平面と定義する．
2.2.1 指先の 3 次元位置取得
指先の 3 次元位置を取得するために，バイナリ画像中に含まれる任意の面積を超える全てのブロブの輪郭を抽出し，輪郭に対して局所的な形状解析をすることで指先位置を推定した．
具体的には，輪郭上に数ミリ間隔で点を配置し，その点を順番に結んだとき，2 つの連続した線分が成す内角が 90度以下となる交点を 2 次元平面中の指先の位置として推定した．この 2 次元平面中の位置に対応する奥行値をデプスマップから取得することで，指先の 3 次元位置を取得した．
2.2.2 物体上面への接触検出
物体上面に対する接触を検出するために，物体がカメラの下に置かれた際に，バイナリ画像中の物体位置を基にして，物体上面を形成する 3 次元位置座標群をデプスマップから取得した．その後，上面から高さおよそ 1cm までの空間を物体上面に対する接触検出空間とした． 従来手法[6]と同様に，この領域内に推定された指先が入った際に，物体上面に対して指先が接触したとみなすことで，物体上面に対する接触検出を実現した．

© 2014 Information Processing Society of Japan図 1
左：システム全体像

全体構成

右上：デプスカメラとプロジェクタ

右下：箱に対する指接触検出の様子
Figure 1

Setup of the system.

2.2.3 物体側面への接触検出
物体側面への指の接触を検出するために，物体がカメラの下に置かれた際に，エッジ領域の奥行値を用いて物体の周囲に側面接触検出空間を作成した．具体的には下記の処理が行われた．
はじめに，バイナリマップ上で検出された物体の領域のみを取り出し(図 2右上)，複数回の膨張処理をかけて物体領域を 2 次元平面内で拡張させた．膨張処理の回数は接触検出精度に依存するが，おおむね 2 次元平面で 1.5cm 程度広がるまで繰り返した．
次に，拡大させた物体領域から，元の物体領域を差し引き，物体の周辺に残った領域を 2 次元平面中の側面接触検出領域とした(図 2右下)．

この領域はバイナリ画像上のものであり，奥行値を持たないため，デプスマップを用いて側面接触検出領域に対して物体のエッジ領域の奥行値を割り当てた．具体的には，以下の方法を用いた．作成した側面接触検出領域中の全ピクセルに対して，それぞれのピクセルを中心とする 3×3ピクセルの領域内に物体のエッジ領域が存在するかどうかを判定し，エッジ領域が存在する場合はエッジ領域の奥行値を 3×3 の中心ピクセルに割り当てた．エッジ領域が存在しない場合は何もせず次のピクセルへと処理を続けた．すべての側面接触検出領域中のピクセルに対して一度この処理をすることで，側面接触検出領域内の物体に隣接する全てのピクセルに奥行値が割り当てられた．奥行が割り当てられた側面接触検出領域のピクセルを新たな物体エッジ領域とみなして，同様の操作を行うことで，さらに一回り外側の側面接触検出領域のピクセルへ奥行値が割り当てられ，側面接触検出領域全体に対して奥行値が割り当てられるまでこの処理を繰り返した．
以上の処理により奥行値が割り当てられた物体周辺の575図 2 側面接触検出領域の作成過程
左上：RGB 画像

左下：デプスマップ

右上：背景差分によって得られた物体領域
右下：物体周辺に作られた接触検出領域
Figure 2

Process for creating a touch detection area.

Upper left: RGB Image. Bottom left: Depth map from thedepth camera. Upper right: Binary image of backgroundsubtracted depth map. Bottom right: Calculated touch detection
area for lateral faces around target object.
側面接触検出領域を利用し，この領域よりも低く，対象物体が置いてあるテーブルよりも高い範囲を最終的な側面接触検出空間として，推定された指先が空間内に入ることで

図 3

その物体の側面に対する接触とみなした．

実装したアプリケーション例

上：PC パーツの情報検索・呈示

一連の処理により，カメラの下に配置した 3 次元物体の下：靴の情報検索・呈示

上面のみならず側面に対する指の接触検知を可能にした．

Figure 3

2.2.1 に記した指の位置取得手法は，指に似た形状をすべ

Example application which

provides information about PC and a shoe.て指候補としてしまうが，指以外の類似した形状が接触検出空間に入ったことによる誤検出は見られず，接触を検出的に詳細情報を得ることを可能とする．また，ユーザがどするうえで本手法はおおむね良好に動作した．のような商品や場所に興味を示しているかリアルタイムに

3. アプリケーション把握できるため，購買の有無にかかわらない顧客行動デー開発したシステムを用いて，店舗内での情報呈示/顧客行動把握を目的とした，2 種類の商品に関する情報検索・呈示アプリケーションを開発した．本アプリケーションは，ユーザが端末を介することなく，商品の知りたい部分に直接触れることでその情報を得ることを可能とする．
従来の関連研究では，カメラで対象を認識して対象に合わせた映像情報を投影するユースケース[2]や，投影したソフトボタンや映像をタッチパネルのように触って操作する使い方[4]が提案されてきた．これに対して，本アプリケー
ションでは，従来研究には無かった，立体物が持つ特徴や機能との接触をトリガーとしてその場に情報を投影する，情報検索・呈示手法を提案した．これによりユーザは，タブレットのような情報操作の煩わしさを排除しながら，3次元物体との接触部分を選ぶことにより，選択的かつ直接© 2014 Information Processing Society of Japanタの収集や，店員が利用客に対してどのような商品案内をすべきか判断する接客アシストとしての利用価値も提供できる．
3.1 PC の詳細情報呈示
家電量販店などで展示される PC の情報呈示を想定したアプリケーションを開発した（図 3 上）．
本アプリケーションでは，システムがカメラの下に配置された PC を認識すると， PC に実装されたパーツの知りたいところに指で触れるように利用者に対して促す文字を投影する．また文字と同時に PC 上に目を投影することで，その PC 自体を擬人化して親しみやすい環境を作り出すことにより，ユーザが PC に触れやすい状況にする．置かれた物体が対象 PC か否かの判別には，配置された物体の二次元平面中の面積と縦，横の長さを手掛かりとして用いた．
本システムが PC に実装された各パーツに指が触れたこ

576

とを検出すると，そのパーツに関する文字情報を PC 上に参考文献投影する．また投影された目の視線方向が，指が接触して

1) Raskar, R., Baar, J., Beardsley, P., Willwacher, T., Rao, S. andForlines, C.: iLamps: Geometrically Aware and Self-Configuring
Projectors, ACM SIGGRAPH 2003 (2003)
2) Mistry, P., and Maes, P.: SixthSense – A Wearable Gestural
Interface, In Proc. SIGGRAPH Asia 2009 (2009)
3) Harrison. C., Benko, H., and Wilson, A. D.:OmniTouch: Wearable
Multitouch Interaction Everywhere, In Proc. UIST2011, pp.441-450,(2011)
4) Linder, N., and Maes, P.: LuminAR: Portable Robotic Augmented
Reality Interface Design and Prototype, In Proc. UIST2010 Demo,(2010)5) Shopperception
http://www.shopperception.com/
6) Willson, A.D.: Using a Depth Camera as a Touch Sensor, In Proc.
ITS2010, pp.69-72 (2010)

いる場所を見るように変化することで，利用者はシステムが正常に接触検出していることを把握できる．
上記のプロセスにより，指の接触によるパーツの直接検索によって，情報の操作なしで詳細情報を取得できる環境を実現した．
3.2 靴の詳細情報呈示
二つ目のユースケースとして，靴の詳細情報呈示を想定したアプリケーションを開発した（図 3 下）．
本アプリケーションでは，システムがカメラの下に配置された対象となる靴を認識し，利用者が靴のパーツに触れると，各パーツの情報を靴の横に投影する．つま先の革に触れた際には，使用されている革の材質を投影し，靴ひもに触れるとその形状の特徴を投影するなど，接触場所に関連した詳細情報を呈示する．
一つ目のアプリケーションと同様に，カメラの下に置かれた靴が情報呈示対象か否かの判断には，置かれた物体の面積，縦と横の長さを用いた．

4. まとめと今後の展望
本システムにより一つのデプスカメラで，3 次元物体全面への接触検出を実現した．これらの特徴により，店舗内などカメラを取り付ける位置が限定される環境下でも，物体に対する利用客の接触動作を高い自由度で検出可能とする．アプリケーションの一つとして，物体のパーツに直接触れることにより情報が検索されて呈示される，ディスプレイを媒介としない実世界志向の情報検索・呈示手法を提案した．
近年プロジェクションマッピングや Kienct に代表されるように，現実の物や人を主体にして高い自由度で現実空間中の物とのインタラクションを可能にする情報入出力システムに注目が置かれている．今回提案したシステムは，簡易なセットアップでありながら，物体とのインタラクションの自由度を拡張しており，現実を主体としたデバイスに拘束されない AR 基盤として活用されることが期待される．
将来的には，接触検出精度向上や，接触パターンの把握，物体認識エンジンの搭載，インターネット/データベースとの接続により，あらゆるもののあらゆる部分に対する動作検出と情報検索を可能にし，商業施設にとどまらずオフィスや生産現場，流通現場など，物を扱う様々な場所でのデータ収集や情報検索手法として活用されることが望まれる．

© 2014 Information Processing Society of Japan577