WISS2011

Kinect センサを用いた物探し支援システムの試作
Object Retrieval in the Real World using Kinect sensor

栗原 竜矢

岡部 誠

尾内 理紀夫∗

Summary. 人が物を探すという行為は非常に手間がかかり，どれだけ探しても目的の物が見つからないこともある．そこで本研究では，Microsoft 社が販売している Kinect センサを部屋に設置して自動的に物体を検出し，ユーザの物探しを支援する実用的なシステムを試作した．安価な距離画像センサである Kinect
センサを用いて 3 次元空間上の物体の検出を自動的に行うことにより，日常生活の中で導入可能なシステムを実現している．本研究では「物体は人によって動かされる」という前提の元に，人が環境内に入った前後での環境の差分を調べることにより物体の検出を行う．検出された物体は人と関連付けを行い，誰がいつどこに物を動かしたのかを知ることが可能である．ユーザは探したい物体について Kinect センサを用いたジェスチャ入力などで検索を行うことができ，容易かつ直感的に探したい物を探すことができる．

1

はじめに物を無くして困った経験というのは誰にでもあるだろう．日常生活の中で物を無くしてしまい，探すのに労力を要する場面は多々ある．特に，教室や研究室のような複数人が共同で使用する場所では，誰がどの物を移動させたり持ちだしたりしたかがわからず，物の行き先を探すことが困難になるケースが多い．
物探しを補助する研究としては，ユーザがカメラを装着して周囲の物の動きを記録するもの [3] や，物体に RFID を取り付けてスポットライトで位置を示すもの [4] や，2 次元コードを付けた収納箱を撮影することにより収納箱の中身や周辺の様子を記録するもの [2] があるが，[3][4] はユーザが常にカメラを装着することが必要である点，物体一つ一つにあらかじめタグを取り付けなければならない点から，実用性があるとは言えず，[2] については実用的ではあるものの，使用できる場所が限定されている．
本研究では，安価な距離画像センサである Microsoft 社の Kinect センサを部屋に配置して物と人の動きを観測し，「物は人が動かす」という前提の元に，物を誰がどこに移動させたかを自動的に記録する，実用性を重視したシステムを試作した．ユー
ザは物探し用のインタフェースを用いて，取得した人と物体の情報を知ることができ，探したい物体の現在位置や，物体の移動に関わった人物などを特定することができる．

∗Copyright is held by the author(s).
Tatsuya Kurihara, 電気通信大学 電気通信学部 情報工学科, Makoto Okabe, 電気通信大学 情報理工学部 総合情報学科 / JST PRESTO, Rikio Onai, 電気通信大学 情報理工学部 総合情報学科

図 1. システムイメージ

2

システム概要本システムの概要を図 1 に示す．本システムでは PC に接続された Kinect センサを部屋に設置し，Kinect センサから画像情報と距離情報，そして人の情報を取得し，部屋の中の人と物体の状態を観測する．部屋内に人が存在しない場合，システムは部屋内の様子の記録を続ける．部屋内で人が検出された場合，部屋の映像の記録から人の記録へと切り替わる．検出された人が全て部屋内から出ていった時
点で，人が現れる前と後の空間の状態を比較し，消えた物体と現れた物体の検出を行い，人と物体の移動の関連付けを行う．
ユーザは検索用インタフェースを用いて，検出された物体の一覧からの検索や，ジェスチャによる物体の形や大きさの提示といった方法で探したい物体を指定することにより，図 2 のようにラインで示された物体の現在位置や，それを誰が移動させたか等の情報を知ることができる．

WISS 2011

図 2. 物体の場所の表示

図 3. ジェスチャによる特徴 (大きさ) の提示

33.1

ユーザインタフェース
検出された物体の一覧からの検索

ユーザは検出された物体の一覧を見て，その中から目的の物体を選択することができる．履歴では物体の見た目や大きさ，移動した時刻，位置などを確認し，それらの要素でソートすることや，条件を指定しての検索を行うことが可能である．

3.2

ジェスチャによる特徴の提示

ユーザは探したい物の大体の大きさを図 3 のように両手で示すことにより，物体を検索することができる．空中で両手を用い，物体の大体の大きさに合わせた直方体の 2 つの角の位置を示すことにより，それと近い大きさをもった物体を検索することができる．また，両手の間に物体の色と近い色の物を持つことにより，物体の色も指定しての絞り込みを行うことができる．

4

物体の検出

人が環境内にいない場合，システムは Kinect センサから得られた部屋の距離情報と RGB 情報を元に，3 次元空間上の座標と RGB 情報を持ったポイントの集合（ポイントセット）を生成・記録する．環境内に人が出入りした場合，人が入る前と出た後のポイントセットから以下に示す物体の検出を行い，出入りした人と関連付けて記録する．
まず，ポイントセットに対して背景差分法を適用して物体の検出を行う．人が環境に入る前のポイン

トセット P と，人が環境から出ていった後のポイン
トセット Q について，P から Q の差分をとったポ
イントセット P ′ と Q から P の差分をとったポイン
トセット Q′ を求める．
次に P ′ と Q′ それぞれについて，物体の切り出しを行う．ポイントセット内の 1 つのポイントに注目し，そのポイントとの距離が閾値以下のポイントを再帰的に探索していき，結果のポイントセットのポイント数が一定数以上であれば，それを物体として切り出す．ポイントセット内の全てのポイントについて同様の操作を行う．
さらに，切りだされた物体についてそれが「物体」なのか「物体の移動により新たに見えた背景」なのか判別するために，物体を表すポイントセットを囲む領域と，物体の重心からカメラまでを結んだ直線を求める．ある物体について求めた直線が他の何れかの物体の領域と衝突しているかを確認し，衝突していた場合はその物体を背景として除外する．
実際に人が出入りした環境に物体検出を適用した例を図 4 に示す．図 4 の例では，人が入る前には机の上に存在した箱が出た後では無くなり，代わりに本が机の上に置かれている．

5

関連研究

人が物を探すという行為を効率化するためのさまざまな試みが行われている．新西ら [1] は物体にセンサとスピーカを取り付けて，ユーザがその物体の登録名を発生すると物体が音を発して場所を知らせるというシステムを提案している．上岡ら [3] はユー
ザが小型のカラーカメラと赤外線カメラを装着し，物体の登録・観測・検索を行うことができる物探し支援のためのウェアラブルシステムを提案している．
中田ら [4] は物体に RFID を取り付けて位置計測を行い，その場所をスポットライトによって照らすことにより物体の位置を提示するシステムを提案している．これらのシステムは，あらかじめ物体に対してセンサ類を取り付けるという準備が必要な点や，人がウェアラブルシステムを装着していないと使用できないという制約から，一般生活の中に導入するには敷居が高い．本システムはユーザが必要とする
準備は Kinect センサの設置のみで，これらのシステムと比較すると，容易に導入可能であり，実用性に優れている．また，小松崎ら [2] は 2 次元コードを付けた収納箱を設置されたカメラで記録し，物体の出入りやその際の周辺状況をユーザに提示して物探しを支援するシステムを提案している．固定されたカメラにより観測を行うという点は本システムと近いが，本システムでは机の上や棚など，部屋のどの場所であっても適用可能である．

Object Retrieval in the Real World using Kinect sensor

図 4. 物体の検出

6

まとめ

本研究では部屋に設置した Kinect センサを用いて部屋を観測することにより，部屋の中の物体が誰の手によってどこに移動したのかを記録し，履歴一覧からの選択やジェスチャによる検索でユーザの物探しを補助するシステムを試作した．
今後は物体の認識精度向上や，人の物体にする動作（持つ，置く，移動させる等）の利用，検索用インタフェースの改善などを行っていく．

[2] 椎尾一郎 小松崎瑞穂. DrawerFinder: 収納箱に適した物探し支援システムの提案と運用. 情報処理学会第 73 回全国大会講演論文集, pp. 1–603–604,3 2011.
[3] 上岡隆弘, 河村竜幸, 河野恭之, 木戸出正継. ”I’mHere!”:物探しを効率化するウェアラブルシステム.
インタフェース学会論文誌, 6(3):19–30, 2004.
[4] 中田豊久, 金井秀明, 國藤進. スポットライトを用いた屋内での捜し物発見支援システム. 情報処理学会論文誌, 48(12):3962–3976, 2007.

参考文献[1] Shinnishi, M., Iga, S., Higuchi, H., Yasumura, M.
Hide and Seek : Physical Real Artifacts which
Responds to the User. SCI’99/ISAS’99, 4:84–88,
1999.

未来ビジョン
このシステムが目指すところは「物を管理する煩わしさからの開放」である．人が物を管理するのは非常に煩わしい上に，ミスも発生する．物の管理には物を整理する時間と物を探す時間が必要であるが，物を探す時間というのは誰にとっても無駄な時間であり，無くすべきものである．また，物の整理にも相応の時間を必要とし，整理の際に発生したミスは物探しの際の時間にも影響してくる．故に，物の管理はコンピュータによりシステム化されるべきだと我々は考える．人が物を整理整頓した上で配置場所を記憶したり，その配置場所を忘れて探す時間を要することになったりする時代を終えて，コンピュータが物の動きを観測して自動的に記憶してくれる時代へと移り変わるべ
きではないだろうか．コンピュータが物の管理を行えばそれらの問題は解決し，物の管理という回避不可能であったタスクから開放された人々の生活はより豊かなものになるだろう．
このシステムはそんな未来を見据えて開発している．
また，このシステムではユーザが物を探す際のインタフェースをより自然なものにすることも目標としている．現在主流となっている
マウスとキーボードによる GUI を用いた操作は，多くの人に親しまれているものの万人にとって自然な操作とは言いがたく，コンピュータに対するある程度の熟練が必要であり，コンピュータと人との間に一枚壁を作っている．
このシステムでは将来的にはそういった操作とは別に，ユーザが「人に物の位置を尋ねるとき」のように直感的に手を動かし，発音することにより物の位置を提示するようなインタフェースを作っていきたい．
物の管理に対する人とコンピュータとの役割分担を変えると共に，人とコンピュータとの境界をより自然なものへと変えていくことこ
そがこのシステムの目指す未来である．