ウェアラブルオブジェクト位置想起支援システムの試作
上岡隆宏

河村竜幸

浮田宗伯

奈良先端科学技術大学院大学

河野恭之

木戸出正継

情報科学研究科{ taka-ue, tatsu-k, ukita, kono, kidode }@is.aist-nara.ac.jp

1

はじめに技術の進歩による PC の小型化・高性能化に伴い，将来は計算機を身につけて用いるウェアラブルコンピュータ環境へとパーソナルコンピューティング環境が移行していくことが期待される．我々は，人々が計算機を着用して日常的に行動する生活形態を想定する．そのうえで，我々はユーザ視点から得られる情報を常時記録・分析することができるウェアラ
ブルコンピュータを用いて，ユーザの生活に密着したサービスを提供するための技術を研究・開発している．
我々は日常生活において，多種多様な手に持てる大きさの物体（オブジェクト）を頻繁に移動させるため，移動したオブジェクトがどこにあるかを忘れてしまうことがよくある．
例えば筆箱を会議机で使用した後で，鞄の中へ回収することをうっかり忘れてしまった場合，筆箱が鞄に入っていると思いこんでしまい，置き忘れに気付かないことがある．
我々は，そのようなオブジェクト位置忘れの問題を計算機でサポートするために，ウェアラブル装置でオブジェクト位置の想起を支援するオブジェクト登録・検索システムの構築を行っている．このシステムは，ユーザ視点からの映像をウェアラブル装置で分析し，映像にオブジェクトのインデックスを付加しながら常時記録する．ユーザの検索要求に応じて，登録オブジェクトが映っている最新のユーザ視点映像を検索・提示することで，システムはユーザによるオブジェクト位置の想起を支援する．

2

オブジェクト位置想起支援システム

開発中のシステムを装備している様子を図１に示す．本システムは，複合撮像デバイス，ウェアラブル PC(WPC)，片眼ディスプレイからなる．図１(a)の複合撮像デバイスは，ユーザ視点の映像を撮影して WPC に提供する．ユーザの腰部に装着する WPC では，入力画像の逐次記録，入力画像からのオブジェクト領域抽出，オブジェクトの登録と検索，ユーザへの提示情報作成などの処理が行われる．ユーザへ提示する情報は，図１(b)の片眼ディスプレイに表示される．

2.1カラー・赤外画像を用いた複合撮像デバイス

オブジェクト位置想起を支援するためには，ユーザが把持していたオブジェクトの画像を抽出した上で，そのオブジェクトを他のオブジェクトと弁別する必要がある．
本研究では，背景が含まれているユーザ視点映像からオブジェクトの画像だけを簡便に抽出するために，赤外画像とカラー画像を同期して取得できる複合撮像デバイス[1]を，ユーザ視点の画像をとらえるウェアラブルカメラとして開発した．
図２に示すように，複合撮像デバイスは，ビームスプリッ
タ付きフレームによって光軸一致状態に固定された赤外An Object Remembrance Support System using a Wearable Camera System
Takahiro Ueoka, Tatsuyuki Kawamura, Norimichi Ukita, Yasuyuki Kono,
and Masatsugu Kidode
Graduate School of Information Science, Nara Institute of Science andTechnology

図１ 試作システム装着の様子

図２ 複合撮像デバイスの構成図
CCD カメラとカラーCCD カメラ，そして光軸方向に設置された赤外光源で構成される．光源から照射された赤外光は環境中の物体に反射し，その反射光を赤外カメラで赤外映像として取得する．一方で，カラーカメラが環境の可視光映像を観測する．二つのカメラによって得られる画像は，フィールド多重化回路を経て，奇数フィールドに赤外画像，偶数フィールドにカラー画像を含む一枚の画像となり，PC に入力される．これにより，赤外反射画像とカラー画像を独立かつ同期して取得することができるのが，このデバイスの特徴である．
本研究では，この複合撮像デバイスを用いてオブジェクト領域を抽出する．オブジェクト領域の画像は，オブジェクト把持状態を撮影したユーザ視点のカラー画像（図３(a)）から，カメラに近いオブジェクトと手領域からなる近接領域以外の背景を除去し，得られた近接領域からさらに手領域を除くことによって得られるものとする．環境に強い赤外光がない状態において，反射光の強度は距離の自乗に反比例した値をとる．この性質を利用して，赤外反射画像（図３(b)）中のピクセル輝度について閾値を設定することにより，背景を除去した近接領域の情報を取得する．得られた近接領域の情報をカラー画像に対するマスクとして利用することで，近接領域の画像を抽出する（図３(c)）．さらに，カラー近接領域から肌色領域を抽出し，オブジェクトを把持する手の領域を除去することで，オブジェクト領域だけの画像を取得する（図３(d)）
．

(a)

(b)

ユーザ視点の赤外反射画像

カラー画像

(c)

(d)

近接領域画像

オブジェクト領域画像

図３ オブジェクト領域の抽出
図４ オブジェクトの登録

2.2

オブジェクトの登録と検索

我々は，2.1 の撮像デバイスで取得したオブジェクト領域の画像を利用して，オブジェクト位置想起支援システムを構築している．本システムでは，想起対象となるオブジェクトを事前に登録しておく必要がある．ユーザは，図４(a)に示すよ
うに，登録するオブジェクトの名称を入力した後，オブジェクトを把持して目の前で回転・移動させるオペレーションを行う．このとき，オブジェクトと複合撮像デバイスの距離が一定でなく，種々の距離からの画像が含まれるようにする．
ユーザ頭部に装着された複合撮像デバイスによって，操作されるオブジェクトの領域を含むユーザ視点の映像が一定時間撮影される．
上記のオペレーションで得られるユーザ視点映像には，姿勢が同じで見た目の大きさが異なる複数のオブジェクト領域画像が含まれる．また，同じ姿勢のオブジェクト画像群について，見た目の大きさ（領域面積）と赤外反射輝度の中央値の間には一意な関係がある．見た目が同じ形状で実際の大きさが異なる相似関係のオブジェクトは，赤外反射輝度の中央値が等しくなるような同じ姿勢においても領域面積が異なる．
この面積と赤外反射輝度の中央値の関係を用いることで，相似関係のオブジェクトをそれぞれ同定可能である．
撮影したユーザ視点映像を用いたオブジェクトの登録手法について述べる．まず，カラー画像中のオブジェクト領域を外接矩形で切り取って正規化し，固有空間法[2]を適用して，固有空間上に多様体を構成する．そして多様体を複数の連続した部分領域に分割し，見た目がほぼ一定の画像群（姿勢画像グループ）の集合を得る（図４(b)）．姿勢画像グループ毎にオブジェクト画像の面積と赤外反射輝度の中央値の関数を求め，粗同定関数とする．抽出するオブジェクト特徴量は，オブジェクトごとの固有空間構築のためのパラメータ，姿勢画像グループごとに一意に決まる粗同定関数のパラメータである．
以上のように登録されたオブジェクトに対し，本システム
では以下の２種類のオブジェクト検索機能を提供する．
1) 観測オブジェクト検索：ユーザからの明確な指示がなく，入力画像からオブジェクト領域の画像が抽出されている場合，登録済のオブジェクト群と現在観測しているオブジェクト間で同定を行う．オブジェクト同定では，まず入力画像中のオブジェクト領域の面積と赤外輝度の中央値の関係が登録オブジェクトの姿勢画像グループごとの粗同定関数にあてはまるかどうかを判別して，相似オブジェクトの識別をする．粗同定に成功した場合，次に入力オブジェクト画像をその登録済オブジェクトの固有空間中に投影する．この投影点と登録済オブジェクトによって決定された多様体間の距離が十分に近い場合，入力オブジェクト画像はその登録済オブジェクトであると同定される．指定オブジェクト検索に用いられる情報

図５ オブジェクトの検索として，同定したオブジェクト名が入力画像に付随して記録される（図５のインデックス）．
2) 指定オブジェクト検索：ユーザが，あるオブジェクトの位置を想起しようとした場合，図５のように検索対象のオブジェクトの関連キーとなるオブジェクト名称を指定する．システムは記録映像に付随するオブジェクトのインデックス情報を参照し，対象オブジェクトのインデックス情報が多く含まれる時系列連続画像を最新の映像として検索する．検索結果の映像はユーザが装着する片眼ディスプレイに表示される．

3

まとめ

我々は，日常生活におけるオブジェクト位置想起を支援するために，ウェアラブルカメラを試作し，その画像を用いたオブジェクト検索システムを構築した．
環境に強い赤外光が存在する照明条件下では，近接領域だけでなく背景で赤外光の強い領域が赤外反射画像に明るく映る．そのため，今回制作した撮像デバイスでは，オブジェクト領域を抽出するために必要な近接領域だけの情報を取り出すことができない．また，日常生活でオブジェクト位置想起を支援するためには，常に身につけることができる小さく軽い装置が必要となる．今後，複合撮像デバイスの光源を改良し，環境の赤外光にロバストなオブジェクト領域抽出手法を開発すると共に，ウェアラブル装置のさらなる軽量化・小型化を進める予定である．

謝辞
本研究の一部は，科学技術振興事業団（JST）の戦略的基礎研究推進事業（CREST）「高度メディア社会の生活情報技術」プログラムによる．

参考文献[1] Hiroshi Sasaki, “Hand-area extraction by sensor fusion using twocameras for input interface of wearable computers”, Scandinavian
Conference on Image Analysis 2001.

[2] 村瀬洋, Shree K. Nayar, “２次元照合による３次元物体認識-パラメトリック固有空間法”, 電子情報通信学会論文誌 D-II Vol. J77- D - II No.11 pp.2179 - 2187 (1994)