日常生活における物探し支援のためのウェアラブルカラーカメラ
上岡 隆宏 † , 河村 竜幸 † , 馬場 茂幸 ‡ , 吉村 真一 ‡ , 河野 恭之 † , 木戸出 正継 ††奈良先端科学技術大学院大学 情報科学研究科, ‡ ソニー木原研究所

1

2.1

はじめに

近年，ウェアラブルコンピューティングやユビキタスコン
ピューティングの発達により人の記憶活動を支援するための研究が注目されている．人の記録活動ではたびたびエラーが発生する．このエラーは，正しい道のりを思い出せない，物をどこに置いたかを思い出せない等，様々なパターンを持ち，様々な場面で発生する．そのため，ある記憶活動の支援を実現するためには，支援に必要な情報を実世界から安定して観測可能なハードウェアが重要となる．
本論文では，あらゆる人の人生で必ず発生する「物探し」を支援するシステム（物探し支援システム）に用いられる頭部装着型の小型・軽量なカラーカメラ，ObjectCam2，を提案する．
「物探し」は，直射日光を受ける環境での発生頻度が低いものの，窓際や軒下など間接的な太陽光（間接日光）を受ける環境での発生頻度が高いため，間接日光環境で安定した特性を持つ頭部装着カメラデバイスが必要となる．
ObjectCam2 の特徴は，1) 間接日光の影響を抑制し，2)30Hzの動作速度でカラー画像を近接領域と背景領域へ分離する機能をカメラ内部に有し，かつ 3) デバイス自身が小型・軽量なことである．図 1 のように，ユーザが把持した物体の領域（近接領域）を画像から簡便に取得することで，システムの適用範囲を拡大することが可能となる．













図 1: 外光影響下における近接領域の抽出

2

日常生活における物探し支援

本研究では，人が物を探すという作業，いわゆる「物探し」という問題を解消するシステムの実現を目指す．例えば，人は物がどこにあるかを探すという作業に 1 年当たり平均 150 時間費やしていると言われている [1]．この「物探し」の問題を解決することで，物探しに費やしていた時間を仕事や余暇等，別の活動に割り当てることが可能となり，人の日常生活がより豊かになると期待できる．
A Wearable Color Camera to Support an Object Finding Task
in Everyday Life
Takahiro Ueoka† , Tatsuyuki Kawamura† , Shigeyuki Baba‡ , Shinichi
Yoshimura‡ , Yasuyuki Kono† , Masatsugu Kidode†† Guraduate School of Information Science, Nara Institute of Scienceand Technology‡ Sony-Kihara Research Center, Inc.
{taka-ue,kawamura}@is.naist.jp,
Shigeyuki.Baba@jp.sony.com,
shinichi@krc.sony.co.p, {kono, kidode}@is.naist.jp,

物探し支援システム

物探しの問題が発生する要因は “人が物を移動させる” ことに集約される．この “人が物を移動させる” というイベン
トは，1) 本人による物の移動を忘れる/間違って覚える，2)
他人が物を移動させる，という 2 つの原因を持つ．前者は記憶活動のエラーにより生じる問題であり，後者は人と人との間で情報の共有が適切に行われないことによるものである．物探し支援システムを実現するためには，システムが“探す対象となる物（対象物）が置かれている現在地の情報を人に伝える” 機能を持つことが必須となる．
著者らは，これまでに物探し支援のためのウェアラブルシ
ステム I’m Here!を提案してきた [2]．I’m Here!は，ユーザ視点の映像を取得可能な頭部装着カメラと映像を提示可能なヘッドマウントディスプレイ及び小型 PC を構成要素とす
る．I’m Here!は以下の 3 モードで構成されている．
登録： ユーザが管理しておきたい対象物 X をウェアラブルカメラの前で回転させることで，システムは対象物 Xの見えに関する情報を取得する．次に，ユーザは対象物 X の名前を入力する．システムは対象物 X の見えに関する情報と名前をセットにして管理する．
観測： ユーザが対象物 X を把持した時，ウェアラブルカメ
ラでユーザの行動を観測可能なシステムは事前に登録した対象物 X の見えに関する情報を利用してその対象物を認識する．対象物 X を認識したシステムは，対象物 X の把持イベント終了前後の映像を “対象物 X の現在地” の情報とし，上記映像区間を対象物 X と関連付けて記録/更新する．
検索： ユーザは登録された対象物の名前を列挙したリスト
上から，探し出したい対象物を選択する．システムは選択された対象物に関連付けられた映像を “対象物が現在ある場所” の情報として提示する．
本システムの特徴は，“対象物が現在ある（であろう）場所の情報” を映像としてユーザに見せることである．映像中には対象物に対する行為も含まれているため，システムが提示する情報の信頼性もユーザが判断できる．これにより “現在地” の判断をユーザに委ねることが可能となり，物探し支援システムの実現に向けた高度な技術的課題を対象物の識別に絞り込むことが可能となる．
物探し支援システムとして，新西らは探し出す対象物自身が音を発することでユーザに対象物の現在地を知らせる
Hide and Seek を提案している [3]．しかし，ユーザが対象物から発せされる音を知覚困難/不可能な場所にいる場合，Hide and Seek は有効に働かないという欠点を持つ．対して，“現在地” 情報を映像によってユーザに提示する方式は，ユーザと対象物との場所の関係に依存せずに支援が可能である．iFlashBack は物を移動させるイベントが終了した後にそのイベントの映像をユーザに提示することで，イベントに関する記憶をより強固にしようとするシステムである[4]．しかし，日常生活において物を移動させるイベントは頻繁に発生し，同一の対象物が移動するイベントですら「物探し」までの間に複数回発生する可能性が高い．そのため，イベント発生ごとにイベントをユーザに記憶させる方式では，ユーザの認知負荷が増大すると考えられる．対して，システムが “現在地” の情報を管理・更新し，ユーザが物探しを行うタイミングに合わせて “現在地” 情報を提示する方式
では，ユーザへの負荷を増大させることなく物探しの支援が可能である．

2.2

カメラヘッド重量 [g]カメラヘッドサイズ [mm]
受光素子
出力画像
フレームレート [Hz]赤外 LED 数
I/F

物を置くイベントが発生する環境の条件

著者らは，ウェアラブルカメラを利用し，そのカメラにより取得される映像を “対象物の現在地” の情報として利用する方式が物探しを支援するシステムとして現実的であると考える．しかし，カメラを用いて実世界を観測し対象物を認識するシステムを実現するためには，システムが利用される環境条件下において，カメラが物体認識に適した画像を撮影する機能を有する必要がある．そこで本研究では，日常生活における物を置くというイベントを調査し，システムが利用される環境条件を求めた．被験者は 1 名で，被験者 1 名の頭部にカメラを設置して映像を 5 日間撮影した．
また，被験者に自身の過去を思い出してもらうという調査も同時に行った．調査結果から，以下の 3 つの特徴が明らかとなった．
机，テーブル： 多くのイベントで，被験者は机，またはテーブルに物を置いた．多くの実例は以下の手順によって発生している．1) 被験者は読みたい本を本棚や被験者の机から取り出す．2) 被験者は読書に適した場所に移動する．3) 被験者はソファやイスに腰掛ける．4) 被験者は勉強や休息のために本を読む．この読書のプロセスで，被験者は時々本を机やテーブルに本を置いた．
屋外： 本調査では，多くのイベントは屋内で起きることがわかった．屋外で生じたイベントは車の助手席に物を置くというイベントだけであった．
窓際： 約半数のイベントは窓際で発生した．より詳細に分析
すると，窓際に机やテーブルが存在していることがわかった．しかし，窓際で物を置くというイベントについて直射日光に照らされるという状況は存在しなかった．残りは間接日光の影響を受ける場所でのイベントであった．
本調査から，直射日光の影響を受ける日向に物を置くというイベントがほとんど存在しないことが示された．著者
らは，屋外であっても物を置く多くのイベントは日陰で発生すると考える．このことから，物探し支援システムの適用範
囲を大きく拡大するためには，間接日光の影響下でロバス
トに近接物体を抽出できる機能を有したカメラを開発する必要があると考える．

3

表 1: ObjectCam2 の仕様

ObjectCam2

図 2: ObjectCam2 装着外観
本研究では，実時間で近接領域の画像をカラーで抽出可能な小型・軽量カメラ，ObjectCam2 を開発した（図 2）[6]．

ObjectCam2390
W : 95 × H : 70 × D : 90
1 CMOS (color and IR)
カラー画像，近接領域画像
30（同時取り込み）
32
USB2.0

表 1 に ObjectCam2 の概要を示す．カメラの前部には赤外LED が 32 個配置されている．赤外 LED は赤外光を前方に照射し，物体からの反射光量を計測することで近接物体の抽出を行っている．ObjectCam2 の CMOS 受光素子には赤外光カットフィルタが付加されていないので，可視光領域に加えて赤外光領域の光も感知することができる．ObjectCam2は赤外 LED の明滅を制御し，消灯時にはカラー画像を，点灯時には反射してくる赤外光の光を含むカラー画像を交互に撮影する．ObjectCam2 を用いることで，I’m Here!は近接領域画像と通常のカラー画像を共に 30fps で取得できる．
Pop.eye もまた近接領域をリアルタイムで抽出可能である[5]．Pop.eye は白色光を照射し，その反射光を赤外光除去フィルタ付きイメージセンサで撮影する．白色の可視光を照射する手法は抽出された画像の色再現性を保持するが，その一方で白色光は人の目にとって強い刺激となる．目に見えない赤外光を照射する ObjectCam2 は，日常生活環境で常時利用する場合に他人から直視されやすい頭部装着型のカメラデバイスに適している．

4

おわりに

本論文では，日常生活における物探し支援システムを実現するためのカメラデバイスとして ObjectCam2 を提案した．
今後の展望として，物体の登録・検索時に利用する近接領域の抽出精度の品質を向上させるために，抽出された対象物の画像に含まれるノイズの除去技術を検討する予定である．

謝辞
本研究は，科学技術振興機構 (JST) の戦略的基礎研究推進事業 (CREST)「高度メディア社会の生活情報技術」プログラムによる．

参考文献[1] L. Davenport. Order from Chaos. Three Rivers Press, New York,2001. (邦訳：気がつくと机がぐちゃぐちゃになっているあなたへ．平石律子訳，草思社，2002）[2] 上岡隆宏，河村竜幸，河野恭之，木戸出正継． I’m Here!：物探しを効率化するウェアラブルシステム．ヒューマンインタフェース学会論文誌, Vol.6, No.3, pp.19-30, 2004.
[3] 新西誠人，伊賀聡一郎，樋口文人，安村道晃． Hide and Seek: アクティブに応答する ID タグの提案. WISS’99 インタラクティブシステ
ムとソフトウェアに関するワークショップ, VII, 2003.
[4] 池井寧，廣瀬洋二，広田光一，廣瀬通孝．ウェアラブル記銘補助シス
テム iFlashBack の映像提示法． ヒューマンインタフェース学会研究
報告集, Vol.5, No.4, pp.35–36, 2003.
[5] 沼崎俊一，原島高広，岸川晋久，三原功雄，石川実，土井美和子．カラーおよび奥行き画像のリアルタイム入力 -奥行き情報に基づく高速な物体抽出-． 信学技報 PRMU2003-298, pp.83–88, 2004.
[6] T. Ueoka, T. Kawamura, Y. Kono and M. Kidode. Wearable
Camera Device for Supporting Object-Triggered Memory Augmentation. Proc. the 3rd CREST/ISWC Workshop on Advanced
Computing and Communicating Techniques for Wearable Information Playing, pp.46–53, 2004.