WISS2010

DrawerFinder:収納箱用物探し支援システム
DrawerFinder:Finding items in boxes using automatically captured pictures and visual markers

小松崎 瑞穂塚田 浩二

椎尾 一郎∗

Summary. 本研究では，複数の収納箱に物が収納されている状態を前提に，2 次元コードと写真を利用した物探し支援システム「DrawerFinder」を提案する．我々は，2 種類の箱の形状（引出し型収納箱／蓋型収納箱）に対応した物探し支援システムを開発した．ユーザが，2 次元コードを付けた収納箱の前で，物の出し入れをする様子を棚上側に設置したカメラで記録する．システムは，自動的に写真内の 2 次元コードを認識し，箱番号，箱の位置と写真を関連づけて保存する．ユーザは，PC や携帯電話上の Web ブラウザで，手軽にこれらの箱写真を閲覧できる．また，箱写真だけでなく，物の出し入れをする際の周辺状況も提示し，効率的に物探しを支援する手法を提案する．

1

はじめに人が物探しに費やす時間は長く，物探しを効率化するためのさまざまな研究が行われている．たとえば，特定の物に RFID を取り付け，位置を確認できるようにしたり [4]，ユーザが常にカメラを装着して身の回りを録画したり [2]，特定の物にセンサ／スピーカなどを装着し，人間の接近に反応して音を変化させたり [3] する方式が提案されている．しかし，これらの方式は，さまざまな物に RFID タグを取り付けたり，常時カメラを装着する必要があるため，セットアップや運用に手間がかかり，一般ユーザが日常的に利用するのは困難であった．そこで，我々は，本研究の前身として，一般的な収納箱を用いた収納方式に着目し，日常生活で手軽に利用できる物探し支援システム「BoxFinder[1]」を開発した．
これは，ユーザが手持ち／据え置きのデジタルカメラで，2 次元コードを付けた収納箱の中身を撮影することで，システムが自動的に写真内の 2 次元コードを認識し，箱番号と写真を関連づけて保存するシステムである．しかし，箱の中身の撮影をユーザが意識的に行う必要があったり，周辺状況を把握しにくいという問題点があった．そこで，我々は，これらの問題点を解決し，全自動で箱の中身を撮影することができ．利用者など周辺状況も利用した，収納箱用物探し支援システム「DrawerFinder」を提案
する

図 1. DrawerFinder のコンセプト:収納箱の中身と周辺状況を自動的に撮影し，PC や携帯電話上のWeb ブラウザでこれらの箱写真を閲覧する

2

DrawerFinder

我々は，2 種類の箱の形状（引出し型収納箱／蓋型収納箱）に対応した物探し支援システムを開発した．
まず，ユーザが，2 次元コードを付けた収納箱の前で，物の出し入れをする様子を棚上側に設置したカメラで自動的に記録する．システムは，写真内の 2次元コードの ID/位置などから，箱の識別番号（以下，箱番号）を取得し，写真と関連づけて保存する．
ユーザは，PC や携帯電話上の Web ブラウザで，これらの写真を手軽に閲覧できる．箱の中身の写真だ
けでなく，物の出し入れをする際の周辺状況も提示することで，効率的に物探しを支援する手法を提案する．まず，システムの概要について説明する．

2.1∗Copyright is held by the author(s).
Mizuho Komatsuzaki and Itiro Siio，お茶の水女子大学
大学院 人間文化創成科学研究科 理学専攻, Koji Tsukada，
お茶の水女子大学 お茶大アカデミックプロダクション／
科学技術振興機構 さきがけ

物探し支援システムの概要

我々はまず，ARToolKit1 の 2 次元コードを，箱の内側上部に取り付けた (図 2)．ARToolKit は，拡張現実システムの開発を容易にするライブラリである．ARToolKit では，任意に 2 次元コードをデザ
1

http://www.hitl.washington.edu/artoolkit

WISS 2010

図 2. 収納箱と 2 次元コード：箱の内側上部に 2 次元コードを付けた（上側：引出し型，下側：蓋型）．

図 4. 固定カメラでの撮影：物の出し入れする際に，自動的に箱の中身と利用者の様子を撮影できる

3 a, b)．本システムでは，棚上側に設置された Webカメラ（LogiCool Qcam pro for Notebooks)2 台，

図 3. システムの概略図

インできるが，本システムでは，認識率を重視して，3 × 3 のドット絵のデザインを採用した．作成したマーカーのサイズは，45mm × 45mm，引出し型収納箱のサイズは，315mm × 400mm，蓋型収納箱のサイズは，240mm × 180mm である．マーカーは，収納物の出し入れの邪魔にならないサイズになるよう工夫した．本システムは主に，(1) 据え置きのカメラで箱の中身と物の出し入れの様子を撮影する部分と，(2)Web ブラウザ上で箱の写真と周辺状況を閲覧する部分から構成される（図 3）．
次に，それぞれのシステムの詳細について述べる．

2.2

棚上側に設置したカメラでの写真の撮影

本システムは，ユーザが，2 次元コードを付けた収納箱の前で，物の出し入れをする様子を棚上側に設置したカメラで記録する．
我々は，収納箱の物を出し入れする様子を，固定カメラで自動的に撮影するシステムを構築した (図及びそれらを制御する小型パソコンを中心に構成される．今回利用した棚のサイズは，横 120cm ×高さ 180cm ×奥行き 45cm で，3 段構成である．各段に設置可能な収納箱の数は 6 個である．ユーザの使い勝手に配慮し，下二段には，引出し型の箱を，上一段には，蓋型の箱を配置した．2 台の Web カメラ
は，（1）収納箱の開閉状態の認識，（2）及び実際の写真撮影，を同時に行うために利用する．
（1）のカメラは，2 次元コードを常時監視しており，登録済みの2 次元コードが一定時間2 静止している状態を認識すると，（2）の カメラを制御して，写真撮影を行う．
2 次元コードの認識や位置の特定には，2 次元コードの位置計測ツールである QPToolkit3 を利用した．
メインプログラムでは，2 次元コードを QPToolkit（図 3 c）を用いて解析し，箱番号と 2 次元コードの位置を取得する．さらに，2 次元コードの位置／サイズから，箱の中身の領域を計算し，撮影画像から箱写真を切り出して保存する（図 3 d）．箱写真と全体写真は，箱 ID や撮影時刻と一緒に，サーバー上のデータベースに保存される（図 3 e）．
このように，ユーザが物探しをする様子を，自動的に記録することで，ユーザにほとんど負担をかけることなく箱の中身を撮影することができる．

2.3

Web ブラウザでの閲覧撮影された箱の中身の写真は，PC や携帯電話上の Web ブラウザを用いて閲覧できる (図 3 f, 図 5).
写真の表示方法としては，写真の見やすさを保ちつつ，複数の写真を効率よく閲覧できる方式が望ましい．そこで，本システムでは，箱の置かれた棚の位置に写真を表示する．また，画面下部に設置した，スクロールバーを操作することで，表示する写真の23

現在のシステムでは 3 秒
http://kougaku-navi.net/QPToolkit/

DrawerFinder:Finding items in boxes using automatically captured pictures and visual markers

ザに提示し，効率的に物探しを支援する．

謝辞
本研究の一部は，科学技術振興機構さきがけプログラムの支援を受けた．橋本直氏には，QPToolkit／ 2 次元コードのデザインなどで助言を頂いた．

参考文献

図 5. PC や携帯電話上の Web ブラウザでの閲覧：箱の置かれた位置に写真が表示．任意の写真の上でカーソルをホバーさせると，物の出し入れの際の周辺状況が半透明に重なり表示される．

撮影時間を変化させることができるようにした．
ユーザは，探している物の入った写真を見つけたら，その写真の上にカーソルを移動させることで，物の出し入れの際の周辺状況を，箱の中身の写真の上に半透明に重ねて表示する (図 5 右)．箱写真だけでなく，物の出し入れをする際の周辺状況も，ユー未来ビジョン
身近な家庭生活などの実世界では，情報環境以上に多様なコンテンツ（以下，実世界コンテンツ）に溢れているが，それらを Web コンテンツと同じように活用することは難しい．
そこで，我々は，収納箱に限らず，洋服／郵便など家庭生活における様々な実世界コンテンツを手軽に取得／活用するための衣食住ライフログシステムの構築を目指している．
たとえば，「タグタンス」は，タンスの扉内面にフックセンサやカメラを搭載し，フックに洋服を掛けるだけで，洋服を撮影し，種類／重量などのタグを付加して保存できるシステムである．
「郵便着いったー」は，一般的な家庭の郵便受けにカメラとセンサを内蔵することで，郵便物の写真を撮影／大まかな内容を判定して，Web 上にアップロードする．
今後は，これらのシステムで取得した実世界コンテンツの形式を共通化すると共に，冷蔵庫，料理，食事，洗濯物など家庭生活のニーズを踏まえて多様な衣食住ライフログシステ
ムを構築する．
そして最終的には，一般家庭のユーザ自身[1] M. Komatsuzaki, K. Tsukada, and I. Siio.
BoxFinder: Finding items in boxes using images
and visual markers. pp. 45–48. Adjunct Proceedings of Pervasive 2010 (Demo), 2010.
[2] 上岡隆弘, 河村竜幸, 河野恭之, 木戸出正継. ”I’mHere!”:物探しを効率化するウェアラブルシステム.
第 6 巻, pp. 19–30. インタフェース学会論文誌,
2004.
[3] 新西誠人, 伊賀総一郎, 樋口文人, 安村通晃. ”Hideand Seek”:アクティブに応答する ID タグの提案.
pp. 119–124. インタラクティブシステムとソフト
ウェア VII（日本ソフトウェア科学会 WISS 99）,
1999.
[4] 田中豊久, 金井秀明, 國藤進. スポットライトを用いた屋内での捜し物発見支援システム. 第 48 巻,
pp. 3962–3976. 情報処理学会論文誌, 2007.

が，家庭生活における多様な実世界コンテンツを，自らの手で手軽にデジタル化し，多様なWeb コンテンツと組み合わせて，家庭生活のさまざまな場面で活用できる，真の意味で実世界と情報環境が融合したユビキタスなサービスを実現したいと考えている．