情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-39
2019/3/6

finDrawers：収納物を検索可能な引き出しの基礎検討
鈴木 颯馬1

立花 巧樹1

大和 佑輝1

呉 健朗2

富永 詩音1

宮田 章裕1,a)

概要：収納家具は我々の生活に溢れるモノを片付ける手段として有効である．しかしユーザがモノの収納場所を忘れてしまい，必要なときに大事なモノが見つからないという問題がある．この問題を解決するために，我々は，モノの収納場所を記憶して検索可能にする引き出しシステムを提案する．これは，ユーザが引き出しにモノを収納するだけで，システムが自動的に収納物の情報・収納位置をインデクシングし，ユーザのクエリに基づいて収納位置を特定できるものである．本稿では，提案コンセプト，および，このプロトタイプシステムに関する基礎検討結果を報告する．

1. はじめに多くの行為をサイバースペース上で行うようになった現代においても，我々の肉体が実世界に存在する以上，我々は多くの実世界オブジェクト（モノ）を取り扱う必要がある．このため，電子機器・文具・食材・調理道具・衣服・医薬品など，多くのモノで我々の自宅やオフィスは溢れかえっている．これらのモノを常時生活空間中に出しっぱな

図 1

提案するインタラクションモデル

しにするわけにはいかないので，人類は収納家具を発明し，活用してきた．この代表例として，引き出し型収納家具が挙げられる．これは，中にモノを収納できる箱型収納家具であり，前後方向にスライドさせることで開け閉めができる．これを上下左右方向に並べることで，限られた床面積を効率的に活用して収納を行うことが洋の東西を問わず一は下記のとおりである• 引き出しがモノの収納場所を記憶して検索可能にするインタラクションモデルを提案したこと• 上記モデルのプロトタイプシステムを実装したこと

般的であり，日本においては箪笥という家具として江戸時

2. 関連研究代中期から用いられている [1]．しかし，人類の偉大な発明

2.1 モノの管理・検索を行う研究である収納家具は，日常生活空間にモノが出しっぱなしに

本節では，モノの管理・検索を行うシステムに関する研なる問題を解決した反面，新たな問題を我々に突きつけた．

究事例について説明する．2.1.1 項では，ユーザが収納物・人間の記憶は時間経過とともに薄れていくため [2]，我々は収納場所の情報を登録する研究事例について，2.1.2 項でどこに何をしまったか忘れてしまうのである．必要なときは，収納物にデバイスを装着する研究事例について説明に大事なモノが見つからず，時間・機会・金銭・信用を損する．

失した経験は多くの人に共通するところである．

2.1.1 ユーザが収納物・収納場所の情報を登録するアプ

我々はこの問題を解決するために，ユーザが収納場所を記憶する必要がない引き出しを提案する．これは，ユーザ

ローチ[3] はユーザの状況に適切な収納物を推測し，提供するの代わりに，引き出しがそれぞれのモノの収納場所を記憶システムである．収納時は 3D プリンターで作成したして検索可能にするという概念である (図 1). 本稿の貢献分けされた丸型の鞄 の区画とそこへの収納物の名前を結区びつけて登録しておく．取り出し時は，音声入力したキー
12a)

日本大学文理学部
日本大学大学院総合基礎科学研究科
miyata.akihiro@acm.org© 2019 Information Processing Society of Japan

ワードに合致する，または位置情報・天気情報から適切な収納物を推測し，鞄の区画部分を回転することで，鞄の上864情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-39
2019/3/6

部の取り出し位置に推測した収納物を移動させる．[4] は収研究が数多く行われているが，これらにはいくつかの問題納物を検索することが可能な収納物管理システムである．

が存在する．ユーザが収納物・収納場所の情報を登録する

ユーザがカメラで収納物と収納場所を撮影し，手動で収納アプローチがあるが [3][4][5]，収納時にユーザが情報を手動物の名前・写真と収納場所の名前・写真を登録することで，で付与する必要があり手間がかかる．また，個々の収納物登録順・収納した時間・収納物の名前で検索することが可にデバイスを装着するアプローチがあるが [6][7][8]，事前能である．[5] はユーザの部屋が乱雑としている・目が疲に収納物にタグやセンサノードを装着する手間がかかる．

れているなどモノを探すことが困難な時に，カメラで周辺収納物の画像と収納時刻を自動的に関連つけて閲覧可能にを写すことで指定されたモノを探すシステムである．ユー

するアプローチもあるが [10]，収納物の名称などを手掛かザが探す対象となる可能性があるモノを事前に複数の角度りにした検索は難しい．

から撮影し登録しておくことで，物体にデバイスを取り付以上のことから我々は複数の引き出しから特定の収納物けることなく画像処理技術を用いたモノ探しを可能としてを探しやすくするシステムを構築する上で下記を研究課題いる．とする．

2.1.2 収納物にデバイスを装着するアプローチ

課題 1 ユーザが収納物・収納場所の情報を登録する必要[6] は振動モータと加速度センサを用いて，収納場所を特定するシステムである．収納場所には振動を生じさせる振動源を，収納物には振動を検知するためのセンサをそれぞれ装着している．振動源が振動する直前に，無線通信デバが無い
課題 2 個々の収納物にデバイスを装着する必要が無い

4. 提案手法

イスを用いて収納場所に設定された ID をブロードキャス

3 章の課題を達成するために，我々は現在の一般ユーザ向トし，センサ側が ID を受け取り，かつ振動を検知した場

けコンピュータにおけるファイルの収納・検索モデルに着合に収納場所を特定するという手法を提案している．[7] は目する．現在，多くの OS ではファイルの自動インデキシン

貴重品の名前で検索すると，RFID リーダーで貴重品を検グ機能が提供されている．例えば macOS では，Spotlight出できるシステムである．収納場所と貴重品に RFID タグというアプリケーションが常時起動しており，ユーザが任をつけ，収納場所・貴重品のタグに設定した固有 ID と貴意位置に収納したファイルの情報・収納位置を自動的にイ重品の名前をセットで PC に登録することで，RFID リーンデキシングしている．これにより，ユーザはファイル収ダーで対象となる収納場所のタグと貴重品のタグをそれぞ納位置が思い出せなくても，ファイルに関する情報（例：れ検出可能としている．[8] はモノにセンサノードを装着し名称，作成日時，ファイル中のキーワード）をクエリとしてサービスを提供する研究において，モノの名称などの情てシステムに入力することで，ファイルを発見することが報を手作業で付与する手間をなくすための研究である．セ可能である．

ンサノードから取得されたデータに推定アルゴリズムを適

我々は，この発想を実空間におけるモノの収納に適用す用することで，そのモノのタイプや状況を推定している．

るインタラクションモデルを提唱する．具体的には，(1)
ユーザが収納したモノの情報・収納位置を自動的にインデ2.2 引き出しを用いた研究

キシングし，(2) ユーザのクエリに基づいて収納位置を特定[9] は離れた場所にペアで存在する引き出し内の様子を，できる，収納システムを提案する．このコンセプトを図 1

カメラとディスプレイを用いて共有することにより，生活に示す．これによって 3 章で述べた 2 つの課題を達成できの一部を共有できるコミュニケーションツールを提案してると考えられる．課題 1 については，ユーザがモノを収納いる．[10] はオフィスの引き出しにおいて，多くの書類のするだけで収納物の特徴を抽出できるため，ユーザが手動中から特定の書類の発見を簡単にするシステムを提案してで収納物に情報を付与する手間を省くことができる．課題いる．このシステムでは，引き出しにモノを収納するたび2 については，引き出しに装着したデバイスで収納物の情に引き出し内を撮影し，収納物を地層のように保存するこ報を自動抽出するため，収納物にデバイスを装着する必要とで，検索時，収納した時系列で想起しながらどの層に目がない.

的の書類があるか発見を可能にしている．

3. 研究課題

5. 実装
5.1 システム構成

引き出しは，複数並べることで限られた床面積を効率的本システムは，サーバ・クライアントモデルを採用する．に利用できる便利な収納家具である．一方で，多くの人は，システム構成を図 2 に示す．サーバ端末は，クラウドや，どの引き出しに何を収納したのか忘れてしまうという経験宅内などの引き出し外部に設置する PC を想定する．クラをしている．この状況に鑑み，現在までに，複数の引き出イアント端末は，引き出しクライアント端末とユーザクラしが存在する場面における収納物の管理・位置特定を行う

イアント端末の 2 種類がある．引き出し端末は，Raspberry© 2019 Information Processing Society of Japan865

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-39
2019/3/6

Pi を用いる．Raspberry Pi には，距離センサ，カメラ，LED を接続する．ユーザクライアント端末は，スマートフォンを用いる．サーバ端末と引き出しクライアント端末
は WebSocket でリアルタイム双方向通信を行う. サーバ端
末とユーザクライアント端末は HTTP による REST 型通信を行う.

5.2 収納時の処理フロー
ユーザがある引き出しにモノを収納する際，システムは
図 2 システム構成図

下記の処理を行う．

Step 1. 引き出しの開閉検知：引き出しクライアント端末
が，距離センサを用いて引き出しが開けられ，閉められたことを検知する．

Step 2. 引き出し内部の撮影：引き出しクライアント端末
が，カメラを用いて．引き出しの内部を撮影し，サーバ端なときに大事なモノが見つからないという問題の解消を狙ったものである．我々はこの問題を解決するために，引き出しに収納物を記憶・管理させるシステムを提案・プロ
トタイプの実装を行った．今後は，プロトタイプシステムを用いて利便性の検証などを行っていく予定である．

末に送信する．

Step 3. 新規オブジェクト検出：サーバ端末が，当該引き出しの前回閉められた直後の写真と，今回閉められた直後の写真を比較し，新規に収納されたオブジェクトを検出

参考文献
[1]
[2]

する．

Step 4. 新規オブジェクト認識：サーバ端末が，新規オブ[3]

ジェクトの物体認識 (そのモノが何であるかの判定) を行う．物体認識手法には，Deep Learning 手法の 1 つである

[4]

ResNet[11] を転移学習したものを用いる．
Step 5. 新規オブジェクト登録：サーバ端末が，新規オブジェクトの物体認識結果や収納時刻などを DB に記録する．

[5]

上記処理により，ユーザが引き出しにモノを収納するだけで，モノの収納位置などがシステムに登録される．

[6]

5.3 検索時の処理フロー
ユーザがあるモノがどの引き出しに格納されているか検[7]索する際，システムは下記の処理を行う．

Step 1. 検索クエリの受け付け：ユーザクライアント端末[8]

は，テキスト入力インタフェースなどを用い，ユーザから検索対象の名称や収納時刻などの検索クエリを取得し，検[9]索クエリをサーバ端末に送信する．

Step 2. 検索の実行：サーバ端末は検索クエリに合致するオブジェクトを DB から検索して，当該オブジェクトが収[10]納されている引き出しを特定する．

Step 3. 検索結果の提示：サーバ端末は当該引き出しに装着されている引き出しクライアント端末に信号を送り，引き出しクライアント端末に装着されている LED を点灯させる．

[11]

小泉 和子: 室内と家具の歴史. 中公文庫 (2005).
Hermann Ebbinghaus: Memory: A Contribution to Experimental Psychology (1885).
黒木 優人, 渡邊 恵太: CallBag:探す必要なく最適な荷物を提供する鞄, 情報処理学会インタラクション 2018 論文集, pp.569-570, (2018).
藤原 潤也, 服部 哲, 速水 治夫: 手軽に所有物と収納場所を管理するための Android アプリ. 情報処理学会研究報告グループウェアとネットワークサービス, Vol.2012-GN-83,
No.9, pp.1–8 (2012).
佐藤 喬, 多田 好克: 低価格カメラを使った探し物支援システム. 情報処理学会第 71 回全国大会論文集, pp.11–12(2009).
柳沢 豊, 前川 卓也, 岸野 泰恵, 亀井 剛次, 櫻井 保志,
岡留 剛: 低周波振動の伝播を利用した屋内での作業道
具の位置検出手法. 情報処理学会論文誌, Vol.50, No.6,pp.1575–1586 (2009).
小田 賀一, 伊藤 雅仁, 松下 温: RFID を用いた貴重品管理、探し物支援. 第 68 回全国大会講演論文集,Vol.2006,
No.1, pp.289–290 (2006).
前川 卓也, 柳沢 豊, 岡留 剛: Tag and Think: モノに添付したセンサノードのためのモノ自身の推定. 情報処理学会
論文誌, Vol.49, No.6, pp.1896–1906 (2008).
Siio, I., Rowan, J., and Mynatt, E.: Peek-a-drawer：Communication by Furniture. CHI ’02 Extended Abstracts
on Human Factors in Computing Systems, pp.582–583(2002).
Siio, I., Rowan, J., and Mynatt, E.: Finding objects in”strata drawer”. CHI ’03 Extended Abstracts on HumanFactors in Computing Systems, pp.982–983 (2003)
He, K., Zhang, X., Ren, S., and Sun, J.: Deep Residual
Learning for Image Recognition. Proc. the 29th IEEE
Conference on Computer Vision and Pattern Recognition (CVPR’16), pp.770–778 (2016).

上記処理により，ユーザはモノの名前や収納時刻を手がかりに，そのモノが収納されている引き出しを特定できる．

6. おわりに
本稿は，ユーザがモノの収納場所を忘れてしまい，必要© 2019 Information Processing Society of Japan866