情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3P-812024/2/28

サーマルカメラによる接触履歴情報を活用した
失くし物検索システム
田仲 百音1,a)

下西 英之2,b)

岸野 泰恵1,3,c)

概要：我々は失くし物を捜すために多くの時間と労力を割いている．そのため，失くし物を発見する様々なシステムが開発されてきた．無線タグは屋内環境において有用だが，デバイスの寿命や多数の物に取り付けるにはコストがかかるなどの問題点がある．カメラベースのシステムは一度に多数の物体を追跡できる
一方，ユーザの周囲に現れる物体すべてを追跡すると，検索候補が膨大な量になってしまう．そこで我々は，可視光カメラとサーマルカメラを用いた紛失物発見支援システムを提案する．提案するシステムでは，可視光カメラによる物体検知とサーマルカメラによる接触検知を組み合わせることで，人が触れた物体に限定した履歴を取得し，失くし物捜しの支援を行う．実験では，サーマルカメラを導入して人が触れた物体を検出することで，カメラを用いた失くし物捜しの効率を向上できる可能性があることを確認した．

1. はじめにそこで本研究では，サーマルカメラを導入することで，複数人が物を動かす状況において，検索範囲を効率よく絞

鍵や財布，眼鏡など生活に欠かせないものを紛失した経り込むことを試みる．環境表面の熱を測定するサーマルカ

験は誰もが一度はあるだろう．ある調査によると，家の中メラは，人が物に触れた際の熱を検知して接触箇所を検出で物を失くす回数は 1 か月に平均 3.2 回以上だという*1 ．

することができる．この利点を活かして，我々のシステム

Yan ら [1] が 120 人を対象に実施したアンケート調査にでは検索範囲を人が触れた物体に限定する．また，ウェア

よると，オフィスなどの公共の場で物を失くす原因としてラブルカメラではなく固定カメラを用いることで，人物に多く挙げられたのは，「他の人物によって物が動かされたか依存せず多人数のシナリオにおける失くし物捜しを行う．

ら（58 人）」「大事な物ではないため（51 人）」「自分で物を以下，本稿では可視光カメラとサーマルカメラを用いた失動かしたが忘れてしまった（41 人）」であった．この結果くし物捜しシステムについて述べる．

から，紛失防止の無線タグを付けない，大切でないものほど失くしやすく，また，物の移動をきっかけとして失くし2. 関連研究てしまうことが多いと推測できる．しかし，カメラベース失くし物を捜すための研究は盛んに行われており，無線のシステムでユーザの周りに現れるすべての物体を追跡す

タグや固定カメラ，ウェアラブルカメラを用いた手法などると，検索候補の数が膨大になってしまう．検索候補削減

さまざまな方法がこれまでに提案されている．無線タグはのため，八木ら [2] は，失くし物の多くが携帯可能な物であ屋内環境で用いる場合に有効であるが，すべての物にタグる点に着目した．この研究では，検索範囲をすべての物体をつけるのは現実的ではない．一方で，カメラベースのシではなく，ウェアラブルカメラを用いることで，手で扱わステムは無線タグを必要とせず，多数の物を追跡できるとれた物体に限定して失くし物を捜すシステムを実現した．

いう利点がある．

しかし，一人称視点の画像のみを取集するため，複数人が上岡ら [3] は可視光カメラと赤外線カメラを搭載した物を動かし得る場合に対応できないという欠点があった．

ヘッドマウントデバイスを利用して，ユーザが事前に登録した物体を認識・記録する「I’m here!」システムを提案し

123a)b)c)*1

大阪大学大学院 情報科学研究科
大阪大学 サイバーメディアセンター
NTT コミュニケーション科学基礎研究所
tanaka.mone@ist.osaka-u.ac.jp
shimonishi.cmc@osaka-u.ac.jp
yasue.kishino@ntt.com
https://prtimes.jp/main/html/rd/p/000000211.
000022173.html© 2024 Information Processing Society of Japan

た．対象の物体が最後に撮影された時点での動画をヘッドマウントディスプレイに表示し，ユーザが失くし物を捜索するのを補助する．
八木ら [2] は失くし物の多くが手で扱われる物であることに注目し，ウェアラブルカメラを用いて，過去に把持1403情報処理学会 インタラクション 2024
IPSJ Interaction 2024？

👉カテゴリ選択

3P-81
2024/2/28

英語タイトルの白い雑誌

該当物品選択！

図 1: 提案システムイメージ図．ユーザはカテゴリーや時間で検索対象を絞り込むことができる．
した物体の発見を支援する「GO-Finder（Generic ObjectFinder）」を提案した．GO-Finder は物体の画像を検索クエリとすることで物体を登録する手間を省き，任意の物体を追跡する．追跡した物体が最後に確認された瞬間の画像をユーザに提示し，失くし物発見の支援を行う．被験者実

図 2: 熱痕跡の例

験では，支援なしの状況と比較して心理的負担を軽減する効果があることが確認された．しかし，GO-Finder は一人称視点の画像を収集してログを取得するため，複数人が物を共有して利用するシーンには対応していない．
これに対し Yan ら [1] は，顔認識と物体検知を組み合わせることで，多人数に対応した失くし物捜しのシステム「CamFi」を提案した．CamFi は，固定カメラで物体検知し，最後に対象の物体に触れた人物，もしくは対象の物体と同時に撮影されている回数が最も多い人物についての情報を提供することで，複数人が共有する場所における失くし物捜しを支援する．ユーザ実験では，被験者 12 人のうち 9 人が有用なシステムであると回答している一方，プライバシー上の懸念も指摘されている．

3. 接触検知
複数人が利用する場所で失くし物を捜す場合，対象の物体を触れた人の情報は有益な情報となる．しかし，可視光カメラのみを用いると，単に人と対象の物が近くにある時間が長かっただけなのか，実際に物に触れたのかを判別することが難しい．
筆者らの所属する研究グループでこれまでに実施した研究に，感染症予防を目的として，サーマルカメラを用いて人の触れた箇所を可視化する研究 [4] がある．通常，人の体温は環境表面の温度より高く，人が物に触れるとその表面に人の手の熱が残り（図 2），これは熱痕跡と呼ばれる．
図中では，人の手が電卓から離れた後も電卓の上に熱痕跡が残っていることが確認できる．この研究では，背景差分画像処理を用いて熱痕跡を検出することで接触検知を行った．具体的には，固定カメラを設置した場所の定常状態を背景画像とし，背景画像と現在の画像の差分画像に処理を加えることで接触を判定した．

© 2024 Information Processing Society of Japan

本研究ではこの技術を活用し，人が触れた箇所の情報を用いて，可視光カメラ内に撮影された多数の物体から，検索範囲を人が触れた物に限定すること試みる．サーマルカ
メラで熱痕跡を検出し，同時に可視光カメラで物体の場所に変化があった場合，温度変化があった部分は確実に人が触れて物の移動があったと考えられるため，大幅に失くし物の検索範囲を絞り，より簡単に失くし物に関する情報にたどり着くことが期待できる．

4. 提案手法
1 章で言及したように，複数人が共有するスペースで物を失くすのは物の移動をきっかけとすることが多い．物が移動するときは人が手で持ち運ぶことがほとんどであるため，人が触れた物の履歴を取得することができれば，失くし物捜しを支援できると考え，3 章で述べたようにサーマルカメラに着目した．提案システムの構成を図 3 に示す．
本研究で想定しているのは数人から十数人程度が共有している屋内スペースである．提案システムではまず，可視光・サーマルカメラによって人が触れた物体を検出し，接触物体ログをデータベースに保存する．次に，保存した接触物体ログから，人が触れた物の情報を接触履歴としてまとめる．さらに接触履歴情報を，Web ページに表示して，ユーザが共有スペースで利用した物が最後に触れられた時の写真を表示し，失くし物捜しの支援を行う．Web ページには，先行研究 [1], [2] を参考として，物体のみを切り抜いたサムネイル，物体が最後に確認された時の画像，その他の詳細情報を表示する．これにより，ユーザは，失くし物を捜すときに，最後に確認された時の画像を見ることで，いつどこに捜している物が置かれたか簡単にわかるようになる．特に複数人の共有スペースで，いつの間にか誰か他1404

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3P-81
2024/2/28

サーバ
データベース

可視光カメラサーマルカメラ

物体検知

CSV

接触検知

画像

Webサーバ

図 3: 提案システムの構成の人が物を移動させて見当たらなくなった場合に効果的だと考えられる．
我々の提案システムの特長は以下の点にある．

( 1 ) 人が物に触れたときに発生する熱痕跡を使って接触を検出することにより，可視光カメラで触れたことを推定するようなアプローチと比べて，確実に人の手で動かされた物の履歴を情報として保存できるようになる．

( 2 ) 接触履歴を蓄積することで，単にカメラ内に現れたすべてのものが提示されるような失くしもの捜し支援シ
ステムと比べて，大幅に少ない数の検索候補から物を図 4: 触れた物体の検出．電卓のバウンディングボックス捜すことができるようになる．

内に検出した熱痕跡を強調表示している．

4.1 触れた物体の検出
可視光カメラとサーマルカメラで撮影した画像を用いて人が触れた物体の検出を行う．まず，可視光画像に対してYOLOv8 [5] を用いて物体検知を行い，検知した物体を一覧にする．次に，サーマル画像に対して熱痕跡検出を行い，検出した熱痕跡が，可視光画像から検知した物体のバウンディングボックス内にあれば，この物体は人が触れた物であるとして接触物体ログとして保存する．熱痕跡は，定常状態のサーマル画像である背景画像との差分を取り，二値化等の処理を行って抽出している．抽出した熱痕跡に対しては，熱痕跡の輪郭から重心を求め，重心がバウンディングボックス内にあるかどうかで物体への接触を判定する．
接触物体ログに記録する情報は，YOLO のラベル，検出の 3 ステップで行う．

Step 1: 接触物体ログの物体が過去に確認されていない物体であれば，新たな接触履歴として登録する．

Step 2: 既に登録されている物体であれば，接触履歴情報のバウンディングボックスの平均値，最後に確認された時間を更新する．

Step 3: 最後に物体が確認されてから，一定時間（例えば今回の実装では 30 秒）が経つと，接触履歴情報の最終確認時間とバウンディングボックスの平均値を確定させる．なお，物体が検出されたフレーム数が閾値（今回の実装では 20 フレーム）以下の場合，誤検出の可能性が高いので記録しない．

時刻，バウンディングボックスの座標である．同時に，フこれらの操作によって，ユーザが物体をカメラ画像内にレーム画像全体，および物体のみをバウンディングボック置き，持ち出すまでを一連の接触履歴情報として保存する．

スで切り抜いたサムネイル画像・熱痕跡画像もデータベー

Step1 において，現段階の実装では YOLO のクラス ID をスに保存する．

用いて物体を区別しているが，同じクラスに属する物体が複数ある場合もあるため，物体の特徴量を踏まえて同一物

4.2 接触物体ログから接触履歴への統合収集した接触物体ログは，人が触れた物の情報である接体か判断する機能を導入し，よりきめ細かい失くし物捜し支援ができるようにする予定である．

触履歴としてまとめる．前節のステップでは，人が触れた物体を自動で検出し検索候補として収集するが，それぞれ4.3 検索インターフェースは独立したログであるため，一連の接触履歴として統合す実装した検索インターフェースを図 1 に示す．この検索る必要がある．接触物体ログから接触履歴への統合は以下

インタフェースでは前節までで作成した接触履歴の情報を© 2024 Information Processing Society of Japan1405

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3P-81
2024/2/28

用いて，これまでにユーザが触れた物体の写真などの情報

体検知を組み合わせて，人が触れた物のみを記録した場合を提示する．ユーザは，カテゴリーや日付，時間帯で検索（接触物体ログ）のデータ数は 2075 であり，サーマルカメ対象を絞り込むことができ，捜したい物をクリックすると，ラを導入することで 8807 データが削減された．このよう対象物が最後に確認された時の画像，YOLO のラベル，記に，人が接触した情報を用いることで，システムが扱わな録された時間，バウンディングボックスの座標といった情ければならないデータの数を大幅に減らせることが確認で報が表示される．対象物が最後に確認された時の画像上できた．

は，対象物体を赤枠で囲んで表示する．赤枠はバウンディングボックスの平均値をもとに描画する．

6. 今後の展望

これにより，ユーザは漠然とした，「ここに置いたはずの本稿では，サーマルカメラを用いることで，人が机の上本」といった情報から，物体のカテゴリや，最後に置いたに置いていったものに対して，触れた物体を検出できるとはずの時刻などを指定して，失くし物捜しに役に立つ最後いう基本的な性能を実験によって確認した．また，机の上に置いたときの画像を確認できるようになる．というシンプルな状況において，システムが扱う接触物体

5. 実験

ログのデータ数を，接触の情報を用いて大幅に減らせることを確認した．実際のより複雑な環境においては，人が全サーマルカメラを失くし物捜し支援に導入したことによく触れない物体も存在すると考えられるため，さらに効果る効果を検証するため，我々は以下の 2 つの実験を行った．

は大きくなると考えられる．今回の実験は，事前に撮影した画像を用いての検証であったため，リアルタイムでの検(1) 人が触れた物体のうち，実際にサーマルカメラで接触検知できた個数の調査．

(2) 検知したすべての物体を記録する場合と，サーマルカ
メラと物体検知を組み合わせて，人が触れた物体のみを選択した場合のデータ数の比較．

出，実環境での性能についてはさらに実験が必要である．
また，実際に触れた物だけに絞って情報を提示することによって，実際に失くし物を捜す時間を節約できるのか，といった被験者実験についても，今後の課題としたい．
固定カメラを用いると，ウェアラブルカメラのアプロー
チと比較して，共有されているスペースを利用する人のす

5.1 実験環境

べてを対象として，誰かが物体に触れて移動したことを検実験には解像度 480×640 の可視光カメラ（GAZO MCM-出し，失くし物捜しに役立てられることが期待できる．一303NIR），解像度 512 × 640 のサーマルカメラ（FLIR Bo-

方で，遮蔽や画角の外での物体接触は検出できない．複数son640R）を用いた．なお，可視光・サーマル画像同士の人が共用する机の上や棚といった共用スペースが限られる

位置合わせをアフィン変換によって行った上で，サーマルような状況では，本アプローチは有効だと考えられるが，画像の不要な部分を切り落として可視光カメラと座標・サ部屋全体を対象とするような状況では複数のカメラを設置イズを合わせている．

するなどの対応が必要となる．

実験は検索対象物体は，雑誌，ハサミ，電卓，スマートまた，現状では YOLO を単純に用いて物体検知を行っフォン，布製の筆箱，水筒，ペットボトルを用意した．そているため，YOLO のクラスに存在しない物体に対応できれぞれの物体を机の上に置く，移動する，取り除くなどのていない．これに対しては，固定カメラを使っているため作業を繰り返し行い，撮影された画像を用いて検証した．

背景画像の変化は大きくないと考え，差分画像処理などを

約 3 分 30 秒の動画で，フレーム数は 6070，フレームレー使って比較的容易に新たに設置された物体を扱えるのではトは 30fps だった．

ないかと考えられる．今後このような物体に対してもシステムで扱えるよう改良していく予定である．

5.2 結果さらに，今回は触れた物体のみを記録していたが，触れ実験の結果は以下の通りであった．(1) 人が触れた物体た場所も履歴に残すことで物が収納された場所を推測し，13 個のうち，サーマルカメラを用いて接触を検出できたの引き出しなどへの収納に対しても対応できるのではないかは 11 個であった．検出できなかったのは，ハサミの刃部と考えている．例えば，机上から物が無くなった直後に引分，PP 加工された雑誌（表面に光沢がある）に触れた時き出しが触られていれば，机上にあった物は引き出しに収であった．これは，物体表面が光を反射しやすい素材であ納されたという予測が立つ．そこで，触れた物だけでなく，り，今回の実験で使った熱痕跡二値化の閾値がこれらの素触れた場所も記録し，物が収納された場所を推測できるの材には不適切であったために熱痕跡を検出できなかったとかについて検討していきたい．

考えられる．

(2) 6070 フレーム中，YOLO を用いて検知した物すべてを記録した場合のデータ数は 10882，サーマルカメラと物© 2024 Information Processing Society of Japan

7. おわりに
本稿では，可視光カメラとサーマルカメラを用いた失く

1406

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3P-81
2024/2/28

し物捜しシステムを提案した．提案するシステムは，可視光カメラによる物体検知とサーマルカメラによる接触検知を行い，ユーザが過去に触れた物体の履歴情報を作成して保存する．提案システムを用いると，ユーザは失くし物をした際，失くした物を最後に置いた時の写真を検索して，効率よく失くし物を捜せるようになる．さらにサーマルカ
メラによる接触情報を活用することで，カメラ内に現れた物体すべてを対象とするのではなく，実際に触れた物に絞って情報を確認し，より効率よく捜せるようになることが期待できる．
また，実験ではシンプルな状況において，サーマルカメラを用いて人が触れた物体を検出できること，システムが扱うデータ数を削減できることを確認した．今後，リアルタイムでの接触物体の検出や，実環境に近い状況での被験者実験による評価を行っていく計画である．
参考文献
[1]

[2]

[3]

[4]

[5]

Yan, G., Zhang, C., Wang, J., Xu, Z., Liu, J., Nie, J.,
Ying, F. and Yao, C.: CamFi: An AI-driven and Camerabased System for Assisting Users in Finding Lost Objects
in Multi-Person Scenarios, CHI Conference on Human
Factors in Computing Systems Extended Abstracts, pp.
1–7 (2022).
Yagi, T., Nishiyasu, T., Kawasaki, K., Matsuki, M. andSato, Y.: GO-ﬁnder: a registration-free wearable system
for assisting users in ﬁnding lost objects via hand-heldobject discovery, 26th International Conference on Intelligent User Interfaces, pp. 139–149 (2021).
Ueoka, T., Kawamura, T., Kono, Y. and Kidode, M.:
I’m here!: A wearable object remembrance support system, Human-Computer Interaction with Mobile Devicesand Services: 5th International Symposium, Mobile
HCI 2003, Udine, Italy, September 2003. Proceedings 5,Springer, pp. 422–427 (2003).
岸野泰恵，白井良成，柳沢 豊，菅原 光，尾原和也，水谷 伸： Alertable Surfaces: 人の接触と消毒を認識しウイルスの付着を警告する実環境，第 30 回インタラクティブ
システムとソフトウェアに関するワークショップ (WISS2022).
Jocher, G., Chaurasia, A. and Qiu, J.: YOLO by Ultralytics, https://github.com/ultralytics/ultralytics(2023). 閲覧日：2023 年 12 月 17 日.

© 2024 Information Processing Society of Japan

1407