WISS 2022

Alertable Surfaces: 人の接触と消毒を認識しウイルスの付着を警告する実環境
岸野 泰恵 ∗

白井 良成 ∗

柳沢 豊 ∗菅原 光 †

尾原 和也 ∗水谷 伸 ∗概要.
ウイルスが付着している可能性の高いモノの表面に警告を表示し，消毒行為を認識可能な環境
Alertable Surfaces を提案する．接触感染は，感染者から排出されたウイルスがモノの表面などに付着し，それを触れた他者にウイルスが付着することで起こる．Alertable Surfaces はウイルスが付着した可能性の高い場所に対して警告を光学的に表示することで，接触感染を防止することを狙っている．さらに AlertableSurfaces では消毒の行為を識別し，ウイルスが付着している可能性がなくなった時には警告を消去する．これにより，利用者は，ウイルスのある可能性の高い場所をよけたり，可能性のある場所を集中的に消毒したり，ウイルスが付着した可能性が低いことから安心感を得たり，といったことが可能になる．本稿では，サーマルカメラを用いて接触と消毒を検知し，プロジェクタを用いて可視化するプロトタイプシステムの実装について述べる．さらに本稿では，画像処理性能を評価した結果とプロトタイプシステムを展示した際の感想を紹介し，Alertable Surfaces の可能性や課題について議論する．

1

はじめに2020 年初頭から新型コロナウイルス（COVID19）の感染が拡大し，2 年経った 2022 年現在でも世界で多くの感染者が発生し続けている．新型コロナウイルス（COVID-19）の予防には，ウイルスを減らし感染予防をすることが重要である [11]．ウイ
ルスを減らすためには大きく分けて，手や指などに付着したウイルスへの対策，空気中のウイルスへの対策，モノに付着したウイルスへの対策の 3 つ方法がある．このうち手や指に付着したウイルスに対しては手洗いやアルコール消毒，空気中に浮遊するウイルスに対しては換気が有効な方法となる．モノに付着したウイルスに対しては，アルコールや次亜塩素酸水などでモノの表面を消毒する方法があり，人が多く触れる場所などでは定期的に消毒することでウイルスを減らそうとしている．
しかし，モノの表面を定期的に拭く消毒方法は，最も消毒する必要のある手指に限って消毒する対策や，窓を開けたりサーキュレータを設置するだけで部屋全体の換気が行える空気に対する対策と比べて多くの労力を要する．また，定期的に拭いて消毒されたとしても，消毒の拭き残しはないか，消毒した後に他の人が触っているのではないか，といった不安が残る．そこで本稿ではウイルスが付着している可能性の高い場所を可視化して警告可能な環境として Alertable Surfaces を提案する．さらに本稿では，Alertable Surfaces を実現するための画像処理法や，試作したシステムを展示した際の感想を元にシステムの利用場面や情報提示方法についても議論する．
∗†

NTT コミュニケーション科学基礎研究所
豊橋技術科学大学（NTT での実務訓練中に従事）ඡोञᇎ඄ඡोञᇎ඄
૭ଳ৲

૭ଳ৲

図 1. Alertable Sufaces イメージ図

2

Alertable Surfaces

2.1 警告の表示と消去を可能とする環境の提案
Alertable Surfaces は，実環境の表面（環境表面）上にウイルスの付着している可能性が高い場所を可視化することを狙って提案している．図 1 にイメージ図を示す．新型コロナウイルスの感染経路の一つに接触感染がある．例えば，患者の体から排出されるウイルスがくしゃみや咳をした際に患者の手に付着し，次にこの手で触れた環境表面（ドアノブや机など）にウイルスが付着する．その後そこを別の人が触れ，その手で口や鼻，目などの粘膜に触れるとそこからウイルスが体内に入り感染してしまう．ウ
イルスを検出するためには，PCR 検査や抗原検査などの医学的な検査を行う必要があるが，数十分から数時間の時間が必要であり，環境表面上にウイルスが存在するかをその場で検出することは現在の技術では困難である．しかし，人の動きは様々な方法で検出することができ，ウイルスは人を介して広がる．人の動きをセンシングすることで，ウイルスがWISS 2022૭ଳ୾઺൸崝嵤嵆嵓઺൸૭ଳ୾઺൸崝嵤嵆嵓઺൸

冷痕跡೸ᇎ඄;ĂͿ ೦ࠡ੽͹ྭ;ďͿ ྮࠡ੽͹ྭ

図 2. 熱痕跡と冷痕跡の例

存在する可能性が高い場所を推測することは可能ではないかと考えた．そこで，Alertable Surfaces では，ウイルスそのものではなく，ウイルスが付着している可能性の高い場所を可視化することを考える．
また，消毒を行った際には，その部分のウイルスは死滅したと考えられるため，可視化を終了すればよい．
Alertable Surfaces を使ってウイルスが付着している可能性の高い場所を可視化できると以下のような効果があると考えられる．

• ウイルス付着の恐れのある場所を可視化することで，そこにウイルスがあるかもしれないとユーザに注意喚起が行える．

• ウイルスがあるかもしれないと考えることで消毒をするモチベーションが高まる．

• ウイルスの付着した可能性のある場所のみを消毒することで消毒作業の効率化が図れる．

• 消毒が行われたあと，誰も触れておらずウイルスの付着する可能性が生じていない場所だと可視化によって確認できれば安心できる．
ウイルスの付着の可能性としては，くしゃみや咳などによって口等から排出された飛沫の付着，ウイルスの付着した人の手を介した付着等いくつかのパターンが考えられる．本研究では，研究の最初のステップとして温度の変化を取得することで比較的容易に検出できる人が環境表面に触れた箇所を可視化するプロトタイプシステムを構築し，ユーザの評価を得て可視化方法などインタフェースデザインについて検討を進めることとする．

2.2

熱に注目した実現方法の検討

人は恒温動物であり，体内での発熱により 37 ℃前後の熱を維持している．これに対して，人の周りの気温や環境表面の温度は体温より低い．
（酷暑の夏の日中等の例外を除く．
）そのため，人がモノの表面を手で触れるとその表面に人の手の熱が残る．これは熱痕跡 (Heat traces) と呼ばれる．図 2 (a) に例を示す．本研究では，サーマルカメラを用いて環境表面を撮影し，画像処理によって熱痕跡を検出することで，人が環境表面を触れたことを認識する．
サーマルカメラを用いて環境表面を撮影していれば，消毒の検出も可能である．環境表面に対する消毒としては，アルコールや次亜塩素酸水などの消毒液をスプレーで環境表面に吹き付けるか，消毒液で濡らした布などで拭く方法が一般的である．この際，環境表面は消毒液でいったん湿るものの，すぐに消毒液は気化して乾く．液体が気化するときには，気化熱を奪って蒸発していくため，環境表面の温度が一時的に低下する．これを冷痕跡と呼ぶ．図 2 (b)に例を示す．画像処理でこの温度の低下を検出することができれば消毒がどこで行われたかを検出，記録できるようになる1 ．

2.3

関連研究

熱痕跡が触れたモノの表面に残ることはこれまでも知られており，ヒューマンインタフェースの分野
では壁面ディスプレイにおけるインタラクションの認識に活用したり [3, 6]，スマートフォンやキーボー
ド上の熱痕跡から入力内容を推測できるか調査 [1]した研究例が存在する．また，Iwai らが提案した文書管理支援システムでは，サーマル画像の差分画像を用いて人が書類や本に触れたことを検出し，これをシステム操作に利用している [2]．本研究は，熱痕跡を画像処理によって取得し，人の触れた箇所の可視化に活用しようとするものである．本研究の画像処理のアプローチは Iwai らの手法と似ているが，机上に限らず書類や机以外のものを対象にしている点，消毒による冷痕跡も扱っている点が異なる．
人が触れた場所を検出する方法としては，サーマルカメラを用いて熱痕跡を取得する方法以外にもいくつかの方法がある．例えばブラックライトで光る塗料を手指に塗り，さまざまな行動をとった後でブラックライトを光らせて触った場所を確認する方法
や，人の三次元の姿勢を取得するセンサを使って人の動きを取得して触れた危険性の高い箇所を可視化する手法 [10] などが提案されている．これらの方法とサーマルカメラを用いる方法を比較すると，塗料を使った方法は日常生活の中で継続的に利用したり不特定多数を対象とすることは難しく，姿勢を取得する方法では確実に触れてウイルスが付着した可能性が生じているかを判定することは難しい．
サーマルカメラを用いた熱痕跡画像処理に関する研究例 [4] も存在し，深層学習を活用し一定の精度で熱痕跡を検出することに成功している．この手法
ではサーマル画像のみを使っているのに対し，本研
究ではサーマルカメラと近赤外線カメラを使うこと
1

厳密にはウイルスに効果のある消毒液を十分な濃度と量で使うことが重要となるが，ここでは対象のウイルスに有効な消毒液を使ったものと仮定し，消毒を可視化することの効果について検討を進める．

Alertable Surfaces: 人の接触と消毒を認識しウイルスの付着を警告する実環境＊対象はプラスチック製冷蔵庫の扉．⼿の温度を٦として温度を補正

温度（٦‫ك‬ኵᆮឝആ;ĂͿ ೦ࠡ੽૭ଳ୾
〜QP

஑஧୲ୡ୩୹

᷊ᵄ࿗ᛅᎸኵᆮᰑᢄ;ďͿ ྮࠡ੽೸ᇎ඄লਠ
ৎമ‫ق‬ଧ‫ك‬













遠⾚外︓サーモグラフィ㎛〜ㇲ੺஧ਗ崓嵉嵑੺஧ਗ崓嵉嵑崝嵤嵆嵓崓嵉嵑崿嵕崠崏崗崧

੺஧ਗ嵑崌崰

軽量システムのカメラ
ৎമ‫ق‬ଧ‫ك‬

図 5. 熱痕跡出現時と冷痕跡出現時の温度変化

図 3. システム構成崝嵤嵆嵓崓嵉嵑

冷痕跡出現୯ஶஜ
୥஛ண

3&崟崡崮嵈峘崓嵉嵑

図 4. 実装したシステムで，実環境の変化に軽量なアルゴリズムで対応し，リアルタイムに動作するシステムを構築する．

Alertable Surfaces の実現

Alertable Surfaces は実際の環境でリアルタイムに接触を検知し，それを可視化する．以下で設計の方針と実装，画像処理アルゴリズムについて述べる．
3.1

੺஧ਗ
〜QPឝആ൹᝞

3

温度（٦‫ك‬᷊ᵄ࿗୥஛ண崓嵉嵑嵄嵤崱

システム構成実際の環境でサーマルカメラを用いて連続撮影を行うと，室温や人の表面体温が変化し，さらにサーマルカメラ自体の温度キャリブレーションによって，同じ対象を撮影していても異なる温度で撮影されることが起こり得る．そこで近赤外線カメラを用い，2 種類のカメラの画像を相補的に用いた画像処理ア
ルゴリズムによって，人がいなくなった後に残る熱痕跡を軽量な処理で検出することを目指す．可視光領域を情報提示のプロジェクションに利用するため，近赤外領域のカメラを用いてプロジェクタからの可視化の結果によらず確実に画像処理が行えるようにする．また，できるだけ軽量な画像処理アルゴリズ
ムを目指すのは，深層学習のような複雑なアルゴリズムを用いると計算力のある計算機を要し，設置可能な場所に制約が出る可能性があるためである．
図 3 にシステム構成を示す．近赤外カメラとサーマルカメラの 2 種類のカメラで対象物体を撮影する．
近赤外領域は屋内照明では明るさが不十分の場合が多く，近赤外線照明で対象を照射する．近赤外画像とサーマル画像を組み合わせて画像処理を行い，その結果を投影画像として生成する．作成した投影画像はプロジェクタで対象物体の上に重畳表示を行う．

システムは，サーマルカメラに FLIR Boson640R（解像度：640×512），近赤外カメラに GAZO MCM303NIR（解像度：640 × 480）を用いて WindowsPC で画像処理を行う PC システムと，サーマルカ
メラに FLIR Lepton 3.5（解像度：160 × 120），近赤外カメラに Raspberry Pi NoIR Camera V1.3
（解像度：640 × 480）を用いて ZYNQ7020 で画像処理を行う軽量システムの 2 種類を実装した．プロ
ジェクタはどちらも熱の発生が少ない LED プロジェ
クタ CASIO CX-E1 を用いた．軽量システムのカメラボードは [8] で試作したものである．近赤外カメラでは可視光を撮影可能なカメラに可視光カットフィルタを装着した．軽量システムの外観と PC システムのカメラ部分を図 4 に示す．PC システムで15 fps，軽量システムでは 3 fps 程度の速度で画像処理を行うことができ，接触を検知した結果をすぐに提示できることを確認した．

3.2

サーマルカメラを用いた接触と消毒の検知

次に，サーマルカメラと近赤外線カメラを用いた接触検知アルゴリズムの詳細について述べる．なお，画像処理開始前に両方の画像が同じ領域に重なるようにキャリブレーションが完了しているものとする．
図 5 に PC システムで取得した熱痕跡と冷痕跡出現時の温度の時間変化を示す．グラフ中の温度の急激な上昇は人の手など温度が高い物体の通過である．
(a) 熱痕跡は手が離れた直後が一番温度が高く，その後徐々に低下し，数秒から十秒程度で元の温度に戻る．(b) 冷痕跡は，出現時に消毒液の温度が直接撮影されて温度が大きく下がるが，その後は対象物体の温度が気化熱によって十秒から数十秒をかけて低下する．グラフの範囲外になるが，物体表面の温度は消毒液が揮発した後，徐々に元に戻る．

3.2.1

2 種類のカメラを用いた接触と消毒の検知

接触と消毒の検知は背景差分画像処理を用いて行う．具体的には，カメラを設置した場面の定常状態を背景画像として保存し，背景画像と現在の画像の差分画像を作成し，そこに生じた変化に対して画像処理を行うことで接触や消毒の有無を判定している．

WISS 2022୯ஶஜឝആଜ଍ଧᄞඋଈ૾େྑኘ୎ᛒ៏ᵛତඕ᎙
K ᓇ඄ଓଛᛒ៏ᵛ

J ᩶ᏙᄞඋᕵᶕD ᷊ᵄ࿗ឝആE ᷊ᵄ࿗᩶ᏙឝആF ᷊ᵄ࿗ឝആପ᩶ᏙᄞඋG ୯ஶஜឝആH ୯ஶஜ᩶ᏙឝആI ୯ஶஜឝആପ᩶Ꮩᄞඋ

図 6. 画像処理手順
੺஧ਗ઺൸ 崝嵤嵆嵓઺൸ହ৥ూବ઺൸

DE੺஧ਗ઺൸峘峩峘૗৲峑岬峴‫؜‬ස৥૗৲峒અ
え，近⾚外の背景画像を更新F૏্峘઺൸峑૗৲岬峴‫؜‬য岶ৢ峵峔峓঳ৎ৓な変化と考え，背景画像は更新しない．

G

サーマル画像のみ全体的に温度の変化があり，
崝嵤嵆嵓崓嵉嵑峘崕嵋嵒崾嵔嵤崟嵏嵛峔峓岶અ岲峳島‫؜‬
サーマル背景画像を更新する．

H崝嵤嵆嵓઺൸峘峩峕૗৲岶岬峴‫؜‬岽島峙೸ᇎ඄と認識されている．熱痕跡を含む画像は⼀時的な変化と考え，背景画像を更新しない．
ɾ図 7. 背景画像更新手法の概要

背景画像との差分を算出し，近赤外画像とサーマル画像の両方に変化があった時は背景の前を人などが通り過ぎたと考え，近赤外画像のみに変化があった
時は照明などの変化とし，サーマル画像のみに変化がある場合を熱痕跡や冷痕跡の出現とみなす．
以下，アルゴリズムの詳細を説明する．図 6 に画像処理のイメージ図を示す．現在画像処理を行う対象の時刻を t とし，時刻 t における近赤外線画像をIt ，サーマル画像を Ht とし，それぞれの背景画像を Ib ，Hb とする．最初に近赤外の背景差分画像 DI ，サーマル背景差分画像 DH を作成する．次に，DI とDH を重ね合わせ (g)，それぞれの白色連結領域の重複度合いが一定以上のものを削除し，サーマル画像 Ht のみに差分が生じている部分を抜き出す (h)．
これを熱痕跡とする．これを温度の低下に対して同じように処理を行えば，冷痕跡を検出できる．なお，実際には，膨張収縮など基本的なノイズ処理を行っているが，一般的な処理であるため説明を省略する．

3.2.2

背景画像調整アルゴリズム

連続的に画像処理を行っていると前述したような状況の変化や温度キャリブレーションのために，元からある背景画像では正しく画像処理ができなくなる場合がある．安定して接触検知を行い続けるためには，背景画像調整処理が必要となる．背景画像の調整方法としては，事前に撮影した複数の照明条件下の画像を動的に組み合わせる方法が提案されていたり [9]，画像処理によって背景以外のモノの有無を判定する方法もあり得るが，本研究では 2 種類のカメラ画像を用いていることを活かし，両方の差分画像を使うことで軽量な計算で背景画像の調整を行うことを目指す．サーマルカメラと近赤外カメラで同時に撮影する際，画面内でモノが動くとほとんどの場合近赤外領域だけでなく温度にも変化があり，これを前提とする．また，急激な温度変化のない屋内を想定している．
以下，アルゴリズムの詳細を説明する．アルゴリ
ズムは背景画像を更新する部分と，部分的に差分が生じている場合に対応するオフセット法の 2 つからなる．2 つの手法を背景画像更新の状況に応じて切り替える概要を図 7 に示す．人が通り過ぎる等
大きく変化中の画像は背景画像に適さないため，まず一定時間 δt の間画像に大きな変化がないことを
d(It , It−δt ) < ϵ と d(Ht , Ht−δt ) < ϵ で確認する．ここで d(I1 , I2 ) は 2 枚の画像の差であり，例えば全画素値の差分の平均値を計算して算出する．近赤外背景画像 Ib とサーマル背景画像 Hb はあらかじめ撮影されているものとする (a)．
d(It , Ib ) < ϵ かつ d(Ht , Hb ) < ϵ の場合，両方の画像に大きな変化がないため，背景画像処理を行う必要はない．
d(It , Ib ) ≥ ϵ かつ d(Ht , Hb ) < ϵ の場合，照明などが変化したため，近赤外画像のみに差が生じたと考え，背景画像 Ib を It で更新する (b)．
d(It , Ib ) ≥ ϵ かつ d(Ht , Hb ) ≥ ϵ の場合，両方の画像に大きな変化があり，人が前を通り過ぎる等の一時的な変化が起きていると考えられ，背景画像の更新を行えない (c)．しかし，温度キャリブレーションなどの原因で差分が生じていることを考慮し，オフセット法による背景画像調整を行うため，DI と
DH ，この時点で検出されている熱痕跡と冷痕跡を重ね合わせたマスク画像 Im を作成する．
d(It , Ib ) < ϵ かつ d(Ht , Hb ) ≥ ϵ の場合，サーマル画像のみに差分が発生しているため，温度キャリブレーションや空調による温度変化が生じていると考えられる．このとき，既存の熱痕跡や冷痕跡による一時的な温度変化が生じている可能性もあるため，熱痕跡と冷痕跡の有無を確認し，両方がない場合のみ Hb を Ht で更新する (d)．痕跡がある場合は，痕跡のある部分をマスク画像 Im としてオフセット法による背景画像調整の必要性を検討する (e)．
次に，オフセット法による背景画像処理を説明す
る（図 8）．時刻 t の画像全体の平均温度 T̄t と背景画像の平均温度 T¯b を算出する．マスク画像 Im を使Alertable Surfaces: 人の接触と消毒を認識しウイルスの付着を警告する実環境

D 崝嵤嵆嵓઺൸E 嵆崡崗઺൸ฑ‫ۋ‬Իౕ

ฑ‫ۋ‬Իౕ ƚ੺஧ਗ୷ী઺൸峕峲峵嵆崡崗F 崝嵤嵆嵓઺൸ٔ嵆崡崗઺൸

表 1. 画像処理の評価結果

ƚ೸ᇎ඄峕峲峵嵆崡崗

背景調整(a) 全体の認識率
PC システム 軽量システム
無有無有適合率
再現率0.820.2

対象(b) 素材別再現率
冷蔵庫棚紙引出図 8. オフセット法による背景画像調整

い，マスクされていない部分のみの平均温度 T¯t′ とT¯b′ を算出し，差分 dT = T¯t′ − T¯b′ を計算し，δT よりも大きければ，マスクされていない背景がそのまま映っている部分に変化があると考え，背景画像の調整を行う．背景画像 Hb 全体に dT を加算し，加算後の背景画像を用いて前節の接触検知の画像処理を行う．Ht の方が Hb よりも温度が低い場合も同様に，負の値の dT を加算し，Hb の温度を全体的に下げて処理を行う．

4

画像処理性能の評価

両システムで動画を撮影し，熱痕跡認識の精度を調査した．消毒についても認識は可能であるが，気化熱と消毒の有効性について調査しなければ正しく消毒が行えたかを判定できないため，本稿では人が触れたことを検出する性能のみを調査した．なお，
図 5 に示すように消毒による冷痕跡の方が温度変化の継続時間が長く温度差も同等か大きいことから，この撮影時に用いた次亜塩素酸水による冷痕跡に対しては，検出は熱痕跡より容易であると推測される．
実験では，冷蔵庫，棚，壁，紙製引き出し，の 4種類のモノが設置された状況を約 1 時間半撮影し，その間，著者を含む数名が冷蔵庫のドアを開閉する，引き出しを開閉するといった操作を自由に行った．
また，対象に触れずに，カメラの前を通り過ぎたり立ち止まるといった動作も行った．撮影後，人が触れた後の熱痕跡を手動でラベリングし正解データとした．PC システムで約 120 個，軽量システムで約80 個の熱痕跡をラベリングした．
熱痕跡と正解データが一致しているかの判定には，Dice 係数を用いることとした．Dice 係数は 2 つの領域が重なっていることを評価するための係数の一種であり，2 つの領域が重なった面積の 2 倍を 2 つの領域の和で除算することで求められ，0.1 以上である場合を正解と判定した．熱痕跡は中央に比べて力の加わりにくい周辺部で温度差が小さくなることが多く，幾通りかの値を検討の上，一般的な画像処理より小さい値を採用した．また，各フレームの画像に対して熱痕跡検出を評価するのではなく，正解ラベルのある区間で 1 回でも熱痕跡を検出できれば対応する熱痕跡の検出に成功したとした．運用上，人が触れた事実を 1 回でも検出できれば十分である

PC システム
軽量システム0.710.72

0.460.65

0.50.34

0.056
0.79

1.00.670.370.56
壁0.75
1.0ためである．
認識精度を評価する実験を行った結果を表 1 に示す．表 1 (a) に示すように軽量システムにおいて背景画像の調整を行ったことで温度変化のノイズを誤認識することが減り適合率が改善したが，熱痕跡を認識できない場合が増加し再現率は低下した．PCシステムでは逆に適合率が下がり，再現率が上がる結果となった．PC システムでは撮影した期間，部屋の温度が低下し続けていたため，これが補正されて再現率が向上した一方，誤検出の割合も上がったのだろうと考えられる．
素材別の再現率についてさらに調査を行った．結果は表 1 (b) に示す．冷蔵庫の表面はマットな質感のプラスチック，棚はプラスチックや金属等複数種類の素材，紙引出はダンボール，壁は金属をマットなペンキで塗装した素材である．この中で紙引出や壁は高い再現率であるが，棚は再現率が低かった．
棚は反射のある金属や紙よりも熱が残りにくいプラスチック製であり，紙などと同じパラメータでは熱痕跡を検出しにくく，再現率が低下したと考えられる．棚以外での再現率は PC システムで 0.75，軽量システムで 0.73 である．さらに，領域の大きさが小さすぎ，検出が難しくなっている場合もあった．
背景画像の調整は，サーマルカメラがケースに入っておらずより温度変化を受けやすい軽量システ
ムにおいて特に効果があったが，領域のサイズが小さすぎる場合や，固定の閾値では検出できなかった素材において認識誤りが残った．このように，実験より素材別の閾値を用い，カメラと対象の物体から適した領域の大きさの閾値を設定するといった画像処理の改良に向けた示唆が得られた．

55.1

議論
デモ展示に対する感想実装した Alertable Surfaces の PC システムを研究所内に実際の操作を試せるように設置してデモ展示を行い，さまざまな感想を得た．展示では小型冷蔵庫の扉と共用のテーブルを対象の環境表面とした．

WISS 2022

可視化した箇所に対して，他の人が触った跡が表示されていても全く気にせずに振る舞うという人もいれば，気になるので可視化された箇所以外を触れたいという感想の人もいた．新型コロナウイルスに対して，本人の性格や家族のリスクの高さなどさまざまな要因によって差が出ていると考えられる．また，社内の知り合いであればあまり気にならないが，不特定多数が触れたと考えると避けたくなるというコメントもあった．これらの感想から，触られた状況に応じて情報を提示することも有益だと考えられる．
また，わかりやすく他の人が触れた場所が可視化されていると，その外側ならば触れても安心だと考える人が多かった．一方で画像処理は認識場所のずれを含む場合があり，わずかに外側を持とうとすると，実際には他の人が触れた場所と重なってしまうこともあり得る．このことから一定のマージンをもたせて可視化する必要があると言える．
また，消毒による熱痕跡表示の消去は消毒されたことがわかりやすいという感想が多かった．実際に消毒作業を行うとき，必要な箇所に集中して消毒できるというコメントや，スプレーで網羅的に消毒できたことを確認できると助かるというコメントがあった．今後，気化熱の温度の低下とウイルスに対する消毒の効果の関係性について調査を行い，ウイルスが消毒された可能性が高いときにのみ消毒を認識するような仕組みについて検討を進めていきたい．

5.2

認識精度の向上

現在の画像処理は，カメラボードでも動作する程軽量であるが，正確な接触の記録とするには後処理の追加や画像処理精度の向上が必要であると考えている．実際に 3DCNN (3D Convolutional NeuralNetwork) を用いた 2 チャンネルのカメラ動画を用いた画像処理にも着手している [5]．
また，実験結果が示すように，熱痕跡の残りやすさは環境表面の素材の熱伝導率によって異なる．熱伝導率の高い金属では熱がすぐに広まってしまい熱痕跡として残りにくく，紙や木材のような熱伝導率の低い素材では熱痕跡が残りやすい．また，表面の質感がざらざらしていれば手との接触点が減るため熱が伝わりにくく，つるつるした表面では接触点が多く熱がよく伝わる．さらに素材の厚さにも影響を受ける．このため，環境表面の材質や部位によって異なる画像処理パラメータを用いることで画像処理精度を向上させられる可能性がある．物体の素材の推定は，深層学習を用いる方法も提案されている [7]．

5.3

利用シーン

提案手法は，近赤外線画像の差分画像を用いているため，直射日光が当たり木漏れ日や雲によって照明条件の変化が激しいような状況では正確な画像処理が難しい．また，サーマルカメラ画像を使って接触検知を行っているため，屋外のような温度変化の激しい状況で利用することも難しい．本システムは，まずは空調の効いた屋内での利用を想定し，必要とされる場面やユーザインタラクションについて検討を進めようという段階である．
画像処理精度の面からは，高い精度で接触を識別できた紙や木材などに物体の素材が限定され，人の手が物体に触れる部分を大きく撮影できる状況では，一定の精度で熱痕跡を記録，可視化できると見込んでいる．一方で，その他の素材を含む今回の評価実験のような精度であっても，接触感染の可能性を可視化して啓発したり，消毒のモチベーションを向上させるような目的では利用可能だと考えている．
今回実装したようなプロジェクタによる表示シス
テムはオフィスの共用部のような，複数人で共有する机や冷蔵庫などに対して特に有益だと考えている．
このような場面であれば複数人で触れる箇所が限られ導入も比較的容易だと考えられる．一方で，接触情報の収集のみを行い，可視化をスマートフォンなどの端末で行うシステムもあり得ると考えている．

5.4

接触による感染の可能性に関して

最近では，接触感染が発生するのは限られた状況下のみであるという報告もある [12]．一方で感染症拡大の予防という観点からは，接触感染の可能性を否定することもできないため，念のためにさまざまな環境表面の消毒を行い続けている．このような状況に対して，提案システムを用いると，人が本当に触れた最小限の消毒にとどめたり，人がよく触れる場所のログを取りその場所のみを消毒するといった消毒作業の効率化につながる．

6まとめ

本稿では，Alertable Surfaces を提案し，人が環境表面に触れた箇所や，環境表面への消毒をサーマルカメラと近赤外カメラを用いて認識し，ウイルスが付着している可能性がある場所を可視化するシステムの実装について述べた．
今後は素材の差に対応するなどして画像処理性能の向上を行い，さらに状況に応じて情報を提示する方法について検討し，またそれに対するユーザの評価実験などを行う予定である．
また，本アプローチは，軽量なシステムで実現可能であるが，対応する素材に限りがあり，また空調の効いた屋内に限定される．将来的には，画像処理手法を改良するだけでなく，他のアプローチも併用することで接触箇所検知ができる環境を増やし，飛沫などによる感染防止についても検討を進めたい．
ウイルスの付着した可能性のある場所を可視化することで，ピンポイントに効率よく消毒を行ったり，少しでも安心して過ごせるようになればよい．

Alertable Surfaces: 人の接触と消毒を認識しウイルスの付着を警告する実環境

参考文献[1] Y. Abdelrahman, M. Khamis, S. Schneegass,and F. Alt. Stay Cool! Understanding Thermal Attacks on Mobile-Based User Authentication. In Proceedings of the SIGCHI Conferenceon Human Factors in Computing Systems (CHI17), pp. 3751–3763, 2017.
[2] D. Iwai and K. Sato, Kosuke. Document searchsupport by making physical documents transparent in projection-based mixed reality. VirtualReality. Vol. 15, pp. 147-–160. 2011.
[3] E. Larson, G. Cohn, S. Gupta, X. Ren, B. Harrison, D. Fox, and S. Patel. HeatWave: Thermal Imaging for Surface User Interaction. In
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI 11),
pp. 2565–2574, 2011.
[4] G. Ma, W. Ross, M. Tucker, P. -C. Hsu,
D. M. Buckland and P. J. Codd. Touch-Point
Detection Using Thermal Video With Applications to Prevent Indirect Virus Spread. In IEEE
Journal of Translational Engineering in Healthand Medicine, Vol. 9, pp. 1–11, 2021.
[5] 野口憲人, 岸野泰恵, 白井良成, 村田正幸. 近赤外
画像とサーマル画像を用いた接触検知におけるマルチバンド画像処理の基礎検討. 画像の認識・理解
シンポジウム 2022（MIRU2022）, IS1-63, 2022.
[6] A. Sahami Shirazi, Y. Abdelrahman, N. Henze,S. Schneegass, M. Khalilbeigi, and A. Schmidt.
Exploiting Thermal Reﬂection for Interactive

Systems. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems(CHI 14), pp. 3483–3492, 2014.
[7] G. Schwartz and K. Nishino. Recognizing Material Properties from Images.
https://arxiv.org/abs/1801.03127, 2018.
[8] Y. Shirai, Y. Kishino, T. Suyama, and S. Mizutani. PASNIC: A Thermal Based Privacy-Aware
Sensor Node for Image Capturing. In AdjunctProceedings of the 2019 ACM International
Joint Conference on Pervasive and UbiquitousComputing, pp. 202-–205, 2019.
[9] 土田勝, 川西隆仁, 村瀬洋, 高木茂. 背景差分法による物体検出を目的とした逐次モンテカルロ法による背景推定. 電子情報通信学会論文誌, Vol. J87D-II, No. 5, pp. 1062–1070, 2004.
[10] A. D. Wilson. Combating the Spread of Coronavirus by Modeling Fomites with Depth Cameras. In Proceedings of ACM Human-Computerinteraction, Vol. 4, Issue ISS, Article 203, 2020.
[11] 厚生労働省. 新型コロナウイルスの消毒・除菌方法について. https://www.mhlw.go.jp/stf/ seisakunitsuite/bunya/syoudoku 00001.html.（2022 年
9 月 22 日閲覧）
[12] Nature. COVID-19 rarely spreads throughsurfaces. So why are we still deep cleaning? https://www.nature.com/articles/d41586021-00251-4.（2022 年 9 月 22 日閲覧）