WISS 2020

Alertable Surfaces: ウイルスの付着を警告可能な実環境
白井 良成 ∗

岸野 泰恵 ∗

柳沢 豊 ∗

尾原 和也 ∗

水谷 伸 ∗

須山 敬之 ∗

概要. ウイルスが付着している可能性のあるモノの表面に警告を表示する環境，Alertable Surfaces を提案する．人が触れた場所など，ウイルスが付着している可能性高い場所に対して警告を光学的に表示することで，モノを媒介としたウイルスの拡散を防ぐことを狙う．本稿では，Alertable Surfaces の実現性を検証するため，サーマルカメラとプロジェクタで構成されるプロトタイプシステムを紹介する．プロトタイプ
システムは，人が触った場所に残る熱痕跡をサーマルカメラを用いて検出し，検出された場所に光学的痕跡を警告として提示する．熱痕跡の検出方法，警告の提示方法について述べ，Alertable Surfaces の課題と可能性について議論する．

1

はじめに

新型コロナウイルス感染症 (COVID-19) の感染が 2020 年の初頭から拡大し続けている．この感染拡大の原因の一つと考えられているのが，モノを媒介としたウイルスの伝播である．具体的には，まず，感染者がモノに触れることでそのモノにウイルスが付着する．そのモノを別の人が触るとウイルスがその人の手指に付着する．そして，その手指で口や鼻，目の粘膜に触れることで感染するというものだ．この伝播が起きてしまう大きな要因としてウイルスが目に見えないことが挙げられる．目に見えないがために，ウイルスが付着している場所に気づかず触れてしまうことが感染の拡大に繋がっていると推測できる．そこで，本論では，ウイルスの付着を警告可能な実環境，Alertable Surfaces を提案する．Alertable Surfaces は，ウイルスが付着している可能性が高いモノの表面に警告を可視化することで，その場を利用する人に注意を促す．本論では，Alertable Surfaces の基本概念及び構築したプロトタイプシステムについて述べる．

2率でウイルスが付着しているため，その人が触れたモノの表面にもウイルスが付着している可能性が高い．そのため, 多くの人が利用する飲食店やスポーツジムなどでは, 机や扉, 及びトレーニング機器など，人が触れる可能性が高いモノを定期的にアルコール消毒液等で拭くといった対策が行われている. また，感染者がくしゃみや咳をした際に口から排出される飛沫にもウイルスが含まれている．そのため，咳などをした人の正面にあるモノの表面にもウイルスが付着している可能性が高いと思われる．

Alertable Surfaces

Alertable Surfaces は，危険なウイルスが付着している可能性のある実環境の表面上に，ウイルスの存在可能性を可視化することを狙い提案するものである．新型コロナウイルスの検出には PCR 検査などが必要であり現時点では容易ではないが，ウイルスそのものを検知しなくても，ウイルスが付着している可能性があるか否かの推測は可能だ．ウイルスが付着している可能性が高い場所の一つに人の手指が接触したモノの表面がある．感染者の手指には高確Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗日本電信電話 (株) コミュニケーション科学基礎研究所

図 1. Alertable Surfaces

Alertable Surfaces のイメージを図 1 に示す．感WISS 2020

染者が行動すると環境中の様々な場所にウイルスが付着する (図 1(a)). 付着したウイルスは目に見えないため，その場にいなかった人には，その環境のどこにウイルスが付着している可能性が高いか気づくことができない．一方，Alertable Surfaces は，ウイルスが付着している可能性が高い，人が触れたり，咳などによって排出された飛沫が付着した実環境中の表面上に警告をオーバーレイする (図 1(b))．これにより Alertable Surfaces が実現された環境で活動する人は，その表示を目にして，その場所を触れない，避けるといった行動を取ることができる．また，ウイルスが付着している可能性が高い場所が可視化されていれば，その場所を消毒することでモノを介した感染の危険が低下する．現状ではウイルスが付着している場所がわからないため，人が触れそうな場所を定期的に消毒するというアプローチが取られているが，これは多大な労力を必要とし，ウイルスの拭き残しが起きている可能性も高い．本当にウイルスが付着しているか否かはさておき，人が触れたなど，ウイルスが付着している可能性がある場所がわかるだけでも，より少ない労力で効果的な消毒ができると思われる．

֐෨ు‫ݱ‬੼֐ત౦ޭ‫ح‬+'0,)3*$ιϱγόʖχϠώ΢ϩώρτϨʖ

3.1

システム概要プロトタイプシステムの構成を図 2 に示す．近年の画像処理技術を用いれば，監視カメラの映像などから人がモノのそばにいることをかなり高精度に検出できる. 動画像中に映る人の姿勢を認識する技術(たとえば [5]) を用いれば，人がモノに触れているか否かをおおよそ推定することも可能であろう．しかし，人が実際にモノに触れたかどうかまでを監視カメラの映像から検出するのは容易ではない．たと੼֐તΩϟϧγʖϜϩΩϟϧ੼֐ત౦ޭ‫ح‬Ϡώ΢ϩώρτϨʖ)3*$ιϱγόʖχϕϫζΥένγʖϜϩΩϟϧ੼֐તΩϟϧ

図 3. プロトタイプシステム外観

Alertable Surfaces の概念を実現するため，我々はまず人が触れた場所をモノの表面に可視化することを目指し，プロトタイプシステムの設計・構築を進めている．モノの表面に感染者が触れたことを認識し，それをモノの表面に出力する方法としては，まず，モノの表面自体に接触を検知するセンサと表示デバイスを埋め込む方法が考えられよう．たとえば，モノ自体を感圧センサとディスプレイで覆ってしまうといった方法だ．しかし，このような方法は，モノの設計時からセンサや表示デバイスの実装方法を本来のモノの機能を損ねないように検討する必要があり，適用可能な環境がかなり限定されてしまう．
また，曲面構造の表面には，そもそも表示デバイスの組み込みも容易ではない．そこで我々は，既設の環境にも簡単かつ安価に Alertable Surfaces の機能を追加できる方法を検討し，サーマルカメラとプロジェクタで構成される Alertable Surfaces 構築シス
テムを設計した．

+'0,

図 2. システム構成

プロトタイプシステムの構築

3౦Ӫ͠Ηܱͪࠄ

ϕϫζΥέν

えば，映像中でモノ（たとえば壁面や机）に手が重なっているように見えても，それが，実際にそのモノに触っているのか，手をそのそばで動かしているだけなのかの判別は難しい．また，カメラの設置場
所によっては，手の動き自体が人の体に隠れてしまう．そこで我々は，人が触れた場所をより直接的に認識するため，サーマルカメラ及び赤外線カメラを利用することとした．また，人が触れた場所への警
告のオーバーレイには小型のプロジェクタを用いることとした．様々な場所への設置を検証するため，システム一式の小型化を図り，カメラで撮影した映像から人が触った場所を検出し，投影する警告を生成する処理は，Xilinx の Zynq をベースに開発したセンサノード [7] を利用した．システム一式の写真を
図 3 に示す．赤外線カメラは，近赤外領域の波長まで感度のあるカメラモジュールに可視光カットフィルターを付けることで実現している．

3.2

サーマルカメラと赤外線カメラを用いた接触場所の検出恒温動物である人の手指は 37 ℃前後の熱を帯びている．一方，環境中に存在するモノの表面温度は多くの場合，人の体温より低い．そのため，人が触れた場所には熱が残る．これを熱痕跡 (Heart Traces)と呼ぶ [1]．熱痕跡が残ることを利用して，HCI の研究領域では，壁面ディスプレイにおけるインタラAlertable Surfaces: ウイルスの付着を警告可能な実環境

図 4. 熱痕跡の識別

クションの認識 [4, 6, 2] や，スマートフォンのキーの盗聴危険性に関する調査 [1] などが行われている．
我々は，様々なモノに人が触れた際に残る熱痕跡を認識して，その場に提示することを目指し，熱痕跡を検知するためにサーマルカメラを利用する．熱痕跡をサーマルカメラの映像から検出できれば，監視カメラの映像よりもより直接的に人が触った場所を識別できる．また，熱痕跡は少しの間モノの表面に持続するため，人体によって生み出されるオクルージョンによって触った瞬間をサーマルカメラが捉えることができない場合も，人が立ち去った後に検出できる可能性が高い．
一方，人体も熱を発しているため，熱痕跡のみを識別するには，背景差分等によって抽出された領域が，熱痕跡なのか，人体などの熱源なのかを区別する必要がある．そこで我々はサーマルカメラと可視光カメラをペアで使用し，撮影した熱画像と可視画像から，熱痕跡を判定する手法を提案している [3]．
本論では，次節で述べるビデオループに類する課題を避ける観点から，提案手法をサーマルカメラと近赤外線カメラを用いて実現した．
扉付き本棚の前を撮影した様子を図 4 に示す．(a)が赤外線カメラで撮影した赤外画像，(b) がサーマルカメラで撮影した熱画像である．扉や取っ手に手を触れると，その場所に熱が残る (図 4(b)-t2)．背景差分法によりその熱痕跡を切り出すことができる(図 4(c)-t2)．しかし，同時に (c) のように人自体の熱も背景差分で切り出されてしまう．そこで，同様に，赤外線カメラの映像でも背景差分により，背景でない部分の切り出しを行う．熱痕跡は赤外線カメラでは捉えることが出来ないため，近赤外領域の画像上では，背景差分を行っても切り出すことが出来ない．一方，人体は近赤外画像においても背景差分で切り出すことができる．よって，切り出された部分の一致度を比較し (図 4(d))，一致度が一定の閾値以下であれば熱痕跡であるという判定ができる (図4(e))．なお，背景画像は，近赤外画像，熱画像とも現在，10 分間蓄積した画像群の中央値を画素ごとに取ることで動的に作成している．

3.3

熱痕跡の投影図 5. 熱痕跡の投影例

プロトタイプシステムでは，上記熱痕跡と識別された実世界表面に対して，プロジェクタを用いて光学的な痕跡を，ウイルスが付着している可能性の警告として投影する．投影例を図 5 に示す．触った場

WISS 2020

図 6. 波長の関係所を直接ライティングすることで，その場に来た人は，特に特殊なデバイスを利用していなくても，人が触った場所に気づくことができる．
ここで，我々が提案しているサーマルカメラと可視光カメラを利用した熱痕跡判定手法 [3] では，可視光カメラでこの光学的痕跡が撮影されてしまうという課題に直面した．プロジェクションした映像が可視光カメラで撮影されてしまうため，投影した痕跡が背景差分で抽出されてしまい，熱痕跡の抽出に悪影響を与えてしまう．これは，投影した映像が入力としてカメラに捉えられてしまい，再びその映像が投影されてしまう（投影に影響する）というビデオループに類する課題である．本稿では，ビデオルー
プの回避方法として波長切り分け方式 [9][8] を採用
し，プロジェクションする痕跡 (警告) は，近赤外領域を含まない可視光で投影し，一方，熱痕跡か否かの判定に利用する画像は，投影したその警告表示が映り込まない近赤外領域で撮影することとした．波長の関係を図 6 にまとめる．なお図中に示した波長は利用しているカメラの仕様等を基にしたおおよその数値である．

4議論

本稿では，ウイルスが付着した可能性のあるモノの表面に警告を表示することを目的として，Alertable
Surfaces を提案し，我々が作成したプロトタイプシステムを紹介した．本節では，構築により得られた知見や今後の構想について述べる．

4.1

動物体の表面に対する警告の表示

現実装は比較的単純な背景差分アルゴリズムを用いており，熱痕跡が残る表面は設置したデバイスに対して相対的に移動しないことが前提となっている．
動くモノ上の熱痕跡を検出するには，対象とするモノごとに，周囲の温度に対する表面温度の変動等に関するモデルを構築し，モデルベースで熱痕跡を検出するといった異なるアプローチが必要になると考える．

4.2

警告の投影時間

警告の投影時間は，物体の表面に付着したウイルスの生存時間が一つの目安となる. しかし，生存期間中警告を表示し続ければ，環境中に多くの警告が表示されてしまうことになってしまう．至る所に警告が表示されれば，人はおそらくその警告を気にしなくなってしまうと思われる．過剰な警告によって警告が意味を為さなくなることを避けるためには不要な警告は表示しない工夫が必要である．例えば，赤外線カメラの映像を元に，消毒行為が行われたと認識された場所に関しては警告表示を消去するといったことを行うべきと考えている．

4.3

警告レベル

プロトタイプシステムでは，人が触った場所に対して同様の表現で警告を表示したが，東京アラートのように警告レベルを数段階に分けることで，より警告を見た人に危険度を意識づけることができると考える．たとえば，プロトタイプシステムはサーマルカメラを具備しているため，サーマルカメラで取得された熱画像を基に人の体温を取得し，発熱している人が触った場所にはより積極的な表現で警告を表示する（たとえば警告表示を点滅させる等）といったことが考えられる．

4.4

ウイルスの存在可能性

プロトタイプシステムでは，人が触れた場所にウイルスが存在する可能性が高いと考え，人が触れた場所に警告を表示することとした．一方，2 章で述べたように，ウイルスが存在する可能性が高い表面として，感染者がくしゃみや咳をした場所がある．
くしゃみや咳による飛沫が付着した場所は，サーマルカメラでは認識が難しくまた異なるアプローチが必要となる．

4.5

認識精度

熱痕跡の残りやすさや熱痕跡が消えるまでの時間は，素材にかなりの影響を受ける．たとえば，鉄製の扉よりも木製の扉のほうが熱痕跡が残りやすく，鉄製の扉において熱痕跡を高精度に検出するには，熱分解能の高い高価なサーマルカメラが必要となる．
一方で，素材が分かれば，その熱伝達率などを基に熱痕跡の識別精度向上も検討できる．深層学習などを用い，可視光やサーマルカメラの画像から素材を判定する方法についても今後検討したいと考えている．

5

終わりにウイルスが付着した可能性があるモノの表面に警告を表示することを目指し，Alertable Surfaces の提案とプロトタイプシステムの構築を行った．Alertable
Surfaces を実現した環境において，人は他者が触れた場所を避けて行動すると予想しているが，実際にAlertable Surfaces を導入した環境における人の行動変容についても今後調査できればと考えている．
新型コロナウイルス，そして今後も続くであろう
未知のウイルスの脅威に立ち向かうためには，医学Alertable Surfaces: ウイルスの付着を警告可能な実環境の発展を支えるのはもちろんであるが，多様な側面からのアプローチにより，人類がウイルスと戦う武器を増やしていくことも重要であると考える．本研
究がその一助になればと思う．

参考文献[1] Y. Abdelrahman, M. Khamis, S. Schneegass, andF. Alt. Stay Cool! Understanding Thermal Attacks on Mobile-Based User Authentication. In
Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, CHI ’17, p.
3751–3763, 2017.
[2] Y. Abdelrahman, A. Sahami Shirazi, N. Henze,and A. Schmidt. Investigation of Material Properties for Thermal Imaging-Based Interaction. In
Proceedings of the 33rd Annual ACM Conferenceon Human Factors in Computing Systems, CHI’15, p. 15–18, 2015.
[3] Y. Kishino, Y. Shirai, Y. Yanagisawa, K. Ohara,S. Mizutani, and T. Suyama. Identifying Human
Contact Points on Environmental Surfaces using
Heat Traces to Support Disinfect Activities. InSensys2020, 2020.
[4] E. Larson, G. Cohn, S. Gupta, X. Ren, B. Harrison, D. Fox, and S. Patel. HeatWave: Thermal Imaging for Surface User Interaction. In
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’11, p.
2565–2574, 2011.
[5] Y. Raaj, H. Idrees, G. Hidalgo, and Y. Sheikh.
Eﬃcient Online Multi-Person 2D Pose Tracking
With Recurrent Spatio-Temporal Aﬃnity Fields.
In Proceedings of the IEEE/CVF Conference
on Computer Vision and Pattern Recognition(CVPR), June 2019.
[6] A. Sahami Shirazi, Y. Abdelrahman, N. Henze,
S. Schneegass, M. Khalilbeigi, and A. Schmidt.
Exploiting Thermal Reﬂection for Interactive
Systems. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems,
CHI ’14, p. 3483–3492, 2014.
[7] Y. Shirai, Y. Kishino, T. Suyama, and S. Mizutani. PASNIC: A Thermal Based Privacy-Aware
Sensor Node for Image Capturing. In AdjunctProceedings of the 2019 ACM International Joint
Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2019 ACM International Symposium on Wearable Computers, UbiComp/ISWC ’19 Adjunct, p. 202–205, 2019.
[8] Y. Shirai, T. Owada, K. Kamei, andK. Kuwabara.
Optical stain : Amplifying
vestiges of a real environment by light projection.
Proceedings of HCI International2003,
2:283–287, 2003.
[9] 白井 良成, 大和田 龍夫, 亀井 剛次, 桑原 和宏. 実
環境指向のアウェアネス情報とその提示手法. 情報処理学会論文誌, 43(12):3653–3663, dec 2002.