WISS 2021

熱は情報の伝達媒体になり得るか？熱赤外線を用いた 2 次元マーカの開発
湯村 翼 ∗
概要. 2 次元マーカの読み取りに用いる機器は現在スマートフォンが主流であるが，今後はスマートグラスを利用することが増えるだろう．スマートグラスの可視光カメラで周囲を撮影することは，人知れずプライバシーを侵害する恐れがある．そこで本研究では，情報マーカ読み取りに熱赤外線カメラを利用することを提案する．本論文では，ペルチェ素子を用いた遮蔽型と伝導型の 2 種類の方式のマーカと，組込み機器用熱赤外線センサを用いた認識機をプロトタイプとして開発した．

1

はじめに物理空間にある物体への情報付与や Web 連携のために，QR コードなどの 2 次元情報マーカが使われる．現在，情報マーカの読み取り機器はスマートフォンが主流であるが，今後は読み取りにスマートグラスを利用することが増えるであろう．スマートグラスでの読み取りは便利であるものの，可視光カメラで周囲を常時撮影することは，周囲の人や環境のプライバシーを侵害する恐れがある．
そこで本研究では，スマートグラスでの情報マーカ読み取りに可視光カメラではなく熱赤外線カメラを利用することを提案する．熱赤外線カメラは，熱赤外線とよばれる 7〜15µm の電磁波を計測し，物体の熱の放射を感知する．そのため，ある特定の形状に熱を発するよう物体を配置すれば，熱赤外線カメラが情報マーカとして読み取ることができる．同時に，熱赤外線カメラは，可視光での撮影のような詳細情報は取得できないため，プライバシーを守りつつマーカを読み取ることができる．そのために，熱赤外線カメラで読み取ることのできる熱情報マーカを開発する．本論文では，ペルチェ素子を用いた遮蔽型と伝導型の 2 種類の方式のマーカと，組込み機器用熱赤外線センサを用いた認識機をプロトタイプとして開発した．

2関連研究

熱赤外線を用いた 2 次元マーカの先行研究として，Thermal-ID[3] がある．Thermal-ID は，熱を遮蔽するアルミ箔をマーカ形状に切り出して人体に貼り付ける．熱赤外線で人体を観測すると，マーカに遮蔽された部分のみが熱を発さないため，マーカ形状を読み取ることができる．これは個人認証を目的とした研究である．ドローンの姿勢推定を目的とした
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗北海道情報大学

図 1. 熱マーカの模式図．(a) 遮蔽型熱マーカ．(b) 伝導型熱マーカ．

図 2. (a) 遮蔽型熱マーカの外観. (b) 熱赤外線カメラで撮影した熱マーカ. (c) 二値化した画像.

マーカでも熱赤外線を用いた 2 次元マーカが研究されている [2]．この研究では，2 次元パターンでカットされたアクリルが，ヒーターの赤外線を遮蔽してマーカを作成する．これらの先行研究は，熱赤外線で 2 次元マーカを作成する点は本研究と共通である．
しかし，これらの研究は，その場の既存の熱源を利用することが前提である．本研究では，さまざまな場所で利用することを想定しているため，どこでも使用可能なポータブルな熱マーカを開発する．

33.1

熱マーカシステムのプロトタイプ開発
熱マーカ

本論文では，熱遮蔽型と熱伝導型という２つの方式で熱マーカを実装した（図 1）．いずれも，熱源としてペルチェ素子を用いた．ペルチェ素子は，電流を流すと片面が発熱し，もう一方の面が吸熱する．本
論文では，ペルチェ素子の温面を試作に用いた．本論文で用いたペルチェ素子のサイズは 3cm 四方であ

WISS 2021

図 3. (a) 伝導型熱マーカの外観. (b) 紙に貼り付けたマーカの裏側. (c) ポスターに貼り付けたマーカの読み取り.

る．遮蔽型では，マーカの形状に切り取った遮蔽材をペルチェ素子に配置する（図 2a）．遮蔽材が熱を遮蔽するため，熱によりマーカのパターンが形成される．本論文では遮蔽材としてダンボール片を用いた．導電型では，マーカの形状に切り取った伝導材をペルチェ素子と密着させ，さらにその上に紙を貼り付ける（図 3a,b）．本論文では，伝導材として銅を用いた．銅には熱伝導性があるため，ペルチェ素子が銅を通じて表面の紙に熱を伝える．マーカのパターンには ArUco [1][6] を用いた．ArUco は，ロボットや拡張現実などで用いるための位置を取得するマーカシステムで，画像処理ライブラリ OpenCVにモジュールとして含まれる．

3.2

認識機のハードウェア

マーカの認識には，Windows PC に熱赤外線センサを接続して構成した認識機を用いる．熱赤外線センサには，Teledyne FLIR 社製の Lepton 2.5を用いた．このセンサは，波長 8〜14µm を対象とし，80x60 ピクセルの解像度で毎秒 9 フレームで撮像することができる．このセンサを PureThermal
2 Smart I/O Module というボードに載せる（図4）．このボードは USB ケーブルで PC と接続され，libuvc という規格で熱赤外線センサを通常の Webカメラとして利用することができるようになる．

3.3認識機のソフトウェア

熱赤外線センサで取得した画像は Windows PCで処理する．画像処理を行うプログラムは Python
で記述し，OpenCV ライブラリと ArUco モジュールを用いた．センサから送られる画像は，温度がカラーコンターで示された画像である．カラーコン
ターは，温度の高い方から順に白，橙，赤，紫，黒で示される．ペルチェ素子の温面を用いたマーカでは，温度が高い箇所がマーカのパターンを示す（図2b）．このカラーコンター画像からマーカパターンを読み取るため，色の閾値を設定して二値化を行った．ArUco を用いた認識プログラムは，認識が成功すると ID を表示する（図 2c）．

図 4. 認識機の熱赤外線センサ．

4議論

本研究では，プライバシー保護を目的として熱マーカを開発した．ただし，熱マーカシステムの用途はそれだけにとどまらず，様々なユースケースが考えられる．まず，可視光ではマーカを読み取ることができない暗い場所でも使用可能である．暗い環
境でも使えるため，夜間のドローンや暗闇で作業する自律ロボットが測位可能となる．また，アミュー
ズメント施設などでの暗い環境におけるインタラクティブ演出などにも使用可能である．実際にマーカと認識機を囲った暗い状況下における読み取り実験を行い，マーカが認識できることを確認した．また，明るい場所においても，熱マーカの見えないという特徴が利点になり得る．ポスターの裏に貼り付ければ，ポスター表面に印刷されるマーカの代替に用いることができる．通常のマーカとは違い，コンテンツのデザインを阻害せずにマーカを付与できる．ポスターの裏に伝導型熱マーカを貼り付けて読み取り実験を行い，マーカが認識できることを確認した（図3c）．
熱マーカの形態は，さらなる発展も考えられる．
今回のプロトタイプでは，1 枚のペルチェ素子を 1 つのマーカに利用した．他の方法として，ペルチェ素子を格子状に並べ，全体で 1 つのマーカとする方法もある．ArUco マーカのパターンは，6x6 の解像度があれば表現できる．ペルチェ素子を格子状に配置する装置の開発には Thermoesthesia[4]，KetsuroGraﬃti[7]，dMarkers[5] などが参考になる．これ
らの研究は，目的は異なるが，熱を制御して熱のパターンを形作る点は共通しており，機構などは大いに参考となる．
本研究は，いずれ訪れるであろうスマートグラスが普及した社会において役立つことを念頭に置いたものである．熱赤外線カメラは現在スマートグラスに標準的に搭載されるものではない．しかし，周囲の人の認識や体温計測に用いることで COVID-19 のような発熱を伴う感染症の感染防止に役立つため，今後スマートグラスに搭載される可能性は十分にある．スマートグラスが普及する頃には，街はスマートシティと化し，道路や公園のベンチなど，街中の様々なオブジェクトが情報伝達を行う．その一端を熱情報マーカが担うかもしれない熱は情報の伝達媒体になり得るか？熱赤外線を用いた 2 次元マーカの開発

参考文献[1] S. Garrido-Jurado, R. Munoz-Salinas, F. J.
Madrid-Cuevas, and R. Medina-Carnicer. Generation of ﬁducial marker dictionaries using mixed
integer linear programming. Pattern Recognition,
51:481–491, 2016.
[2] S. Khattak, C. Papachristos, and K. Alexis.
Marker based thermal-inertial localization foraerial robots in obscurant ﬁlled environments. InInternational Symposium on Visual Computing,pp. 565–575. Springer, 2018.
[3] I. Kitahara, M. Ito, H. Noma, K. Kogure, andN. Hagita. Thermal-ID: A Personal Identiﬁcation Method Using Body Temperature. Citeseer,
2005.
[4] K. Kushiyama, M. Inose, R. Yokomatsu, K. Fujita, T. Kitazawa, M. Tamura, and S. Sasada.
Thermoesthesia: about collaboration of an artist
and a scientist. In ACM SIGGRAPH 2006
Sketches, pp. 142–es. 2006.
[5] R. L. Peiris, O. N. N. Fernando, C. S. Bee, A. D.
Cheok, A. G. Ganesan, and P. Kumarasinghe.
dMarkers: ubiquitous dynamic makers for augmented reality. In Proceedings of the 10th International Conference on Virtual Reality Continuum and Its Applications in Industry, pp. 217–224, 2011.
[6] F. J. Romero-Ramirez, R. Muñoz-Salinas, andR. Medina-Carnicer. Speeded up detection ofsquared ﬁducial markers. Image and vision Computing, 76:38–47, 2018.
[7] Y. Tsujimoto, Y. Itoh, and T. Onoye. Ketsurograﬃti: An interactive display with water condensation. In Proceedings of the 2016 ACM International Conference on Interactive Surfaces andSpaces, pp. 49–55, 2016.

未来ビジョン
本研究では，2 次元マーカの読み取り手段を，既に普及している可視光から熱赤外線に置き換えた．これは，人とモノのインタラクションにおいて，情報伝達を階層化するというコンセプトに基づいたものである．現在の通信ネットワークは，OSI7 階層参照モデルに基づき，基本的には各層のコネクションは独立している．
例えば，HTTP 通信を行うために，物理層としてイーサネットを使うことも Wi-Fi を使うこともできる．いずれを用いても上位層の通信結果は変わらない．これと同様に，人とモノのインタラクションを設計する際，いくつかの物理量の中から条件に応じて適切な手段を選択するという考え方があるのではないだろうかと考え，この概念に Cyber-Physical-HumanInteraction（CPHI）と名付けた．

2010 年に打ち上げられた金星探査機あかつ
きには，紫外イメージャ，雷・大気光カメラ，1 μ m カメラ，2 μ m カメラ，中間赤外カメラという 5 つの観測カメラが搭載される．これらは，金星へ向けて金星表面を観測するためのカメラであるが，観測波長が異なる．金星は多層の分厚い雲に覆われているが，異なる波長で観測することによって，地表面付近から上空まで，さまざまな領域を観測することができる．あかつきのように，異なる物理特性の手段を使い分けたり組み合わせたりすることによって，人とモノとコンピュータの情報伝達もより効率的になるのではないだろうか．
本研究で開発した熱情報マーカは，CPHI の一例に過ぎない．本研究を足がかりとして，インタラクションの階層化についての概念の整理と体系化を進めていきたい．