修士論文

光学カメラと長波赤外線カメラを用いた要救助者検出
手法の検討

原田 康嗣

2021 年 03 月 17 日

奈良先端科学技術大学院大学
先端科学技術研究科 情報科学領域

本論文は奈良先端科学技術大学院大学先端科学技術研究科情報科学領域に修士 (工学) 授与の要件として提出した修士論文である。
原田 康嗣

審査委員：
藤川 和利 教授

（主指導教員）安本 慶一 教授

（副指導教員）新井 イスマイル 准教授 （副指導教員）

光学カメラと長波赤外線カメラを用いた要救助者検出
手法の検討∗
原田 康嗣

内容梗概
近年、捜索救助活動において無人航空機の活用が注目されている。現状ではカメラを用いて取得できる情報をもとに救助が行われている。操縦を行いながら映像から要救助者を捜索しているため、操縦者への負担が大きい。そこで無人航空
機に様々なセンサを搭載し要救助者を探知する手法が研究されている。
本論文では山岳地帯での遭難者を無人航空機で捜索する状況を想定し、光学カ
メラと長波赤外線カメラの捜索救助活動での有用性を評価するために、2 種類の定点観測を行った。具体的には、定点観測を行う高さと時刻を変化させ、光学カ
メラと長波赤外線カメラが取得する情報を評価する。それぞれの計測結果から、一般の光学カメラにおける人物検出は照度 200LUX 付近から検出率が低下することを確認し、長波赤外線カメラは適した環境であれば 8 割以上の検出率であることを確認した。さらに、計測結果に基づき捜索救助活動に活用できる情報と追加可能なセンサについても議論を行う。

キーワード
長波赤外線画像、捜索救助活動、長波赤外線カメラ、照度センサ∗

奈良先端科学技術大学院大学 先端科学技術研究科 情報科学領域 修士論文, 2021 年 03 月 17 日.

iA consideration on human detection method
using optical camera and long-wave infrared
camera∗Koji Harada

Abstract
In recent years, the use of unmanned aerial vehicles has attracted attention in
search and rescue activities. Currently, rescue is being carried out based on theinformation that can be obtained using a camera. Since the rescuer is searchedfrom the video while maneuvering, the burden on the pilot is heavy. Therefore,
a method of mounting various sensors on an unmanned aerial vehicle to detect a
person requiring rescue is being researched.
In this paper, we assumed a situation in which an unmanned aerial vehicle
searches for a victim in a mountainous area, and performed fixed-point observations to evaluate the usefulness of optical cameras and long-wave infrared cameras
in search and rescue activities. Specifically, the height and time of fixed-point
observation are changed, and the optical camera and length evaluate the information acquired by the infrared camera. Furthermore, based on the measurement
results, we will discuss information that can be used for search and rescue activities and sensors that can be added.
Keywords:
Longwave infrared image, Search and Rescue, Longwave infrared cameras, Illuminance sensors∗

Master’s Thesis, Division of Information Science, Graduate School of Science andTechnology, Nara Institute of Science and Technology, March 17, 2021.

ii

目次
1. はじめに1

2. 関連研究3

2.1

光学カメラを用いた要救助者捜索手法. . . . . . . . . . . . . . .

32.2

長波赤外線カメラを用いた要救助者捜索手法 . . . . . . . . . . . .

3

2.3

その他のセンサを用いた要救助者捜索手法 . . . . . . . . . . . . .

4

2.4

関連研究のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

3. 提案手法

6

3.1

光学カメラを用いた人物の検出 . . . . . . . . . . . . . . . . . . .

63.2

長波赤外線カメラを用いた人物の検出

6. . . . . . . . . . . . . . .

4. 実験

9

4.1

前提条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

94.2

実験方法とその目的. . . . . . . . . . . . . . . . . . . . . . . . .

10

4.3

実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

4.4

計測装置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

4.5

実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

4.5.1

実験 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

4.5.2

実験 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

5. 考察および今後の展望

40

5.1

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

40

5.2

今後の展望

41

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6. おわりに

44

謝辞

45

参考文献

46

iii

図目次
1

長波赤外線画像の例. . . . . . . . . . . . . . . . . . . . . . . . .

722 値化画像の例 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

3

1 ピクセルあたりの画角 . . . . . . . . . . . . . . . . . . . . . . .

7

4

1 ピクセルあたりの実際の大きさ . . . . . . . . . . . . . . . . . .

85検出するブロブサイズ . . . . . . . . . . . . . . . . . . . . . . . .

8

6

撮影場所 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

127

撮影を行った非常階段 . . . . . . . . . . . . . . . . . . . . . . . .

128

人が存在する場合 . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

9人が存在しない場合

1310

光学カメラと長波赤外線カメラの配置. . . . . . . . . . . . . . .

1511照度センサの計測方法 . . . . . . . . . . . . . . . . . . . . . . . .

1512

正しく検出できている例 . . . . . . . . . . . . . . . . . . . . . . .

1713

検出できなかった例

17

14

人間以外として検出された例. . . . . . . . . . . . . . . . . . . .

18

15

光学カメラの検出結果 (3 階) . . . . . . . . . . . . . . . . . . . . .

1916

長波赤外線カメラの検出結果 (3 階) . . . . . . . . . . . . . . . . .

19

17

照度が 350LUX の時の光学カメラの画像の例 . . . . . . . . . . . .

2018

3 階から計測した長波赤外線画像 . . . . . . . . . . . . . . . . . .

21

19

3 階から計測した長波赤外線画像の 2 値化画像 . . . . . . . . . . .

21

20

光学カメラの検出結果 (4 階) . . . . . . . . . . . . . . . . . . . . .

2221

長波赤外線カメラの検出結果 (4 階) . . . . . . . . . . . . . . . . .

22

22

4 階における光学カメラと長波赤外線カメラの検出率を重ねた結果

23

23

光学カメラの検出結果 (5 階) . . . . . . . . . . . . . . . . . . . . .

2424

長波赤外線カメラの検出結果 (5 階) . . . . . . . . . . . . . . . . .

24

25

木を人間として検出した例 . . . . . . . . . . . . . . . . . . . . . .

25

26

画像内に何も検出されていない例 . . . . . . . . . . . . . . . . . .

26

27

人間を検出した例 . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

28

5 階における光学カメラと長波赤外線カメラの検出率を重ねた結果

27. . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . .

iv

29

光学カメラの検出結果 (6 階) . . . . . . . . . . . . . . . . . . . . .

2830

長波赤外線カメラの検出結果 (6 階) . . . . . . . . . . . . . . . . .

28

31

6 階からの計測で人物を検出できた例 . . . . . . . . . . . . . . . .

29

32

6 階からの計測で人物を検出できなかった例 . . . . . . . . . . . .

3033

2 値化画像内のブロブが人のみ存在する例 . . . . . . . . . . . . .

32

34

2 値化画像内のブロブが複数存在する例 . . . . . . . . . . . . . . .

32

35

人以外のブロブも同時に検出している例 . . . . . . . . . . . . . .

33

36

人が二つ以上のブロブに分かれている例 . . . . . . . . . . . . . .

33

37

人以外の物体を間違って検出している例 . . . . . . . . . . . . . .

3438

大きすぎるブロブに対応できなかった例 . . . . . . . . . . . . . .

34

39

木の表面を人物として検出した例 (長波赤外線画像) . . . . . . . .

3540

木の表面を人物として検出した例 (2 値化画像) . . . . . . . . . . .

3541

長波赤外線画像 (日中・5 階) . . . . . . . . . . . . . . . . . . . . .

36422 値化画像 (日中・5 階) . . . . . . . . . . . . . . . . . . . . . . . .

36

43

地面の熱を人物として検出した例 (長波赤外線画像) . . . . . . . .

38

44

地面の熱を人物として検出した例 (2 値化画像) . . . . . . . . . . .

38

表目次
1

実験方法とその目的. . . . . . . . . . . . . . . . . . . . . . . . .

112

各階層の高度と撮影対象までの直線距離 . . . . . . . . . . . . . .

13

3

計測時の気温と湿度. . . . . . . . . . . . . . . . . . . . . . . . .

164

日中の実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

35

5

検出枚数と正解枚数 (日中の実験) . . . . . . . . . . . . . . . . . .

37

6

夜間の実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

38

7

検出枚数と正解枚数 (夜間の実験) . . . . . . . . . . . . . . . . . .

39v

1. はじめに
近年、消防防災分野において無人航空機の導入が進んでいる。無人航空機は「空の産業革命」とも言われ、多くの可能性を有しており、すでに空撮や農業の分野
で広く活用されている [1]。消防防災分野において森林での遭難や災害現場における救助活動では、無人航空機の活用が期待されている [2][3]。無人航空機は、人が容易に立ち入れない場所でも活動可能であり、上空から捜索救助活動は視界を確保しやすいため、主な用途として情報収集を目的として配備されている。
このように無人航空機は優れた利点を有しているが、捜索救助活動において運用方法は確立されておらず、人の経験や勘に頼って使用されている。そのため、
現在運用されている無人航空機の操縦と情報収集は、操縦者の目視によって判断されている。この方法では、霧や光の具合などの環境要因や操縦者の疲労や単純な見落としなどで、要救助者や重要な情報を見逃してしまう可能性がある。そのため、無人航空機にカメラ以外のセンシングデバイスを用いて要救助者の情報を収集する方式が考案されている。
既存の研究では無人航空機に単一のセンシングデバイスを搭載し情報収集活動を行っている。そのようなセンサには、主に光学カメラや長波赤外線カメラ、電波探知機、音声マイクなどが用いられている。それらの手法においては個々のセンシングデバイスから得た情報をもとに効率よく要救助者の位置を推定することが可能になっている。しかし、光学カメラであれば夜間では使えない、要救助者の無線機器が常に電波を発信している訳ではないなどの影響が大きいなどの様々な問題点も指摘されている。また、現状では単一のセンサのみを用いた情報収集が主である。
そこで本研究では複数のセンシングデバイスを用いた情報収集活動の有用性を確認するために、性質が異なるセンシングデバイスから得られる情報を検討する。
本論文では、無人航空機に搭載することを想定した光学カメラと長波赤外線カメ
ラ、それら以外に周囲の環境情報を取得するために温湿度及び照度を計測するセンサを用いた。それらのセンサを用いて、山岳部での遭難者捜索を想定して様々な高度から計測を行い、夜間と昼間での光学カメラと長は赤外線カメラが取得する情報の評価を行う。

1

本稿の構成は以下の通りである。第 2 章では、研究背景と関連研究についてまとめ、既存研究の問題点を述べる。第 3 章では、提案手法の概要について述べ、どのようなセンサの値を用いるか述べる。第 4 章では、計測環境とその計測結果について述べる。第 5 章では、評価実験の結果を元に考察を行い、今後の課題について述べる。第 6 章では本稿のまとめを行う。

2

2. 関連研究
本章では、無人航空機を用いた捜索救助活動に関する既存の研究について説明する。そして最後に関連研究についてまとめる。

2.1 光学カメラを用いた要救助者捜索手法
光学カメラを用いた要救助者捜索は一番主流の方法である。取得できる情報が人間の目で見て判断可能なカラー画像であるため、特に知識がなくとも生データの中に人が存在するかどうかが判断可能な点が優れている。また、近年発達している機械学習を用いた人物検出手法とモデルをそのまま適用できるため、機械的に自動で人を検出する手法も多数研究されている。
無人航空機を用いた要救助者捜索においては、通常の監視業務などと異なり見落としは要救助者の命に関わるため人の目で判断する手法と、全てを機械的に処理する方法の 2 つが主に研究されている。Niedzielski ら [4] の研究では遭難者の捜索に光学カメラを用いているが、取得した画像から人を検出するときに、人の目で判断を行っている。また、これとは逆に Karaca ら [5] の手法では、要救助者の検出は全て自動で行われている。機械的に画像を処理し、要救助者の発見を行うことは人の集中力などに起因する人為的な間違いを防ぐことになるため、近年の捜索救助活動では大きな期待がよせられている。
これらの光学カメラを用いた要救助者の捜索は明るい環境を想定しており、夜などの暗い環境や木などの障害物の影が検出率に影響を及ぼすと述べられている。

2.2 長波赤外線カメラを用いた要救助者捜索手法
Burke ら [6] の研究では遭難者の救助や野生動物の観察に長波赤外線カメラを用いている。このセンサは人間や動物などの熱を保持する物体から放出される遠赤外線を受容し、その温度を取得または可視化する。一般に入手可能な長波赤外線カメラは光学カメラと比べ著しく解像度が低い傾向にあり、また用途も限られるため長波赤外線画像に適した人物検出の手法は少ない。そのため、Rudol ら [7]3の研究で述べられている通り、長波赤外線画像を用いた要救助者捜索では人の目で検出 [8] するか、または閾値を用いて画像内から温度を持ったブロブを探す手法が有効である。

2.3 その他のセンサを用いた要救助者捜索手法
Sibanyoni ら [9] は、森林での要救助者捜索において、被災者が使用すると考えられる笛の音をマイクで集音して位置推定を行う手法を提案している。無人航空
機に集音マイクを搭載し、実験では音の発生させる装置を用いて、それを検出する事件を行っていた。方位角と距離の両方の推定に対して有望な結果を示している。しかし、これは静寂な環境の中で要救助者のみが救助を呼ぶ声を出している前提である。確かに人通りの少ない山岳部などでの救助活動では要救助者の声が響きそうではあるが、実際の救助活動では要救助者が声を出せない場合なども考えられるため、この手法は効果が限られる。
また、その他にもスマートフォンなどの通信端末から発信される Wi-Fi プロー
ブ要求フレームをキャプチャし、要救助者の位置を推定する手法 [10] も存在する。
受信電波強度を用いた手法では無人航空機と要救助者の間に木や瓦礫などの障害物が存在しても電波が透過するため、カメラとは異なり無人航空機から全方位に向けて捜索が可能である。ただし、通信端末がプローブ要求を送信する間隔が端末や状況によって異なり、数分以上プローブ要求が発せられないこともあり、ドローンが上空にいる間に観測できない場合がある。
これらの研究で共通しているのは、取得した情報から直感的に人の存在の有無の判断が困難である。

2.4 関連研究のまとめ関連研究ではセンシングデバイスを無人航空機に搭載することで、要救助者捜索の支援に有効であることを示している。ただし、これらの研究はそれぞれのセンサが得意な状況を想定しており、また他のセンサと協調しての運用はされていない。そのため以下の問題が存在する。

4

• 搭載しているセンサが有効な状況では信頼して運用できるが、それ以外の状況には適用できない• 他のセンサの情報は考慮しないため、複数搭載した場合でも他のセンサの有益な情報を活用できない
そこで本論文では複数のセンサを用いた情報収集活動の有用性の確認を行うために、性質が異なるセンシングデバイスから得られる情報を検討する。

5

3. 提案手法
本章では各カメラから取得した画像からどのように人を検出するか述べる。

3.1 光学カメラを用いた人物の検出
光学カメラが取得するカラー画像の中からの人物検出には YOLOv4[11] を用いる。捜索救助活動において、無人航空機に光学カメラを搭載した場合、飛行する
無人航空機は対象の範囲をくまなく飛行するため全く同じ場所を撮影した画像は存在しない。そのため 1 枚の画像の中から人物検出を行うことができ比較的精度が高く既存の研究でも用いられている YOLOv4 を選んだ。YOLOv4 の出力結果を用いて、計測した画像の中に人が存在するかどうかの人物検出を行った。

3.2 長波赤外線カメラを用いた人物の検出
長波赤外線カメラでは、取得した温度情報から画像を作成し、撮影した高度をもとに画像内の人間を検知する手法を実装した。具体的には、図 1 の様な長波赤外線画像を 2 値化すると図 2 のような白黒の画像を得ることができる。通常の画像処理であれば、2 値化された画像は輝度などを表すが、長波赤外線画像では周囲と比べて高い熱を持った部分が白い塊として現れる。この塊はブロブと呼ばれ、本論文では撮影高度から画像内に存在する人間のピクセル数を算出し、2 値化された画像内からそのサイズを満たすブロブを検出することで、人物検出を行う。

6

図 2 2 値化画像の例

図 1 長波赤外線画像の例

次に検出するブロブの大きさを決定する手法について説明する。関連研究 [6]を参考に、カメラの FoV(Field of View) を画素数で除し、1 つの画素に割り当てられている角度 (θ画素) を得る。長波赤外線カメラには、光学カメラにおける撮像素子 (さつぞうそし) と似た役割をもつ、マイクロボロメータという素子が格子状に並んでいる。カメラ全体の視野角 FoV から素子一つ一つに割り当てられている画角を求め、カメラの視野角を素子の数で割って、図 3 のように一つの素子に割り当てられている視野角を算出する。

図 3 1 ピクセルあたりの画角
次に素子 1 つあたりの画角の正接をとり、それに対象までの距離をかけること

7

で素子に映り込む画像１ピクセルの現実での大きさを求める。この値が図 4 に示
す 1 ピクセルに映る実際の空間の大きさになる。

図 4 1 ピクセルあたりの実際の大きさ
最後に、図 5 に示す通り 1 ピクセルに映る実際の空間の大きさをもとに、捜索する対象の人間の体の大きさである身長と肩幅をそれぞれ割ることで、長波赤外
線画像内における検出するべきブロブの縦と横のピクセル数を求める。

図 5 検出するブロブサイズ
以降、研究においてはこのサイズの 0.9 倍以上、1.1. 倍以下のサイズのブロブが画像内に存在すれば、それを人として検出する。

8

4. 実験
本章では、本論文で想定する前提条件や実験の目的、実施場所、その方法、及びその結果について述べる。

4.1 前提条件
本論文で想定する捜索救助活動と、前提条件について説明する。実験では山岳部での遭難者救助を想定している。山岳部での捜索救助活動における無人航空機の活用は、目視外飛行中での空撮による要救助者の発見である [2][3]。この場合において要救助者は以下のような状態でカメラに撮影されると考えられる。

1. まず、要救助者に体力が残っていて、無人航空機の接近音に気付いて開けたところに出てくるだけの運動は可能である場合

2. 遭難からある程度経過し、要救助者が怪我をしたり、体力が尽きて倒れている場合

3. 要救助者の体が木や石などで隠れている場合
1 の場合は画像内に全身が直立状態で写っているため、比較的容易に検出可能であると考えられる。次に、2 の場合は画像内において、人はうつ伏せや横向きや斜めであるなど様々な姿勢で映ることになり、画像内から検出することはやや困難になると考えられ、さらに 3 の場合は画像内において人の体の一部しか映らない他、検出が困難であると考えられる。本論文では、無人航空機は、その展開の用意さから捜索救助活動の序盤で投入されるとする。そのためまだ要救助者は歩くことができ、無人航空機の飛行音を聞き開けた空間へ移動可能である。よって、画像内で人が立っている状態を想定して人物の検出を行う。

9

4.2 実験方法とその目的
次に本論文で行った２つ実験の内容と目的を表 1 に示す。両実験では、どちらも計測時に光学カメラと長波赤外線カメラを使用したが、それぞれの実験において注目しているカメラは異なる。
表 1 の実験 1 では日没を含む 1 時間程度の計測を行い、照度が人物検出に与える影響を評価するために行った。[2] では搭載する空撮装置に光学カメラ以外に長波赤外線カメラを搭載することで適応可能な現場が増えることを期待しており、Rudol[7] らも捜索救助活動における光学カメラと長波赤外線カメラの同時利用の利点を述べている。ただし、光学カメラの性能 (撮影間隔や解像度) は長波赤外線カメラと比べ高い傾向にあり、ほとんどの場合で搭載した 2 種類のカメラの解像度に大きな差が生じてしまう。そのため、無人航空機の飛行高度によっては、光学カメラでは人物の検出が可能な高度において、長波赤外線カメラの画像から
要救助者の発見に有益な情報が得られない可能性がある。捜索救助活動を行う現場によっては天候も良く光学カメラだけで十分な場合もあれば、天気が良くても木々の影が多い森などで両方のカメラを効率よく用いたい場合や、夜間などで長波赤外線カメラを最大限に活用したい状況も考えられる。無人航空機の操作に習熟し、かつ天候や現場の環境によって適した飛行高度を選択可能な操縦者であればこのような問題に対応可能であるが、[3] でも述べられている通り、操縦者の訓練ですら人員が不足している状況の中、それだけの能力をもった人材を育成する
ことは難しい。周囲の環境や飛行高度から、どちらのカメラが取得した情報に信頼ができるかを判断する手法や指標があれば、これらの問題に対応できると考えられる。そこで、実験 1 では色の光を計測する光学カメラの特徴に注目し、照度センサで周囲の照度を計測しつつ日没時刻前後で連続した撮影を行うことで、光学カメラの人物検出率と照度の関係を評価した。
表 1 の実験 2 では昼間・夜間の二回に分け、対象までの距離を変化させ画像内に人がいる場合といない場合に分けて計測を行った。この実験では主に長波赤外
線画像の中から人物検出を行う際に飛行高度と長波赤外線カメラの性能 (画角や素子数) をもとに画像内から検出するブロブのサイズを動的に変更する手法がどれだけ有効であるかの確認のために行った。従来の長波赤外線画像における人物10

検出の手法は、目視による確認 [8] や基準となる大きさが一定である手法 [6][7] などが存在する。これらの方法は、前者では人の集中力や疲労などによる見落としや検出の間違い、後者では無人航空機の高度が一定でなければならず障害物や地形の影響で高度が変化した際に対応できない問題がある。実験 2 では情報棟の非常階段からの計測を行う際に 3 階から 6 階まで変化をつけること飛行高度の変化を擬似的に再現し、提案する手法の人物検出率を評価した。
検出率は以下の様に定義する。
検出率 =人が検出された画像数
計測した全画像数

表 1 実験方法とその目的

4.3 実験環境
実験における計測は図 6 の情報 A 棟東側の非常階段から赤い丸の範囲に長波赤外線カメラと光学カメラを向けて行った。両カメラは 45 度下向きにレンズを向けた状態である。要救助者役の人間 1 名が赤い丸の範囲の中に直立で立った状態
で計測を実施した。
また、無人航空機の高度が異なる場合を考慮するため、図 7 に示す非常階段の3 階から 6 階の踊り場からそれぞれ撮影を行った。
各階層における高度と、地面に立つ人間までの直線距離は表 2 に示す通りである。

11

図 6 撮影場所

図 7 撮影を行った非常階段
実験 1 では要救助者役の人間が存在する状態で連続して 1 時間程度の計測を行い、実験 2 では人がいる場合といない場合を分けて、計測を 3 分ずつ行った。また、各実験は非常階段の 3 階から 6 階までそれぞれの階で実施した。実験 2 における人が存在する場合と存在しない場合の例は図 8、図 9 の通りである。実験 1

12

表 2 各階層の高度と撮影対象までの直線距離において要救助者役の人間が存在する状態も図 8 と同じ状況である。

図 8 人が存在する場合

図 9 人が存在しない場合
図 8、図 9 の様な 2 つの状態を 3 階から 6 階までの 4 通り、日中と夜間に分けて行ったため、実験 2 の計測は 16 通り存在する.

13

4.4 計測装置
本論文において使用した計測装置は以下の通りである。

• 長波赤外線カメラ• 光学カメラ• 照度センサ
長波赤外線カメラは FLIR 社製 LEPTON3.5 放射測定機能付き長波赤外線（LWIR）
カメラモジュール [12] を使用した。本論文においてこのカメラを選択した理由は価格と容易に入手できる点である。市場に流通している長波赤外線カメラに使用されるマイクロボロメータは一般的に 640*480 か 160*120 のサイズであり、前者
では資金に余裕のない場合には入手できないため、安価な後者の性能を選択した。
この赤外線サーマルカメラは DJI 社製の無人航空機 Mavic 2 Enterprise などに採用されており、縦 120・横 160 ピクセルの長波赤外線画像を得ることができる。
光学カメラは Ailipu Technology 社製 ELP-USBFHD08S-LC1100-J を使用した。
解像度は 1920 × 1080 の標準的な FHD 光学カメラである。現在の市場ではより解像度の高いカメラモジュールを購入可能であるが、あえて FHD 画質程度の性能を選択した。[2] で述べられている通り、捜索救助活動における空撮では、通信環境が良好であれば撮影した画像をリアルタイムで中継する可能性もあり、その場合では 4K などの高画質画像は無線送信に活用できないと考えられている。そのため、捜索救助活動において搭載される光学カメラの解像度は FHD または HDと想定されるため、本論文では前述の光学カメラを使用した。
光学カメラと長波赤外線カメラは図 10 のように横に並んで、下方向に 45 度の角度をつけて配置されている。
照度センサは、Lutron 社製 LX-1108 と LX-28SD を地面に置き太陽または月明
かりの照度を計測した。それぞれの機器に分解能の差があるため、2 つの機器を同時に使用した。LX-28SD は 0LUX から 1999LUX までの照度を、整数で測定可能で分解能は 1LUX あり少数以下の値は記録できない。LX-1108 は少数第二位まで照度を計測可能であり日没後ある程度経過した時点や月明かりなど 1LUX 以下

14

図 10 光学カメラと長波赤外線カメラの配置の値を取得できるが、上限が 40.00LUX になるため日中の太陽光下では値を取得できない。そのため、本論文では 2 つの分解能が異なる照度センサを使用し、計測時の環境を記録した。
照度センサは図 11 のように地面に設置し、太陽光と月明かりの照度を計測した。

図 11 照度センサの計測方法

15

4.5 実験
本章ではそれぞれの実験について説明する.

4.5.1 実験 1
実験 1 では日没時刻の 10-15 分前から計測を開始し、1 時間程度連続して撮影を行った。計測は 3 階から 6 階までの各階から行った。1 日に 1 箇所しか計測できない
ため、3 階は 2021/02/26 17:49:25-18:40:41、4 階は 2021/01/31 17:16:31-18:19:12、

5 階は 2021/02/24 17:35:47-18:30:33、6 階は 2021/02/22 17:42:00-18:39:09 にて行った。表 3 は各計測時の気温と湿度である。このうち 3 階から計測を行った

2021/02/26 のみ午前中から午後にかけて雨天であり、計測時は曇りの環境であった。
表 3 計測時の気温と湿度

実験 1 では主に光学カメラでの検出性能とその内容について注目し、また長波赤外線カメラの検出率とも比較した。図 12 は、光学カメラで取得した画像をYOLOv4 で処理して人物検出を行い正確に人と判断されている場合の例である。

16

図 12 正しく検出できている例
しかし図 13 のように姿勢によっては検出されない場合も見られた。図 13 では画
像内の人間はポケットに手を入れ、図 12 と比較して足を閉じている状態であった。

図 13 検出できなかった例

17

他にも図 14 にあるように、人が存在している場所の領域は抽出されているが「cow」など別の物体として検出されている例も存在した。

図 14 人間以外として検出された例
本論文では要救助者の捜索救助活動なので、人以外と判断されたものに対しては、例え別の動物として検出されていても検出できたなかったものとして扱っている。
また、実験結果の各グラフについても説明する。照度計で計測した照度を写真に対応させる際に、照度を 50LUX ごとに階級に刻み各画像に割り当てた。これは例えば計測後 300 秒の間に取得した照度が 349LUX から 300LUX の間で変化した場合、その間に計測した画像は全て照度 300LUX で撮影したものとする。そのため、各実験結果で示されるグラフの横軸は 50LUX ごとの刻みで照度を表している。また、縦軸は照度ごとに撮影された画像の内、何枚の画像から人を検出できたかの割合を表している。

18

図 15 光学カメラの検出結果 (3 階)

図 16 長波赤外線カメラの検出結果 (3 階)

3 階からの実験結果 3 階からの計測において、図 15 の光学カメラと図 16 の長波赤外線カメラの両方の検出率は 5 割を超えていない。この日は午前中に雨が降っており、他の日の計測が 40 から 60%ほどなのと比べ、60 から 80%と空気中

19の湿度が高い状態であった。また、天候は曇りであり、照度センサが取得した値は 300LUX を超えている場合もあったが、画像は非常に薄暗い状態であった。

図 17 照度が 350LUX の時の光学カメラの画像の例
図 17 に示すように、厚い雲の影響で太陽光が存在していないことが原因であるためか画像全体が非常に薄暗く、また画像内の人間の服装はほぼ黒で統一されているため、この日の計測では目視による判断であっても、画像内に人が存在するかどうかを即座には判断できない状態である。このため YOLOv4 では検出できなかったと考えられる。
また、長波赤外線カメラで計測した画像も図 18 のように全体的に薄く霧がかかった様な状態であるものも確認された。

20

図 18 3 階から計測した長波赤外線画像

2 値化した後の画像も、図 19 に示す通り人の手や足の部分など皮膚が直接出ているか、人の皮膚表面までの生地が薄い衣服の足部分のみが明確にブロブとして残っている。体全体が 1 つのブロブとして現れなかったためこの実験での人物検出率は非常に低かったと考えられる。

図 19 3 階から計測した長波赤外線画像の 2 値化画像
図 18 の画像内全体が薄く白いのは、[6] でも述べられているように空気中の水
蒸気が地面や人体から放出される長波赤外線を吸収したためであると考えられる。
これはこの日の天候が雨上がりであったことと、他の実験時と比べ湿度が高い状態であったことを考えると、湿度が長波赤外線カメラの人物検出に影響を与えた可能性がある。

21

図 20 光学カメラの検出結果 (4 階)

図 21 長波赤外線カメラの検出結果 (4 階)

4 階からの実験結果 4 階からの計測では、照度の変化と光学カメラの性能の変化に特徴が見られた。図 20 は光学カメラによる検出率を表しており、200LUX 以
上では多少の増減はあっても、およそ 8 割以上に近い検出率であった。ただし、650LUX の画像は十数枚程度しか存在せず、偏りがあったため低い結果となっているが、次の 5 階からの計測結果から十分な枚数があれば検出率は高くなるだろ22

う。そして、計測結果で注目する部分は 200LUX 前後の変化である。光学カメラ
での検出率は 200LUX から減少傾向にあり、50LUX 付近になると検出率が 5 割を下回っていることが確認できる。
図 21 は長波赤外線カメラによる検出率を表している。長波赤外線カメラはどの照度であっても常時 3 割から 4 割ほどの検出率であった。検出率は高くはないが、著しく変化している箇所はない。また、照度が 50LUX 以下になると長波赤外線カメラの検出率は光学カメラを上回っていた。光学カメラと長波赤外線カメ
ラの検出結果を重ねたものを図 22 に示す。

図 22 4 階における光学カメラと長波赤外線カメラの検出率を重ねた結果
図 22 から確認できる通り、50LUX 付近で検出率が逆転している。

23

図 23 光学カメラの検出結果 (5 階)

図 24 長波赤外線カメラの検出結果 (5 階)

5 階からの実験結果 5 階からの計測も 4 階からの計測の時と同じく、光学カメラによる検出は、多少の増減はあっても 200LUX 以上では 7 割から 8 割ほどの検出率である。そして、図 23 から 150LUX を境に減少する傾向であり、これは 4 階

24

の時とほぼ同じである。また、図 24 では長波赤外線カメラの検出率は 4 階からの計測の時とは異なり照度の低下に反比例して検出率が向上している。しかし、
照度 600LUX 以上でも長波赤外線カメラは高い検出率を示しているが、これは太陽光で温められた木の表面を人間と間違って検出した結果である。次の図 25 にその例を示す。

図 25 木を人間として検出した例
図 25 は木の表面を誤って人として検出しており、画像中央の人の部分はブロブが胴体で上下に分割されており、検出されていない。この状況は木の表面に太陽光があたり、そこで発生した熱から放射された長波赤外線が記録されたこと、そして長波赤外線画像内で木の表面温度のブロブサイズが、5 階から計測した場合で似ていたために起きたと考えられる。

25

ただし木は恒温動物ではなく一定の熱を保持しないため、日没後の照度が低下
し太陽光が少なくなるにつれ表面温度が下がり、図 26 のように 600LUX 付近では、木の表面も人間も検出されない状態になる。

図 26 画像内に何も検出されていない例
そして、照度がさらに低下するとともに木の表面温度が下がったことで、図 27のよう人間だけを検出できるようになっている。その結果、図 24 のグラフに示される通り、時間経過とともに周囲の照度が 400LUX より低くなるにつれ、長波
赤外線カメラの検出率が向上していると考えられる。

図 27 人間を検出した例

26

光学カメラと長波赤外線カメラの検出結果を重ねたものを図 28 に示す。

図 28 5 階における光学カメラと長波赤外線カメラの検出率を重ねた結果
図 28 から確認できる通り、200LUX 付近で検出率が逆転している。これと図22 結果でも同様に検出率の逆転が確認できる、このことから光学カメラと長波
赤外線カメラのどちらを信頼するか照度を指標にすることが有効であると考えられる。

27

図 29 光学カメラの検出結果 (6 階)

図 30 長波赤外線カメラの検出結果 (6 階)

6 階からの実験結果 6 階からの検出でも 4 階や 5 階の場合と同じく、図 29 のよ
うに照度の低下とともに光学カメラ検出率の低下が確認できた。ただし、4 階などの場合と比べその低下が 400LUX 付近と異なる。また、図 30 で示される長波28赤外線カメラの検出率は変動が激しい。これは図 31 のよう、6 階からの撮影では人間の大きさを示すブロブはかなり小さい。

図 31 6 階からの計測で人物を検出できた例
ブロブサイズの算出が厳密であるためか、同じ位置で少しだけ大きなブロブが存在する図 32 のように検出できない場合がある。
同じ位置からの連続した定点観測にもかかわらず図 31 や図 32 などの様に微妙な差が生じた点は、カメラの性能によるものが大きい。使用している FLIR 社製のカメラは自動で焦点を変更し、数秒おきにシャッターが切られる仕組みになっており、その前後で画像に乱れが生じていると考えられる。長波赤外線カメラは軍事転用可能な製品であるため、その仕様に制限が加えられているためこの機能を解除する手段は今のところ存在しない。

29

図 32 6 階からの計測で人物を検出できなかった例
まず、3 階からの計測では光学カメラ、長波赤外線カメラの両方において人物
検出は著しく低い結果であった。これについて、YOLOv4 での検出結果を目視で確認したところ、人の姿勢の関係で検出できていない図 13 または別の物体として検出されている図 14 の例にあるような場合がほとんどである。これは撮影対象の人間の姿勢と、顔が下を向いてしまっているため人間として検出できていなかったからである。また、長波赤外線カメラも同様に低い検出率であった。これは、撮影日の午前中に雨が降っており、空気中の湿度が高かったことが影響している。長波赤外線は物体から放射された後、長波赤外線カメラに届くまでの空気
中の水分に吸収されることが知られており、その影響で人物検出が困難になったと考えられる。
次に、4 階と 5 階からの計測は日照条件の変化と光学カメラでの人物検出の結果が照度 50LUX 付近から急激に悪化しており、それ以上では比較的高い傾向にあった。ただし、4 階からの計測で照度 650LUX の時に急激に悪化しているのは
撮影枚数が十数枚と非常に少なく偏りがあったからだと考えられる。また、5 階からの計測において、照度 600LUX 以上で長波赤外線カメラが高い検出率になっているが、これは太陽光で温められた木の表面が人として誤検知されていたため

30

である。時間経過とともに木の表面の温度は下がり、やがてブロブとして 2 値化された画像には現れなくなったため、400LUX 以下では人のみが検出されている結果である。

4 階と 5 階からの検出結果では照度の変化とともに 200LUX 前後で検出率の逆転が発生している。これは照度の低下につれて光学カメラによる人物の検出が急
激に悪化するのに対して、長波赤外線カメラでの検出率は 4 階からの実験では照度の変化に変わらずほぼ一定であり、5 階からの実験では検出率が向上している。
どちらとも 200LUX 前後で変化の特徴が見られたため、これらのカメラのどちらを信頼するかの指標に照度は十分有効であると考えられる。またその判断も現場の人間が直感や知識による判断を下さなくても、照度センサなどで機械的に判断可能であると確認できた。
最後に、6 階からの計測では人がカメラの方向へ注目している場合や、手を広げるなど特徴的な場合でなければ YOLOv4 は人間を検出できていなかった。対照的に長波赤外線カメラでは、長波赤外線画像の中から肉眼では人の手足などが判別できない場合でも、人を検出できており、その割合は照度が下がるにつれて高くなっている。
結果として 3 階からの計測時の様に照度だけが要因ではなく、人の姿勢や顔の向きなどが光学カメラの検出において大きな影響を与えることを確認できた。ただし 4 階、5 階そして 6 階からの撮影それぞれにおいて、光学カメラの検出率は照度 100LUX 以上では上下に動く場合があるが、共通して 50LUX 付近から急激に悪化する傾向にある。

31

4.5.2 実験 2
実験 2 では日中と夜間のそれぞれにおいて、3 階から 6 階までの各階から計測を行った。日時は 2020 年 12 月 13 日の日中と夜間である。計測は各階からの計測
では、画像内に人が立っている場合と立っていない場合に分けて、長波赤外線カ
メラの人物検出率を表で示した。
実験 2 は計測では主に長波赤外線での検出性能と計測高度の関係について注目した。次の 3 つの図は、長波赤外線カメラで計測した長波赤外線画像を 2 値化処理した後の検出結果が正確に人と判断されている場合の例である。

図 33 2 値化画像内のブロブが人のみ存在する例

図 34 2 値化画像内のブロブが複数存在する例

32

図 35 人以外のブロブも同時に検出している例
図 33 では 2 値化した後の画像内のブロブが人の領域のみであり、ラベル付けされている例である。また、図 34 は画像内に複数のブロブが存在しているが、実装した手法では人間のみをラベル付けして検出できている例である。他にも、図35 は人以外のものも同時に検出している例である。捜索救助活動では、要救助者の発見が最重要であるため、画像内に 2 つ以上ラベル付けされていたとしても、この場合では人の領域部分を検出できているので、 本論文では検出している場合と考える。
また、次の 3 つの図は正しく人が検知されなかった例である。

図 36 人が二つ以上のブロブに分かれている例
図 36 は服の表面の反射などにより、人の体が 2 つ以上のブロブとして存在し33

図 37 人以外の物体を間違って検出している例

図 38 大きすぎるブロブに対応できなかった例ているため、検出できなかった例である。次に、図 37 は温められた木の表面を人間として間違って検出しており、本来人がいない場合に人がいると検出した例である。これは人がいない場合の計測で、多数人が検出されている場合に生じ易い例である。最後に、図 38 では 2 値化した後の画像中央に十の文字に似たブロブが存在しており、この部分に人が存在している。しかし、算出したサイズよりも画像内のブロブのサイズが大きかったため、人を検出できなかった例である。

34

表 4 日中の実験結果

表 4 は日中における長波赤外線カメラの人物の検出率を表している。人が存在している状態の検出率は 5 階からの計測時を除き、2 割から 5 割である。これは実験 1 の 5 階からの計測でも生じた、木の表面を人間として検出してしまっていることが原因である。

図 39 木の表面を人物として検出した例 図 40 木の表面を人物として検出した例(長波赤外線画像)(2 値化画像)

図 39 に見られるように、長波赤外線画像内に人の姿らしきものは写っていな
い。しかし、2 値化後の図 40 では木の幹部分がラベル付けされ、人として検出されてしまっている。これが、表 4 において人が存在しないはずの 5 階からの計測

35

時に高い検出率が出ている原因である。

図 41 長波赤外線画像 (日中・5 階)

図 42 2 値化画像 (日中・5 階)

ただし、図 41 の長波赤外線画像に見られる様に、恒温動物である人間が存在していると図 39 と比べて明らかに人の部分だけが白く強調されている。これは長波赤外線カメラが取得した情報をもとに長波赤外線画像を生成する際の処理が起因する。長波赤外線カメラはそもそも被写体の温度情報を数値として素子の配列通りに出力している。これをグレースケール画像にする際に、数値である温度を 128 階調に正規化し画像として出力している。そのため、図 40 に見られる様に、人などの熱を保持しないものが存在せず、太陽光だけで温められた物体のみが存在するとき、木の表面なども熱を持っているとして白く映し出されている。
しかし、その太陽光で温められた温度よりも高い温度である人間が画像内に存在する時、温度情報の正規化は人間の表面体温をもとに行われるので、図 41 では人間の姿が明確に現れている。その結果、2 値化した後の長波赤外線画像内から
図 42 のように人のみを検出できている。
最後に、表 5 に人が存在すると検出した結果に対して、どれだけ正解しているかを表した。
表 5 の正解している枚数は検出した画像の中で、実際に人がラベル付けされている枚数である。次に、人以外のものをラベル付けした枚数は、人が存在すると検出した画像の中で人以外のものをラベル付けしている枚数である。正解している枚数が検出した枚数と同じであるにもかかわらず、人以外のものを検出した枚36

表 5 検出枚数と正解枚数 (日中の実験)数が十数枚存在する理由は、同じ画像の中で人をラベル付けしているが、人以外も同時にラベル付けしている枚数を数えているためである。

37

表 6 夜間の実験結果

表 6 は夜間における長波赤外線カメラの人物の検出率を表している。人が存在している状態の検出率は 5 階からの計測時を除き、5 割を超えており、4 階以上の高さからでは 9 割に近い検出率を出している。しかし、日中の実験の 5 階からの計測でも生じた人が存在していない場合でも計測した画像のうち半分以上を人がいると検出してしまっている。これは、図 40 のように木の表面を人と間違えているわけではなく、熱を持った地面を人として判断してしまっていたことが原因であった。

図 43 地面の熱を人物として検出した例 図 44 地面の熱を人物として検出した例(長波赤外線画像)(2 値化画像)38

図 44 の中に人は確認できない、また日中で表面に熱を持っていた画像内上部の木の表面も温度が下がっている。目視で確認した限りでは熱源体は確認できな
いが、図 44 に見られる様に、画像内下部右の地面の一部が熱を持っておりそれを人として検出していた。
最後に、表 7 に人が存在すると検出した結果に対して、どれだけ正解しているかを表した。
表 7 検出枚数と正解枚数 (夜間の実験)

表 7 の正解している枚数は検出した画像の中で、実際に人がラベル付けされている枚数である。次に、人以外のものをラベル付けした枚数は、人が存在すると検出した画像の中で人以外のものをラベル付けしている枚数である。正解している枚数が検出した枚数と同じであるにもかかわらず、人以外のものを検出した枚
数が十数枚存在する理由は、同じ画像の中で人をラベル付けしているが、人以外も同時にラベル付けしている枚数を数えているためである。
実験結果から長波赤外線カメラは、表 4 と表 6 の日中・夜間にて良好な条件で9 割近く、それ以外でも 5 割近くの確率で人を検出できている。よって対象までの距離を考慮して長波赤外線画像内の人物の大きさを推定し、検出するブロブの大きさを算出して人物検出を行う方法は有効であると考えられる。これは、従来のように一定のブロブの大きさを探す方法より、無人航空機を運用する際の高度の変化に対応可能であると考えられる。
しかし、5 階からの計測において日中・夜間の両方において人が存在しない場
合でも人を検出している。これは次の図 40 や図 44 のようにある一定の大きさを持つブロブが偶然に入り込んでしまったため発生している。

39

5. 考察および今後の展望
5.1 考察
まず、実験 1 の 4 階と 5 階の計測から光学カメラを用いて計測を行った場合の画像については、日中で天候が良ければ YOLOv4 を用いて人物が検出できることがわかる。しかし、3 階からの計測時のように天候が悪く十分な光源が存在しない
場合では、対象までの距離が 4 階や 5 階の時と比べても検出率が低下していることが確認できた。また、照度が低く周りに街灯がない山岳部を想定した、50LUX
以下の照度では全く検出を行うことができなかった。そのため光学カメラを用いた捜索救助では夜間においては取得した情報の信用度が低下せざるを得ない。
次に、長波赤外線カメラは実験 1 において照度 50LUX 付近で人間の検出率が光学カメラを上回っており、実験 2 では日中と夜間の両方で人を検出しており、特に夜間では高い検出率であった。そのため長波赤外線カメラを用いて捜索救助活動を行うならば、昼間・夜間を問わず要救助者を捜索するために有益な情報を取得できると考えられる。また、実験 2 から長波赤外線カメラの画角と素子数をもとに検出するブロブのサイズを高度から動的に算出する方法は、従来の様に目視による確認では人の手足などの部位が確認困難である図 31 のような場合でも対応可能だと確認した。
しかし、実験 1 の 3 階からの計測時のように雨天などで湿度が高い場合や、実験 2 における人が存在しない場合での 5 階での間違った検出も生じている。これ
らの間違った検出には、人が存在していない場合に別の物体を人間として検出している場合や、人が存在しているにも関わらず検出できていない場合がある。まず、人が存在していない場合に別の物体を人間として検出している実験 2 の図 40のように人以外の熱を持った物体を人としている原因は、人物検出が熱を持った物体の大きさに依存しているためである。そのため、一定の大きさの熱源体は 2値化された画像の中で人間と同じ大きさのブロブとなり、提案手法では人として検出されている。これを回避するには、人の顔や手などの露出している皮膚部分に注目した検出手法が有力だと考えられる。図 18 のように撮影対象まで距離が近い場合は、長波赤外線画像の中で人間の顔などの部分が他の部位と比べて明瞭で40ある。よって、人が存在していない場合に別の物体を人間として検出している場
合には、検出した物体の温度の勾配を調べ顔や手などの特徴があれば人間とし、一様であれば太陽光で温められた物体の表前などと判断する手法が考えられる。
次に、人が存在するにも関わらず検出できていない場合として実験 2 の図 36 や
図 38 の原因について考える。図 36 のように長波赤外線画像の中で人の特徴は存在しつつも、2 値化した画像の中で人の体が複数のブロブに分割されている場合がある。これは画像の 2 値化が一般的に閾値を基準に行われており、服の表面温
度と手や頭などの露出した皮膚部分との差が大きい時に、このような分割が生じている。この現象を防ぐには、長波赤外線カメラが取得した温度情報の中から人間の温度を中心とした閾値の算出手法が必要である。本論文で使用した長波赤外
線カメラから出力される値は計測された温度を数値化した配列であり、長波赤外
線画像はその値を画像の階調に正規化して得られている。この正規化を人間の皮膚温度付近を中心に重みをつけ閾値を設定することで、人間の露出した皮膚部分と衣服部の差によるブロブの分割を防ぐことができると考えられる。また、図 38のように長波赤外線画像内の人間のブロブサイズが大き過ぎた場合については、検出したブロブの面積だけではなく形状も考慮することが必要である。長波赤外
線画像内の要救助者は状態によっては直立状態以外で映る可能性も考えられる。
しかし、四肢や頭部など人間独自の温度分布は存在するため、検出したブロブの大きさだけでなく、手足や顔などの部位を検出することで改善が可能であると考えられる。

5.2 今後の展望
本論文の実験では、実験 1 から照度センサから得られた照度と光学カメラの検出率の関係性から、光学カメラの検出率は照度 50LUX 付近で悪化することが確認できた。もちろん、光学カメラの画像素子そのものの性能によってこの値が変動することは十分に考えられるが、光学カメラの取得した画像をどの照度付近まで信用できるか判断する指針に、照度センサが有効であることがわかった。長波赤外線カメラの値段は光学カメラと比べ一般的に費用が高くなり、性能は光学カメラに劣る傾向がある。そのため、これらのカメラ両方を乗せた無人航空機に照度

41センサを取り付けることで、ある一定の照度までは光学カメラの性能を最大限に発揮可能な高度で飛行し、それ以下の照度になれば長波赤外線カメラが十分に性能を発揮できる高度まで自動で降下するシステムを構築可能であると考えらえる。
また、実験 2 から計測する高度と長波赤外線カメラの画角や素子数から画像内
で堅守するブロブの大きさを動的に決定する方法で十分に人物を検出可能であることを確認した。これは、従来のように一定のブロブの大きさを探す方法より、実際の捜索救助活動での無人航空機の飛行高度の変化に対応できる。しかし、実験 2 の 5 階からの計測時のように人ではないものを誤検出する場合も特定の高度では多発した。そのため無人航空機の飛行高度や姿勢、カメラの取り付け位置などを考慮して自動的に長波赤外線画像内から人物を検出するより柔軟で正確な手法を考える必要がある。
そして、本論文の実験において光学カメラで検出できていない場合に長波赤外線カメラが検出できている場合や、その逆の状態も複数生じていた。実験ではそれぞれのカメラの検出率と周囲の環境から被る影響を評価したが、今後はこれらのカメラが取得する情報を組み合わせ、より検出精度を向上させる必要がある。
具体的には実験 1 の図 13 で見られるような、人の領域そのもの光学カメラで取得した映像の中から検出できているが、人以外の動物と判断されている場合である。この時、長波赤外線カメラが計測した人の温度分布は衣服をつけていない顔や手などが体温に近く、衣服の部分は低くなる傾向にある。この傾向をもとに、光学カメラで検出した領域の色の分布と長波赤外線カメラで取得した温度の分布を調べ、誤検知を修正する手法なども考えられる。
さらに、本論文の実験では要救助者が自力で行動可能な場合を想定したが、負傷し倒れている場合や何かの下敷きになっている場合も考慮する必要がある。これは光学カメラが人の衣服の一部など通常の自然界では存在しない色を見つけた
場合に、長波赤外線カメラで熱を検知できるかで判断することも考えられるが、それ以外のセンサを使う方法も考慮する必要がある。第二章でも述べた様に、広く普及しているスマートフォンなどの通信端末から発信される電波を受信しその強度をもとに要救助者を捜索する手法は障害物や要救助者の容体や姿勢に影響されにくく、広範囲を捜索可能である利点がある。そのため、通信端末に標準で搭42載されている Wi-Fi や Bluetooth などの受信装置を無人航空機に搭載することで、カメラでは直接確認できない要救助者を捜索する手法は、長波赤外線カメラなどが対応できない状況を補う可能性がある。
加えて、高知の消防局員に実際にヒアリングした際には、捜索救助活動において無人航空機は、現地の状態確認やどの辺に要救助者が存在しそうか、要救助者の存在確率を調査するために用いられている。これは救助活動において、実際の救助は人が行うことと、ある場所に人が存在しないと機械が判断した時に、機械と人間のどちらが救助の責任をとるかという問題が存在するためでもある。そのため、既存の手法のように単一のセンサだけを搭載して要救助者が存在するかしないかの極端な結果ではなく。例えば、光学カメラと長波赤外線カメラ、そして

Wi-Fi アンテナを搭載した無人航空機が捜索救助活動中に取得した情報の中で、光学カメラでは人が存在しないと判断した場合でも、他の 2 つが存在すると判断した場合は、その画像の地図上の位置に確率的な重みをつけるなどをして、捜索救助活動の支援システムを構築することも考えられる。その際には、それぞれの装置の検出率を等しく信頼するのではなく、本実験において確認したように照度センサなど環境を計測可能なセンサを用いることで、各状況に応じて信頼度を柔軟に変更することも可能になると考えられる。

43

6. おわりに
本論文では山岳部における要救助者捜索活動を想定して定点観測を行い、光学カメラと長波赤外線カメラで取得した画像をもとに救助活動における有効性を評価した。実験から光学カメラは夜間に適していないが昼間では高い有効性を示し、長波赤外線カメラは昼間・夜間ともに有効な情報を取得可能だが高い高度では画像内の人の区別が困難である場合や、特定の高度で人以外のものを誤検知する可能性を確認した。そして、考察と今後の展望では光学カメラ及び長波赤外線カメラの性能と周囲の環境について議論し、本実験で用いたセンサの将来的な活用方
法についても述べた。今後の課題として長波赤外線画像からの人物の自動検出機
能や他のセンサを用いてより精度を高めるなどの手法が必要であると考えられる。

44

謝辞
主指導教員であり、適切な研究指導をしていただくなど様々な側面から研究のサポートをしてくださいました本学情報基盤システム学研究室の藤川和利教授に心から感謝致します。副指導教員であり、研究の方向性に関して的確な助言をいただきました本学ユビキタスコンピューティングシステム研究室の安本慶一教授に心から感謝いたします。副指導教員であり、研究指導，論文執筆に多大なる助言をいただきました本学情報基盤システム学研究室の新井イスマイル准教授に心から感謝いたします。研究方針や論文執筆に関して数々のご助言をくださいました本学情報基盤システム学研究室の垣内正年助教に心から感謝致します。研究活
動や論文執筆に関してご指導をいただきました本学情報基盤システム学研究室の油谷曉助教に心から感謝致します。D-MAT の訓練や消防援助隊合同訓練などにおいて、災害現場での活動の様子を知る機会を与えてくださった樫原茂客員准教
授、辻井高浩助手に心から感謝致します。さまざまな面から研究活動を支援してくださいました本学総合情報基盤センターの辻元理恵女史、中野彩子女史に心から感謝致します。また、長時間にわたる計測において夏季冬季の厳しい温度の中でも付き合ってくださった博士後期課程の大平殿、及び博士前期課程の小松くん
奥村くんに心から感謝いたします。

45

参考文献
[1] 総務省消防庁総合通信基盤局. 空の産業革命に向けた総務省の取組について.
令和２年７月 9 日.

[2] 消防庁 (2018). 消防防災分野における無人航空機の活用の手引き. 消防消第13 号 (平成 30 年 1 月 30 日).
[3] 総務省消防庁. 消防防災分野における無人航空機の活用について 消防の動
き. 18 年 12 月号.

[4] Tomasz Niedzielski, Miroslawa Jurecka, Bartlomiej Miziński, Joanna
Remisz, Jacek Ślopek, Waldemar Spallek, Matylda Witek-Kasprzak, Lukasz
Kasprzak, and Malgorzata Świerczyńska-Chlaściak. A real-time field experiment on search and rescue operations assisted by unmanned aerial vehicles.
Journal of Field Robotics, Vol. 35, pp. 906–920, 2018.
[5] Yunus Karaca, Mustafa Cicek, Ozgur Tatli, Aynur Sahin, Sinan Pasli,
Muhammed Fatih Beser, and Suleyman Turedi. The potential use of unmanned aircraft systems (drones) in mountain search and rescue operations.
American Journal of Emergency Medicine, Vol. 36, pp. 583–588, 2018.
[6] Claire Burke, Maisie Rashman, Serge Wich, Andy Symons, Cobus Theron,and Steve Longmore. Optimizing observing strategies for monitoring animals
using drone-mounted thermal infrared cameras. International Journal of
Remote Sensing, Vol. 40, pp. 439–467, 2019.
[7] Piotr Rudol and Patrick Doherty. Human body detection and geolocalization
for uav search and rescue missions. 2008 Ieee Aerospace Conference, Vol. 1-9,
pp. 3171–3178, 2008.
[8] Requirements and limitations of thermal drones for effective search and rescue in marine and coastal areas. Drones, Vol. 3, No. 4, pp. 1–14, 2019.

46

[9] Sibusiso Sibanyoni, Daniel Ramotsoela, Bruno Silva, and Gerhard Hancke.
A 2d acoustic source localisation system for drones in search and rescue
missions. IEEE Sensors Journal, Vol. PP, pp. 1–1, 10 2018.
[10] Shigeru Kashihara, Atsushi Yamamoto, Kenta Matsuzaki, Kosei Miyazaki,
Tomoya Seki, Go Urakawa, Masahiro Fukumoto, and Chikara Ohta. Wi-SF:
Aerial Wi-Fi Sensing Function for Enhancing Search and Rescue Operation.
2019 IEEE Global Humanitarian Technology Conference, GHTC 2019, pp.
423–426, 2019.
[11] Alexey Bochkovskiy, Chien Yao Wang, and Hong Yuan Mark Liao. Yolov4:
Optimal speed and accuracy of object detection. arXiv, 2020.
[12] FLIR

LWIR

Micro

Thermal

CameraModuleLepton.

https://www.flir.com/products/lepton/. 2021 年 1 月 参照.

発表リスト
国際会議

Koji Harada、Ismail Arai、Shigeru Kashihara and Kazutoshi Fujikawa、”A
performance investigation of thermal infrared camera and optical camera
for searching victims with an unmanned aerial vehicle: poster abstract,”
In Proceedings of the 18th Conference on Embedded Networked Sensor
Systems (SenSys ’20)、Association for Computing Machinery、pp647 -648、
New York、NY、USA、Nov. 2020、doi:10.1145/3384419.3430459

47