Proceedings of 5th International Symposium 2024 by the International Research Center for Color Science and Art

マルチスペクトルカメラ・赤外線カメラを搭載したドローン用いて特徴を抽出した地形や建物のカラーインデックスマッピング
Color index mapping of landform and buildings using a drone equipped with a multispectral
camera and infrared camera to extract features

内田孝幸
Takayuki Uchida
東京工芸大学、243-0297

神奈川県厚木市飯山南5－45－1

概要
近年、無人航空機（UAV：通称ドローン）の飛行性能、高精度位置測位を伴った精度の高い飛行によって、目的の撮影位置からの画像を短時間で収集できるようになった。さらに、撮影用のカメラの高性能化は可視領域だけでなく、特定のスペクトルや赤外線といった人の目に見えない箇所の撮影も可能になっている。この人の目には通常見えない特徴を抽出し、３Dインデックスマッピングさらにはその、３D造形を手にとることで、多角的な視点から直感的にその地形や建物の特徴を理解する技術の一例を示す。

はじめに
近年、無人航空機の飛行性能、高精度位置測位を伴った精度の高い飛行によって、目的の撮影位置からの画像を短時間で収集できるようになった。 さらに、マルチスペクトルカメラ
は、可視光線やそれ以外の波長の光を狭い帯域幅で捉えることができるカメラであるため、通常のデジタルカメラが可視光線のみを捉えるのに対し、特定の物質の特徴を抽出できる可能性をもっている。 例えば、人工衛星を用いた画像分野では、すでにリモートセンシングとして研究されているが、UAVを用いることによって近接した撮影が可能であるため、より高い解像度やS/N比、精度を向上させた、研究が可能となっている。
被写体は、それを構成する物質や構造によって、一般に固有の光吸収や反射を有するため、分光分析という非接触での物質の分析・同定が可能であり、近年さらに注目を集めている。
よく知られている応用例としては、植生の育成状態や作物の成長状況をモニタリングするために、後述するNDVI（正規化差分植生指数）に使用されている。さらに環境の調査の点に目を向けると、環境汚染や自然災害の影響を評価するためにも使用されている。その情報を元に3D造形技術を活用して、直感的に状況が把握可能なフルカラー立体地図や、インデックス3Dマッピングが作成可能となる。このような組み合わせにより、迅速で効果的な対応が可能となる。
さらに、最近の話題に目を向けると、月に着陸したSLIMにはMBC（マルチバンドカメラ）が搭載されており、この特殊なカメラによって、月の岩石を持ち帰ることなく、非接触の分光という技術で、その岩石の成分を検討する（さらには月の起源の検討）といった最新の技術の有効性を示している。本研究では、マルチスペクトルカメラ・赤外線カメラを搭載したドローンによる検討を述べる。

2. 実験

2.1 マルチスペクトルカメラを搭載したドローンによる画像・データ取得
マ ル チ ス プ ク ト ル カ メ ラ を 搭 載 し た ド ロ ー ン と し て P4
Multispectralを用いた。この機体に搭載しているカメラは、
B, G, R, Ir Edge, の4バンド（帯域幅はそれぞれ、30nm）とNIR（帯域幅約50nm）と可視光の1バンドで総合計6バンドである。飛行はGS-proによって、経路とオーバーラップ率などを指定して自動のミッション飛行で撮影を行った。測定場所は大学近くの水田を対象とした。マルチスペクトルカメ
ラの有効性を示すものとして、リモートセンシングなどでもよく用いられる、植生の健全性を示すNDVIを算出、マッピングした。NDVIは前述のRとNIRの2バンドを用い、①式で算出される。
NDVI＝（NIR-R）／（NIR+R）・・・・・・①

2.2 赤外線カメラを搭載したドローンによる画像・データ取得
赤外線カメラを搭載したドローンには、Matrice 300RTKにクワッドカメラである H20T を取り付けた。サーマルカ
メラは解像度 640×512、温度分解能：≤ 50mk@f1.0 (NEDT
雑音等価温度差)である。測定場所としては、大学近くの営農型太陽光発電（上がルーバー配置のソーラーパネル、下が畑）の「あつぎ市民発電所」を対象として、冬（1 月）の午前に測定を行った。

2.3 画像群からの３Dモデリング
ドローンで撮影した画像から、３Dモデルをフォトグラメトリの技術によって構築するSfMソフトは用途によって 、 以 下 の も の を 使 っ た 。 NDVI の マ ッ ピ ン グ に は
Pix4DFieldsを、NDVIの3Dモデル構築にはMetaShapeを用いた。H20Tから得られる赤外線画像の温度の定量的な評
価には、DJI Thermal Analysis Tool 3を、赤外線画像のオルソ化にはPix4DFieldsを用いた。

2.4

フルカラー３D造形・３Dプリント

MetaShape 上で構築された３Dモデルを可視光でのテクスチャーだけでなく、NDVIやIRといった特徴をキーとしてインデックスマッピングを2Dで行った。なお、NDVI
もIRもその特徴の重みによる着色のアサインは現状統一されているものはないが、筆者らは、なるべく直感的に受け入れやすいものとした。具体的には、温度であれば、低温側を青色に高温側を赤色とした。NDVIは植生の元気さ、活性度を示す指標であるので、育成が不良な方を赤色に、良好な方を緑としてインデックスマッピングを施した。

Proceedings of 5th International Symposium 2024 by the International Research Center for Color Science and Art

3. 結果
3.1 マルチスペクトルカメラを用いた水田のNDVI測定に用いた水田を図 1(a) に示す。区画ごとに①～⑤ならびに、アスファルトの箇所を⑥として割り当てた。図 1(b) に７月の時期の NDVI のインデックスマッピングを示す。各月の NDVI の推移のヒストグラムを
図 1(c) にまた、その領域の平均値の推移を図 1(d)に示す。NDVI はどの区画でも、稲の育成とともに上昇し、収穫直前で僅かに値が低下することが分かる。
(c)０NDVI0.5

よって、可視光画像ならびにIR画像を取得し、SfMでデータを処理し、さらに3D化ならびに、インデックスマッピング(2D)を行った。一般にIR画像は、可視光画像と比べて画像の解像度や階調が低いため、画像を統合する際に特徴点などが抽出し難いため、オルソ化が比較的難しい。測定結果として可視光画像を図3(a)に、１ショットで全体が入るように高度を上げて撮影し測定、DJI Thermal Analysis Tool 3で処理したものを、図3(b)に、IR画像郡をオルソ化して表示したものを図3(c)に示す。

(d)

(b)

37℃

(b)

10.8

NDVI

(c)

(a)

1.0

120.6

340.4

560.20

For reference.
Road (asphalt part)

5/4

5/24

6/13

7/3

Date

7/23

8/12

9/1

図１ 水田における(a) 区画の割当、(b) NDVI のマッピングの一例（7 月）、（c）月推移における NDVI のヒストグラ
ム、（d）NDVI の時間依存性 1）

3.2

インデックスマッピングによる３D造形

3D造形において、一般に地形などは、可視光画像や等高線などを示すが、インデックスマッピングでは、その対象の特徴例えば、サーモグラフィであれば温度をマッピングする。これらの事例は通常、2次元の平面図で示す場合があるが、最近では一部のSfMで3Dとして構築、また造形することが可能である。今回は一例として、上記の水田の3Dを紙積層型フルカラー3Dプリンタで造形したものを図2に示す。水田はほぼ平面であるが、それでも、稲やあぜ道の高さが再現されており、何より、可視光画像では判別しにくい、あぜ道からの土または水の流出の可能性が示唆されていることが分かる。

４℃

図３ 営農型太陽光発電のあつぎ市民発電所における可視光画像と赤外線（IR）画像。(a) 可視光画像, (b) １枚の画像からの IR データ、(c)オルソ化したインデックスマッピング。

図3(c)左上では、ソーラーパネルの側の家屋の屋根が写っているが、日射をうける面、影の出来方で温度分布が異なっていることが明確に分かる。ルーバー上のソーラーパネルの下に畑のある構造は、3D化する場合にも難易度が高く図3(c)のパネルの部分では一部、オルソ化の構築にズレが生じていることが分かる。一方、屋根のような連続的な構造体では、屋根の垂木を含めIR画像でも良好なインデックスマッピングを示している。

4. まとめマルチスペクトルカメラ・赤外線カメラを搭載したドローン用いて特徴を抽出した地形や建物のカラーイ
ンデックスマッピングの検討を行った。NDVIやIRといったスペクトルの特徴を抽出し、インデックスマッピングする事例は広まっているが、今回はこれらを3Dに拡張しモデリングを行い、さらに3D造形を行った。このような造形を手にとることで、多角的な視点から直感的にその地形や建物の特徴を理解する技術の一例を示した。

6. 参考文献

1）T.Uchida, Proc. of International conference on advanced imaging
2021, (2021)
2） 内田孝幸、美田翼、久原泰雄、東吉彦、「ドローンによる地図2

水田における 3D の NDVI マッピング

3.3 赤外線カメラを搭載したドローンによる営農型太陽光発電所の検討「あつぎ市民発電所」において、ミッション飛行に形情報の取得と紙積層型プリンタによる3D 形状の出力」、第59 巻第 4 号、pp.28-33 (2022)
3） 内田孝幸，小嶋優輝，行谷時男，小林信一，安田洋司，越地福朗，高橋章浩、「マルチスペクトルカメラを搭載したドローンによるインデックスマッピングとフルカラー 3D 造形」、
日本写真学会誌

第86巻、pp.50－55（2023）