原著論文

小型 UAV を用いた水田におけるイネ群落の3 次元リモートセンシングの精度評価
Accuracy Assessment in 3D Remote Sensing of Rice Plants inPaddy Field Using a Small UAV
鄧 博慶、張 煜、清水 庸、細井文樹、大政謙次＊
Poching Teng, Yu Zhang, Yo Shimizu, Fumiki Hosoi and Kenji Omasa＊
東京大学大学院農学生命科学研究科〒 113‑8567

東京都文京区弥生 1‑1‑1

The University of Tokyo, Graduate School of Agricultural and Life Sciences
1-1-1 Yayoi, Bunkyo, Tokyo 113-8657, Japan（2016 年 6 月 21 日受付、2016 年 7 月 25 日受理）

ABSTRACT
It has become an important solution for the modern agriculture to monitor rice plants in paddy field by remotesensing. In recent years, many researchers have employed some low-cost and high-performance UAVs with cameras forthis purpose. Especially, the structure from motion (SFM) has been considered as a method of reconstructing a threedimensional (3D) model by repeatedly calculating a feature projection point for a plurality of images overlapping. In thispaper, to use the SFM method, we took many videos of the rice filed by a color video camera mounted on a small UAV andpicked a series of still images from the videos at different video sampling rate. And, we found that 3D models of rice plants
in paddy field were well reconstructed from the four processing steps of point cloud building, dense point cloud building,mesh modelling, and textured mapping. The result showed that high sampling rate led to high accuracy and 3D dense point
cloud model was better in the accuracy than others. In the sampling rate of 6 still images/s, the error of 3D model was
RMSE = 12.8 cm (R2 = 1.00) in X-Y axis and RMSE = 7.3 cm (R2 = 0.97) in Z axis.

Key words : 3D, paddy field, rice plants, remote sensing, SFM, UAV変化するので、2 次元的な解析では限界があり、3 次元

1. はじめにイネは日本の主要な農作物であるため、その生育状リモートセンシングによるモデル解析が望まれている（Omasa et al., 2007; Jones and Vaughan, 2010）。

況をモニタリングし、生産量や品質を評価することは

近 年、UAV（Unmanned Aerial Vehicle） 技 術 が 発 達リモートセンシングの重要な課題である（Matsuda et al.,

し、動画や高解像度の画像が得られるカメラを搭載し2010; Akiyama et al., 2014）。過去に、人工衛星や航空機た高性能の小型 UAV を比較的安価に入手でき、また、からのリモートセンシングにより、イネの生育状況をモGNSS/INS（Global Navigation Satellite System / Internal

ニタリングすることが行われてきたが、3 次元化の精度Navigation System）と無線通信技術の進歩により、比較的な問題から、2 次元的な生育状況のモニタリングに限的簡便に自動飛行制御ができるようになってきた（Díaz-定されていた。また、適切な時期に観測を行うことが難Varela et al., 2015）。そして、コンピュータの高性能化やしく、コスト的な問題もあった（Matsuda et al., 2010）。

SFM（Structure From

さらに、一般的に、農作物の構造や環境は 3 次元的にゴリズムの進歩により、UAV で得られた連続画像からMotion）などの 3 次元構築アル*Corresponding author : E-mail: aomasa@mail.ecc.u-tokyo.ac.jp© The Society of Eco-Engineering（25）1072.2 観測に使用した小型 UAV と観測方法

3 次元構築を行い、イネなどの農作物の 3 次元生育モニタリングが可能になってきた（Zarco-Tejada et al., 2014）。

水田の観測には、小型 UAV（Phantom 3 Professional,UAV 利用の利点は、人工衛星や航空機からの観測ではDJI China）を使用した。この小型 UAV には、カメラ困難であった、利用者が望む時期や時間帯での高空間解（センサー : Sony Exmor 1/2.3 12.4M Pixel Comos、レン像度観測を容易に行える点にある。また、地上観測に比ズ : FOV94°20 mm（35 mm 換算）f / 2.8

べて、広範囲に、かつ、上空から観測が行える。しかしス）と一体化した 3 軸の防振ジンバルが装着されておながら、UAV を用いたイネなどの農作物の 3 次元リモーり、機体振動や気象条件、飛行状況にかかわらず、安定トセンシングにおいては、3 次元モデル構築の方法と精した動画や静止画の撮影が可能である。電池の充電時間度の問題について、これまで十分な検討がされていなは約 1 時間で、満充電での飛行時間は約 20 分である。

かった。

飛行に際しては、GNSS/INS の信号により飛行姿勢の調パンフォーカ

このため、本論文では、UAV に搭載されたカラービ整が可能で、撮影画像に加えて、フライトや機器の情報デオカメラで撮影された動画を用いて、高精度で 3 次元を無線によりスマートフォンに転送し、地図上で位置をモデルを構築する手法について検討し、その精度検証を確認しながら簡単に遠隔操作できる。

行った。特に、録画した動画から、異なるサンプリング観測の際の UAV の操作はマニュアルで実施し、飛レートで作出した静止画群を用い、SFM 法による 3 次

行高度は地上約 10 m、飛行時間は 8 分で、撮影ビデオ

元モデルの精度と計算時間や画像オーバーラップなどのフォーマットは Full HD（1920Hx1080V 60FPS（Frames/s）

関係について検討を行った。

で、MP4 で保存した。画像をできるだけオーバーラップするように飛行させた。

２. 計測対象及び方法

2.3 3 次元モデルの作成方法
Fig. 1 に、観測された MP4 動画から、3 次元モデルを

2.1 現地調査
調査地域は、茨城県つくばみらい市の収穫間近のイネ作成し、精度検証を行うための研究の流れ図を示す。まが生育している水田を対象とした（2015 年 8 月 24 日）。

ず、前処理として、撮影した MP4 動画からサンプリン

そして、UAV での観測にあわせて、イネの高さと周辺グレート 10、20、50、100、200 フレーム毎の単位で画の農道、水路、通路や区画境界のコンクリートなどの距像を切り取り、3840H*2160V の JPEG のフォーマットに離・寸法を、誤差を評価するために、巻尺を用いて実測変換した（Fig. 1A）。MP4 動画は 60Fps であるので、1した。また、再構築される 3 次元モデルの精度を向上す

秒当たりの画像の枚数は、それぞれ 6 枚、3 枚、1.2 枚、るために、UAV の観測区域内（約 50 m x 50 m）に基準0.3 枚、0.6 枚である。そして、カメラぶれの画像を除い点を設定し、GCP（Ground Control Point）に GNSS の地た後、3 次元モデルを作成するための画像セットとして理情報データを記録した。

保存した。

3D Modeling

Take Videoby UAV at
the Field

ACDETransfer Videoto a Series ofJPEG Photos

Build Point
Cloud by SFM
Processing

Build Dense Point
Cloud from Point
Cloud

Build Meshfrom Dense
Point Cloud

UAV: Unmanned Aerial Vehicle
GNSS: Global Navigaon Satellite System
JPEG: Joint Photographic Experts GroupSFM: Structure From Moon
GCP: Ground Control PointUAV Plaorm with Video CameraB

Map Texture toMesh

G
Corrected X,Y, and Z Axis byGCP

H
Set GCPs with
GNSS dataEsmate Heightand Length

Measure Heightand Length

Compare EsmatedValues withMeasured Values

IMeasureat the Field

108（26）F

Eco-Engineering3 次 元 モ デ ル の 作 成 は、SFM 法 で の 解 析 が 可 能 な

Fig. 3A は 3 次元点群モデル、Fig. 3B は 3 次元高密度点

Agisoft Photoscan（Agisoft LCC, Russia）を用いて行った。

群モデル、Fig. 3C はメッシュモデル、Fig. 3D はテクス

SFM 法は重なる複数画像の特徴投影点を繰り返し計算チャマッピングしたモデルである。Fig. 3A では農道とにより求め、3 次元モデルを再構築する手法である（Besl

水路のおおよその形状がわかるが、この点群モデルのand Mckay, 1992）。 本 研 究 で は、SFM 法 が 膨 大 な デ ー

周辺には輪郭が曖昧な点群が存在する。なお、この点タ処理を必要とするので、使用する画像セットの枚数

群モデルの全部の点を合計すると、2,015,993 点であっ（ 1 秒当たりの画像の枚数）の違いによる演算時間と精た（Table 1）。Fig. 3A の点群モデルから、輪郭形成のた度の比較検証を行った。パソコンは Intel® Xeon® CPU

めにノイズになる点群を除去し、補間計算した 3 次元E5-2600 v2（グラフィックカード Nvidia® Quadro®、メ

高密度点群モデルが Fig. 3B である。Fig. 3B の 3 次元画モリ 32GB）を使用した。

像は Fig. 2B の写真とよく一致していた。なお、3 次元SFM 法では、計算結果は 3 次元の点群データ（Point

モデルは側面の点数が撮影角度の制限のため少なく白くCloud Data）として得られる（Fig. 1C）。そして、得ら示されるが、他の部分は、実際の農道、水路、イネ、土れた 3 次元点群データを基準として各点を補間計算し、壌等の色調が付加された正確な 3 次元モデルが構築され誤差が大きい点を除去した後、3 次元高密度点群デーており、これらの対象の識別が容易にできる。3 次元高タ（Dense Point Cloud Data）を作成した（Fig. 1D）。さ密度点群モデルの点の数は 15,645,491 点であり、おおよらに、3 次元高密度データから、3 次元メッシュモデル

そ Fig. 3A の点群モデルの 8 倍弱に増加した（Table 1）。

を作成し（Fig. 1E）、得られたメッシュモデルにテクスそして、Fig. 3A の点群モデルの周辺にあった不明確なチャマッピングを行い、カラー情報を持った 3 次元モデ点群が、3 次元高密度点群データでは大部分修正されルを作成した（Fig. 1F）。

た。さらに、3 次元高密度点群データの点から構築した

3 次元モデルを作成した後、精度を向上させるため、

Fig. 3C のメッシュモデルでは、メッシュにより 3 次元現地調査で計測した GCP の GNSS 情報データを各位置の表面形状が生成され、切り取った写真のテクスチャに合わせて 3 次元モデルに入力し、3 次元モデルの補正マッピングが可能になった（Fig. 3D）。このテクスチャを行った（Fig. 1G）。この後、現地で実測したイネと周マッピング画像から、地面や農道等の表面が比較的大き辺の農道、水路、通路や区画境界のコンクリートに対応

い部分はきれいに作成されたが、植物の間や影があるとする 3 次元モデル上での値を求めた（Fig. 1H）。その際、ころでは、精度が低くなる傾向があった。

水平面は X-Y 軸として定義し、垂直面は Z 軸として定Fig. 4 は、サンプリングレートが 1 秒 6 枚の静止画像義した。さらに、3 次元モデルと実測した値を比較し、を用いて作成した、3 次元高密度点群モデルから推定しX-Y 軸と Z 軸の誤差を求めた（Fig. 1I）。この処理をそたイネや道路、水路、コンクリート橋などの構造物なれぞれのサンプリングレートで繰り返し、サンプリングどの寸法と実測データの関係を示す。Fig. 4A は X-Y 軸レートの違いによる誤差を求めた。最後に、SFM 法に平面、つまり水平面での関係で、Fig. 4B は Z 軸、つまよる 3 次元モデルの作成の際の画像のオーバーラップ率

り垂直方向の関係を表している。Fig. 4A は構造物のみ、と誤差の関係を比較した。

Fig. 4B はイネと構造物データで、構造物が白点、イネが黒点である。水平方向（Fig. 4A）の決定係数 R2 は

３. 実験結果および考察

1.00 で、2 乗平均平方根誤差（RMSE）は 12.8 cm であFig. 2 は、A が小型 UAV に搭載されたビデオカメラり、また、垂直方向（Fig. 4B）の R2 は 0.97 で、RMSEから下方の水田を撮影した動画から切り取った静止画像は 7.3cm であった。このことから、垂直方向の方がややの例で、B が現場において汎用カメラで撮影した写真で高い精度で推定できるが、いずれにしても実用上十分なある。Figs.2A、2B の写真を見ると、イネや農道、水路精度で推定できることがわかった。

等などが観察される。また、Fig. 2A は、上方からの撮Table 2 は、研究方法で述べた 5 つのサンプリングレー影であるが、植物の間と水路の部分には黒い影が見える。

ト、即ち、1 秒 0.3 枚から 1 秒 6 枚の静止画像をもとにUAV で撮影されたビデオを用いて、Fig. 1 の流れ図構築した、3 次元高密度点群モデルから推定したイネやに基づいて得られた 3 次元モデルの例を Fig. 3 に示す。

構造物の R2 と RMSE を示す。まず、水平方向の結果を

3 次元モデルは、1 秒で 6 枚のサンプリングレートの静見ると、サンプリングレートが 1 秒 0.3 枚の画像の時に止画像から作成し、表示は、Fig. 2B の方向に合わせた。

精度が一番悪く、RMSE は 27.0 cm であった。しかし、

Eco-Engineering（27）1091 秒 3 枚の画像の時は精度が改善し、RMSE が 10.6 cm

ターライダーによる計測の精度に比べて（Omasa et al.,であった。1 秒 6 枚の方がやや悪くなった原因について

2000）、UAV を用いた計測の方が高い精度での計測が可は不明であるが、この程度のサンプリングレートであれ能であることがわかった。

ば、比較的高い精度が担保できていた。次に、高さ方向

なお、Table 1 は、サンプリングレートと使用した静の結果を見ると、サンプリングレートが 1 秒 0.3 枚の画止画像の枚数、3 次元点群モデルと高密度 3 次元点群モ2像の時は RMSE が 13.4 cm で、R は 0.86 であった。しデルの点数を示す。サンプリングレートが 1 秒 6 枚の画かし、サンプリングレートが 1 秒 6 枚の画像の時には、像の時には 800 枚以上の画像を解析に使用する必要があ2り、計算時間が膨大になった。

RMSE は 7.3 cm で、R は 0.97 であった。全体を見ると、サンプリングレートが大きければ大きいほど、精度が高Fig. 5 は異なるサンプリングレートから作成した 3 次くなったことが分かる。筆者らが以前行ったヘリコプ

元モデルと静止画像のオーバーラップ枚数の関係を示

Sampling
rate

Used Still
Images(Images/s)

PointCloud

Dense
Point Cloud(Pixels)(Pixels)

11,952

978,324

10 mins

0.3

16

0.6

48

41,413

2,962,768

40 mins

1.2

93

110,064

4,643,131

26 mins

3360

597,157

10,460,229

3h 3 mins

6829

2,015,993

15,645,491

14h 16mins

Axis

Z

Sampling
Rate

X-Y

Axis

R2

RMSE
(cm)

2R

RMSE
(cm)

0.3

1.00

27.0

0.86

13.49.9%

0.6

1.00

24.4

0.91

10.6

31.8%

1.2

1.00

14.4

0.94

8.4

40.6%

3

1.00

10.6

0.95

7.8

83.6%

6

1.00

12.8

0.97

7.3

100.0%

120

B

structure

2000

1000
y = 1.0233x + 0.329
R² = 1.00
RMSE=12.8 cm
0Esmated length(cm)AEsmated length(cm)Percentage of Area Overlapped over
9 Still Images

Images/s

3000

90

structurerice plant60

y = 1.0626x - 6.6918
R² = 0.97
RMSE=7.3 cm

3000110（28）Process
Time

1000
2000
Measured length(cm)

3000

03060
90
Measured length(cm)120

Eco-EngineeringEco-EngineeringABABCD（29）111

す。この図では、左から順に、3 次元点群モデル、3 次
元高密度点群モデル、メッシュモデルおよびオーバー引用文献

ラップ枚数の図である。この結果から、モデルのサンAkiyama, T., Fujiu, W., Hirano, S., Ishizuka, N., Ogawa, S., Okamoto,

プリングレートによって、オーバーラップの枚数が異K., Saito, G., Uchida, S., Yamamoto, Y., Hiroshi, Y. and Zukemura,

なり、モデルの可能作成領域も広くなることがわかる。

C. (ed.), 2014: Handbook of agriculture remote sensing. The

Table 1 と Fig. 5 の結果から、精度を向上させるためにJapanese Agricultural Systems Society, Tokyo, 512 pp.（秋山侃・はオーバーラップ枚数が多い方がよく、比較的複雑な冨久尾歩・平野聡・石塚直樹・小川茂男・岡本勝男・ 齋藤

形状を持つイネのような植物でも、9 枚程度のオーバー元也・内田諭・山本由紀代・吉迫宏・瑞慶村知佳，2014：

ラップ枚数があると、比較的高い精度で 3 次元モデルの農業リモートセンシング・ハンドブック，システム農学会，構築ができることがわかった。植物よりも形状が単純な

東京，512 pp.）

構造物は、オーバーラップの枚数が少なくても精度的に問題のない 3 次元モデルが構築できる。
Jensen and Mathews（2016）によると、同じ観測環境に

Besl, P. J. and McKay, H. D., 1992: A method for registration of
3-D shapes. IEEE Transactions on Pattern Analysis and MachineIntelligence, 14(2), 239-256.

おいて、SFM により作成した点群データの点数は LIDAR

Dandois, J. P. and Ellis, E. C., 2013: High spatial resolution three-から作成したものよりも多く、単位面積あたりの点群密dimensional mapping of vegetation spectral dynamics using

度も高い。しかしながら、SFM では、影部分や密生してcomputer vision. Remote Sensing of Environment, 136, 259-276.

いる植物群落では、撮影角度を変更しても内部構造の再Díaz-Varela, R. A., Rosa, R. D., León, L. and Zarco-Tejada, P. J.,

構成ができなかったことを報告している。最近、本研究

2015: High-resolution airborne UAV imagery to assess olive treeのように、UAV と SFM を用いて、3D モデルを構築する

crown parameters using 3D photo reconstruction: application in研究が増加している。Zarco-Tejada et al.（2014）は、オリー

breeding trials. Remote Sensing, 7(4), 4213-4232.

ブの計測で樹高の RMSE が 35cm-39cm であったと報告

Jensen, J. L. R. and Mathews, A. J., 2016: Assessment of image-

している。また、Dandois and Ellis（2013）は、ある範based point cloud products to generate a bare earth surface and囲内の樹高（アメリカブナ、オーク、ヒッコリー、ホワイ

estimate canopy height in a woodland ecosystem. At http://www.

ト・アッシュ、ユリノキ）で RMSE が 320 cm- 440 cm、mdpi.com/2072-4292/8/1/50. Remote Sensing, Basel, 8(1), 50,

さらに、Jensen and Mathews（2016）は、Quercus fusiformis、

pp. 1-13. Accessed 30 May 2016.

Diospyros texana、Agarita、Elbow bush で RMSE がJones, H. G. and Vaughan, R. A., 2010: Remote sensing of vegetation

89 cm- 91 cm であったと報告している。本研究では、–principles, techniques, and applications-. Oxford University Press

水平方向の RMSE が 12.8 cm、垂直方向の RMSE で 7.3 cm

Inc., New York, 353 pp.

でこれまでの報告よりも高い精度での計測ができた。こMatsuda, M., Hosaka, Y. and Omasa, K., 2010: Quality assessment of

れは、比較的風の影響の少ない小型の UAV で、ジンバ

grains using functional remote sensing. Iden, 64(2), 81-86（松田ルと一体化した高解像度のカメラを用い、飛行高度も約

真典・保坂幸男・大政謙次，2010: 機能リモートセンシング

10 m と、比較的低高度で撮影した画像を用いたためとによる穀類の品質評価，遺伝，64(2)，81-86）

考えられる。また、SFM の解析においては、サンプリン

Omasa, K., Akiyama, Y., Ishigami, Y. and Yoshimi, K., 2000:

グレートを大きくとり、9 枚以上の画像のオーバーラップ

3-D remote sensing of woody canopy heights using a scanning

枚数を確保したことが精度向上の重要な要因であった。

helicopter-borne lidar system with high spatial resolution. Journal

LIDAR に比べて、SFM による 3 次元モデルの構築はof Remote Sensing Society of Japan, 20(4), 394-406.

安価で簡便で、精度的にも解析の際のオーバーラップ枚

Omasa, K., Hosoi F. and Konishi, A., 2007: 3D lidar imaging for数を考慮することにより高い精度での推定が可能である

detecting and understanding plant responses and canopy structure.

ことがわかった。しかし、Dandois and Ellis（2013）にJournal of Experimental Botany, 58, 881-898.

よると、SFM の結果に影響する要因としては、飛行高Zarco-Tejada, P. J., Diaz-Varela, R., Angileri, V. and Loudjani,

度と飛行速度、センサの性能、SFM の計算方法、GNSSP., 2014: Tree height quantification using very high resolution

データの精度、前処理、風速、光条件、それに植物の種

imagery acquired from an unmanned aerial vehicle (UAV) and類等があり、今後、これらの要因との関係も検証していautomatic 3D photo-reconstruction methods. European Journal of

く予定である。

Agronomy, 55, 89-99.

112（30）

Eco-Engineering