(57)【要約】  圃場撮影システムは、飛行体と、複数の撮像部と、チャートと、視差補正部（１１ｃ）とを含む。複数の撮像部は、飛行体に保持され、飛行体の飛行中に、作物を生育させる圃場を上空から撮影して波長帯域の異なる圃場画像を取得する。視差補正部は、飛行体の飛行中に、複数の撮像部によってチャートを上空から撮影して得られた各チャート画像に基づいて、各圃場画像間で、視差によって生じる同一地点を示す画素の位置ズレを補正する。上記のチャートは、圃場内または圃場の周囲に位置している。
2020044628.tif 000002
【特許請求の範囲】
【請求項１】
飛行体と、
前記飛行体に保持され、前記飛行体の飛行中に、作物を生育させる圃場を上空から撮影して波長帯域の異なる圃場画像を取得する複数の撮像部と、
前記複数の撮像部によって撮影されるチャートと、
前記飛行体の飛行中に、前記複数の撮像部によって前記チャートを上空から撮影して得られた各チャート画像に基づいて、前記各圃場画像間で、視差によって生じる同一地点を示す画素の位置ズレを補正する視差補正部とを含み、
前記チャートは、前記圃場内または前記圃場の周囲に位置している、圃場撮影システム。
【請求項２】
前記チャートは、前記圃場内または前記圃場の周囲に位置する物体に取り付けられている、請求項１に記載の圃場撮影システム。
【請求項３】
前記物体は、前記飛行体の離着陸台である、請求項２に記載の圃場撮影システム。
【請求項４】
前記物体は、前記飛行体を運搬する運搬用車両である、請求項２に記載の圃場撮影システム。
【請求項５】
前記チャートは、前記飛行体の飛行を遠隔操作するパイロットの頭部に装着される、請求項１に記載の圃場撮影システム。
【請求項６】
前記チャートは、少なくとも１つの円形部を含む模様、または格子模様を有している、請求項１から５のいずれかに記載の圃場撮影システム。
【請求項７】
前記チャートは、前記圃場内に位置する前記作物の欠株部分、または、前記圃場内の水面に映る太陽光の反射スポットである、請求項１に記載の圃場撮影システム。
【請求項８】
前記視差補正部は、前記複数の撮像部によって同時刻に撮影されて取得された前記各チャート画像に基づいて、一方のチャート画像に含まれる基準点の位置座標を他方のチャート画像で対応する対応点の位置座標に変換する射影行列を算出し、一方の圃場画像に含まれる全ての点の位置座標を前記射影行列によって変換することによって、前記位置ズレを補正する、請求項１から７のいずれかに記載の圃場撮影システム。
【請求項９】
前記視差補正部は、前記複数の撮像部のそれぞれにおいて、前記飛行体が上空で移動しているときに異なるタイミングで取得された複数の撮影画像から、前記チャートの像が含まれる画像を前記チャート画像として抽出した後、抽出した前記チャート画像から前記チャートの像の中心位置を求め、同時刻に撮影された前記一方のチャート画像の前記中心位置を前記基準点とし、同時刻に撮影された前記他方のチャート画像の前記中心位置を前記対応点として前記射影行列を算出する、請求項８に記載の圃場撮影システム。
【請求項１０】
前記視差補正部によって前記位置ズレを補正した後の各圃場画像に基づいて、前記作物の生育指標を算出する生育指標算出部をさらに含む、請求項１から９のいずれかに記載の圃場撮影システム。
【請求項１１】
所定期間における前記位置ズレの変化量が閾値を超えた場合に警告を発する警告部をさらに含む、請求項１から１０のいずれかに記載の圃場撮影システム。
【請求項１２】
前記警告部は、警告表示を行う表示部、警告音を発する音声出力部、警告情報を外部に発信する通信部の少なくともいずれかを含む、請求項１１に記載の圃場撮影システム。
【請求項１３】
飛行体に保持される複数の撮像部によって、前記飛行体の飛行中に、作物を生育させる圃場を上空から撮影して波長帯域の異なる圃場画像を取得する圃場画像取得工程と、
前記圃場内または前記圃場の周囲に位置しているチャートを、前記飛行体の飛行中に、前記複数の撮像部によって上空から撮影して各チャート画像を取得するチャート画像取得工程と、
前記各チャート画像に基づいて、前記各圃場画像間で、視差によって生じる同一地点を示す画素の位置ズレを補正する視差補正工程とを含む、圃場撮影方法。
【請求項１４】
前記複数の撮像部により、前記圃場画像取得工程と、前記チャート画像取得工程とを同時に行う、請求項１３に記載の圃場撮影方法。
【請求項１５】
前記飛行体の飛行中には、前記飛行体の上昇中および下降中が含まれる、請求項１３または１４に記載の圃場撮影方法。
【請求項１６】
前記視差補正工程では、前記複数の撮像部によって同時刻に撮影されて取得された前記各チャート画像に基づいて、一方のチャート画像に含まれる基準点の位置座標を他方のチャート画像で対応する点の位置座標に変換する射影行列を算出し、一方の圃場画像に含まれる全ての点の位置座標を前記射影行列によって変換することによって、前記位置ズレを補正する、請求項１３から１５のいずれかに記載の圃場撮影方法。
【請求項１７】
前記視差補正工程では、前記複数の撮像部のそれぞれにおいて、前記飛行体が上空で移動しているときに異なるタイミングで取得された複数の撮影画像から、前記チャートの像が含まれる画像を前記チャート画像として抽出した後、抽出した前記チャート画像から前記チャートの像の中心位置を求め、同時刻に撮影された前記一方のチャート画像の前記中心位置を前記基準点とし、同時刻に撮影された前記他方のチャート画像の前記中心位置を前記対応点として前記射影行列を算出する、請求項１６に記載の圃場撮影方法。
【請求項１８】
前記視差補正工程によって前記位置ズレを補正した後の各圃場画像に基づいて、前記作物の生育指標を算出する生育指標算出工程をさらに含む、請求項１３から１７のいずれかに記載の圃場撮影方法。
【請求項１９】
所定期間における前記位置ズレの変化量が閾値を超えた場合に警告を発する警告工程をさらに含む、請求項１３から１８のいずれかに記載の圃場撮影方法。
【請求項２０】
前記警告工程では、警告表示、警告音の出力、警告情報の外部への発信の少なくともいずれかを行う、請求項１９に記載の圃場撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圃場を上空から撮影する圃場撮影システムおよび圃場撮影方法に関する。
【背景技術】
【０００２】
従来から、植物の生育指標を測定するシステムが提案されている。例えば特許文献１のシステムでは、反射光測定部により、複数の葉を持つ測定対象の反射光の光強度を第１波長および第２波長で測定し、太陽角度取得部により、太陽光の測定対象への入射角度を太陽角度として取得し、太陽方向取得部により、反射光測定部の測定方向に対する太陽の方向を太陽方向として取得する。そして、生育指標演算部は、反射光測定部で測定した第１および第２波長のそれぞれでの反射光の各光強度、太陽角度取得部で取得した太陽角度、ならびに、太陽方向取得部で取得した太陽方向に基づいて、測定対象における生育の度合いを表す生育指標を求める。特許文献１では、上記の生育指標として、例えばＮＤＶＩ（Normalized Difference Vegetation Index；正規化植生指標）を求めている。【０００３】
ここで、上記の反射光測定部は、可視光の画像を生成する可視撮像部と、赤外光の画像を生成する赤外撮像部とを備えた、いわゆるマルチスペクトルカメラである。可視撮像部および赤外撮像部は、それぞれ、バンドパスフィルタ、レンズ（結像光学系）、センサを有して構成されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開ＷＯ２０１６／１８１７４３号公報（請求項５、段落〔００２１〕〜〔００７７〕、図５等参照）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年では、マルチスペクトルカメラを無人航空機（ドローンとも呼ばれる）に搭載し、ドローンを飛行させて圃場を上空から撮影することで、可視画像および赤外画像を取得し、ＮＤＶＩを測定することも行われている。なお、上記の圃場とは、作物を生育させる水田または畑のことを指す。しかし、このようにマルチスペクトルカメラをドローンに搭載して可視画像および赤外画像を取得する場合には、以下の原因により、ＮＤＶＩ値が変動する。【０００６】
（Ａ）カメラの内部状態の変化
ドローンの飛行中の振動や温度変化により、例えば、可視撮像部および赤外撮像部の各光軸の相対的な向きや焦点距離が変化する。この場合、可視画像と赤外画像とで同一地点を示す位置にズレ（視差とも言う）が生じる。したがって、可視画像と赤外画像とで同じ座標位置の画素値を用いてＮＤＶＩ値を算出すると、圃場内の別々の地点に相当する画素値を用いてＮＤＶＩ値を算出していることになるため、圃場内の任意の地点についての正確なＮＤＶＩ値を取得することができなくなる。【０００７】
（Ｂ）カメラの外部状態の変化
ドローンの飛行中の振動やジンバル制御バラツキなどにより、可視撮像部および赤外撮像部の取付方向がずれる。この場合も、可視画像と赤外画像との間で視差が生じるため、上記（Ａ）と同様に、圃場内の任意の地点についての正確なＮＤＶＩ値を取得することができなくなる。【０００８】
特に、可視撮像部および赤外撮像部に含まれる各光学系が、例えば塵埃の付着によって汚れていると、可視撮像部および赤外撮像部で取得される可視画像および赤外画像の画素値にノイズが含まれる。このため、上記（Ａ）および（Ｂ）に起因するＮＤＶＩ値の変動がさらに大きくなる。【０００９】
したがって、マルチスペクトルカメラをドローンに搭載して飛行させる場合には、上述の原因によるＮＤＶＩ値の変動を防止することができるように、可視画像と赤外画像との間に生じる視差の影響を低減するための視差補正（キャリブレーション）を行うことが望ましい。この点、上述した特許文献１では、マルチスペクトルカメラをドローンに搭載して飛行させる場合の視差補正については一切検討されていない。また、視差補正を行う場合でも、処理の効率化の観点から、圃場の撮影と同時に視差補正を行うことが望ましく、そのような視差補正を実現できるシステムの構築が望まれる。【００１０】
本発明は、上記の問題点を解決するためになされたもので、その目的は、波長帯域の異なる画像を取得する複数の撮像部を飛行体に搭載し、圃場を上空から撮影するシステムにおいて、複数の撮像部で取得される画像間での視差の影響を低減することができるとともに、その視差の影響を低減するための視差補正を、圃場の撮影と同時に行うことができる圃場撮影システムおよび圃場撮影方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の一側面に係る圃場撮影システムは、飛行体と、前記飛行体に保持され、前記飛行体の飛行中に、作物を生育させる圃場を上空から撮影して波長帯域の異なる圃場画像を取得する複数の撮像部と、前記複数の撮像部によって撮影されるチャートと、前記飛行体の飛行中に、前記複数の撮像部によって前記チャートを上空から撮影して得られた各チャート画像に基づいて、前記各圃場画像間で、視差によって生じる同一地点を示す画素の位置ズレを補正する視差補正部とを含み、前記チャートは、前記圃場内または前記圃場の周囲に位置している。【００１２】
本発明の他の側面に係る圃場撮影方法は、飛行体に保持される複数の撮像部によって、前記飛行体の飛行中に、作物を生育させる圃場を上空から撮影して波長帯域の異なる圃場画像を取得する圃場画像取得工程と、前記圃場内または前記圃場の周囲に位置しているチャートを、前記飛行体の飛行中に、前記複数の撮像部によって上空から撮影して各チャート画像を取得するチャート画像取得工程と、前記各チャート画像に基づいて、前記各圃場画像間で、視差によって生じる同一地点を示す画素の位置ズレを補正する視差補正工程とを含む。
【発明の効果】
【００１３】
上記の圃場撮影システムおよび圃場撮影方法によれば、飛行体に保持された複数の撮像部が圃場を上空から撮影することにより、波長帯域の異なる圃場画像が取得される。視差補正部は、各圃場画像間で、視差によって生じる同一地点を示す画素の位置ズレを、複数の撮像部によってチャートを撮影して得られた各チャート画像に基づいて補正する。これにより、飛行体の振動等に起因して各圃場画像間に視差が生じても、その視差に起因する画素の位置ズレを補正した各圃場画像を得ることができ、視差の影響を低減することが可能となる。また、上記のチャートは、圃場内または圃場の周囲に位置しているため、複数の撮像部は、圃場を上空から撮影するのと同時にチャートを上空から撮影することができる。これにより、視差補正部は、圃場の撮影と同時に、上記した視差の影響を低減する視差補正を行うことができ、処理の効率化を図ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の一形態に係る圃場撮影システムの全体構成を模式的に示す説明図である。
【図２】上記圃場撮影システムに含まれる撮像装置の詳細な構成を模式的に示す説明図である。
【図３】上記圃場撮影システムに含まれる端末装置の概略の構成を示すブロック図である。
【図４】上記圃場撮影システムに含まれるチャートの平面図である。
【図５】上記チャートの他の構成を示す平面図である。
【図６】運搬用車両にチャートを取り付けた状態を示す説明図である。
【図７】ヘルメットにチャートを取り付けた状態を示す説明図である。
【図８】チャートとして代用される、圃場内の欠株部分を模式的に示す説明図である。
【図９】チャートとして代用される、圃場内の水面に映る太陽光の反射スポットを模式的に示す説明図である。
【図１０】上記圃場撮影システムに含まれる飛行体の詳細な構成を示すブロック図である。
【図１１】上記圃場撮影システムによって実施される圃場撮影方法による処理の流れを示すフローチャートである。
【図１２】上記圃場撮影システムにおける視差補正の処理の流れを示すフローチャートである。
【図１３】複数の撮影画像から抽出したチャート画像を模式的に示す説明図である。
【図１４】射影変換を模式的に示す説明図である。
【発明を実施するための形態】
【００１５】
本発明の実施の形態について、図面に基づいて説明すれば、以下の通りである。
【００１６】
〔圃場撮影システムの構成〕
図１は、本実施形態の圃場撮影システム１の全体構成を模式的に示す説明図である。圃場撮影システム１は、作物ＰＬを生育させる圃場ＦＤを撮影するシステムであり、飛行体１０と、撮像装置２０と、端末装置３０と、チャートＣとを有して構成されている。飛行体１０と端末装置３０とは、通信回線ＮＷを介して通信可能に接続されている。通信回線ＮＷは、例えばＬＡＮ（Local Area Network）やインターネット回線などのネットワーク（有線、無線を問わない）で構成されている。なお、飛行体１０の通信機能を撮像装置２０に持たせ、撮像装置２０と端末装置３０とを通信回線ＮＷを介して通信可能に接続してもよい。
【００１７】
（撮像装置）
撮像装置２０は、例えばマルチスペクトルカメラにより構成されており、飛行体１０に保持されている。図２は、撮像装置２０の詳細な構成を模式的に示している。撮像装置２０は、第１の撮像部２１と、第２の撮像部２２とを備えている。第１の撮像部２１は、圃場ＦＤを撮影して可視光の波長帯域の画像（可視画像）を取得する可視撮像部である。第２の撮像部２２は、圃場ＦＤを撮影して近赤外光の波長帯域の画像（近赤外画像）を取得する近赤外撮像部である。撮像装置２０が第１の撮像部２１および第２の撮像部２２を備えていることにより、飛行体１０の飛行中に圃場ＦＤを上空から撮影して、波長帯域の異なる圃場画像を取得することができる。
【００１８】
第１の撮像部２１は、第１のバンドパスフィルタ２１ａ、第１の結像光学系２１ｂ、第１のイメージセンサ（光学センサ）２１ｃ、および第１のデジタルシグナルプロセッサ（図示せず）等を有している。第１のバンドパスフィルタ２１ａは、例えば波長６５０ｎｍを中心波長とする比較的狭帯域で光を透過させる光学フィルタである。第１の結像光学系２１ｂは、少なくとも１個のレンズで構成され、第１のバンドパスフィルタ２１ａを透過した測定対象（作物ＰＬまたは圃場ＦＤ）の可視光の光学像を第１の結像面上に結像する。第１のイメージセンサ２１ｃは、例えばＶＧＡタイプ（６４０画素×４８０画素）のＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサで構成されており、受光面が第１の結像面に一致するように配置され、測定対象で反射する太陽光に含まれる波長６５０ｎｍを中心波長とする比較的狭帯域の光を検知し、測定対象の可視光の光学像を電気的な信号に変換する。第１のデジタルシグナルプロセッサは、第１のイメージセンサ２１ｃの出力に対して画像処理を施し、可視画像を形成する。可視画像の画像データＲｖは、飛行体１０の制御部１１（図１０参照）に出力される。なお、第１のバンドパスフィルタ２１ａの透過波長帯域は、本実施形態では、赤色（Ｒ）の波長帯域としているが、青色（Ｂ）または緑色（Ｇ）などの他の波長帯域であってもよい。
【００１９】
第２の撮像部２２は、第２のバンドパスフィルタ２２ａ、第２の結像光学系２２ｂ、第２のイメージセンサ（光学センサ）２２ｃ、および第２のデジタルシグナルプロセッサ（図示せず）等を有している。第２のバンドパスフィルタ２２ａは、７５０ｎｍ以上の所定波長（例えば波長８００ｎｍ）を中心波長とする比較的狭帯域で光を透過させる光学フィルタである。第２の結像光学系２２ｂは、少なくとも１個のレンズで構成され、第２のバンドパスフィルタ２２ａを透過した測定対象の近赤外光の光学像を第２の結像面上に結像する。第２のイメージセンサ２２ｃは、例えばＶＧＡタイプのＣＣＤセンサまたはＣＭＯＳセンサで構成されており、受光面が第２の結像面に一致するように配置され、測定対象で反射する太陽光に含まれる波長８００ｎｍを中心波長とする比較的狭帯域の光を検知し、測定対象の近赤外光の光学像を電気的な信号に変換する。第２のデジタルシグナルプロセッサは、第２のイメージセンサ２２ｃの出力に対して画像処理を施し、近赤外画像を形成する。上記近赤外画像の画像データＲｉは、飛行体１０の制御部１１に出力される。
【００２０】
（端末装置）
図３は、端末装置３０の概略の構成を示すブロック図である。端末装置３０は、例えばＰＣ（パーソナルコンピュータ）で構成されており、入力部３１と、表示部３２と、記憶部３３と、通信部３４と、制御部３５とを有している。なお、端末装置３０は、多機能携帯端末（例えばスマートフォン、タブレット端末）で構成されていてもよい。
【００２１】
入力部３１は、ユーザによって操作され、ユーザによる情報の入力を受け付けるために設けられている。このような入力部３１は、具体的には、キーボード、マウス、タッチパッドなどの操作部で構成される。表示部３２は、各種の情報を表示するディスプレイであり、例えば液晶表示装置で構成されている。
【００２２】
記憶部３３は、例えばハードディスクで構成されており、制御部３５を動作させるためのプログラムのほか、各種の情報を記憶する。例えば、撮像装置２０（第１の撮像部２１、第２の撮像部２２）で取得される可視画像および近赤外画像の歪曲を補正するための計算式（歪曲補正情報）は、撮像装置２０の第１の結像光学系２１ｂおよび第２の結像光学系２２ｂの設計に応じて予め求められる。このような歪曲補正情報は、記憶部３３に予め記憶され、飛行体１０の内部で歪曲補正の処理を行う場合は、通信回線ＮＷを介して飛行体１０に提供される。なお、上記の歪曲補正や後述する視差補正は、端末装置３０の制御部３５が行ってもよい。
【００２３】
通信部３４は、飛行体１０との間で通信を行うためのインターフェースであり、送信回路、受信回路、変調回路、復調回路、アンテナなどを含んで構成され、通信回線ＮＷと通信可能に接続されている。制御部３５は、例えばＣＰＵ（Central Processing Unit；中央演算処理装置）で構成されており、記憶部３３に記憶された動作プログラムに従って動作し、端末装置３０の各部の動作を制御するとともに、必要に応じて演算処理を行う。
【００２４】
（チャート）
チャートＣは、圃場ＦＤ内または圃場ＦＤの周囲に位置しており、後述する視差補正を行う際に利用される。例えば、チャートＣは、圃場ＦＤ内または圃場ＦＤの周囲に位置する物体ＯＢに取り付けられており、これによって、圃場ＦＤ内または圃場ＦＤの周囲に位置する。図１では、上記物体ＯＢとして、圃場ＦＤの周囲に位置する離着陸台４０を用い、チャートＣを離着陸台４０に取り付けた例を示している。離着陸台４０は、飛行体１０が離着陸するときに周囲の砂を巻き上げないようにする目的で地上に設置されたシート（台）である。このようなチャートＣは、飛行体１０の飛行中に、上記した第１の撮像部２１および第２の撮像部２２によって上空から撮影される。
【００２５】
図４は、上記チャートＣの平面図である。チャートＣは、少なくとも１つの円形部Ｃ1（例えば黒丸）を含む模様を有している。圃場ＦＤ内または圃場ＦＤの周囲に自然に存在する模様（意図的に生成したものでない）と、視差補正用のチャートＣとを区別するため、チャートＣは、複数の円形部Ｃ1を含む模様であることが望ましく、３つ以上の円形部Ｃ1を含む模様であることがより望ましく、円形部Ｃ1に加えてこれとは反射率の異なる円形部Ｃ2（例えば黒および背景のシートの色とは異なる色で着色された円形部）を含む模様であることが望ましい。また、図５に示すように、チャートＣは、格子模様を有していてもよい。なお、チャートＣの全体形状は、正方形であることが望ましいが、長方形などの他の形状であってもよい。
【００２６】
ここで、チャートＣが取り付けられる物体ＯＢは、上記の離着陸台４０には限定されない。図６に示すように、上記物体ＯＢとして、飛行体１０を運搬する運搬用車両４１を用い、チャートＣを運搬用車両４１（例えば天井やボンネット）に取り付けてもよい。さらに、図７に示すように、上記物体ＯＢとして、飛行体１０の飛行を遠隔操作するパイロットが装着するヘルメット４２を用い、チャートＣ（例えば１個の円形部Ｃ1）をヘルメット４２の上部に取り付けてもよい。
【００２７】
このほかにも、上記物体ＯＢとして、例えば、地上（圃場ＦＤの周囲）に設置の入射光センサを用い、この入射光センサにチャートＣを取り付けてもよい。なお、上記の入射光センサとは、撮像装置２０で取得される可視画像の画像データＲｖおよび近赤外画像の画像データＲｉを、天候（晴れ、曇り）に応じて補正するために設けられており、特許文献１の太陽光測定部に相当する。さらに、飛行体１０に搭載されたバッテリー１７（図１０参照）を充電するための発電機（圃場ＦＤの周囲に位置）、圃場ＦＤ内に設置される温度計や水位計などのフィールドサーバー、ＲＴＫ−ＧＰＳ（Real Time Kinematic - Global Positioning System）の基地局（圃場ＦＤ内または圃場ＦＤの周囲に位置）、トラクターやコンバインなどの農機（圃場ＦＤの周囲に位置）、水門等の灌漑設備（圃場ＦＤ内または圃場ＦＤの周囲に位置）などを上記物体ＯＢとして用い、これらの物体ＯＢにチャートＣを取り付けてもよい。
【００２８】
また、図８に示すように、圃場ＦＤ内に位置する作物ＰＬの欠株部分Ｎを、チャートＣとして代用してもよい。ここで、作物ＰＬの欠株部分Ｎとは、圃場ＦＤ内で作物ＰＬを最初から生育させていない部分（領域）を指し、例えば作物ＰＬが稲である場合は、最初から田植えを行っていない部分を指す。なお、図８において、斜線のハッチングで示す部分が圃場ＦＤ内で作物ＰＬが生育している領域を示し、ハッチングのない白塗りの部分が欠株部分Ｎに相当する。さらに、図９に示すように、圃場ＦＤ内が水で浸されているときの水面に映る太陽光の反射スポットＳをチャートＣとして代用してもよい。
【００２９】
（飛行体）
図１で示した飛行体１０は、例えば自律飛行可能な無人航空機（ドローン）によって構成されている。飛行体１０は、上記の無人航空機以外に、気球、飛行船、飛行機、ヘリコプターなどで構成されてもよい。飛行体１０の飛行は、地上のパイロット（操縦者）が操作部５０（図１０参照）を操作することによって遠隔制御される。圃場ＦＤに沿って飛行体１０を飛行させることにより、圃場ＦＤを構成する複数の領域Ｔを撮像装置２０によって上空から撮影して、各領域Ｔごとに画像（例えば可視画像、赤外画像）を取得することができる。したがって、各領域Ｔの画像を貼り合わせて最終的には圃場ＦＤ全体の画像を取得することができる。なお、飛行体１０の高度を上げて圃場ＦＤ全体をまとめて撮影することにより、各領域Ｔの画像を貼り合わせることなく圃場ＦＤ全体の１つの画像を取得することも可能である。
【００３０】
図１０は、飛行体１０の詳細な構成を示すブロック図である。飛行体１０は、制御部１１と、通信部１２と、警告部１３と、位置情報取得部１４と、画像蓄積部１５と、飛行駆動部１６と、バッテリー１７とを備えている。飛行駆動部１６は、例えばプロペラおよびモータ等を有しており、モータを駆動させてプロペラを回転させることにより、飛行体１０を飛行させる。飛行体１０の飛行制御は、制御部１１によって行われる。このとき、制御部１１は、地上のパイロットによる操作部５０の操作に基づいて飛行駆動部１６を制御する。バッテリー１７は、飛行体１０の各部に駆動用の電力を供給する電池である。
【００３１】
制御部１１は、例えばＣＰＵで構成されており、全体制御部１１ａと、歪曲補正部１１ｂと、視差補正部１１ｃと、生育指標算出部１１ｄと、画像合成部１１ｅとを有している。つまり、上記のＣＰＵは、全体制御部１１ａ、歪曲補正部１１ｂ、視差補正部１１ｃ、生育指標算出部１１ｄ、および画像合成部１１ｅとして機能する。全体制御部１１ａは、図示しないプログラム記憶部に記憶された動作プログラムに従って、飛行体１０の各部の動作を制御する。なお、歪曲補正部１１ｂ、視差補正部１１ｃ、生育指標算出部１１ｄ、および画像合成部１１ｅの詳細については、後述する動作説明の中で併せて説明する。
【００３２】
通信部１２は、端末装置３０との間で通信を行うためのインターフェースであり、送信回路、受信回路、変調回路、復調回路、アンテナなどを含んで構成され、通信回線ＮＷと通信可能に接続されている。
【００３３】
警告部１３は、制御部１１の視差補正部１１ｃによって算出される、所定期間（例えば１日や１週間など）における、視差による画素値の位置ズレの変化量が閾値を超えた場合に、制御部１１（例えば全体制御部１１ａ）の制御にもとで警告を発する。このような警告部１３は、警告表示を行う表示部１３ａ（例えば液晶表示装置でもよいし、単なる光源でもよい）、警告音を発する音声出力部１３ｂ（例えばスピーカー）、警告情報を外部に発信する通信部（例えば通信部１２）の少なくともいずれかで構成することが可能である。
【００３４】
位置情報取得部１４は、例えばＧＰＳで構成されており、飛行体１０（撮像装置２０）の位置情報（緯度Ｘ、経度Ｙ、高さＺ）を取得する。これにより、制御部１１（例えば全体制御部１１ａ）は、上記位置情報に基づいて飛行駆動部１６を制御し、圃場ＦＤの所定の領域Ｔの上空で所定の高さ位置に、飛行体１０を飛行させることができる。
【００３５】
画像蓄積部１５は、例えば不揮発性メモリで構成されており、撮像装置２０の第１の撮像部２１および第２の撮像部２２で取得された可視画像および近赤外画像の各画像データが記憶されるとともに、生育指標算出部１１ｄによって得られた生育指標（特に視差補正後の画素値に基づいて得られたＮＤＶＩ画像の画像データ）が記憶される。
【００３６】
〔圃場撮影システムにおける処理について〕
次に、上記構成の圃場撮影システム１による圃場撮影方法について説明する。図１１は、本実施形態の圃場撮影方法による処理の流れを示すフローチャートである。なお、ここでは、チャートＣは、圃場ＦＤの周囲に位置する離着陸台４０に取り付けられているとする。
【００３７】
まず、飛行体１０を飛行させて、圃場ＦＤの撮影およびチャートＣの撮影を行う（Ｓ１；撮影工程）。より詳しくは、パイロットは、操作部５０を操作することにより、飛行体１０を離着陸台４０から離陸させる。そして、飛行体１０の飛行中に、飛行体１０に保持された第１の撮像部２１および第２の撮像部２２によって圃場ＦＤを上空から撮影し、波長帯域の異なる圃場画像を取得する（Ｓ１−１；圃場画像取得工程）。すなわち、第１の撮像部２１によって、圃場ＦＤの可視画像を一方の圃場画像として取得し、第２の撮像部２２によって、圃場ＦＤの近赤外画像を他方の圃場画像として取得する。取得した可視画像の画像データＲｖおよび近赤外の画像データＲｉは、第１の撮像部２１および第２の撮像部２２から飛行体１０の制御部１１にそれぞれ入力される。
【００３８】
また、飛行体１０の飛行中に、離着陸台４０に取り付けられたチャートＣを、第１の撮像部２１および第２の撮像部２２によって上空から撮影して各チャート画像を取得する（Ｓ１−２；チャート画像取得工程）。すなわち、第１の撮像部２１によって、チャートＣの可視画像を一方のチャート画像として取得し、第２の撮像部２２によって、チャートＣの近赤外画像を他方のチャート画像として取得する。ここで、上記した「飛行体１０の飛行中」には、飛行体１０が離着陸台４０から離陸して圃場上空の所定高度に達するまでの飛行体１０の上昇中、および、飛行体１０が圃場上空の所定高度から離着陸台４０に着陸するまでの飛行体１０の下降中が含まれるとする。第１の撮像部２１および第２の撮像部２２によって取得された各チャート画像の画像データは、飛行体１０の制御部１１にそれぞれ入力される。
【００３９】
本実施形態では、第１の撮像部２１および第２の撮像部２２により、Ｓ１−１の圃場画像取得工程と、Ｓ１−２のチャート画像取得工程とを同時に行う。つまり、第１の撮像部２１および第２の撮像部２２は、上空から圃場ＦＤを撮影しながら同時にチャートＣも撮影する。これにより、可視および近赤外のそれぞれについて、チャートＣが映った圃場画像（チャート画像を兼ねた圃場画像）が得られる。
【００４０】
次に、制御部１１の歪曲補正部１１ｂは、端末装置３０から通信部１２を介して提供される歪曲補正情報（歪曲を補正するための計算式）に基づいて、第１の撮像部２１および第２の撮像部２２からそれぞれ出力される各画像（各圃場画像、各チャート画像）の画像データをそれぞれ補正する。これにより、各画像における樽型や糸巻型などの歪曲が補正され、歪曲が補正された状態の各画像を用いて次の視差補正を適切に行うことが可能となる。
【００４１】
続いて、制御部１１の視差補正部１１ｃは、第１の撮像部２１および第２の撮像部２２によってチャートＣを上空から撮影して得られた各チャート画像に基づいて、各圃場画像間で、視差によって生じる同一地点を示す画素の位置ズレを補正する視差補正（キャリブレーション）を行う（Ｓ３；視差補正工程）。なお、Ｓ３での視差補正の詳細については後述する。
【００４２】
Ｓ３での視差補正の後、全体制御部１１ａは、所定期間における上記位置ズレの変化量変化量が閾値を超えたか否かを判断する（Ｓ４）。例えば、全体制御部１１ａは、可視画像と近赤外画像とを重ね合わせたときに、同一地点を示す位置同士を結ぶ直線の長さの、所定期間（例えば１日や１週間など）が経過する前後での差を、上記した「位置ズレの変化量」とし、この変化量が閾値を超えたか否かを判断する。そして、上記変化量が閾値を超えた場合には、警告部１３は、全体制御部１１ａの制御にもとで警告を発する（Ｓ５；警告工程）。この警告工程では、表示部１３ａによる警告表示、音声出力部１３ｂによる警告音の出力、通信部１２による警告情報の外部への発信、の少なくともいずれが行われる。一方、上記変化量が閾値以下である場合には、Ｓ６に直接移行する。
【００４３】
次に、制御部１１の生育指標算出部１１ｄは、視差補正部１１ｃによって上記位置ズレを補正した後の各圃場画像に基づいて、作物ＰＬの生育指標を算出する（Ｓ６；生育指標算出工程）。本実施形態では、上記の生育指標としては、ＮＤＶＩを用いる。ＮＤＶＩは、植生の分布状況や活性度を示す指標であり、上記のようにして歪曲および視差による上記位置ズレが補正された一方の圃場画像（可視画像）の画像データＲｖおよび他方の圃場画像（近赤外画像）の画像データＲｉを用いて、ＮＤＶＩ＝｛（Ｒｉ−Ｒｖ）／（Ｒｉ＋Ｒｖ）｝で表される。ＮＤＶＩは、−１と１との間に正規化した数値を示し、正の大きい数字になるほど植生が濃いことを表す。各圃場画像の各画素ごとにＮＤＶＩが算出されると、ＮＤＶＩの各画素ごとの分布を示すＮＤＶＩ画像が得られる。
【００４４】
なお、生育指標算出部１１ｄは、生育指標として、ＮＤＶＩの代わりに以下の値を算出してもよい。ＮＤＶＩ以外の指標としては、例えば、ＲＶＩ（Ratio Vegetation Index；比植生指数、ＲＶＩ＝Ｒｉ／Ｒｖ）、ＤＶＩ（Difference Vegetation Index；差植生指数、ＤＶＩ＝Ｒｉ−Ｒｖ）、ＴＶＩ（Transformed Vegetation Index、ＴＶＩ＝ＮＤＶＩ0.5＋０．５）、またはＩＰＶＩ（Infrared Percentage Vegetation Index、ＩＰＶＩ＝Ｒｉ／（Ｒｉ＋Ｒｖ）＝（ＮＤＶＩ＋１）／２）等が挙げられる。
【００４５】
また、生育指標算出部１１ｄは、ＮＤＶＩの代わりに、植被率を生育指標として算出してもよい。植被率とは、圃場ＦＤの地表面を作物ＰＬが覆っている割合を示す。例えば、生育指標算出部１１ｄは、歪曲および視差による上記位置ズレを補正した後の近赤外画像を二値化処理して、白色と黒色との二値化画像を形成し、この二値化画像において、白色部分が占める割合を算出することにより、植被率を算出することができる。なお、二値化画像において、白色部分は作物ＰＬに相当し、黒色部分は土壌に相当する。
【００４６】
次に、制御部１１の画像合成部１１ｅは、各圃場ＦＤごとに複数のＮＤＶＩ画像が得られる場合や、各圃場ＦＤに含まれる各領域ＴごとにＮＤＶＩ画像が得られた場合に、複数のＮＤＶＩ画像を合成して、全体として１つのＮＤＶＩ画像を生成する（Ｓ７；画像合成工程）。なお、ここでの「合成」とは、複数のＮＤＶＩ画像を横に並べてつなぎ合わせることを指す。なお、得られたＮＤＶＩ画像が元々１つである場合、画像合成は不要であるため、Ｓ７の工程をスキップして処理を終了することになる。
【００４７】
〔視差補正の詳細について〕
次に、Ｓ３での視差補正の詳細について説明する。図１２は、視差補正の処理の流れを示すフローチャートである。まず、視差補正部１１ｃは、第１の撮像部２１および第２の撮像部２２で、飛行体１０が上空で移動しているときに異なるタイミングで取得された複数の撮影画像から、チャートＣの像が含まれる画像を上記したチャート画像として抽出する（Ｓ１１）。例えば、視差補正部１１ｃは、上記複数の撮影画像から、画像内にチャートＣの円形部Ｃ1に相当する像が少なくとも１つ（好ましくは４つ）存在する画像を、チャートＣの像が含まれるチャート画像として抽出する。そして、このようなチャート画像の抽出を、第１の撮像部２１および第２の撮像部２２でそれぞれ取得された複数の撮影画像を対象として行う。
【００４８】
図１３は、上記複数の撮影画像から視差補正部１１ｃが抽出したチャート画像を模式的に示している。ここでは、第１の撮像部２１により、時刻ｔ１においてチャート画像ＣＲ−１が取得され、時刻ｔ２においてチャート画像ＣＲ−２が取得され、時刻ｔ３においてチャート画像ＣＲ−３が取得され、第２の撮像部２２により、時刻ｔ１においてチャート画像Ｃｉ−１が取得され、時刻ｔ２においてチャート画像Ｃｉ−２が取得され、時刻ｔ３においてチャート画像Ｃｉ−３が取得された場合において、これらを時系列で並べて示している。なお、ＣＲは、可視の波長帯域のチャート画像であり、Ｃｉは近赤外の波長帯域のチャート画像である。なお、図１３において、各チャート画像において、チャートＣの円形部Ｃ1に相当する像を、Ｃ1’で示す。
【００４９】
次に、視差補正部１１ｃは、抽出した各チャート画像から、チャートＣの領域ＣＡを抽出する（Ｓ１２）。例えば、視差補正部１１ｃは、抽出したチャート画像内で円形部Ｃ1に相当する像Ｃ1’ の位置（座標）を算出するとともに、像Ｃ1’の個数を算出する。そして、像Ｃ1’が４個存在する場合には、視差補正部１１ｃは、抽出したチャート画像内で隣り合う像Ｃ1’と像Ｃ1’との距離が所定範囲内にあり、かつ、４つの像Ｃ1’を囲む形状が正方形状である場合に、その４つの像Ｃ1’を囲む領域をチャートＣの領域ＣＡとして抽出する。また、例えば、抽出したチャート画像内で像Ｃ1’が１個である場合には、その像Ｃ1’を囲む所定の大きさの正方形の領域をチャートＣの領域ＣＡとして抽出する。
【００５０】
次に、視差補正部１１ｃは、第１の撮像部２１および第２の撮像部２２によって同時刻に撮影されて取得された各チャート画像に基づいて、一方のチャート画像（例えば可視画像）に含まれる基準点Ｐの位置座標を他方のチャート画像（例えば近赤外画像）で対応する（圃場ＦＤ内で同一地点を示す）対応点Ｑの位置座標に変換する射影行列を算出する（Ｓ１３）。ここで、上記した基準点Ｐおよび対応点Ｑは、例えば各チャート画像において、Ｓ１２で求めたチャートＣの領域ＣＡの中心位置とする。この中心位置は、例えばチャート画像内の像Ｃ1’が４個の場合は、４個の像Ｃ1’の位置の平均値（ｘ座標およびｙ座標を足して４で割った座標位置）とすることができ、チャート画像内の像Ｃ1’が１個の場合は、その像Ｃ1’の位置とすることができる。
【００５１】
ここで、射影行列の算出方法について説明する。一般的に、射影行列を用いて、ある平面を別の平面に射影することをホモグラフィ（射影変換）と呼ぶ。この射影変換の１つとして、以下の式によって示されるアフィン変換が一般的に知られている（例えばhttp://zellij.hatenablog.com/entry/20120523/p1参照）。以下、射影変換は、アフィン変換であるとする。
【００５２】
【数１】
2020044628.tif 000003
【００５３】
図１４に示すように、ｘｙ平面上の任意の点Ｏの座標を（ｘ，ｙ）とし、点Ｏを射影行列（数１式の３行３列の行列に相当）によってｘ’ｙ’平面上に射影した点Ｏ’の座標を（ｘ’，ｙ’）とする。射影変換は、線形変換と平行移動とを組み合わせた変換であり、上記の線形変換には、拡大縮小（differential scaling）、剪断（skew）、回転（rotation）が含まれる。上記の射影行列において、係数ｔxおよびｔyは、平行移動（translation）に関する係数を指し、残りの係数ａ、ｂ、ｃおよびｄは、線形変換に関する係数を指す。
【００５４】
射影行列を算出するとは、射影行列における係数ａ、ｂ、ｃ、ｄ、ｔxおよびｔyの６つのパラメータを算出することである。未知のパラメータ（係数）が６つであるため、６つの方程式を立てることができれば、６つの未知のパラメータ全てを求めることができる（すなわち、射影行列を算出できる）。このとき、１つの点の射影変換前後での位置座標がわかっていれば、それを数１式に代入することで、ｘおよびｙについて２つの方程式を立てることができる。したがって、３点について射影変換前後の位置座標を数１式に代入することにより、６つの方程式を立てることができ、これを連立させて解くことにより、６つのパラメータ全てを求めることができる。
【００５５】
よって、本実施形態では、視差補正部１１ｃは、以下のようにして３つの点の位置座標を数１式に入力し、射影行列を算出する。まず、時刻ｔ１において取得されたチャート画像ＣＲ−１のｘｙ平面上の基準点Ｐの座標（ｘ１，ｙ１）と、同時刻で取得されたチャート画像Ｃｉ−１のｘ’ｙ’平面上の対応点Ｑの座標（ｘ１’，ｙ１’）とを数１式に入力する。同様に、時刻ｔ２において取得されたチャート画像ＣＲ−２のｘｙ平面上の基準点Ｐの座標（ｘ２，ｙ２）と、同時刻で取得されたチャート画像Ｃｉ−２のｘ’ｙ’平面上の対応点Ｑの座標（ｘ２’，ｙ２’）とを数１式に入力する。さらに、時刻ｔ３において取得されたチャート画像ＣＲ−２のｘｙ平面上の基準点Ｐの座標（ｘ３，ｙ３）と、同時刻で取得されたチャート画像Ｃｉ−３のｘ’ｙ’平面上の対応点Ｑの座標（ｘ３’，ｙ３’）とを数１式に入力する。これらの手法で得られた６つの方程式を連立させて解くことにより、射影行列を算出することができる。なお、飛行体１０は上空を移動していることから、時刻ｔ１における基準点Ｐの座標（ｘ１，ｙ１）と、時刻ｔ２における基準点Ｐの座標（ｘ２，ｙ２）と、時刻ｔ３における基準点Ｐの座標（ｘ３，ｙ３）とは相互に異なる。同様に、時刻ｔ１における対応点Ｑの座標（ｘ１’，ｙ１’）と、時刻ｔ２における対応点Ｑの座標（ｘ２’，ｙ２’）と、時刻ｔ３における対応点Ｑの座標（ｘ３’，ｙ３’）とは相互に異なる。
【００５６】
なお、ここでは、３つの基準点Ｐおよび対応点Ｑの位置座標を数１式に代入することにより、６つの方程式を立てて射影行列を算出しているが、例えば線形変換が不要であるような射影変換の場合には（平行移動のみの射影変換の場合には）、射影行列の係数ａ、ｂ、ｃ、ｄを全て０として、１つの基準点Ｐおよび対応点Ｑの位置座標を数１式に代入することにより、係数ｔxおよびｔyを求めて射影行列を確定させることが可能である。
【００５７】
また、４以上の基準点Ｐおよび対応点Ｑの位置座標を数１式に代入して、８つ以上の方程式を立てることも可能である。この場合、８つ以上の方程式の中から任意に６つの方程式を選択したグループを複数作り、各グループごとに射影行列の係数を求め、各グループで得られた係数から、最小二乗法によって最終的な係数を決定するようにしてもよい。この場合、各係数、つまり射影行列を精度よく求めることが可能となる。
【００５８】
視差補正部１１ｃは、上記のようにして射影行列を算出すると、一方の圃場画像（例えば可視画像）に含まれる全ての点の位置座標を、Ｓ１３で求めた射影行列によって変換する（Ｓ１４）。これにより、一方の圃場画像と他方の圃場画像（例えば近赤外画像）との間の視差によって生じる、同一地点を示す画素の位置ズレが補正される。つまり、一方の圃場画像の各画素が、他方の圃場画像において、圃場ＦＤ内で同一地点を表す画素と対応付けられる。
【００５９】
〔効果〕
以上のように、本実施形態では、圃場画像取得工程において、第１の撮像部２１および第２の撮像部２２により、飛行体１０の飛行中に、圃場ＦＤを上空から撮影して波長帯域の異なる圃場画像（可視画像、近赤外画像）を取得する（Ｓ１−１）。また、チャート画像取得工程では、飛行体１０の飛行中に、第１の撮像部２１および第２の撮像部２２によってチャートＣを上空から撮影して各チャート画像を取得する（Ｓ１−２）。そして、視差補正工程では、視差補正部１１ｃが、各チャート画像に基づいて、各圃場画像間で、視差によって生じる同一地点を示す画素の位置ズレを補正する（Ｓ３）。これにより、飛行体１０の振動等に起因して各圃場画像間に視差が生じても、その視差に起因する画素の位置ズレを補正した各圃場画像を得ることができ、上記視差の影響を低減することが可能となる。
【００６０】
また、チャートＣは、圃場ＦＤ内または圃場ＦＤの周囲に位置しているため、第１の撮像部２１および第２の撮像部２２は、飛行体１０の飛行中に、圃場ＦＤと同時にチャートＣを撮影することが可能となる。これにより、視差補正部１１ｃは、圃場ＦＤの撮影と同時にチャート画像に基づいて視差補正を行うことが可能となる。したがって、例えば圃場ＦＤの撮影とは別のタイミングで視差補正を行う場合に比べて、処理の効率化を図ることができる。つまり、第１の撮像部２１および第２の撮像部２２により、圃場画像取得工程（Ｓ１−１）と、チャート画像取得工程（Ｓ１−２）とを同時に行うことにより、処理の効率化を図ることができる。また、１回の撮影で圃場画像とチャート画像とを同時に得ることができるため（１つの撮影画像が圃場画像とチャート画像とを兼ねることができるため）、撮影工数の増加も回避できる。
【００６１】
また、上記した飛行体１０の飛行中には、飛行体１０の上昇中および下降中が含まれる。したがって、飛行体１０が圃場ＦＤの上空を所定高度で飛行している間だけでなく、飛行体１０の上昇中や下降中においても、第１の撮像部２１および第２の撮像部２２によって各チャート画像を取得することができるため、そのような飛行体１０の上昇中や下降中でも、視差補正部１１ｃによる視差補正を行うことが可能となる。
【００６２】
また、圃場ＦＤ内または圃場ＦＤの周囲に物体ＯＢが位置している場合、チャートＣがその物体ＯＢに取り付けられることで、物体ＯＢを利用してチャートＣを位置させることができる。つまり、この場合、チャートＣの設置において、物体ＯＢを有効利用することができる。
【００６３】
特に、飛行体１０の離着陸台４０、飛行体１０を運搬する運搬用車両４１、飛行体１０の飛行を遠隔操作するパイロットが装着するヘルメット４２は、飛行体１０を用いて圃場ＦＤを撮影する場合に必ず必要となる。したがって、チャートＣをこれらのいずれかの物体ＯＢ（離着陸台４０、運搬用車両４１、ヘルメット４２）に取り付けることにより、チャートＣの設置場所を新たに探したり、別途設ける必要がなく、チャートＣを上記物体ＯＢに迅速に設置して、圃場の撮影を迅速に開始させることができる。
【００６４】
なお、チャートＣは、飛行体１０の飛行を遠隔操作するパイロットの頭部に、ヘルメット４２を介さずに直接装着されてもよい。このことから、パイロットがヘルメット４２を装着しているか否かに関係なく、チャートＣは、飛行体１０の飛行を遠隔操作するパイロットの頭部に装着されていてもよいと言うことができる。
【００６５】
なお、上述した入射光センサ、発電機、ＲＴＫ−ＧＰＳの基地局は、飛行体１０を用いて圃場ＦＤを撮影する際に必要となる場合がある（例えば天候の変動が激しい場合、圃場ＦＤが広大であり、撮影途中でバッテリー１７の充電が必要な場合や、位置情報取得部１４による位置情報の取得のために上記基地局と通信する必要がある場合など）。また、上述したフィールドサーバー、農機、灌漑設備については、圃場ＦＤの管理において必ず必要であり、圃場ＦＤ内または圃場ＦＤの周囲に必ず存在している。したがって、これらの物体ＯＢにチャートＣを取り付けてもよく、その場合でも、物体ＯＢを有効利用しつつ、チャートＣを上記物体ＯＢに迅速に設置して、圃場ＦＤの撮影を迅速に開始させることができる。
【００６６】
また、チャートＣが、少なくとも１つの円形部Ｃ1を含む模様、または格子模様を有している場合、圃場ＦＤの上空から第１の撮像部２１および第２の撮像部２２によってチャートＣを撮影し、各チャート画像を取得したときに、各チャート画像においてチャートＣの像（例えば像Ｃ1’を含む）が明確に現れる。これにより、視差補正部１１ｃが画素値に基づいてチャートＣの像の位置を確実に求めて、その位置情報を精度よく確実に取得することが可能となり、各チャート画像に基づく上記の視差補正を精度よく行うことが可能となる。
【００６７】
また、圃場ＦＤ内に位置する作物ＰＬの欠株部分Ｎや、圃場ＦＤ内の水面に映る太陽光の反射スポットＳは、第１の撮像部２１および第２の撮像部２２によって圃場ＦＤを同時に撮影したときに、圃場ＦＤ内の同一地点を示す位置として各撮影画像に現れる。このため、上記欠株部分Ｎまたは太陽光の反射スポットＳをチャートＣとして活用しても、第１の撮像部２１および第２の撮像部２２が各チャート画像を取得して、視差補正部１１ｃが各チャート画像に基づいて視差補正を行うことが可能となる。したがって、視差補正を行うにあたり、チャートＣを、圃場ＦＤ内または圃場ＦＤの周囲の物体ＯＢに取り付ける必要がなくなる。また、そのような物体ＯＢが存在しない場合でも、上記欠株部分Ｎまたは太陽光の反射スポットＳをチャートＣとして活用して（有効利用して）視差補正を行うことができる。
【００６８】
また、視差補正工程では、視差補正部１１ｃは、第１の撮像部２１および第２の撮像部２２によって同時刻に撮影されて取得された各チャート画像に基づいて、一方のチャート画像に含まれる基準点Ｐの位置座標を他方のチャート画像で対応する対応点Ｑの位置座標に変換する射影行列を算出し、一方の圃場画像に含まれる全ての点の位置座標を射影行列によって変換することによって、視差を補正する（Ｓ１３、Ｓ１４）。これにより、飛行体１０の飛行中の振動等に起因して、第１の撮像部２１および第２の撮像部２２の内部状態または外部状態に変化が生じても（例えば光軸ズレ、取付方向のズレが生じても）、一方の圃場画像（可視画像）の各画素を、他方の圃場画像（近赤外画像）において、圃場ＦＤ内で同一地点を表す画素と対応付けることが可能となる。
【００６９】
また、視差補正部１１ｃは、第１の撮像部２１および第２の撮像部２２のそれぞれにおいて、飛行体１０が上空で移動しているときに異なるタイミングで取得された複数の撮影画像から、チャートＣの像が含まれる画像をチャート画像として抽出した後、抽出したチャート画像からチャートＣの像の中心位置を求め、同時刻に撮影された一方のチャート画像におけるチャートＣの像の中心位置を基準点Ｐとし、同時刻に撮影された他方のチャート画像におけるチャートＣの像の中心位置を対応点Ｑとして射影行列を算出する（Ｓ１１〜Ｓ１３）。このように、同時刻に撮影された各チャート画像において、チャートＣの像の中心位置をそれぞれ基準点Ｐおよび対応点Ｑとして射影行列を算出することにより、視差補正に必要な射影行列を適切に取得することができる。
【００７０】
また、生育指標算出工程では、生育指標算出部１１ｄは、視差補正部１１ｃによって上記位置ズレを補正した後の各圃場画像に基づいて、作物ＰＬの生育指標（例えばＮＤＶＩ値）を算出する（Ｓ６）。本実施形態のように、ＮＤＶＩ値を取得する目的で、第１の撮像部２１および第２の撮像部２２を飛行体１０に搭載して飛行させる場合でも、上述した視差補正部１１ｃによって視差の影響を低減することができるため、視差によるＮＤＶＩ値の変動を効果的に防止することが可能となる。したがって、生育指標算出部１１ｄにより、圃場ＦＤ内の任意の地点について正確なＮＤＶＩ値を取得することが可能となり、ＮＤＶＩ画像の画質劣化を回避することができる。また、第１の撮像部２１および第２の撮像部２２に含まれる各光学系が、塵埃の付着によって汚れて、各圃場画像の画素値にノイズが含まれる場合でも、本実施形態のように視差に起因する画素の位置ズレを補正することで、そのような補正を行わない場合に比べて、圃場ＦＤ内の任意の地点についての、上記ノイズによるＮＤＶＩ値の変動を抑えることが可能となる。
【００７１】
また、警告工程では、警告部１３が、所定期間における上記位置ズレの変化量が閾値を超えた場合に警告を発する（Ｓ５）。Ｓ４において、上記位置ズレの変化量が閾値を超えた場合、上記位置ズレの変化は、飛行体１０の振動等に起因するというよりも、第１の撮像部２１および第２の撮像部２２の故障に起因する可能性が高い。したがって、Ｓ５での警告により、点検や修理などの必要な対処をユーザに迅速に促して、故障に対してユーザが迅速に対処することが可能となる。特に、警告部１３が表示部１３ａ、音声出力部１３ｂ、通信部１２の少なくともいずれかを含み、Ｓ５において、警告表示、警告音の出力、警告情報の発信の少なくともいずれかが行われることにより、故障などの異常が発生したことのユーザへの報知を確実に行って、点検等の必要な対処をユーザに促すことが確実に可能となる。
【００７２】
〔その他〕
視差補正（キャリブレーション）において、チャート位置が異なる画像が３枚以上あるか否かを自動的に判定し、チャート位置が異なる画像の数が３枚未満である場合は警告を行い、画像数が３枚以上ある場合は適切である旨の報知を行うようにしてもよい。
【００７３】
１日の撮影終了時にキャリブレーション用の画像が見つからない場合は、警告を行うようにしてもよい。
【００７４】
圃場撮影システムはキャリブレーションモードを持ち、キャリブレーションモードでは所定のルートで飛行体１０を自動飛行させるようにしてもよく、また、そのような自動飛行を実行させるプログラムを備えていてもよい。
【００７５】
以上で説明した本実施形態の圃場撮影システムおよび圃場撮影方法は、以下のように表現することができる。
【００７６】
本実施形態の圃場撮影システムは、飛行体と、前記飛行体に保持され、前記飛行体の飛行中に、作物を生育させる圃場を上空から撮影して波長帯域の異なる圃場画像を取得する複数の撮像部と、前記複数の撮像部によって撮影されるチャートと、前記飛行体の飛行中に、前記複数の撮像部によって前記チャートを上空から撮影して得られた各チャート画像に基づいて、前記各圃場画像間で、視差によって生じる同一地点を示す画素の位置ズレを補正する視差補正部とを含み、前記チャートは、前記圃場内または前記圃場の周囲に位置している。
【００７７】
上記の圃場撮影システムにおいて、前記チャートは、前記圃場内または前記圃場の周囲に位置する物体に取り付けられていてもよい。
【００７８】
上記の圃場撮影システムにおいて、前記物体は、前記飛行体の離着陸台であってもよい。
【００７９】
上記の圃場撮影システムにおいて、前記物体は、前記飛行体を運搬する運搬用車両であってもよい。
【００８０】
上記の圃場撮影システムにおいて、前記チャートは、前記飛行体の飛行を遠隔操作するパイロットの頭部に装着されてもよい。
【００８１】
上記の圃場撮影システムにおいて、前記チャートは、少なくとも１つの円形部を含む模様、または格子模様を有していてもよい。
【００８２】
上記の圃場撮影システムにおいて、前記チャートは、前記圃場内に位置する前記作物の欠株部分、または、前記圃場内の水面に映る太陽光の反射スポットであってもよい。
【００８３】
上記の圃場撮影システムにおいて、前記視差補正部は、前記複数の撮像部によって同時刻に撮影されて取得された前記各チャート画像に基づいて、一方のチャート画像に含まれる基準点の位置座標を他方のチャート画像で対応する対応点の位置座標に変換する射影行列を算出し、一方の圃場画像に含まれる全ての点の位置座標を前記射影行列によって変換することによって、前記位置ズレを補正してもよい。
【００８４】
上記の圃場撮影システムにおいて、前記視差補正部は、前記複数の撮像部のそれぞれにおいて、前記飛行体が上空で移動しているときに異なるタイミングで取得された複数の撮影画像から、前記チャートの像が含まれる画像を前記チャート画像として抽出した後、抽出した前記チャート画像から前記チャートの像の中心位置を求め、同時刻に撮影された前記一方のチャート画像の前記中心位置を前記基準点とし、同時刻に撮影された前記他方のチャート画像の前記中心位置を前記対応点として前記射影行列を算出してもよい。
【００８５】
上記の圃場撮影システムは、前記視差補正部によって前記位置ズレを補正した後の各圃場画像に基づいて、前記作物の生育指標を算出する生育指標算出部をさらに含んでいてもよい。
【００８６】
上記の圃場撮影システムは、所定期間における前記位置ズレの変化量が閾値を超えた場合に警告を発する警告部をさらに含んでいてもよい。
【００８７】
上記の圃場撮影システムにおいて、前記警告部は、警告表示を行う表示部、警告音を発する音声出力部、警告情報を外部に発信する通信部の少なくともいずれかを含んでいてもよい。
【００８８】
本実施形態の圃場撮影方法は、飛行体に保持される複数の撮像部によって、前記飛行体の飛行中に、作物を生育させる圃場を上空から撮影して波長帯域の異なる圃場画像を取得する圃場画像取得工程と、前記圃場内または前記圃場の周囲に位置しているチャートを、前記飛行体の飛行中に、前記複数の撮像部によって上空から撮影して各チャート画像を取得するチャート画像取得工程と、前記各チャート画像に基づいて、前記各圃場画像間で、視差によって生じる同一地点を示す画素の位置ズレを補正する視差補正工程とを含む。
【００８９】
上記の圃場撮影方法において、前記複数の撮像部により、前記圃場画像取得工程と、前記チャート画像取得工程とを同時に行うことが望ましい。
【００９０】
上記の圃場撮影方法において、前記飛行体の飛行中には、前記飛行体の上昇中および下降中が含まれてもよい。
【００９１】
上記の圃場撮影方法において、前記視差補正工程では、前記複数の撮像部によって同時刻に撮影されて取得された前記各チャート画像に基づいて、一方のチャート画像に含まれる基準点の位置座標を他方のチャート画像で対応する点の位置座標に変換する射影行列を算出し、一方の圃場画像に含まれる全ての点の位置座標を前記射影行列によって変換することによって、前記位置ズレを補正してもよい。
【００９２】
上記の圃場撮影方法において、前記視差補正工程では、前記複数の撮像部のそれぞれにおいて、前記飛行体が上空で移動しているときに異なるタイミングで取得された複数の撮影画像から、前記チャートの像が含まれる画像を前記チャート画像として抽出した後、抽出した前記チャート画像から前記チャートの像の中心位置を求め、同時刻に撮影された前記一方のチャート画像の前記中心位置を前記基準点とし、同時刻に撮影された前記他方のチャート画像の前記中心位置を前記対応点として前記射影行列を算出してもよい。
【００９３】
上記の圃場撮影方法は、前記視差補正工程によって前記位置ズレを補正した後の各圃場画像に基づいて、前記作物の生育指標を算出する生育指標算出工程をさらに含んでいてもよい。
【００９４】
上記の圃場撮影方法は、所定期間における前記位置ズレの変化量が閾値を超えた場合に警告を発する警告工程をさらに含んでいてもよい。
【００９５】
上記の圃場撮影方法において、前記警告工程では、警告表示、警告音の出力、警告情報の外部への発信の少なくともいずれかを行ってもよい。
【００９６】
以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。
【産業上の利用可能性】
【００９７】
本発明は、飛行体に保持される複数の撮像部によって圃場を上空から撮影して波長帯域の異なる圃場画像を取得し、取得した各圃場画像に基づいて生育指標を算出するシステムに利用可能である。
【符号の説明】
【００９８】
１      圃場撮影システム
１０      飛行体
１１ｃ    視差補正部
１１ｄ    生育指標算出部
１２      通信部（警告部）
１３      警告部
１３ａ    表示部
１３ｂ    音声出力部
２１      第１の撮像部
２２      第２の撮像部
４０      離着陸台
４１      運搬用車両
４２      ヘルメット
Ｃ      チャート
Ｃ1    円形部
Ｃ2    円形部
ＦＤ      圃場
Ｐ      基準点
Ｑ      対応点
ＯＢ      物体
Ｎ      欠株部分
Ｓ      反射スポット
【図１】
2020044628.tif 000004
【図２】
2020044628.tif 000005
【図３】
2020044628.tif 000006
【図４】
2020044628.tif 000007
【図５】
2020044628.tif 000008
【図６】
2020044628.tif 000009
【図７】
2020044628.tif 000010
【図８】
2020044628.tif 000011
【図９】
2020044628.tif 000012
【図１０】
2020044628.tif 000013
【図１１】
2020044628.tif 000014
【図１２】
2020044628.tif 000015
【図１３】
2020044628.tif 000016
【図１４】
2020044628.tif 000017
【国際調査報告】
2020044628.tif 000018
2020044628.tif 000019
2020044628.tif 000020
2020044628.tif 000021