(57)【要約】  本技術は、スティッチ処理を容易に行うことができるようにする画像処理装置、画像処理方法、並びにプログラムに関する。第１の撮像領域に関する複数の第１の画像に基づいて第１の撮像領域に関する第１のリファレンス画像を生成し、第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて第２の撮像領域に関する第２のリファレンス画像を生成する画像生成部と、第１のリファレンス画像と第２のリファレンス画像とに基づいて、第１の撮像領域と第２の撮像領域との対応関係を示す位置決め情報を生成する処理部とを備える。本技術は、例えば複数の画像をスティッチ処理する画像処理装置に適用できる。
2019026619.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成する画像生成部と、
前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する処理部と、
を備える画像処理装置。
【請求項２】
前記処理部は、前記第１のリファレンス画像と前記第２のリファレンス画像とをスティッチ処理することで、前記位置決め情報を含むリファレンス合成画像を生成する、
請求項１に記載の画像処理装置。
【請求項３】
前記処理部は、前記位置決め情報に基づいて、前記複数の第１の画像のいずれかの画像と、前記複数の第２の画像のいずれかの画像とをスティッチ処理することで合成画像を取得する、
請求項１に記載の画像処理装置。
【請求項４】
前記処理部は、前記位置決め情報に基づいて、前記第１の撮像領域に対応する領域を前記複数の第１の画像に基づく画像に設定し、前記第２の撮像領域に対応する領域を前記複数の第２の画像に基づく画像に設定することで前記合成画像を取得する、
請求項１に記載の画像処理装置。
【請求項５】
前記複数の第１の画像はそれぞれ異なる波長に基づく画像、または前記複数の第２の画像はそれぞれ異なる波長に基づく画像である、
請求項１に記載の画像処理装置。
【請求項６】
前記画像生成部は、前記複数の第１の画像から、特徴量の大きい画像を優先して前記第１のリファレンス画像として取得し、前記複数の第２の画像から、特徴量の大きい画像を優先して前記第２のリファレンス画像として取得する、
請求項１に記載の画像処理装置。
【請求項７】
前記画像生成部は、前記複数の第１の画像のうち最も特徴量の大きい画像を前記第１のリファレンス画像として取得し、前記複数の第２の画像のうち最も特徴量の大きい画像を前記第２のリファレンス画像として取得する、
請求項１に記載の画像処理装置。
【請求項８】
前記画像生成部は、前記第１の画像を縮小した第１の縮小画像を生成し、前記第１の縮小画像も対象として前記第１のリファレンス画像を生成し、前記第２の画像を縮小した第２の縮小画像を生成し、前記第２の縮小画像も対象として前記第２のリファレンス画像を生成する
請求項１に記載の画像処理装置。
【請求項９】
前記第１の縮小画像が、前記第１の画像に設定された場合、前記第１の縮小画像の元の第１の画像が、前記第１のリファレンス画像に設定され、前記第２の縮小画像が、前記第２の画像に設定された場合、前記第２の縮小画像の元の第２の画像が、前記第２のリファレンス画像に設定される
請求項８に記載の画像処理装置。
【請求項１０】
前記画像生成部は、前記第１の画像をブロックに分割し、ブロック毎に特徴量を算出し、前記特徴量が大きいブロックから、前記第１のリファレンス画像を生成し、前記第２の画像をブロックに分割し、ブロック毎に特徴量を算出し、前記特徴量が大きいブロックから、前記第２のリファレンス画像を生成する
請求項１に記載の画像処理装置。
【請求項１１】
前記画像生成部は、前記第１の画像を縮小した第１の縮小画像を生成し、前記第１の縮小画像もブロックに分割し、前記第１の縮小画像のブロックも対象として、前記第１のリファレンス画像を生成し、前記第２の画像を縮小した第２の縮小画像を生成し、前記第２の縮小画像もブロックに分割し、前記第２の縮小画像のブロックも対象として、前記第２のリファレンス画像を生成する
請求項１０に記載の画像処理装置。
【請求項１２】
前記第１の縮小画像のブロックが、前記特徴量が大きいブロックである場合、前記第１の縮小画像の元の第１の画像の対応するブロックが、前記第１のリファレンス画像の一部に設定され、前記第２の縮小画像のブロックが、前記特徴量が大きいブロックである場合、前記第２の縮小画像の元の第２の画像の対応するブロックが、前記第２のリファレンス画像の一部に設定される
請求項１１に記載の画像処理装置。
【請求項１３】
前記複数の第１の画像を用いて、所定の波長の第３の画像を生成し、
前記画像生成部は、前記第３の画像から前記第１のリファレンス画像を生成し、
前記複数の第２の画像を用いて、所定の波長の第４の画像を生成し、
前記画像生成部は、前記第４の画像から前記第２のリファレンス画像を生成する
請求項１に記載の画像処理装置。
【請求項１４】
前記第１のリファレンス画像と前記第２のリファレンス画像をそれぞれオルソ化処理し、
前記処理部は、前記オルソ化された前記第１のリファレンス画像と前記第２のリファレンス画像に基づいて、前記位置決め情報を生成する
請求項１に記載の画像処理装置。
【請求項１５】
第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成し、
前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する、
ステップを含む画像処理方法。
【請求項１６】
コンピュータに、
第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成し、
前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する、
ステップを含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置、画像処理方法、並びにプログラムに関し、例えば、スティッチ処理を簡便に行えるようにした画像処理装置、画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
セスナやドローンなどを用いて空撮された画像をスティッチングしたり、マッピングしたりすることが行われている。【０００３】
また、植物の生育具合をセンシングすることも提案されている。植物の光合成は、光のエネルギーではなく、光の粒子である光量子の数に影響を受けることが知られている。植物の光合成に有効な光量子束密度を測定することで、その植物の生育具合をセンシングすることが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１６３４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
市街地など建造物が多い場所を空撮した画像は、特徴量を抽出しやすく、比較的容易にスティッチングしたり、マッピングしたりすることができる。しかしながら、建造物の少ない田畑、森林などでは、画像の特徴量を抽出しづらく、スティッチングしたり、マッピングしたりすることが困難となる。【０００６】
例えば、植物の生育をセンシングするために、圃場を空撮し、空撮した画像をスティッチングしたり、マッピングしたりする場合、空撮された画像からは特徴量を抽出しづらく、スティッチングやマッピングを行うことが困難であった。【０００７】
本技術は、このような状況に鑑みてなされたものであり、特徴量を抽出しやすくし、スティッチングやマッピングを容易に行えるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成する画像生成部と、前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する処理部とを備える。【０００９】
本技術の一側面の画像処理方法は、第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成し、前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する、ステップを含む。【００１０】
本技術の一側面のプログラムは、コンピュータに、第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成し、前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する、ステップを含む処理を実行させる。【００１１】
本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、第１の撮像領域に関する複数の第１の画像に基づいて第１の撮像領域に関する第１のリファレンス画像が生成され、第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて第２の撮像領域に関する第２のリファレンス画像が生成され、第１のリファレンス画像と第２のリファレンス画像とに基づいて、第１の撮像領域と第２の撮像領域との対応関係を示す位置決め情報が生成される。【００１２】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１３】
また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
【発明の効果】
【００１４】
本技術の一側面によれば、特徴量を抽出しやすくし、スティッチングやマッピングを容易に行える。【００１５】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】本技術が適用される画像処理システムの一実施の形態の構成を示す図である。
【図２】本技術が適用される画像処理システムの他の実施の形態の構成を示す図である。
【図３】画像処理システムの構成例を示す図である。
【図４】画像処理システムの構成例を示す図である。
【図５】単位画素について説明するための図である。
【図６】フィルタの特性について説明するための図である。
【図７】フィルタの特性について説明するための図である。
【図８】マルチカメラの一例の構成について説明するための図である。
【図９】マルチカメラの一例の構成について説明するための図である。
【図１０】フィルタの特性について説明するための図である。
【図１１】空撮時の処理について説明するための図である。
【図１２】空撮により得られる画像について説明するための図である。
【図１３】マルチスペクトル画像について説明するための図である。
【図１４】リファレンス画像の生成について説明するための図である。
【図１５】リファレンス画像のスティッチ処理について説明するための図である。
【図１６】リファレンス画像のスティッチ処理について説明するための図である。
【図１７】検査画像のスティッチ処理について説明するための図である。
【図１８】画像処理システムの動作について説明するための図である。
【図１９】光源情報について説明するための図である。
【図２０】物体により反射率が異なることについて説明するための図である。
【図２１】ＭＳセンサの分光特性について説明するための図である。
【図２２】第１の生成処理について説明するためのフローチャートである。
【図２３】第１の特徴量演算処理について説明するためのフローチャートである。
【図２４】リファレンス画像生成処理について説明するためのフローチャートである。
【図２５】第２の特徴量演算処理について説明するためのフローチャートである。
【図２６】縮小画像の作成について説明するための図である。
【図２７】リファレンス画像の生成について説明するための図である。
【図２８】第３の特徴量演算処理について説明するためのフローチャートである。
【図２９】ブロックへの分割処理について説明するための図である。
【図３０】リファレンス画像の生成について説明するための図である。
【図３１】第３のリファレンス画像生成処理について説明するためのフローチャートである。
【図３２】特徴画像の再構成について説明するための図である。
【図３３】特徴画像の再構成について説明するための図である。
【図３４】第４の生成処理について説明するためのフローチャートである。
【図３５】第５の生成処理について説明するためのフローチャートである。
【図３６】画像処理システムの他の構成について説明するための図である。
【図３７】第６の生成処理について説明するためのフローチャートである。
【図３８】記録媒体について説明するための図である。
【発明を実施するための形態】
【００１７】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
【００１８】
＜画像処理システム＞
図１は、本技術を適用した画像処理装置を含む画像処理システムの一実施の形態の構成を示す図である。
【００１９】
画像処理システム１０は、被写体を撮像し、スティッチ処理を行い、所望とされる画像を作成するシステムである。例えば、画像処理システム１０においては、被写体として植物（植生）を対象とし、その植物の生育状態を表すマップ（画像）が作成される。
【００２０】
図１において、画像処理システム１０は、撮像装置１１、照度センサ１２、ハブ１３、および演算装置１４から構成される。撮像装置１１、照度センサ１２、および演算装置１４は、ハブ１３を介して相互に接続されている。
【００２１】
撮像装置１１は、測定対象とされる物体を撮像する。照度センサ１２は、光源、例えば太陽光の照度を測定する装置であり、測定した照度情報（照度値）を、撮像装置１１に供給する。
【００２２】
例えば、撮像装置１１は、ドローンなどと称される遠隔操縦または自律式の無人航空機の下側（地面側）に装着され、照度センサ１２は、無人航空機の上側（空側）に装着される。
【００２３】
なおここでは、撮像装置１１と照度センサ１２は、別体であるとして説明を続けるが、同一の筐体に設けられていても良い。また、撮像装置１１と照度センサ１２は、無人航空機に含まれている構成とすることも可能である。
【００２４】
なお、ここでは、無人航空機を用いた空撮による得られる画像を処理する場合を例に挙げて説明を続けるが、パノラマ撮影により得られる画像など、空撮以外の撮影により得られる画像を処理する場合にも、本技術を適用することはできる。
【００２５】
撮像装置１１は、被写体を撮像し、その撮像により得られるデータを、ハブ１３を介して演算装置１４に出力する。照度センサ１２は、照度を計測するためのセンサであり、測定結果である照度値を、ハブ１３を介して演算装置１４に出力する。
【００２６】
演算装置１４は、CPU(Central Processing Unit)やFPGA(Field Programmable Gate Array)等の回路による演算機能を有する装置である。例えば、演算装置１４は、パーソナルコンピュータや専用の端末装置などとして構成される。
【００２７】
図１に示した画像処理システム１０では、パーソナルコンピュータ等の演算装置１４が、ハブ１３を介したローカルな環境で、画像処理を行っていたが、ネットワークを介したクラウド環境で、画像処理が行われるようにしてもよい。
【００２８】
図２には、画像処理システムの他の構成例として、クラウド環境に対応した画像処理システム３０の構成例を示している。
【００２９】
図２の画像処理システム３０において、撮像装置１１と照度センサ１２は、図１の撮像装置１１と照度センサ１２と同様に、画像データと照度値を、ハブ１３を介してクライアント装置３１に出力する。
【００３０】
クライアント装置３１は、パーソナルコンピュータ等から構成され、ハブ１３を介して、撮像装置１１と照度センサ１２から入力される画像データと照度値を、ルータ３２に出力する。すなわち、クライアント装置３１は、図１の演算装置１４に対応しているが、画像処理は行わない、または一部しか行わない装置として設けられている。
【００３１】
ルータ３２は、例えばモバイル用のルータであり、基地局３３を介して、インターネット等のネットワーク３４に接続することができる。ルータ３２は、クライアント装置３１から入力される画像データと照度値を、ネットワーク３４を介して、サーバ３５に送信する。
【００３２】
サーバ３５は、ネットワーク３４を介して、クライアント装置３１から送信されてくる画像データと照度値を受信する。ここで、サーバ３５は、図１に示した演算装置１４が有する機能と同等の機能または少なくとも一部の機能を有している。
【００３３】
サーバ３５には、ストレージ３６が接続されており、サーバ３５に供給された画像データや照度値は、必要に応じてストレージ３６に記憶されたり、スティッチ処理などを行うときに必要とされるデータが適宜読み出されたりする。
【００３４】
画像処理システム１０（または画像処理システム３０）は、図３に示すような構成を有する（機能を含む）。ここでは、画像処理システム１０、画像処理システム３０と区別を付けるため、図３に示した画像処理システムは、画像処理システム５０と記述する。
【００３５】
画像処理システム５０は、レンズ１０１、露光部１０２、ＭＳセンサ１０３、指定波長演算処理部１０４、リファレンス画像生成処理部１０５、検査波長画像抽出部１０６、リファレンス画像スティッチ処理部１０７、および検査画像スティッチ処理部１０８を含む構成とされている。
【００３６】
図３に示した画像処理システム５０を、図１に示した画像処理システム１０で構成した場合、または、画像処理システム３０で構成した場合について、図４を参照して説明する。
【００３７】
図４の上図は、図３に示した画像処理システム５０であり、下図は、構成例を示し、ここでは構成例Ａ乃至Ｇを示す。まず図４の上図に示すように、画像処理システム５０を、４つに分ける。レンズ１０１、露光部１０２、ＭＳセンサ１０３は、被写体の撮像を行う撮像部６１とする。
【００３８】
指定波長演算処理部１０４、リファレンス画像生成処理部１０５、検査波長画像抽出部１０６は、リファレンス画像や、検査波長画像などの画像を生成する画像生成部６２とする。リファレンス画像スティッチ処理部１０７は、スティッチ処理を行う第１のスティッチ処理部６３とする。検査画像スティッチ処理部１０８は、スティッチ処理を行う第２のスティッチ処理部６４とする。
【００３９】
構成例Ａは、画像処理システム５０を、撮像装置１１内で完結するように構成した場合であり、撮像部６１、画像生成部６２、第１のスティッチ処理部６３、および第２のスティッチ処理部６４が、全て撮像装置１１に含まれる構成例である。図１や図２には示していないが、撮像装置１１だけで、スティッチ処理まで行える構成とすることができる。
【００４０】
構成例Ｂは、画像処理システム５０のうち、撮像部６１、画像生成部６２を撮像装置１１内に設け、第１のスティッチ処理部６３と第２のスティッチ処理部６４を演算装置１４（図１）またはサーバ３５（図２）に設ける構成例である。
【００４１】
構成例Ｃは、画像処理システム５０のうち、撮像部６１を撮像装置１１内に設け、画像生成部６２、第１のスティッチ処理部６３、および第２のスティッチ処理部６４を演算装置１４（図１）またはサーバ３５（図２）に設ける構成例である。
【００４２】
構成例Ｄは、画像処理システム５０のうち、撮像部６１を撮像装置１１内に設け、画像生成部６２を、クライアント装置３１（図２）内に設け、第１のスティッチ処理部６３と第２のスティッチ処理部６４をサーバ３５（図２）に設ける構成例である。
【００４３】
構成例Ｅは、画像処理システム５０のうち、撮像部６１を撮像装置１１内に設け、画像生成部６２、第１のスティッチ処理部６３、および第２のスティッチ処理部６４をサーバ３５（図２）に設ける構成例である。
【００４４】
構成例Ｆは、画像処理システム５０のうち、撮像部６１を撮像装置１１内に設け、画像生成部６２と第１のスティッチ処理部６３をクライアント装置３１（図２）に設け、第２のスティッチ処理部６４をサーバ３５（図２）に設ける構成例である。
【００４５】
構成例Ｇは、画像処理システム５０のうち、撮像部６１を撮像装置１１内に設け、画像生成部６２を、クライアント装置３１（図２）内に設け、第１のスティッチ処理部６３をサーバ３５（図２）に設け、第２のスティッチ処理部６４をクライアント装置３１（図２）に設ける構成例である。
【００４６】
画像処理システム５０は、構成例Ａ乃至Ｇのいずれの構成でも良く、単独の装置として構成されていても良いし、複数の装置から構成されていても良い。本技術によれば、以下に明らかにするように、どのような構成を有しても、処理を軽減させることができ、処理に係る時間の短縮化や、処理負担を軽減することができる。
【００４７】
図３に示した画像処理システム５０の説明に戻る。レンズ１０１、露光部１０２、ＭＳセンサ１０３は、図４を参照して説明した構成例Ａ乃至Ｇのいずれの構成においても、撮像装置１１に含まれる構成とされる。
【００４８】
撮像装置１１において、測定対象物等の対象物からの光（反射光）は、レンズ１０１と露光部１０２を介してＭＳセンサ１０３に入射される。ＭＳセンサ１０３のＭＳとは、マルチスペクトルを意味する。後述するように、撮像装置１１は、１単位画素から、複数の異なる波長の信号を得ることができるように構成されている。
【００４９】
露光部１０２は、ＭＳセンサ１０３において、信号電荷が飽和せずにダイナミックレンジ内に入っている状態でセンシングが行われるように、レンズ１０１等の光学系やアイリス（絞り）による開口量、ＭＳセンサ１０３の露光時間、シャッタスピードなどを調整することで、露光制御を行う。
【００５０】
ＭＳセンサ１０３は、図５に示すようにＭＳフィルタ１０３−１とセンサ１０３−２とから構成されている。ＭＳフィルタ１０３−１は、測定対象の指標に応じた光学フィルタとすることができ、複数の異なる波長を、それぞれ透過させるフィルタとされている。ＭＳフィルタ１０３−１は、レンズ１０１を介して入射された光を、ＭＳセンサ１０３のセンサ１０３−２に透過させる。
【００５１】
センサ１０３−２は、そのセンサ面に、複数の画素が繰り返しパターンで２次元配列されたセンシング素子から構成されるイメージセンサである。ＭＳセンサ１０３は、ＭＳフィルタ１０３−１を通過した光を、センシング素子（センサ１０３−２）により検出することで、光の光量に応じた測定信号（測定データ）を、指定波長演算処理部１０４に出力する。
【００５２】
ここで、例えば、画像処理システム５０が植生をセンシングする装置として用いられる場合、光合成有効光量子束密度（PPFD：Photosynthetic Photon Flux Density）がセンシングされることがある。植物の光合成は、光の粒子である光量子（光子）の数によって左右され、葉緑素（クロロフィル）の吸収波長である４００ｎｍ〜７００ｎｍの波長での光量子が、単位時間で、単位面積当たりに入射する個数で示したのが、PPFD値となる。
【００５３】
このPPFD値を算出する場合、RGB信号が必要になり、ＭＳフィルタ１０３−１として、R（赤）、G（緑）、Ｂ（青）、IR（赤外光）などの波長をそれぞれ透過するフィルタが組み合わされたものとされる。例えば、図３に示すように、１単位画素は、縦×横＝２×４＝８画素で構成され、各画素は、波長Ａ乃至Ｈの光を受光する。ＭＳフィルタ１０３−１は、波長Ａ乃至Ｈの光をそれぞれ透過させるフィルタとされ、ＭＳセンサ１０３の画素は、透過された光を受光するセンサとされる。
【００５４】
以下の説明において、１単位画素は、図５に示したように８画素で構成され、それぞれの画素は、それぞれ異なる波長の光を受光する画素であるとして説明を続ける。また、以下の説明において、単に画素との記載をした場合、１単位画素内の１画素を表すとし、単位画素との記載をした場合、８画素から構成される画素（群）であるとして説明を続ける。
【００５５】
また１単位画素は、波長Ａ乃至Ｈの光を受光するセンサとなるが、例えば、４００ｎｍ〜７５０ｎｍの光を受光するセンサとし、波長Ａを４００ｎｍ、波長Ｂを４５０ｎｍ、波長Ｃを５００ｎｍ、波長Ｄを５５０ｎｍ、波長Ｅを６００ｎｍ、波長Ｆを６５０ｎｍ、波長Ｇを７００ｎｍ、波長Ｈを７５０ｎｍとすることができる。
【００５６】
なお、ここでの１単位画素に含まれる画素数は、一例であり、限定を示す記載ではなく、例えば、２×２の４画素や、４×４の１６画素で構成されるようにしても良い。また、１単位画素で受光される光の波長の範囲や、各画素で受光される波長は、上記した例に限定されるわけではなく、センシング対象とされている測定物体を適切にセンシングできる波長を設定することができる。また、その波長は、可視光に限らず、赤外光や紫外光などであっても良い。
【００５７】
このように複数の波長の光を透過させるＭＳフィルタ１０３−１は、所定の狭い波長帯域（狭帯域）の狭帯域光を透過する光学フィルタである。
【００５８】
このような、狭帯域のフィルタなどを用いたカメラは、マルチスペクトルカメラなどと称されることがあり、本技術においても、マルチスペクトルカメラを用いルことができる。ここで、マルチスペクトルカメラについて説明を加える。
【００５９】
図６に示すように、ＭＳフィルタ１０３−１を通過した光の波長が重なりあう場合、後述する逆マトリクスを解くことで、被写体の任意の波長の情報を取り出すことができる。
【００６０】
図７に示すように、ＭＳフィルタ１０３−１を通過した光の波長が重なる範囲を少なくした場合、それぞれ独立する狭帯域のフィルタとすることができる。この場合、被写体の任意の波長の情報を取り出すことは難しい（特定の波長から内挿、外挿により予測することは可能）が、逆マトリクスを解くことなく、センサ出力を予測できるメリットがある。
【００６１】
図６に示すように、ＭＳフィルタ１０３−１を通過した光の波長が重なりあう場合の光学フィルタとしては、アルミニウム等の金属製の薄膜を用いた金属薄膜フィルタの一種であり、表面プラズモン共鳴の原理を利用したものを適用することができる。
【００６２】
図７に示すように、ＭＳフィルタ１０３−１を通過した光の波長が重なる範囲を少なくした場合の光学フィルタとしては、センサ表面に薄膜を形成しファブリーペロー共振の原理を利用したものを適用することができる。
【００６３】
また、ＭＳセンサ１０３−２の画素単位でマルチスペクトルセンサを構成することも可能である。
【００６４】
また、図８に示すように 、マルチフィルタ１５１とマルチカメラ１５２を組み合わせることで、マルチスペクトルカメラを構成することも可能である。
【００６５】
マルチフィルタ１５１は、画素単位ではなく、画素群毎に、異なる光を透過させるフィルタとされている。例えば、領域Ａ乃至Ｈは、それぞれａ×ｂ個の画素群の大きさとされ、マルチカメラ１５２の対応する領域は、対応する領域Ａ乃至Ｈの大きさと同一の大きさで構成されている（ａ×ｂ個の画素群が配置されている）。
【００６６】
さらに、図９に示すように、マルチレンズアレイ１６１（図３におけるレンズ１０１に該当する）、マルチフィルタ１６２を組み合わせることで、マルチスペクトルカメラを構成することも可能である。
【００６７】
マルチレンズアレイ１６１には、凸レンズが二次元状に配置されており、マルチレンズアレイ１６１に入射した光束は、マルチフィルタ１６２に光源像を二次元状に形成（マルチレンズアレイ１６１を構成するレンズ毎に光源像を形成）する。
【００６８】
マルチフィルタ１６２は、図８のマルチフィルタ１５１と同じく、複数の領域に分割されたフィルタであり、この場合、マルチレンズアレイ１６１の１つのレンズに対応した領域毎に分割されているフィルタとされている。または、マルチフィルタ１６２は、図５のＭＳフィルタ１０３−１と同じく、画素毎に所定の波長を透過するフィルタとされている。
【００６９】
図８または図９に示したマルチカメラの場合、マルチフィルタ１５１（１６２）の特性としては、図６に示したような特性を有するフィルタとすることもできるし、図７に示したような特性を有するフィルタとすることもできる。さらに、図１０に示すような特性を有する超狭帯域のマルチフィルタ１５１（１６２）でも良い。
【００７０】
図１０に示すような特性を有するフィルタは、ダイクロイック・フィルタなどと呼ばれ、屈折率の異なる誘電体の多層膜により構成することができる。
【００７１】
本技術は、これらのマルチカメラのいずれにも適用する（用いる）ことができる。ここでは、図６に示したような特性を有するフィルタを用いた場合を例に挙げ、図５に示したように、ＭＳフィルタ１０３−１とＭＳセンサ１０３−２から構成されるマルチカメラを用いた場合を例に挙げて説明を続ける。
【００７２】
図３に示した画像処理システム５０の構成の説明に戻り、ＭＳセンサ１０３からの信号（画像信号）は、指定波長演算処理部１０４に供給される。指定波長演算処理部１０４は、供給された画像信号を用いて、所望とされる光の波長の画像を生成する処理を実行する。ＭＳセンサ１０３は、上記したように、複数の異なる波長の光をそれぞれ受光するセンサであり、それぞれのセンサから得られる画像が、指定波長演算処理部１０４には供給される。
【００７３】
例えば、図５を参照して説明したように、波長Ａ乃至Ｈをそれぞれ受光するセンサから、ＭＳセンサ１０３の単位画素が構成されている場合、波長Ａの光を受光する画素からの出力で構成される画像（画像Ａとする）、波長Ｂの光を受光する画素からの出力で構成される画像（画像Ｂとする）、波長Ｃの光を受光する画素からの出力で構成される画像（画像Ｃとする）、波長Ｄの光を受光する画素からの出力で構成される画像（画像Ｄとする）、波長Ｅの光を受光する画素からの出力で構成される画像（画像Ｅとする）、波長Ｆの光を受光する画素からの出力で構成される画像（画像Ｆとする）、波長Ｇの光を受光する画素からの出力で構成される画像（画像Ｇとする）、波長Ｈの光を受光する画素からの出力で構成される画像（画像Ｈとする）が、指定波長演算処理部１０４に供給される。
【００７４】
このように、本技術による撮像装置１１によると、複数の異なる波長を受光したことにより複数の画像が、一時に得られる。この一時に得られる画像を、マルチスペクトル画像と適宜記載する。マルチスペクトル画像は、マルチスペクトルフィルタ（上記したＭＳフィルタ１０３−１）の特性に応じて取り出された複数のスペクトル画像である。
【００７５】
指定波長演算処理部１０４は、ＭＳセンサ１０３から供給されるマルチスペクトル画像をそのまま用いる、マルチスペクトル画像を用いた逆マトリクス演算を行うことで、任意の波長の画像を取り出し（生成し）、用いる、または、マルチスペクトル画像と演算により生成された任意の波長の画像を用いる。指定波長演算処理部１０４で用いられた画像は、リファレンス画像生成処理部１０５または検査波長画像抽出部１０６に供給される。
【００７６】
リファレンス画像生成処理部１０５は、リファレンス画像を生成する。リファレンス画像とは、スティッチ処理を行うときの元となる情報（後述するスティッチリファレンス情報３０３）を生成するときに用いられる画像である。また、リファレンス画像は、被写体の特徴に合わせられた最も特徴的な画像となる。このリファレンス画像の生成や、この後の処理であるスティッチ処理に関しては、後述する。リファレンス画像生成処理部１０５で生成されたリファレンス画像は、リファレンス画像スティッチ処理部１０７に供給される。
【００７７】
検査波長画像抽出部１０６は、検査画像を生成する。例えば、植物の生育具合を調べる画像を生成したい場合、植生をセンシングするのに適した波長（検査波長）の画像が生成（抽出）される。検査波長画像抽出部１０６で抽出された検査画像は、検査画像スティッチ処理部１０８に供給される。
【００７８】
リファレンス画像スティッチ処理部１０７は、リファレンス画像に対してスティッチ処理を施す。リファレンス画像がスティッチ処理されることにより生成された画像（そのような画像の情報）は、検査画像をスティッチ処理するときに用いられる。ここでは、リファレンス画像がスティッチ処理されることにより生成された画像（情報）を、スティッチング参照マップ、またはスティッチリファレンス情報と記述する。
【００７９】
生成されたスティッチリファレンス情報は、検査画像スティッチ処理部１０８に供給される。検査画像スティッチ処理部１０８には、検査波長画像抽出部１０６から検査画像も供給される。検査画像スティッチ処理部１０８は、スティッチリファレンス情報に基づき、検査画像をスティッチングし、スティッチング後の検査画像を生成する。
【００８０】
＜画像処理システムの動作について＞
図１１、図１２を参照し、図１乃至図３に示した画像処理システムの動作について説明する。
【００８１】
時刻Ｔ１（図１１）において、フライトプランが立てられる。例えば、所定の圃場２１１上を移動測定装置２０１で移動することで、圃場２１１の植物等を測定対象として撮像する場合、図１１の時刻Ｔ１のところに示したようなフライトプランが立てられる。
【００８２】
移動測定装置２０１は、例えば無人航空機（UAV：Unmanned Aerial Vehicle）であって、プロペラ状の回転翼２０２が回転することで飛行し、上空から、圃場２１１の植物等の測定対象物をセンシング（空撮）する。空撮時に、移動測定装置２０１の太陽光を受光することができる面には、照度センサ１２（図１）が取り付けられており、照度値をセンシングできるように構成されている。また、空撮時に、移動測定装置２０１の圃場２１１側に向く面には、撮像装置１１が取り付けられている。
【００８３】
移動測定装置２０１は、フライトプランに基づく無線操縦で空撮したり、フライトプランを座標データとしてあらかじめ記憶しておき、GPS(Global Positioning System)などの位置情報を用いて自律飛行することで、空撮したりする。なおここでは、移動測定装置２０１が、回転翼２０２を有する回転翼機であるとして説明したが、移動測定装置２０１は、固定翼機であってもよい。
【００８４】
時刻Ｔ２において、フライトプランに基づき実際の圃場２１１の空撮が行われる。この空撮は、撮像された画像に重なりがあるように撮像される。時刻Ｔ３（図１２）において、空撮結果が得られる。図１２に示したように、撮像された画像には、重なる部分が存在する。この重なる部分は、一方を残し他方を削除する、合成するなどのトリミングやスティッチングが行われる。その結果、時刻Ｔ４（図１２）に示したように、複数の画像が、重なる部分が無いように配置された画像が生成される。
【００８５】
例えば、時刻Ｔ２により、５００枚の画像が撮像された場合、５００枚の画像を用いて、トリミングや、スティッチングが行われ、最終的に地図へのマッピングが行われる。
【００８６】
本技術を適用した撮像装置１１は、図５を参照して説明したように、ＭＳセンサ１０３を有し、波長Ａ乃至Ｈの光をそれぞれ受光し、画像Ａ乃至画像Ｈを生成する。このＭＳセンサ１０３で、上記したようにして、５００枚の画像が撮像された場合について、図１３を参照して説明する。
【００８７】
空撮が行われることにより、ＭＳセンサ１０３の波長Ａの光を受光する画素（画素Ａとする、以下、他の画素も同様の記載を行う）からは、画像３０１Ａ−１乃至画像３０１Ａ―５００の５００枚の画像が空撮結果として得られる。
【００８８】
同様に、ＭＳセンサ１０３の波長Ｂの光を受光する画素Ｂからは、画像３０１Ｂ−１乃至画像３０１Ｂ―５００の５００枚の画像が空撮結果として得られ、波長Ｃの光を受光する画素Ｃからは、画像３０１Ｃ−１乃至画像３０１Ｃ―５００の５００枚の画像が空撮結果として得られ、波長Ｄの光を受光する画素Ｄからは、画像３０１Ｄ−１乃至画像３０１Ｄ―５００の５００枚の画像が空撮結果として得られる。
【００８９】
さらに同様に、波長Ｅの光を受光する画素Ｅからは、画像３０１Ｅ−１乃至画像３０１Ｅ―５００の５００枚の画像が空撮結果として得られ、波長Ｆの光を受光する画素Ｆからは、画像３０１Ｆ−１乃至画像３０１Ｆ―５００の５００枚の画像が空撮結果として得られ、波長Ｇの光を受光する画素Ｇからは、画像３０１Ｇ−１乃至画像３０１Ｇ―５００の５００枚の画像が空撮結果として得られ、波長Ｈの光を受光する画素Ｈからは、画像３０１Ｈ−１乃至画像３０１Ｈ―５００の５００枚の画像が空撮結果として得られる。
【００９０】
この場合、画素Ａ乃至Ｈのそれぞれから、５００枚の画像が得られる。時刻Ｔ３（図１２）において空撮結果としては、例えば、画像３０１Ａ−１乃至画像３０１Ａ―５００からなる圃場２１１の画像や、画像３０１Ｂ−１乃至画像３０１Ｂ―５００からなる圃場２１１の画像などが生成される。仮に、最終的に得たい画像が、波長Ａに基づく画像である場合、画像３０１Ａ−１乃至画像３０１Ａ―５００を用いて、トリミングやスティッチングが行われる。
【００９１】
よって、仮に、最終的に得たい画像が、波長Ａ乃至Ｈのそれぞれに基づく画像である場合、画像３０１Ａ−１乃至画像３０１Ａ―５００を用いて、トリミングやスティッチングが行われ、画像３０１Ｂ−１乃至画像３０１Ｂ―５００を用いて、トリミングやスティッチングが行われといったように、画像３０１Ａ乃至画像３０１Ｈのそれぞれを用いた処理が行われる。
【００９２】
このような処理は膨大な処理となり、扱われるデータ量も多くなる。仮に、図３に示したような画像処理システム５０ではない構成により、図１に示したような画像処理システム１０を構築した場合、撮像装置１１から演算装置１４に転送されるデータ量が多くなり、この転送に係る時間が長くなってしまう可能性がある。また、演算装置１４による演算量が多くなり、演算装置１４の処理時間が長くなってしまう可能性がある。換言すれば、図３に示したような画像処理システム５０ではない構成によると、データの転送や処理時間が長くなってしまう可能性が高かった。
【００９３】
しかしながら、本実施の形態においては、図３に示したような画像処理システム５０の構成を有するため、データの転送や処理時間を短くすることが可能である。
【００９４】
詳細については順次説明するが、概略を説明する。図１４に示すように、画素Ａ乃至Ｈから得られた４０００（＝８×５００）枚の画像３０１が用いられてリファレンス画像３０２が生成される。まず、同時刻（時刻ｔ１とする）に撮像された画像３０１Ａ−１乃至３０１Ｈ−１から、リファレンス画像３０２−１が生成される。
【００９５】
なおこの場合、同時刻に撮像された画像は、同時刻にＭＳセンサ１０３で撮像された画像となるため、同一箇所を撮像した画像となる。すなわち例えば時刻ｔ１に撮像された画像３０１Ａ−１乃至３０１Ｈ−１は、同一箇所を撮像した画像であり、波長が異なる画像となる。このように、同一箇所を撮像した複数の画像３０１から、リファレンス画像３０２が生成される。
【００９６】
時刻ｔ２に撮像された画像３０１Ａ−２乃至３０１Ｈ−２から、リファレンス画像３０２−２が生成され、時刻ｔ３に撮像された画像３０１Ａ−３乃至３０１Ｈ−３から、リファレンス画像３０２−３が生成される。同様の処理が繰り返されることで、リファレンス画像３０２−５００までが生成される。すなわち、リファレンス画像３０２−１乃至３０２−５００が生成される。
【００９７】
リファレンス画像３０２は、被写体の特徴に合わせられた、最も特徴的な画像となっている画像である。例えば、被写体として建物が撮像されている画像においては、その建物が特徴的な画像となっている、例えば、建物の部分がエッジとして抽出されているなどの画像となっている。よって、この特徴的な部分が一致する画像を重ね合わせることでスティッチングを行うことができる。
【００９８】
例えば、図１２を再度参照するに、時刻Ｔ３の所に示したように、画像同士に重なりがあるが、この画像が、リファレンス画像３０２である場合、例えば、隣り合うリファレンス画像３０２間で一致する特徴的な部分（例えばエッジが検出されている領域、以下、特徴領域と適宜記載する）を重ねる、例えば建物がある部分を重ねることで、スティッチングを行う。
【００９９】
例えば、図１５に示すようにリファレンス画像３０２がスティッチング（重なりがある状態で）されたとする。図１５は、図１２の時刻Ｔ３に示した空撮結果と同じ状態を図示している。
【０１００】
図１５を参照するに、リファレンス画像３０２−１の右隣に、重なりがある状態で、リファレンス画像３０２−１００が配置されている。リファレンス画像３０２−１００の右隣に、重なりがある状態で、リファレンス画像３０２−１５０が配置されている。リファレンス画像３０２−１５０の右隣に、重なりがある状態で、リファレンス画像３０２−２００が配置されている。
【０１０１】
リファレンス画像３０２−１の下側に、重なりがある状態で、リファレンス画像３０２−３００が配置されている。リファレンス画像３０２−３００の右隣に、重なりがある状態で、リファレンス画像３０２−４００が配置されている。リファレンス画像３０２−４００の右隣に、重なりがある状態で、リファレンス画像３０２−４５０が配置されている。
【０１０２】
隣り合うリファレンス画像３０２間で一致する特徴領域を重ね合わせて配置したときに、図１５に示したような状態の画像が得られた場合、重なり部分を削除することで、図１６に示すようなスティッチング参照マップ３０３が得られる。
【０１０３】
図１６を参照するに、スティッチング参照マップ３０３の右上には、リファレンス画像３０２−１の一部が配置され、このリファレンス画像３０２−１の右隣には、リファレンス画像３０２−１００の一部が配置される。同様に、リファレンス画像３０２−１００の右隣には、リファレンス画像３０２−１５０の一部が配置され、リファレンス画像３０２−１５０の右隣には、リファレンス画像３０２−２００の一部が配置される。
【０１０４】
さらに同様に、リファレンス画像３０２−１００の下側には、リファレンス画像３０２−３００の一部が配置され、リファレンス画像３０２−３００の右隣には、リファレンス画像３０２−４００の一部が配置され、リファレンス画像３０１−４００の右隣には、リファレンス画像３０２−４５０の一部が配置される。
【０１０５】
このようなスティッチング参照マップ３０３（スティッチリファレンス情報３０３）が生成される。スティッチング参照マップ３０３（スティッチリファレンス情報３０３）は、リファレンス画像３０２同士の位置決めの情報である。また、リファレンス画像３０２は、例えば、図１４を参照して説明したように、複数の画像３０１から生成された画像である。
【０１０６】
例えば、図１４では、画像３０１Ａ−１乃至３０１Ｈ−１から、リファレンス画像３０２−１が生成され、画像３０１Ａ−２乃至３０１Ｈ−２から、リファレンス画像３０２−２が生成される例を挙げて説明した。
【０１０７】
また画像３０１Ａ−１乃至３０１Ｈ−１は、例えば、所定の撮像領域Ａを撮像した画像であり、画像３０１Ａ−２乃至３０１Ｈ−２は、例えば、所定の撮像領域Ｂを撮像した画像である。ここで、撮像領域Ａと撮像領域Ｂは、少なくとも一部が重複する領域とされている。
【０１０８】
すなわち、ここまでの処理をまとめると、撮像領域Ａに関する複数の画像３０１Ａ−１乃至３０１Ｈ−１に基づいて撮像領域Ａに関するリファレンス画像３０２−１が生成され、撮像領域Ａと少なくとも一部が重複する撮像領域Ｂに関する複数の画像３０１Ａ−２乃至３０１Ｈ−２に基づいて撮像領域Ｂに関するリファレンス画像３０２−２がそれぞれ生成される。
【０１０９】
その後、リファレンス画像３０２−１とリファレンス画像３０２−２とに基づいて、撮像領域Ａと撮像領域Ｂとの対応関係を示す位置決め情報であるスティッチング参照マップ３０３（スティッチリファレンス情報３０３）が生成される。
【０１１０】
なお、ここでは位置決め情報としてスティッチング参照マップを生成する例を説明しているが、位置決め情報は、リファレンス画像３０２−１とリファレンス画像３０２−２を重ね合わせる際の相対的な位置ずれを示す情報であっても良い。
【０１１１】
このようなスティッチング参照マップ３０３（スティッチリファレンス情報３０３）が生成された後、このスティッチング参照マップ３０３に基づき、所望とされる波長の検査画像が、マッピングされる。
【０１１２】
例えば、波長Ａの検査画像が、スティッチング参照マップ３０３に基づき、マッピングされる場合について、図１７を参照して説明する。波長Ａの画像としては、図１３を参照して説明したように、画像３０１Ａ−１乃至３０１Ａ−５００が取得されている。
【０１１３】
スティッチング参照マップ３０３におけるリファレンス画像３０２−１が配置されている部分には、画像３０１Ａ−１の一部が配置される。リファレンス画像３０２−１は、画像３０１Ａ−１が撮像された時刻ｔ１において撮像された画像３０１Ａ−１乃至３０１Ｈ−１から生成されたリファレンス画像３０２である。
【０１１４】
このように、リファレンス画像３０２を生成するときに用いられた画像３０１が、マッピングされる。またマッピングされるとき、画像３０１は、スティッチング参照マップ３０３におけるリファレンス画像３０２と同一形状で、該当する領域が切り出されて配置される。
【０１１５】
スティッチング参照マップ３０３（スティッチリファレンス情報３０３）には、どの時刻に撮像された画像３０１を、どこに配置するか、またどのような形状（大きさ）で切り出すかがわかる情報が書き込まれている。
【０１１６】
図１７を参照するに、スティッチング参照マップ３０３におけるリファレンス画像３０２−１００が配置されている部分には、画像３０１Ａ−１００の一部が配置される。スティッチング参照マップ３０３におけるリファレンス画像３０２−１５０が配置されている部分には、画像３０１Ａ−１５０の一部が配置され、スティッチング参照マップ３０３におけるリファレンス画像３０２−２００が配置されている部分には、画像３０１Ａ−２００の一部が配置される。
【０１１７】
また、スティッチング参照マップ３０３におけるリファレンス画像３０２−３００が配置されている部分には、画像３０１Ａ−３００の一部が配置され、スティッチング参照マップ３０３におけるリファレンス画像３０２−３００が配置されている部分には、画像３０１Ａ−４００の一部が配置され、スティッチング参照マップ３０３におけるリファレンス画像３０２−４５０が配置されている部分には、画像３０１Ａ−４５０の一部が配置される。
【０１１８】
このように、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）を作成し、それに基づいて、所望の波長の検査画像をマッピングすることで、最終的な所望の波長の検査画像（最終検査画像と適宜記載する）を生成することができる。
【０１１９】
ここでは、波長Ａの最終検査画像を生成する場合を例に挙げたが、例えば、波長Ｂの最終検査画像を生成する場合も、同一のスティッチング参照マップ３０３（スティッチリファレンス情報３０３）を用いて、上記したようにして行える。さらには、波長Ｃ乃至Ｈの最終検査画像を生成する場合も、同一のスティッチング参照マップ３０３（スティッチリファレンス情報３０３）を用いて、上記したようにして行える。
【０１２０】
すなわち、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）を生成すれば、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）を用いて、所望の波長の最終検査画像を生成することができる。
【０１２１】
また、マルチスペクトル画像として取得された画像以外を、検査画像として生成し、その検査画像から、最終検査画像を生成することもできる。換言すれば、ここでは、波長Ａ乃至Ｈをそれぞれ受光する画素を有するＭＳセンサ１０３を用い、波長Ａ乃至Ｈに対応する画像Ａ乃至Ｂ（画像３０１Ａ乃至３０１Ｈ）が取得されるとして説明をしているが、ＭＳセンサ１０３からは直接的には生成されない波長（波長Ｘとする）の画像Ｘを生成し、その画像Ｘを検査画像とし、最終検査画像を生成することもできる。
【０１２２】
＜逆マトリクス演算による画像の生成について＞
ここで、ＭＳセンサ１０３からの信号から生成されるマルチスペクトル画像以外の波長（波長Ｘとする）の画像Ｘの生成について説明を加える。所望とされる波長Ｘの画像は、ＭＳセンサ１０３から得られるマルチスペクトル画像を用いた逆マトリクス演算を行うことで生成することができる。このことについて説明するために、まず図１８を参照し、撮像装置１１の動作の概略について再度説明する。
【０１２３】
太陽４０１からの太陽光４０２は、植物４０３、道路４０４に照射されるとともに、照度センサ１２にも照射される。照度センサ１２は、照射された太陽光４０２の照度を計測する。
【０１２４】
照度センサ１２は、照射された太陽光４０２の照度を計測し、照度値を取得する。取得される照度値は、例えば、図１９に示したような太陽光４０２の分光特性である。図１９に示したグラフは、太陽光４０２の分光特性を示し、横軸は光の波長を示し、縦軸は光の強度を示す。
【０１２５】
なおここでは、照度センサ１２を用いた例を挙げて説明を続けるが、後述するマルチスペクトル画像を用いた逆マトリクス演算においては、必ずしも照度センサ１２から得られる照度値を用いなくても演算できるため、照度センサ１２がない構成においても、本技術を適用することはできる。
【０１２６】
植物４０３に照射された太陽光４０２の一部は、植物４０３により反射され、その反射光４０５は、撮像装置１１に受光される。また、道路４０４に照射された太陽光４０２の一部は、道路４０４により反射され、その反射光４０６は、撮像装置１１に受光される。
【０１２７】
ここで、図２０を参照する。図２０は、植生とコンクリートを、それぞれ測定対象としたときの、波長と反射率の関係を示すグラフを示す。図２０中、横軸が波長を示し、縦軸が反射率を示す。また、図２０中、実線で示したグラフは、測定対象を植生としたときに得られた結果を表し、点線で示したグラフは、測定対象をコンクリート（ここでは、道路４０４などを構造物とする）としたときに得られた結果を表す。
【０１２８】
図２０に示したように、植物４０３と道路４０４（コンクリート）とでは、同一の波長の光が照射されたときの反射率は異なる。例えば、図２０中、点線で示したコンクリートの反射率は、実線で示した植生の反射率よりも高い。
【０１２９】
また、図２０中、点線で示したコンクリートの反射率は、光の波長にかかわらず、略一定の反射率を有するが、実線で示した植生の反射率は、特定の光の波長で急峻に変化する。図２０から、植物を測定対象とした場合、７００ｎｍ以上の波長の光であると、反射率が高くなることが読み取れる。
【０１３０】
このように、同一の太陽光４０２を照射したときであっても、植物４０３からの反射光４０５と、道路４０４からの反射光４０６では異なり、その反射率を測定した場合、結果が得られる。
【０１３１】
また、同じ植物を測定対象とした場合であっても、生育具合により、最も反射率が高い光の波長は異なる。
【０１３２】
例えば、測定対象とした物体に適した波長Ｘが、ＭＳセンサ１０３に設定されている波長Ａ乃至Ｈにない場合、測定対象とした物体に適した波長Ｘで撮像したときに得られる画像を生成したい場合がある。このようなとき、所望とされる波長Ｘの画像は、ＭＳセンサ１０３から得られるマルチスペクトル画像を用いた逆マトリクス演算を行うことで生成される。
【０１３３】
所望とされる波長Ｘの画像とは、測定対象とされた被写体の反射分光特性で表すことができる。一般的に、光源の分光特性（Ｌ（λ）とする）、被写体の分光特性（Ｐ（λ）とする）、撮像系の分光特性（Ｓ（λ）とする）、撮像された画像（Ｏ（λ）とする）との間には、以下の関係式（１）が成り立つ。
（光源の分光特性Ｌ（λ））×（被写体の分光特性Ｐ（λ））×（撮像系の分光特性Ｓ（λ））＝（画像（Ｏ（λ））    ・・・（１）
【０１３４】
光源の分光特性は、照度センサ１２から得られる分光特性であり、例えば、図１９に示したような太陽光４０２の分光特性である。なお、光源の分光特性は任意の値を用いても良い。換言すれば、照度センサ１２から得られる分光特性ではなく、予め設定されている分光特性が用いられるようにしても良い。
【０１３５】
被写体の分光特性は、被写体からの反射光から得られる分光特性であり、例えば、図２０に示したような植物やコンクリートに太陽光が照射され、反射されたときの、その反射光の分光特性である。
【０１３６】
撮像系の分光特性とは、ＭＳセンサ１０３の分光特性であり、例えば、図２１に示したような分光特性である。ＭＳセンサ１０３は、上記したように、例えば、１単位画素において、８種類の波長の信号を受光するセンサである。
【０１３７】
ＭＳセンサ１０３は、ＭＳフィルタ１０３−１とセンサ１０３−２の組み合わせからなるセンサであるため、ＭＳセンサ１０３の分光特性は、ＭＳフィルタ１０３−１の透過率と、センサ１０３−２の感度の影響を受けた特性となる。具体的には、ＭＳフィルタ１０３−１の透過率とセンサ１０３−２の感度を乗算した値である。また、センサ１０３−２の感度は、基準として設定された感度に対する感度であり、正規化された感度が用いられる。
【０１３８】
ＭＳセンサ１０３の分光特性は、図２１に示すような、波長Ａ乃至Ｈの波長毎の分光特性となる。
【０１３９】
式（１）を変形することで、被写体の分光特性を求める式（２）が得られる。
【０１４０】
【数１】
2019026619.tif 000003
【０１４１】
このように式（２）、すなわち、逆マトリクス演算により、被写体の反射率分光特性を求めることができる。換言すれば、λを波長Ｘとし、式（２）に基づく逆マトリクス演算を行うことで、ＭＳセンサ１０３から得られるマルチスペクトル画像を用いて、所望とされる波長Ｘの画像を生成することができる。
【０１４２】
このように、所望の波長の画像を生成し、その画像を、検査画像とし、スティッチング参照マップ３０３に基づきマッピングすることで、最終検査画像を生成することができる。
【０１４３】
＜最終検査画像の第１の生成処理＞
図２２のフローチャートを参照し、画像処理システム５０（図３）の動作について説明する。なお、以下に、第１乃至第６の生成処理について順次説明を加えるが、各生成処理においては、撮像部６１（レンズ１０１、露光部１０２、およびＭＳセンサ１０３）により、マルチスペクトル画像が取得されている（波長Ａ乃至Ｈの各画像３０１が取得されている）ことを前提とし、空撮時における処理については説明を省略する。
【０１４４】
また、以下の説明においては、図１３乃至図２１を参照して説明したように、マルチスペクトル画像として、８波長の画像３０１が、波長毎に５００枚撮像される例を挙げて説明を続ける。また、既に説明した部分に関しては、適宜説明を省略する。
【０１４５】
ステップＳ１１において、リファレンス画像生成処理部１０５は、特徴量演算処理を実行する。リファレンス画像生成処理部１０５には、指定波長演算処理部１０４から、マルチスペクトル画像が供給されている。第１の生成処理においては、ＭＳセンサ１０３で取得されたマルチスペクトル画像（画像３０１）を、そのまま用いた処理が行われる。
【０１４６】
画像処理システム５０が、第１の生成処理で、最終検査画像を生成する場合、指定波長演算処理部１０４は、リファレンス画像生成処理部１０５に、ＭＳセンサ１０３からのマルチスペクトル画像、例えば、図１３を参照して説明した画像３０１を供給する。
【０１４７】
この場合、指定波長演算処理部１０４を介してではなく、ＭＳセンサ１０３から直接的に、リファレンス画像生成処理部１０５にマルチスペクトル画像が供給される構成とすることもできる。
【０１４８】
ステップＳ１１における特徴量演算処理（第１の特徴量演算処理）について、図２３のフローチャートを参照して説明する。ステップＳ３１において、リファレンス画像生成処理部１０５は、マルチスペクトル画像の特徴量を抽出する。
【０１４９】
特徴量は、後述するように、画像の特徴の大きさを表す指標である。例えば、特徴量は、画像において特徴領域（上記したように、画像の特徴的な部分）が存在する程度を示す指標である。特徴量は、リファレンス画像の選択に用いられ、特徴領域は、後述するスティッチング処理時に用いられるものである。
【０１５０】
例えば、特徴量（画像の特徴の大きさを表す指標）としては、画素値の空間的な変化量とすることができる。画素値の空間的な変化量としては、近接する画素間の画素値の差分とすることができる。この場合、画素間の画素値の差分値が閾値以上の領域を抽出することで、例えば、エッジ領域を抽出することができる。
【０１５１】
画像の特徴の大きさを表す指標として画素値の空間的な変化量を用い、その変化量を特徴量として、ステップＳ３１において算出されるようにすることができる。
【０１５２】
また、画像内からエッジ領域を抽出する方法としては、微分演算を用いる方法や、ハイパスフィルタを用いる方法などがある。エッジ領域は、色等の変化が急である領域と定義することができ、このことを言い換えればエッジ領域は、グラフの傾きが急であるといえる。このことを利用して微分により傾きを求め、その傾きが、所定の閾値より大きい場合、エッジと見なすことで、エッジ領域を抽出する方法がある。
【０１５３】
また、エッジがある領域は高周波成分を含んでいるため、ハイパスフィルタを用いて、高周波成分を抽出することで、エッジがある領域を抽出する方法がある。
【０１５４】
後段の処理（例えば、図２４のステップＳ５１）にて、リファレンス画像を生成するとき、画像毎の特徴量の比較が行われる。ステップＳ３１において、画素値の空間的な変化量が特徴量として算出されるようにした場合、ステップＳ５１において用いられる特徴量は、例えば、１画像内から算出された近接する画素間の画素値の差分の総和とすることができる。
【０１５５】
また、ステップＳ３１において、高周波成分を抽出することで、エッジがある領域（＝特徴領域）を抽出するようにした場合、１画像内のエッジとして抽出された領域の大きさ（割合）が、特徴量として算出される。
【０１５６】
また例えば、画像の特徴の大きさを表す指標としては、特徴点を抽出し、その特徴点を用いるようにしても良い。特徴点は、画像を複数の領域に分け、領域内の画素値の平均値と領域内の画素値との差分を、例えば、平均二乗誤差などと称される演算方法で演算し、その値（差分）を、周囲の画素の画素値と比べて大きく異なる画素とするようにしても求めることができる。
【０１５７】
画像の特徴の大きさを表す指標として、特徴点を用いるようにした場合、特徴量としては、例えば、１画像内から抽出された特徴点の総数、割合などを用いることができる。
【０１５８】
また例えば、画像の特徴の大きさを表す指標としては、統計値（例えば分散値）を用いるようにしてもよい。分散値は、画像を複数の領域に分け、領域内の分散を求めることで、領域毎の代表的な統計値を算出し、その値（統計値）を用いることもできる。
【０１５９】
領域内の分散を算出したときの、その分散値は、領域の画素分布の複雑さを表しており、エッジなど画素値が急激に変化する画像を含む領域では分散値が大きくなる。よって、画像の特徴の大きさを表す指標として領域内の分散を求め、その分散値を特徴量として用いることもできる。
【０１６０】
画像の特徴の大きさを表す指標として、統計値を用いるようにした場合、特徴量としては、例えば、１画像内から算出された統計値の総和、平均値などを用いることができる。
【０１６１】
ここでは、特徴量は、画像内からエッジを抽出し、その抽出されたエッジ領域が、１画像内で占める割合である場合を例に挙げて説明する。また、エッジの抽出は、高周波成分を抽出することで行われる場合を例に挙げて説明を続ける。
【０１６２】
図２３に示したフローチャートの説明に戻り、ステップＳ３１において、特徴量を算出するために、高周波成分の抽出（すなわちエッジの抽出）が、マルチスペクトル画像毎に行われる。例えば、図１３を参照して説明したように、ＭＳセンサ１０３から、マルチスペクトル画像として、画像３０１Ａ−１乃至３０１Ａ−５００、画像３０１Ｂ−１乃至３０１Ｂ−５００、画像３０１Ｃ−１乃至３０１Ｃ−５００、画像３０１Ｄ−１乃至３０１Ｄ−５００、画像３０１Ｅ−１乃至３０１Ｅ−５００、画像３０１Ｆ−１乃至３０１Ｆ−５００、画像３０１Ｇ−１乃至３０１Ｇ−５００、画像３０１Ｈ−１乃至３０１Ｈ−５００の各画像３０１に対して、高周波成分の抽出という処理が行われる。
【０１６３】
特徴量としては、抽出された高周波成分（エッジ領域）の１画像内の割合が用いられるため、そのような割合が、ステップＳ３１において算出される。また、後述するようにリファレンス画像に対するスティッチング処理が実行されるときには、特徴領域の比較が行われるため、特徴量を算出する一方で、エッジ領域として抽出された特徴領域に関する情報は、適宜記憶される。
【０１６４】
ステップＳ３１において、各画像３０１から高周波成分が抽出されることにより、特徴量の演算処理が行われると、処理は、ステップＳ１２（図２２）に進められる。
【０１６５】
ステップＳ１２において、リファレンス画像生成処理が実行される。ステップＳ１２において実行されるリファレンス画像生成処理（第１のリファレンス画像生成処理）について、図２４のフローチャートを参照して説明する。
【０１６６】
ステップＳ５１において、リファレンス画像生成処理部１０５は、ステップＳ１１における処理で算出した各画像３０１の特徴量を比較する。比較の結果を用いて、ステップＳ５２において、リファレンス画像が生成される。
【０１６７】
ステップＳ５１における特徴量の比較は、図１４を参照して説明したように、同時刻に撮像された画像同士（同一箇所を撮像した画像同士）で行われる。そして、特徴量が最も大きい（画像に撮像されている被写体の特徴が最も出ている）画像３０１が、優先的に選択され、リファレンス画像とされる。
【０１６８】
例えば、図１４を再度参照するに、時刻ｔ１において撮像された画像３０１Ａ−１、画像３０１Ｂ−１、画像３０１Ｃ−１、画像３０１Ｄ−１、画像３０１Ｅ−１、画像３０１Ｆ−１、画像３０１Ｇ−１、画像３０１Ｈ−１のそれぞれの特徴量（エッジとして抽出された領域の割合）が比較され、最も特徴量が大きい画像３０１が、リファレンス画像３０２−１とされる。例えば、画像３０１Ａ−１の特徴量が、他の画像３０１Ｂ−１乃至３０１Ｈ−１のそれぞれの特徴量よりも大きかった場合、画像３０１Ａ−１が、リファレンス画像３０２−１とされる。
【０１６９】
同様に、画像３０１−２乃至３０１−５００に対しても、特徴量の比較と、その比較の結果、最も特徴量が大きい画像３０１をリファレンス画像３０２に設定するという処理が行われる。このような処理が行われることで、リファレンス画像３０２−１乃至３０２−５００が生成されると、ステップＳ１３（図２２）に処理は進められる。
【０１７０】
なお、１画像内のエッジ領域の割合以外の特徴量が用いられた場合、例えば、特徴点の総数や、統計値の総和が用いられる場合も、同様に、特徴量が大きい画像３０１が、リファレンス画像３０２に設定される。
【０１７１】
ステップＳ１３において、リファレンス画像のスティッチ処理が実行される。リファレンス画像生成処理部１０５で生成されたリファレンス画像３０２−１乃至３０２−５００は、リファレンス画像スティッチ処理部１０７に供給される。
【０１７２】
リファレンス画像スティッチ処理部１０７は、供給されたリファレンス画像３０２−１乃至３０２−５００を用いたスティッチ処理を行い、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）を生成する。
【０１７３】
リファレンス画像３０２−１乃至３０２−５００を用いたスティッチ処理については、図１５、図１６を参照して説明したように行われる。すなわちリファレンス画像３０２−１乃至３０２−５００の特徴領域が一致（類似）する部分を検出し、重ね合わせやトリミングを行うことで、重なり部分が無い画像（スティッチング参照マップ３０３）が生成される。
【０１７４】
なお、上記したように、スティッチング処理には、特徴量、すなわち画像の特徴の大きさを示す指標を算出するときに抽出した特徴領域が用いられるため、用いられる特徴領域にあった処理が行われる。
【０１７５】
例えば、エッジ領域の抽出した結果を特徴量の算出に用いた場合、スティッチング処理は、抽出されたエッジ領域を合わせるような処理が行われる。
【０１７６】
また、周囲の画素に比べて異なる画素を特徴点として抽出して特徴量を算出した場合、その特徴点を合わせる（特徴点の並びが一致、類似する箇所を合わせる）ような処理が、スティッチング処理として実行される。
【０１７７】
また例えば、画像の特徴の大きさを示す指標として領域内の分散値を算出することで特徴量を算出するようにした場合、分散値を合わせる（分散値を有する領域の並びが同一または近似している箇所を合わせる）ようなスティッチング処理が行われる。
【０１７８】
ステップＳ１４において、検査画像が生成される。検査画像は、例えば、植生を検査する（センシングする）場合、植生をセンシングするのに適した波長で撮像された画像（撮像された画像から逆マトリクス演算により生成された画像）である。
【０１７９】
指定波長演算処理部１０４と検査波長画像抽出部１０６により検査画像が生成される。生成の仕方として、例えば、指定波長演算処理部１０４は、マルチスペクトル画像（複数の波長のそれぞれの画像）を、検査波長画像抽出部１０６に供給し、検査波長画像抽出部１０６は、供給された複数の画像から、検査波長として指定されている波長に対応する画像を抽出することで、検査画像を生成する。
【０１８０】
また、検査画像の他の生成の仕方として、例えば、指定波長演算処理部１０４は、マルチスペクトル画像を用いて、所定の波長の画像を、式（２）に基づき（図１８乃至図２１を参照して説明したようにして）生成し、検査波長画像抽出部１０６に供給し、検査波長画像抽出部１０６は、供給された複数の画像から、検査波長として指定されている波長に対応する画像を抽出することで、検査画像を生成する。
【０１８１】
指定波長演算処理部１０４が、予め設定されている複数の波長に対応する画像を生成するように構成した場合、検査波長画像抽出部１０６は、指定波長演算処理部１０４で生成され、供給された複数の画像から、検査波長として指定されている波長に対応する画像を抽出することで、検査画像を生成する。
【０１８２】
また指定波長演算処理部１０４が、検査波長画像抽出部１０６で抽出される波長の画像を生成するように構成することもでき、このように構成した場合、検査波長画像抽出部１０６は、供給された画像を、検査波長として指定されている波長に対応する画像として扱う（抽出や生成といった処理を行わず、そのまま供給される画像を用いる）。
【０１８３】
また、検査画像の他の生成の仕方として、指定波長演算処理部１０４ではなく、検査波長画像抽出部１０６で、指定された波長の画像が生成されるようにしても良い。例えば、指定波長演算処理部１０４から、検査波長画像抽出部１０６に、マルチスペクトル画像が供給され、検査波長画像抽出部１０６は、供給されたマルチスペクトル画像を用いて、式（２）に基づく演算を行うことで、指定された波長（所望される波長）の検査画像が生成されるようにしても良い。
【０１８４】
ステップＳ１４において、検査画像が生成されると、ステップＳ１５に処理は進められる。検査波長画像抽出部１０６により抽出された検査画像は、検査画像スティッチ処理部１０８に供給される。検査画像スティッチ処理部１０８には、リファレンス画像スティッチ処理部１０７から、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）も供給されている。
【０１８５】
検査画像スティッチ処理部１０８は、図１７を参照して説明したように、スティッチリファレンス情報３０３を用いて、検査画像を、スティッチ処理し、最終検査画像を生成する。
【０１８６】
スティッチリファレンス情報３０３は、どの画像のどの位置を切り出し、どのように貼り合わせたかといった情報である。換言すれば、スティッチリファレンス情報３０３は、所定の領域を撮像した画像とその領域と重なりがある領域を撮像した画像との位置関係を示す情報を少なくとも含む情報であり、スティッチング処理を行うときの画像に付随するメタデータとして用いることができる情報である。
【０１８７】
検査画像スティッチ処理部１０８は、スティッチリファレンス情報３０３を参照して、複数の検査画像のうちの、どの検査画像を用い、その用いるとした検査画像のどの位置（どの領域）を切り出すかを決定し、その決定された領域を、同じく他の検査画像から切り出された領域と、どのように貼り合わせるかを決定し、このような処理を繰り返すことで、検査画像のスティッチ処理を行い、最終検査画像を生成する。
【０１８８】
最終検査画像は、既に生成されている地図上にマッピングされるなどして用いられる。
【０１８９】
このように、スティッチリファレンス情報３０３を生成し、そのスティッチリファレンス情報３０３を用いて、検査画像をスティッチ処理することで、複数の波長の検査画像を、それぞれスティッチ処理するようなときでも、スティッチ処理に係る時間を短くし、処理負担を軽減させることができる。
【０１９０】
＜最終検査画像の第２の生成処理＞
画像処理システム５０（図３）の他の動作について説明する。最終検査画像を生成するまでの処理として、上記した第１の生成処理においては、ステップＳ１１において、特徴量演算処理を行うとき、ＭＳセンサ１０３で取得されるマルチスペクトル画像を、そのまま用いて特徴量を演算する例を示した。
【０１９１】
最終検査画像を生成するまでの第２の生成処理として、特徴量を算出するとき、マルチスペクトル画像を加工して算出する場合を例に挙げて説明する。
【０１９２】
第２の生成処理は、第１の生成処理と同じく、画像処理システム５０は、図２２に示したフローチャートに基づいて処理を行う。
【０１９３】
ステップＳ１１において、特徴量演算処理が行われるとき、図２５に示した第２の特徴量演算処理のフローチャートに基づき処理が行われる点以外は図２２に示したフローチャートと同様に行われるため、ここでは、異なる処理についての説明を加え、同様に行われる処理については説明を省略する。
【０１９４】
図２５に示したフローチャートを参照するに、特徴量が演算されるとき、まずステップＳ１０１において、縮小画像が生成される。図２６に示したように、画像３０１を基準の画像とし、その画像３０１の縦を１／Ａ倍し、横を１／Ｂ倍することで、縮小画像３０１ａｂが生成される。また、画像３０１の縦を１／Ｍ倍し、横を１／Ｎ倍することで、縮小画像３０１ｍｎが生成される。
【０１９５】
例えば、Ａ＝Ｂ＝２とした場合、画像３０１の縦を１／２倍し、横を１／２倍した縮小画像３０１ａｂが生成される。同じく、例えば、Ｍ＝Ｎ＝５とした場合、画像３０１の縦を１／５倍し、横を１／５倍した縮小画像３０１ｍｎが生成される。
【０１９６】
ここでは、基準となる画像３０１（原画像）から、２枚の縮小画像が生成される場合を例に挙げて説明したが、１枚の縮小画像が生成される場合や、２枚以上の縮小画像が生成される場合も、本技術の適用範囲である。なお、以下の説明においては、１枚の原画像と、２枚の縮小画像の合計３枚の画像を用いて処理が行われる場合を例に挙げて説明を続ける。
【０１９７】
また、ここでは、Ａ＝Ｂ＝２とした場合とＭ＝Ｎ＝５とした場合を一例として挙げたが、ＡとＢは、同一の値でなくても良く、また、ＭとＮも同一の値でなくても良い。
【０１９８】
ステップＳ１０１において、縮小画像が生成されると、ステップＳ１０２に処理が進められる。ステップＳ１０２において、高周波成分が抽出（エッジが抽出）される（特徴量の算出が行われる）。この処理は、図２３に示したフローチャートのステップＳ３１の処理と同様に行うことができるため、その説明は省略する。
【０１９９】
ただし、ステップＳ１０２において、高周波成分が抽出される対象とされる画像３０１は、原画像と縮小画像であり、例えば、図２６に示したような画像３０１、画像３０１ａｂ、および画像３０１ｍｎのそれぞれが処理対象とされ、それぞれから、高周波成分が抽出され、その抽出結果に基づき、特徴量（エッジ領域の割合など）が算出される。
【０２００】
なお、特徴量を比較するとき、縮小画像の特徴量に対して、原画像と同じ条件となるように、所定の係数を乗算するなどの処理が適宜行われるようにしても良い。
【０２０１】
例えば、特徴量として、特徴点の総和や、統計値の総和を用いるようにした場合、原画像と縮小画像とでは、対象とされた画素数（領域数）が異なるため、単純に原画像の特徴量と縮小画像の特徴量を比較すると、誤った比較結果が出される可能性がある。
【０２０２】
そこで例えば、縮小画像の特徴量を算出した後、その算出した特徴量に、縮小率などの所定の係数を乗算することで、原画像と同一の条件で算出された（願画像と同一の画素数、領域数で算出された）として扱える特徴量に変換する処理が含まれるようにしても良い。
【０２０３】
ここでは、ステップＳ１０２における特徴量の算出処理（高周波成分を抽出することで特徴量を算出する処理）には、そのような原画像から算出された特徴量と縮小画像から算出された特徴量は、同一条件で算出された特徴量として扱えるようにするための処理も含まれているとして説明を続ける。
【０２０４】
このようにして、特徴量演算処理（図２２のステップＳ１１）が終了されると、ステップＳ１２に処理が進められる。ステップＳ１２において、リファレンス画像生成処理が実行される。
【０２０５】
ステップＳ１２において実行されるリファレンス画像生成処理は、図２４に示した第１のリファレンス画像生成処理のフローチャートに基づき実行され、その説明は既にしたので、ここでは、その説明を省略する。ただし、ステップＳ５１において、特徴量の比較が行われるが、その特徴量が比較される画像が、上述した第１の生成処理（第１のリファレンス画像生成処理）とは異なるため、この点について図２７を参照して説明を加える。
【０２０６】
例えば、時刻ｔ１において撮像された画像３０１−１からリファレンス画像３０２−１が生成される場合、図２７に示すように、まず波長Ａの画像３０１Ａ−１、その縮小画像３０１Ａａｂ−１と縮小画像３０１Ａｍｎ−１のそれぞれから特徴量が算出される。
【０２０７】
同じく、波長Ｂの画像３０１Ｂ−１、その縮小画像３０１Ｂａｂ−１と縮小画像３０１Ｂｍｎ−１のそれぞれから特徴量が算出される。また波長Ｃの画像３０１Ｃ−１、その縮小画像３０１Ｃａｂ−１と縮小画像３０１Ｃｍｎ−１のそれぞれから特徴量が算出される。
【０２０８】
また、波長Ｄの画像３０１Ｄ−１、その縮小画像３０１Ｄａｂ−１と縮小画像３０１Ｄｍｎ−１のそれぞれから特徴量が算出される。また、波長Ｅの画像３０１Ｅ−１、その縮小画像３０１Ｅａｂ−１と縮小画像３０１Ｅｍｎ−１のそれぞれから特徴量が算出される。
【０２０９】
また、波長Ｆの画像３０１Ｆ−１、その縮小画像３０１Ｆａｂ−１と縮小画像３０１Ｆｍｎ−１のそれぞれから特徴量が算出される。また波長Ｇの画像３０１Ｇ−１、その縮小画像３０１Ｇａｂ−１と縮小画像３０１Ｇｍｎ−１のそれぞれから特徴量が算出される。
【０２１０】
また、波長Ｈの画像３０１Ｈ−１、その縮小画像３０１Ｈａｂ−１と縮小画像３０１Ｈｍｎ−１のそれぞれから特徴量が算出される。
【０２１１】
これらの画像の特徴量のうち、特徴量が最も大きい画像が検出される。すなわち第２の生成処理においては、縮小画像も処理対象とされて、処理が行われる。特徴量が最も大きいとして検出された画像の原画像が、リファレンス画像３０２−１に設定される。
【０２１２】
例えば、特徴量が最も大きい画像が、縮小画像３０１Ａｍｎ−１であった場合、この縮小画像３０１Ａｍｎ−１の原画像である画像３０１Ａ−１が、リファレンス画像３０２−１として設定される。
【０２１３】
また例えば、特徴量が最も大きい画像が、縮小画像３０１Ａ−１であった場合、画像３０１Ａ−１が、リファレンス画像３０２−１として設定される。
【０２１４】
このように、縮小画像を生成し、縮小画像も含めて処理することで、より特徴のある画像を抽出し、リファレンス画像とすることができる。
【０２１５】
このようにしてリファレンス画像が生成されると、処理は、ステップＳ１３（図２２）に進められる。ステップＳ１３以降の処理については、既に説明したので、その説明は省略する。
【０２１６】
＜最終検査画像の第３の生成処理＞
画像処理システム５０（図３）のさらに他の動作について説明する。最終検査画像を生成するまでの処理として、上記した第１の生成処理、第２の生成処理においては、ステップＳ１１において、特徴量演算処理を行うとき、ＭＳセンサ１０３で取得されるマルチスペクトル画像を、そのまま、または縮小画像を生成して特徴量を演算する例を示した。
【０２１７】
最終検査画像を生成するまでの第３の生成処理として、さらに原画像や縮小画像をブロックに分割して、特徴量を算出し、リファレンス画像を生成する場合を例に挙げて説明する。
【０２１８】
第３の生成処理においても、第１の生成処理または第２の生成処理と同じく、画像処理システム５０は、図２２に示したフローチャートに基づいて処理を行う。
【０２１９】
ステップＳ１１において、特徴量演算処理が行われるとき、図２８に示した第３の特徴量演算処理のフローチャートに基づき処理が行われる点が、第１または第２の生成処理と異なるため、説明を加える。
【０２２０】
ステップＳ２０１において、縮小画像が生成される。この処理は、第２の生成処理における図２５に示したフローチャートのステップＳ１０１の処理と同様に行うようにすることができる。ここでは、縮小画像が生成される場合、すなわち、第２の生成処理と組み合わせて第３の生成処理が行われる場合を例に挙げて説明するが、第１の生成処理と組み合わせても良い。
【０２２１】
第１の生成処理と組み合わせ、ステップＳ２０１における縮小画像の生成を行わず、ＭＳセンサ１０３から供給されるマルチスペクトル画像（原画像）を、そのまま用いても良い。
【０２２２】
ステップＳ２０２において、ブロックに分割する処理が実行される。ブロックに分割する処理について、図２９を参照して説明する。図２９において、左図は、図２６に示した図と同様であり、縮小画像の生成の仕方について説明している図である。原画像３０１を基準とし、その原画像３０１の縦を１／Ａ倍、横を１／Ｂ倍することで、縮小画像３０１ａｂが生成される。また、原画像３０１を基準とし、その原画像３０１の縦を１／ｍ倍、横を１／ｎ倍することで、縮小画像３０１ｍｎが生成される。
【０２２３】
ブロックに分割する処理は、原画像と縮小画像の両方に対して行われる。原画像３０１は、縦がＣ分割され、横がＤ分割されることで、Ｃ×Ｄ個のブロックに分割される。
【０２２４】
縮小画像３０１ａｂは、縦がＣ／Ａ分割され、横がＤ／Ｂ分割されることで、（Ｃ／Ａ）×（Ｄ／Ｂ）個のブロックに分割される。縮小画像３０１ｍｎは、縦がＣ／Ｍ分割され、横がＤ／Ｎ分割されることで、（Ｃ／Ｍ）×（Ｄ／Ｎ）個のブロックに分割される。
【０２２５】
このように分割することで、ブロック毎の画素数は、縦、横の画素数が同じになり、後段の処理における特徴量の抽出や比較が容易に行えるようになる。
【０２２６】
例えば、Ａ＝Ｂ＝２、Ｃ＝５、Ｄ＝１０とし、原画像３０１の画素数は、縦×横＝５００×１０００とする。この場合、まず原画像３０１は、縦がＣ分割されるため、画素数は、１００（＝５００／５）画素となり、横がＤ分割されるため、画素数は、１００（＝１０００／１０）画素となる。この場合、原画像３０１の１ブロックの画素数は、１００×１００画素となる。
【０２２７】
縮小画像３０１ａｂは、縮小されたことにより、画素数は、縦×横＝２５０×５００画素となっている。このような画素数の縮小画像３０１ａｂを分割するとき、縦は（Ｃ／Ａ）＝（５／２）＝２．５分割（説明のため、２．５分割とするが、実施するときには、自然数で分割されるようにＣの値は設定されている）されるため、画素数は、１００（＝２５０／２．５）画素となり、横は（Ｄ／Ｂ）＝（１０／２）＝５分割されるため、画素数は、１００（＝５００／５）画素となる。この場合、縮小画像３０１ａｂの１ブロックの画素数は、１００×１００画素となる。
【０２２８】
このように、原画像３０１を分割した後の１ブロックの画素数は、１００×１００画素となる。また、縮小画像３０１ａｂを分割した後の１ブロックの画素数も、１００×１００画素となる。すなわち、原画像３０１と縮小画像３０１ａｂの１ブロックの画素数は同数となる。よって、上記したように、ブロック毎の画素数が同じとなることで、後段の処理における特徴量の抽出や比較が容易に行えるようになる。
【０２２９】
ステップＳ２０２（図２８）においては、このような分割処理が、マルチスペクトル画像毎に行われる。この場合、波長Ａ乃至Ｈの８波長毎の画像に対して、分割処理が実行される。
【０２３０】
なお、第１の生成処理と組み合わせ、縮小画像を生成しない場合、マルチスペクトル画像の原画像３０１（画像３０１Ａ乃至３０１Ｈ）に対してのみ、分割処理が実行される。
【０２３１】
ステップＳ２０２における分割処理が終了すると、ステップＳ２０３に処理が進められる。ステップＳ２０３において、ブロック毎に高周波成分が抽出される。この処理は、基本的に、図２３に示したフローチャートのステップＳ３１（第１の生成処理）、または図２５に示したフローチャートのステップＳ１０２（第２の生成処理）と、同様に行うことができるが、ブロック毎に行う点が異なる。
【０２３２】
ステップＳ２０３において実行されるブロック毎に高周波成分を抽出する処理について、図３０を参照して説明する。
【０２３３】
例えば、時刻ｔ１において撮像された画像３０１−１からリファレンス画像３０２−１が生成される場合、図３０に示すように、まず波長Ａの画像３０１Ａ−１、縮小画像３０１Ａａｂ−１、縮小画像３０１Ａｍｎ−１のそれぞれのブロックから、特徴量が算出される。
【０２３４】
例えば、図２９に示したような分割が行われた場合、波長Ａの画像３０１Ａ−１のＣ×Ｄ個のブロック毎に特徴量が算出され、縮小画像３０１Ａａｂ−１の（Ｃ／Ａ）×（Ｄ／Ｂ）個のブロック毎に特徴量が算出され、縮小画像３０１Ａｍｎ−１の（Ｃ／Ｍ）×（Ｄ／Ｎ）個のブロック毎に特徴量が算出される。
【０２３５】
波長Ａの画像から、（Ｃ×Ｄ）＋（（Ｃ／Ａ）×（Ｄ／Ｂ））＋（（Ｃ／Ｍ）×（Ｄ／Ｎ））＝Ｘ個の特徴量が算出される。
【０２３６】
同じく、波長Ｂの画像３０１Ｂ−１、縮小画像３０１Ｂａｂ−１、および縮小画像３０１Ｂｍｎ−１のそれぞれブロックから、Ｘ個の特徴量が算出され、波長Ｃの画像３０１Ｃ−１、縮小画像３０１Ｃａｂ−１、および縮小画像３０１Ｃｍｎ−１のそれぞれのブロックから、Ｘ個の特徴量が算出され、波長Ｄの画像３０１Ｄ−１、縮小画像３０１Ｄａｂ−１、および縮小画像３０１Ｄｍｎ−１のそれぞれのブロックから、Ｘ個の特徴量が算出される。
【０２３７】
また同じく波長Ｅの画像３０１Ｅ−１、縮小画像３０１Ｅａｂ−１、および縮小画像３０１Ｅｍｎ−１のそれぞれのブロックから、Ｘ個の特徴量が算出され、波長Ｆの画像３０１Ｆ−１、縮小画像３０１Ｆａｂ−１、および縮小画像３０１Ｆｍｎ−１のそれぞれのブロックから、Ｘ個の特徴量が算出され、波長Ｇの画像３０１Ｇ−１、縮小画像３０１Ｇａｂ−１、および縮小画像３０１Ｇｍｎ−１のそれぞれのブロックから、Ｘ個の特徴量が算出され、波長Ｈの画像３０１Ｈ−１、縮小画像３０１Ｈａｂ−１、および縮小画像３０１Ｈｍｎ−１のそれぞれのブロックから、Ｘ個の特徴量が算出される。
【０２３８】
この場合、波長Ａ乃至Ｈの８波長のそれぞれの画像から、Ｘ個の特徴量が算出されるため、（８×Ｘ）個の特徴量が算出されることになる。
【０２３９】
このような特徴量の算出に係わる処理が、ＭＳセンサ１０３から供給されるマルチスペクトル画像の全てに対して行われる。
【０２４０】
このように特徴量は、ブロック毎に算出される。各ブロックの大きさ（１ブロックに含まれる画素数）は、上記したように、同じである。よって、各ブロックから算出された特徴量は、そのまま比較することができる。
【０２４１】
図２８に示したフローチャートの処理が実行されることで、特徴量が算出されると、処理は、ステップＳ１２（図２２）に進められる。ステップＳ１２において、リファレンス画像生成処理が実行される。ステップＳ１２において実行されるリファレンス画像生成処理（第３の生成処理において実行される第３のリファレンス画像生成処理）について、図３１のフローチャートを参照して説明する。
【０２４２】
ステップＳ２３１において、全ブロックの特徴量の比較が行われる。そして、ステップＳ２３２において、特徴量が高い順にソートされる。例えば、図３０を参照して説明したように、波長Ａ乃至Ｈの８波長のそれぞれの画像から、Ｘ個の特徴量が算出され、総計で（８×Ｘ）個の特徴量が算出される。この（８×Ｘ）個の特徴量が比較され、特徴量が高い順にソートされる。
【０２４３】
ソート後、ステップＳ２３３において、特徴画像が再構成され、リファレンス画像が生成される。この特徴画像の再構成（リファレンス画像の生成）について、図３２を参照して説明する。
【０２４４】
図３２は、特徴量が高い順にブロックがソートされたとき、最も特徴量が高いブロックが、縮小画像３０１Ｈｍｎ−１であった場合の特徴画像の再構成について説明するための図である。
【０２４５】
縮小画像３０１Ｈｍｎ−１は、原画像３０１Ｈ−１から生成された縮小画像のうち、最も小さい縮小画像である。この縮小画像３０１Ｈｍｎ−１の特徴量が、（８×Ｘ）個の特徴量の中で、最も大きかった場合、この縮小画像３０１Ｈｍｎ−１が、リファレンス画像３０２−１とされる。
【０２４６】
縮小画像３０１Ｈｍｎ−１は、縮小されているため、リファレンス画像３０２−１に設定された場合には、元の大きさ、すなわちこの場合、原画像３０１Ｈ−１に戻され、その戻された画像が、リファレンス画像３０２−１に設定される。
【０２４７】
元の大きさに戻されるとき、縮小画像３０１Ｈｍｎ−１の縦方向をＭ倍し、横方向をＮ倍することで、元の大きさに戻し、その画像がリファレンス画像３０２−１に設定される。または、縮小画像３０１Ｈｍｎ−１の元の画像、すなわちこの場合、原画像３０１Ｈ−１が、リファレンス画像３０２−１に設定されるようにしても良い。
【０２４８】
図３２に示した例では、１ブロックで、リファレンス画像３０２となる原画像３０１を生成できる例である。図３３に、複数ブロックで、リファレンス画像３０２となる原画像３０１を再構成する場合について説明する。
【０２４９】
図３３に示した例では、波長Ａの画像と波長Ｂの画像からそれぞれ抽出された特徴量が高く、波長Ａの画像と波長Ｂの画像からそれぞれ、特徴量が高かった領域を切り出し、切り出された領域を該当する領域に位置させて貼り合わせることで、特徴量が高い画像（リファレンス画像）が生成される。
【０２５０】
波長Ａの画像３０１Ａ−１の略中央部分に位置する１２個のブロックのそれぞれが、特徴量の高いブロックとして、画像３０１Ａ−１から切り出される。ここでは、図３３に示すように、１２個のブロックは、領域５０１を形成しているとして説明を続ける。この領域５０１が、画像３０１Ａ−１から切り出される。
【０２５１】
画像３０１Ａ−１は、縮小されていない画像のため、領域５０１がそのまま切り出される。領域５０１は、画像３０１Ａ−１において領域５０１が位置していた位置に対応するリファレンス画像３０２−１の位置の領域として設定される。
【０２５２】
波長Ａの画像３０１Ａ−１を縮小した縮小画像３０１Ａａｂ−１の左下に位置する２個のブロックのそれぞれが、特徴量の高いブロックとして、縮小画像３０１Ａａｂ−１から切り出される。ここでは、図３３に示すように、２個のブロックは、領域５０２を形成しているとして説明を続ける。この領域５０２が、縮小画像３０１Ａａｂ−１から切り出される。
【０２５３】
縮小画像３０１Ａａｂ−１は、縮小されている画像のため、領域５０２は、そのまま縮小画像３０１Ａａｂ−１から切り出されるのではなく、領域５０２が、縮小画像３０１Ａａｂ−１内で位置する位置に対応する画像３０１Ａ−１（原画像３０１Ａ−１）の位置にある領域が切り出される。この場合、領域５０２は、縮小画像３０１Ａａｂ−１内の左下に位置するため、画像３０１Ａ−１の左下に位置し、領域５０２に該当する大きさ（この倍、８ブロック）が切り出される。
【０２５４】
または、領域５０２を、縦方向にＡ倍し、横方向にＢ倍した領域に変換し、その変換後の領域５０２が、切り出される（用いられる）ようにしても良い。
【０２５５】
元の大きさにされた領域５０２は、その領域５０２が画像３０１Ａ−１において位置していた位置に対応するリファレンス画像３０２−１の位置の領域として設定される。この場合、リファレンス画像３０２−１の左下の領域に、領域５０２が設定される。
【０２５６】
同様に、波長Ａの画像３０１Ａ−１を縮小した縮小画像３０１Ａａｂ−１の略中央右側に位置する２個のブロックのそれぞれが、特徴量の高いブロックとして、縮小画像３０１Ａａｂ−１から切り出される。ここでは、図３３に示すように、２個のブロックは、領域５０３を形成しているとして説明を続ける。この領域５０３が、縮小画像３０１Ａａｂ−１から切り出され、リファレンス画像３０２−１の対応する位置にある領域とされる。
【０２５７】
縮小画像３０１Ａａｂ−１は、縮小されている画像のため、領域５０３も、上記した領域５０２と同じく、元の大きさに変換された後、リファレンス画像３０２−１の一部とされる。
【０２５８】
波長Ｂの画像３０１Ｂ−１の右上に位置する４個のブロックのそれぞれが、特徴量の高いブロックとして、画像３０１Ｂ−１から切り出される。ここでは、図３３に示すように、４個のブロックは、領域５０４を形成しているとして説明を続ける。この領域５０４が、画像３０１Ｂ−１から切り出される。
【０２５９】
画像３０１Ｂ−１は、縮小されていない画像のため、領域５０４は、そのまま切り出される。領域５０４は、画像３０１Ｂ−１において領域５０４が位置していた位置（この場合、右上）に対応するリファレンス画像３０２−１の位置（この場合、右上）の領域として設定される。
【０２６０】
波長Ｂの画像３０１Ｂ−１を縮小した縮小画像３０１Ｂａｂ−１の左上に位置する２個のブロックのそれぞれが、特徴量の高いブロックとして、縮小画像３０１Ｂａｂ−１から切り出される。ここでは、図３３に示すように、２個のブロックは、領域５０５を形成しているとして説明を続ける。この領域５０５が、縮小画像３０１Ｂａｂ−１から切り出され、リファレンス画像３０２−１の対応する位置にある領域とされる。
【０２６１】
縮小画像３０１Ｂａｂ−１は、縮小されている画像のため、領域５０５は、上記した領域５０２などと同じく、元の大きさに変換された後、リファレンス画像３０２−１の一部とされる。
【０２６２】
同様に波長Ｂの画像３０１Ｂ−１を縮小した縮小画像３０１Ｂａｂ−１の右下に位置する２個のブロックのそれぞれが、特徴量の高いブロックとして、縮小画像３０１Ｂａｂ−１から切り出される。ここでは、図３３に示すように、２個のブロックは、領域５０６を形成しているとして説明を続ける。この領域５０６が、縮小画像３０１Ｂａｂ−１から切り出され、リファレンス画像３０２−１の対応する位置にある領域とされる。
【０２６３】
縮小画像３０１Ｂａｂ−１は、縮小されている画像のため、領域５０６は、上記した領域５０２などと同じく、元の大きさに変換された後、リファレンス画像３０２−１の一部とされる。
【０２６４】
このように、特徴量が高いブロックが優先的に選択され、特徴量の高いブロックから構成されるリファレンス画像３０２−１が生成される。このようにリファレンス画像３０２が生成されることで、第１の生成処理や第２の生成処理において生成されるリファレンス画像３０２よりも、被写体の特徴がより捕らえられた画像とすることができる。
【０２６５】
また、縮小画像を生成し、縮小画像も含めて処理することで、より特徴のある画像を抽出し、リファレンス画像とすることができる。
【０２６６】
このようにしてリファレンス画像が生成されると、処理は、ステップＳ１３（図２２）に進められる。ステップＳ１３移行の処理については、既に説明したので、その説明は省略する。
【０２６７】
＜最終検査画像の第４の生成処理＞
画像処理システム５０（図３）のさらに他の動作について説明する。最終検査画像を生成するまでの処理として、上記した第１乃至第３の生成処理においては、ステップＳ１１において、特徴量演算処理を行うとき、ＭＳセンサ１０３で取得されるマルチスペクトル画像をそのまま用いたり、縮小画像を生成したり、ブロックに分割したりして、特徴量を演算する例を示した。
【０２６８】
最終検査画像を生成するまでの第４の生成処理として、特徴量を算出するとき、ＭＳセンサ１０３で取得されたマルチスペクトル画像を用いて、さらに他の波長の画像も生成し、それら生成された画像も含めた複数の画像を用いた処理について説明する。
【０２６９】
図３４は、最終検査画像の第４の生成処理について説明するためのフローチャートである。
【０２７０】
ステップＳ３０１において、抽出する波長が指定される。指定波長演算処理部１０４は、生成する画像の波長を指定する。指定される波長は、予め設定されている波長であっても良いし、照度値やモードなどを参照して設定される波長であっても良い。予め設定されている場合、例えば、４００ｎｍから９００ｎｍの間の５０ｎｍ毎の波長（４００ｎｍ，４５０ｎｍ，５００ｎｍ，・・・，９００ｎｍ）が順次指定されるようにすることができる。
【０２７１】
また例えば、植生をセンシングするモードのときに撮像された画像を処理するときには、植生のセンシングに適した光の波長、例えば、６５０ｎｍから８５０ｎｍの波長が細かく指定されるようにしても良い。
【０２７２】
ステップＳ３０１において、指定波長演算処理部１０４は、所定の波長を指定（設定）すると、ステップＳ３０２において、その指定した波長の画像を生成する。指定された波長が、ＭＳセンサ１０３から得られるマルチスペクトル画像である場合、指定された波長に対応する画像３０１が抽出され、リファレンス画像生成処理部１０５に供給される。
【０２７３】
また、指定された波長が、ＭＳセンサ１０３から得られるマルチスペクトル画像以外の波長である場合、指定された波長に対応する画像３０１が、式（２）にマルチスペクトル画像のデータが代入された演算が行われることで生成され、リファレンス画像生成処理部１０５に供給される。
【０２７４】
ステップＳ３０３において、特徴量演算処理が、リファレンス画像生成処理部１０５により実行される。ステップＳ３０３において実行される特徴量演算処理は、第１乃至第３の生成処理と同じく、図２２に示したフローチャートのステップＳ１１において実行される特徴量演算処理と同様に行うことができる。
【０２７５】
第１の生成処理における特徴量演算処理を適用し、図２３に示した第１の特徴量演算処理のフローチャートに基づき、特徴量が算出されるようにしても良い。または、第２の生成処理における特徴量演算処理を適用し、図２５に示した第２の特徴量演算処理のフローチャートに基づき、特徴量が算出されるようにしても良い。
【０２７６】
さらには、第３の生成処理における特徴量演算処理を適用し、図２８に示した第３の特徴量演算処理のフローチャートに基づき、特徴量が算出されるようにしても良い。
【０２７７】
いずれの場合においても、特徴量が算出される画像は、指定波長演算処理部１０４からリファレンス画像生成処理部１０５に供給された画像であり、その画像には、マルチスペクトル画像や、マルチスペクトル画像から生成された所定の波長の画像が含まれる。
【０２７８】
ステップＳ３０３において、特徴量が算出されると、ステップＳ３０４に処理が進められる。ステップＳ３０４において、波長の指定は終了したか否かが判定される。例えば、指定波長演算処理部１０４は、予め指定する波長が設定されている場合、設定されている波長を全て指示したか否かを判定することで、ステップＳ３０４における判定処理を行う。
【０２７９】
ステップＳ３０４において、波長の指示は終了してないと判定された場合、ステップＳ３０１に処理が戻され、それ以降の処理が繰り返される。すなわち、指定すべき波長の全てが指定され、指定すべき全ての画像が抽出または生成され、指定すべき全ての画像から特徴量が抽出されるまで、ステップＳ３０１乃至Ｓ３０４の処理が繰り返し行われる。
【０２８０】
一方、ステップＳ３０４において、波長の指示は終了したと判定された場合、ステップＳ３０５に処理は進められる。ステップＳ３０５において、リファレンス画像生成処理部１０５により、リファレンス画像生成処理が実行される。
【０２８１】
ステップＳ３０５において実行されるリファレンス画像生成処理は、第１乃至第３の生成処理と同じく、図２２に示したフローチャートのステップＳ１２において実行されるリファレンス画像生成処理と同様に行うことができる。
【０２８２】
第１の生成処理におけるリファレンス画像生成処理を適用し、図２４に示したリファレンス画像生成処理のフローチャートに基づき、リファレンス画像が生成されるようにしても良い。または、第２の生成処理におけるリファレンス画像生成処理を適用し、図２５に示した第２の特徴量演算処理のフローチャートに基づき、特徴量が算出された場合に対応するリファレンス画像生成処理が実行されるようにしても良い。
【０２８３】
さらには、第３の生成処理におけるリファレンス画像生成処理を適用し、図３１に示した第３のリファレンス画像生成処理のフローチャートに基づき、リファレンス画像が生成されるようにしても良い。
【０２８４】
いずれの場合においても、リファレンス画像は、指定波長演算処理部１０４からリファレンス画像生成処理部１０５に供給されたマルチスペクトル画像や、マルチスペクトル画像から生成された所定の波長の画像が含まれる画像群から生成された画像である。
【０２８５】
ステップＳ３０５において、リファレンス画像が生成されると、ステップＳ３０６に処理は進められる。ステップＳ３０６乃至Ｓ３０８の処理は、図２２に示したフローチャート（第１乃至第３の生成処理）のステップＳ１３乃至Ｓ１５の処理と同様に行うことが可能である。すなわち、リファレンス画像が生成された後の処理は、第１乃至第３の生成処理と同様に行うことが可能であるため、ここではその説明は省略する。
【０２８６】
第４の生成処理においては、特徴量を算出する画像、換言すれば、リファレンス画像を生成する元の画像は、波長を指定して、生成される。例えば、図２０を参照して説明したように、被写体からの反射光の反射率は、照射される光の波長により異なる。例えば、同一の被写体を撮像した画像であっても、波長が異なれば、被写体がはっきりと撮像されている画像となったり、ぼやけて撮像されている画像となったりする。
【０２８７】
被写体がはっきりと撮像されている画像からは、その被写体を特徴領域として抽出し特徴量を算出することは容易であるが、ぼやけて撮像されている画像からは、その被写体を特徴領域として抽出し、特徴量を算出することは困難である。
【０２８８】
このことは、被写体に適した波長の画像を生成すれば、その被写体を検出しやすい画像、すなわち、特徴領域を抽出しやすい画像とすることができること意味する。第４の生成処理においては、複数の波長を指定して、複数の画像を生成することで、検出される被写体に適した波長の画像を生成することができる。
【０２８９】
第４の生成処理によれば、特徴領域をより適切に抽出し、特徴量を算出しやすくすることができる。また、そのような適切な特徴領域を抽出することで算出された特徴量から、リファレンス画像を生成することができる。また、特徴量が大きいリファレンス画像を生成できるため、リファレンス画像のスティッチ処理も、例えば、特徴領域が一致する領域を検出したり、その検出に基づき、リファレンス画像を並べたりする処理を、より精度良く行うことが可能となる。
【０２９０】
＜最終検査画像の第５の生成処理＞
画像処理システム５０（図３）のさらに他の動作について説明する。
【０２９１】
最終検査画像を生成するまでの第５の生成処理として、オルソ化処理を含む処理について説明する。第５の生成処理は、第１乃至第４の生成処理のいずれかの処理と、オルソ化処理を組み合わせた処理である。
【０２９２】
例えば、図１１を参照して説明したように、フライトプランに従って空撮が行われ、その空撮から得られた画像を用いて上記した処理を実行する場合、例えば空撮された画像は、中心投影であるため、地形の標高の影響により、歪んだ形状で撮影され、位置関係が実際の地形と重ね合わせて一致していない可能性がある。
【０２９３】
そこで、得られた画像に対してオルソ化処理（オルソ補正などとも称される）を施す。オルソ化処理後の画像は、地形の凸凹や写真の傾きが補正された画像となり、例えば、地形図と同様に扱うことができる画像となる。
【０２９４】
オルソ化は、例えば、図１１の時刻Ｔ２や図１２の時刻Ｔ３のところで説明したように、画像が重畳する状態で画像は撮像される。その重畳している領域は、例えば、８０％から９０％という高いオーバーラップ率であることがある。このことを利用し、複数の視差画像から３Ｄ画像として認識し、真上から見た画像に変換される処理がオルソ化処理である。
【０２９５】
オルソ化処理を行うために、ＧＰＳ（Global Positioning System）から得られる位置情報、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）からの姿勢情報等が用いられる。オルソ化処理を行うようにした場合、どの画像をどのように演算し、オルソ化を行ったかという「オルソ化情報」を生成し、記録しておくことも必要であり、撮像された画像と関連付けられて、ストレージに格納される。
【０２９６】
図３５は、最終検査画像の第５の生成処理について説明するためのフローチャートである。図３５に示したフローチャートに基づく処理は、第４の生成処理にオルソ化処理を含ませる場合を示し、ここでは、第４の生成処理にオルソ化処理を含ませた場合を例に挙げて説明を行う。
【０２９７】
第１乃至第３の生成処理のいずれに対してもオルソ化処理を含ませることはでき、どの生成処理と組み合わせるかは、画像処理システム５０の用いる状況などに応じて、適宜設定されるようにすることができる。
【０２９８】
ステップＳ４０１において、位置情報と姿勢情報が抽出される。例えば、撮像装置１１または撮像装置１１が装着されていた移動測定装置２０１にＧＰＳやＩＭＵを搭載し、撮像装置１１で撮像が行われる毎に、位置情報と姿勢情報を記録しておくようにする。また撮像された画像（マルチスペクトル画像）と、その画像が撮像されたときに取得された位置情報と姿勢情報は、関連付けられ、一方の情報から他方の情報が読み出せるように管理される。
【０２９９】
例えば、図示していないストレージにマルチスペクトル画像、位置情報、姿勢情報は、関連付けられて記憶される。そのストレージは、撮像装置１１内や、移動測定装置２０１に設けられているようにすることができる。
【０３００】
ステップＳ４０１においては、例えば、処理対象とされたマルチスペクトル画像に関連付けられている位置情報と姿勢情報が、ストレージから読み出される。
【０３０１】
ステップＳ４０２において、抽出する波長が指定される。ステップＳ４０２乃至Ｓ４０６の処理は、図３４に示したフローチャートのステップＳ３０１乃至Ｓ３０５（第４の生成処理）と同様に行われるため、ここでは、その説明は省略する。
【０３０２】
なお、上記したように、第１乃至第３の生成処理と組み合わせることも可能であり、第１乃至第３の生成処理と組み合わせた場合、ステップＳ４０２乃至Ｓ４０６の処理は、図２２に示したフローチャートのステップＳ１１，Ｓ１２の処理と同様に行われる処理とされる。
【０３０３】
ステップＳ４０６において、リファレンス画像生成処理が終了され、リファレンス画像が生成されると、ステップＳ４０７に処理が進められる。ステップＳ４０７において、リファレンス画像にオルソ化処理が施される。オルソ化処理は、一般的に行われている処理、例えば、空撮された画像を正射変換することで行うことができる。
【０３０４】
正射変換は、地表の３次元形状を表した数値標高モデル（標高データ）を用い、画像上の被写体の位置ズレをなくし、空撮された画像を地図と同じく、真上から見たような傾きのない、正しい大きさと位置に表示される画像に変換する処理、すなわちオルソ化処理の一例である。
【０３０５】
オルソ化処理が施された画像（オルソ画像）は、画像上の被写体の位置ズレをなくし空撮された画像を地図と同じく、真上から見たような傾きのない、正しい大きさと位置に表示される画像に変換された画像となっている。
【０３０６】
ステップＳ４０７において、リファレンス画像に対してオルソ化処理が施されることにより、リファレンス画像のオルソ画像が生成される。このとき、リファレンス画像の元画像が、撮像された位置や、撮像装置１１の姿勢などの情報が必要となるため、ステップＳ４０１において、位置情報や姿勢情報が読み出され、オルソ化処理時に用いられる。
【０３０７】
リファレンス画像をオルソ化したときのオルソ化情報を記憶しておき、検査画像のオルソ化時に用いられるようにすることができる。
【０３０８】
ステップＳ４０８において、リファレンス画像のオルソ画像が用いられて、スティッチ処理が行われるステップＳ４０８における処理は、図３４のステップＳ３０６（図２２のステップＳ１３）の処理と同様に行われる。ただしこの場合、オルソ化されたリファレンス画像に対するスティッチ処理である点は異なる。
【０３０９】
ステップＳ４０８において、スティッチ後のリファレンス画像、すなわち、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）が生成されると、ステップＳ４０９に処理が進められる。
【０３１０】
ステップＳ４０９における検査画像を生成する処理は、図３４のステップＳ３０７（図２２のステップＳ１４）の処理と同様に行われるため、ここではその説明は省略する。
【０３１１】
ステップＳ４１０において、生成された検査画像に対するオルソ化処理が実行される。検査画像に対するオルソ化処理は、上記したリファレンス画像に対するオルソ化処理と同様に行うことができる。また、検査画像に対するオルソ化処理時に、リファレンス画像をオルソ化したときのオルソ化情報を用いることができる。
【０３１２】
オルソ化された検査画像が用いられ、ステップＳ４１１において、検査画像に対するスティッチ処理が実行される。ステップＳ４１１における検査画像に対するスティッチ処理は、検査画像がオルソ画像である点以外は、図３４のステップＳ３０８（図２２のステップＳ１５）の処理と同様に行われるため、ここではその説明は省略する。
【０３１３】
このようにして、最終検査画像が生成される。また第５の生成処理においては、最終検査画像を生成するとき、オルソ化された検査画像を用いるため、生成された最終検査画像も、オルソ化されている検査画像とすることができる。
【０３１４】
また、検査画像をオルソ化する処理（ステップＳ４１０における処理）が行われるとき、リファレンス画像をオルソ化する処理（ステップＳ４０７における処理）が行われたときに用いられたオルソ化情報を用いることができるため、オルソ化に係る処理を容易に行うことが可能となる。
【０３１５】
生成された最終検査画像は、地図にマッピングすることができる。最終検査画像は、オルソ化されているため、撮像されている被写体の形状が正しく、位置も正しく配置されている画像となっているため、他の地図と重ね合わせて利用することも容易となる。
【０３１６】
＜最終検査画像の第６の生成処理＞
画像処理システム５０（図３）のさらに他の構成と動作について説明する。
【０３１７】
第１乃至第５の生成処理のいずれかを実行する画像処理システム５０（図３）においては、照度センサ１２からの照度値を参照せずに処理する場合を例に挙げて説明した。
【０３１８】
第６の生成処理として、照度センサ１２からの照度値を参照した処理も含む、画像処理システム５０の動作について説明する。まず図３６を参照し、第６の生成処理を行う画像処理システム５１の構成例について説明する。
【０３１９】
図３６に示した画像処理システム５１は、図３に示した画像処理システム５０と、基本的な構成は同様であるが、照度計６０１、反射率画像生成部６０２、反射率画像スティッチ処理部６０３、および特定指数画像算出部６０４を備えている点が異なる。
【０３２０】
照度計６０１は、図３６では、画像処理システム５１に含まれる構成としたが、照度計６０１は、照度センサ１２（図１）に該当し、照度値を算出し、検査波長画像抽出部１０６に供給する構成とされている。照度計６０１は、上記した照度センサ１２と同じく、例えば、図１９に示したような光源の分光特性を取得する。
【０３２１】
検査波長画像抽出部１０６は、上記した実施の形態と同じく、検査画像を生成する。検査波長画像抽出部１０６からの検査画像は、反射率画像生成部６０２に供給される。反射率画像生成部６０２は、供給された検査画像を、反射率に基づく画像に変換した反射率画像を生成し、反射率画像スティッチ処理部６０３に供給する。
【０３２２】
反射率画像スティッチ処理部６０３は、図３の検査画像スティッチ処理部１０８に該当する処理部であり、スティッチ処理の対象とする画像が、反射率画像生成部６０２からの反射率画像であり、その反射率画像に対して、スティッチ処理を実行する。反射率画像スティッチ処理部６０３により生成された画像は、ここでは、最終反射率画像と記述する。
【０３２３】
特定指数画像算出部６０４は、最終反射率画像を用いて、特定指数、例えば、植生指数（NDVI：Normalized Difference Vegetation Index）に関する画像を算出する。
【０３２４】
ここで、画像処理システム５１が、植生検査を行うシステムである場合を例に挙げて説明を続ける。植生検査における植生指数（NDVI）に基づく画像を生成する場合、検査画像として、赤色（の波長）の画像と、赤外線（の波長）の画像が用いられる。
【０３２５】
なお、NDVIは、植生の分布状況や活性度を示す指標であり、ここでは、NDVIを例に挙げて説明を続けるが、他の指標が用いられる場合にも、本技術を適用することはできる。
【０３２６】
NDVIの値（NDVI値）は、以下の式（３）に基づき算出することができる。
NDVI値＝（Ｄp(ＩＲ)−Ｄp(Ｒ)）／（Ｄp（ＩＲ)＋Ｄp(Ｒ)）
・・・（３）
【０３２７】
式（３）において、Ｄｐ（ＩＲ）は、赤外領域の反射率を表し、Ｄｐ（Ｒ）は、可視領域の赤（Ｒ）の反射率を表す。反射率は、（検査画像／光源情報）で求めることができる。
【０３２８】
すなわち、図３６に示した画像処理システム５１においては、反射率画像生成部６０２により、検査波長画像抽出部１０６からの検査画像を、照度計６０１からの光源情報で除算することで、反射率を求め、反射率画像を生成する。なお、照度計６０１からの照度値は、反射率画像生成部６０２に直接供給される構成としても良い。
【０３２９】
反射率画像生成部６０２で生成された反射率画像は、反射率画像スティッチ処理部６０３に供給される。反射率画像スティッチ処理部６０３は、反射率画像のスティッチ処理を行い、最終反射率画像を生成し、特定指数画像算出部６０４に供給する。
【０３３０】
特定指数画像算出部６０４は、例えば、植生指数に関する画像を生成する場合、スティッチ処理後の赤外領域の最終反射率画像と、可視領域の赤の反射率画像を用いて、上記した式（３）に基づく演算を行うことで、NDVI値による画像を生成する。
【０３３１】
このような処理を行う画像処理システム５１の動作について、図３７のフローチャートを参照して説明する。
【０３３２】
ステップＳ５０１において、光源情報が抽出される。光源情報は、処理対象とされているマルチスペクトル画像が撮像されたときの照度値が抽出される。
【０３３３】
ステップＳ５０２において、抽出する波長が指定される。ステップＳ５０２乃至Ｓ５０８の処理は、図３４に示したフローチャートのステップＳ３０１乃至Ｓ３０７の処理と同様に行われるため、ここではその説明を省略する。
【０３３４】
ステップＳ５０９において、反射率画像が算出される。反射率画像生成部６０２は、上記したように、（検査画像／光源情報）を演算することで、反射率を算出し、その反射率を用いて反射率画像を生成する。
【０３３５】
ステップＳ５１０において、反射率画像スティッチ処理部６０３は、反射率画像生成部６０２により生成された反射率画像を用いて、スティッチ処理を行う。このステップＳ５１０におけるスティッチ処理は、例えば、図２２のステップＳ１５におけるスティッチ処理と同様に行うことができるため、ここではその説明を省略する。
【０３３６】
ステップＳ５１１において、特定指数画像算出部６０４は、特定指数画像、例えば植生指数画像を生成する。
【０３３７】
上記したように、特定指数画像算出部６０４は、植生指数画像を生成する場合、上記した式（３）に基づく演算を行うために、赤外領域の反射率画像と、可視領域の赤の反射率画像を取得する。そして、特定指数画像算出部６０４は、取得された赤外領域の反射率画像と、可視領域の赤の反射率画像を式（３）に代入することで、植生指数画像を生成する。
【０３３８】
このように、植生指数画像など、特定指数の画像を生成する場合にも本技術を適用できる。
【０３３９】
また、本技術によれば、スティッチ用のスティッチング参照マップ３０３（スティッチリファレンス情報３０３）を生成し、そのスティッチング参照マップ３０３（スティッチリファレンス情報３０３）に基づいて、特定指数画像が生成されるようにしたため、例えば、異なる特定指数の画像を生成するような場合でも、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）に基づき、容易に特定指数画像を生成することができる。
【０３４０】
なお、図３６、図３７を参照して説明した第６の生成処理においては、リファレンス画像や、リファレンス画像をスティッチ処理し、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）を生成する処理において、照度値を参照しないで処理する場合を例に挙げて説明したが、照度値が参照されて、これらの処理が行われるようにしても良い。
【０３４１】
本技術によれば、ＭＳセンサ１０３により、複数の波長の画像（マルチスペクトル画像）を取得できる。さらに、マルチスペクトル画像を用いて、さらに他の波長の画像を取得することができる。
【０３４２】
例えば、撮像部６１（図４）から、画像生成部６２に供給されるマルチスペクトル画像の枚数が数種類であっても、画像生成部６２では、任意の波長の画像を生成することができる。よって、撮像部６１から画像生成部６２に供給されるデータ量を低減させることが可能となる。
【０３４３】
また、本技術によれば、画像生成部６２、第１のスティッチ処理部６３、および第２のスティッチ処理部６４における処理を低減させることもできる。
【０３４４】
上述したように、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）を生成し、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）に基づいて、所望とされる波長の画像をスティッチ処理するようにしたため、例えば、複数の波長の画像（複数の特定指数画像）を生成するような場合であっても、複数の特定指数画像毎に、スティッチ処理をはじめから行う必要が無く、スティッチング参照マップ３０３（スティッチリファレンス情報３０３）に基づいて行えるため、処理を大幅に軽減することが可能となる。
【０３４５】
また、本技術によれば、画像処理システム５０（５１）において扱うデータ量を低減させ、処理負担を低減させることができるため、画像処理システム５０（５１）における処理時間を低減させることもできる。
【０３４６】
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０３４７】
図３８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
【０３４８】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
【０３４９】
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
【０３５０】
コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３５１】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０３５２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３５３】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０３５４】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０３５５】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３５６】
なお、本技術は以下のような構成も取ることができる。
（１）
第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成する画像生成部と、
前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する処理部と、
を備える画像処理装置。
（２）
前記処理部は、前記第１のリファレンス画像と前記第２のリファレンス画像とをスティッチ処理することで、前記位置決め情報を含むリファレンス合成画像を生成する、
前記（１）に記載の画像処理装置。
（３）
前記処理部は、前記位置決め情報に基づいて、前記複数の第１の画像のいずれかの画像と、前記複数の第２の画像のいずれかの画像とをスティッチ処理することで合成画像を取得する、
前記（１）または（２）に記載の画像処理装置。
（４）
前記処理部は、前記位置決め情報に基づいて、前記第１の撮像領域に対応する領域を前記複数の第１の画像に基づく画像に設定し、前記第２の撮像領域に対応する領域を前記複数の第２の画像に基づく画像に設定することで前記合成画像を取得する、
前記（１）または（２）に記載の画像処理装置。
（５）
前記複数の第１の画像はそれぞれ異なる波長に基づく画像、または前記複数の第２の画像はそれぞれ異なる波長に基づく画像である、
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 
前記画像生成部は、前記複数の第１の画像から、特徴量の大きい画像を優先して前記第１のリファレンス画像として取得し、前記複数の第２の画像から、特徴量の大きい画像を優先して前記第２のリファレンス画像として取得する、
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記画像生成部は、前記複数の第１の画像のうち最も特徴量の大きい画像を前記第１のリファレンス画像として取得し、前記複数の第２の画像のうち最も特徴量の大きい画像を前記第２のリファレンス画像として取得する、
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（８）
前記画像生成部は、前記第１の画像を縮小した第１の縮小画像を生成し、前記第１の縮小画像も対象として前記第１のリファレンス画像を生成し、前記第２の画像を縮小した第２の縮小画像を生成し、前記第２の縮小画像も対象として前記第２のリファレンス画像を生成する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記第１の縮小画像が、前記第１の画像に設定された場合、前記第１の縮小画像の元の第１の画像が、前記第１のリファレンス画像に設定され、前記第２の縮小画像が、前記第２の画像に設定された場合、前記第２の縮小画像の元の第２の画像が、前記第２のリファレンス画像に設定される
前記（８）に記載の画像処理装置。
（１０）
前記画像生成部は、前記第１の画像をブロックに分割し、ブロック毎に特徴量を算出し、前記特徴量が大きいブロックから、前記第１のリファレンス画像を生成し、前記第２の画像をブロックに分割し、ブロック毎に特徴量を算出し、前記特徴量が大きいブロックから、前記第２のリファレンス画像を生成する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（１１）
前記画像生成部は、前記第１の画像を縮小した第１の縮小画像を生成し、前記第１の縮小画像もブロックに分割し、前記第１の縮小画像のブロックも対象として、前記第１のリファレンス画像を生成し、前記第２の画像を縮小した第２の縮小画像を生成し、前記第２の縮小画像もブロックに分割し、前記第２の縮小画像のブロックも対象として、前記第２のリファレンス画像を生成する
前記（１０）に記載の画像処理装置。
（１２）
前記第１の縮小画像のブロックが、前記特徴量が大きいブロックである場合、前記第１の縮小画像の元の第１の画像の対応するブロックが、前記第１のリファレンス画像の一部に設定され、前記第２の縮小画像のブロックが、前記特徴量が大きいブロックである場合、前記第２の縮小画像の元の第２の画像の対応するブロックが、前記第２のリファレンス画像の一部に設定される
前記（１１）に記載の画像処理装置。
（１３）
前記複数の第１の画像を用いて、所定の波長の第３の画像を生成し、
前記画像生成部は、前記第３の画像から前記第１のリファレンス画像を生成し、
前記複数の第２の画像を用いて、所定の波長の第４の画像を生成し、
前記画像生成部は、前記第４の画像から前記第２のリファレンス画像を生成する
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記第１のリファレンス画像と前記第２のリファレンス画像をそれぞれオルソ化処理し、
前記処理部は、前記オルソ化された前記第１のリファレンス画像と前記第２のリファレンス画像に基づいて、前記位置決め情報を生成する
前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成し、
前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する、
ステップを含む画像処理方法。
（１６）
コンピュータに、
第１の撮像領域に関する複数の第１の画像に基づいて前記第１の撮像領域に関する第１のリファレンス画像を生成し、前記第１の撮像領域と少なくとも一部が重複する第２の撮像領域に関する複数の第２の画像に基づいて前記第２の撮像領域に関する第２のリファレンス画像を生成し、
前記第１のリファレンス画像と前記第２のリファレンス画像とに基づいて、前記第１の撮像領域と前記第２の撮像領域との対応関係を示す位置決め情報を生成する、
ステップを含む処理を実行させるためのプログラム。
【符号の説明】
【０３５７】
１０  画像処理システム，  １１  撮像装置，  １２  照度センサ，  １３  ハブ，  １４  演算装置，  ３０  画像処理システム，  ３１  クライアント装置，  ３２  ルータ，  ３３  基地局，  ３４  ネットワーク，  ３５  サーバ，  ３６  ストレージ，  １０１  レンズ，  １０２  露光部，  １０３  ＭＳセンサ，  １０４  指定波長演算処理部，  １０５  リファレンス画像生成処理部，  １０６  検査波長画像抽出部，  １０７  リファレンス画像スティッチ処理部，  １０８  検査画像スティッチ処理部，  ６０１  照度計，  ６０２  反射率画像抽出部，  ６０３  反射率画像スティッチ処理部，  ６０４  特定指数画像算出部
【図１】
2019026619.tif 000004
【図２】
2019026619.tif 000005
【図３】
2019026619.tif 000006
【図４】
2019026619.tif 000007
【図５】
2019026619.tif 000008
【図６】
2019026619.tif 000009
【図７】
2019026619.tif 000010
【図８】
2019026619.tif 000011
【図９】
2019026619.tif 000012
【図１０】
2019026619.tif 000013
【図１１】
2019026619.tif 000014
【図１２】
2019026619.tif 000015
【図１３】
2019026619.tif 000016
【図１４】
2019026619.tif 000017
【図１５】
2019026619.tif 000018
【図１６】
2019026619.tif 000019
【図１７】
2019026619.tif 000020
【図１８】
2019026619.tif 000021
【図１９】
2019026619.tif 000022
【図２０】
2019026619.tif 000023
【図２１】
2019026619.tif 000024
【図２２】
2019026619.tif 000025
【図２３】
2019026619.tif 000026
【図２４】
2019026619.tif 000027
【図２５】
2019026619.tif 000028
【図２６】
2019026619.tif 000029
【図２７】
2019026619.tif 000030
【図２８】
2019026619.tif 000031
【図２９】
2019026619.tif 000032
【図３０】
2019026619.tif 000033
【図３１】
2019026619.tif 000034
【図３２】
2019026619.tif 000035
【図３３】
2019026619.tif 000036
【図３４】
2019026619.tif 000037
【図３５】
2019026619.tif 000038
【図３６】
2019026619.tif 000039
【図３７】
2019026619.tif 000040
【図３８】
2019026619.tif 000041
【国際調査報告】
2019026619.tif 000042
2019026619.tif 000043