(57)【要約】輝度むらや色むらを低減した高画質な補正画像を生成可能とした画像処理装置、方法を実現する。画像の画素値補正に適用する補正関数の算出に利用するサンプリング点を画像から選択するサンプリング点選択部と、サンプリング点の画素値と位置情報を適用して補正関数を算出する補正関数算出部と、補正関数を適用して画像の画素値補正を行う画像補正部を有し、サンプリング点選択部は、画像の構成画素を複数の部分集合（クラスタ）に分割するクラスタリング（クラスタ分割）を実行し、クラスタリングによって生成された複数クラスタからサンプリング点抽出クラスタを決定し、サンプリング点抽出クラスタからサンプリング点を選択する処理を実行する。
2020066456.tif 000002
【特許請求の範囲】
【請求項１】
画像の画素値補正に適用する補正関数の算出に利用するサンプリング点を前記画像から選択するサンプリング点選択部と、
前記サンプリング点選択部の選択したサンプリング点の画素値と位置情報を適用して前記補正関数を算出する補正関数算出部と、
前記補正関数を適用して前記画像の画素値補正を行う画像補正部を有し、
前記サンプリング点選択部は、
前記画像の構成画素を複数の部分集合に分割するクラスタリングを実行し、
前記クラスタリングによって生成された複数クラスタからサンプリング点抽出クラスタを決定し、
前記サンプリング点抽出クラスタからサンプリング点を選択する処理を実行する画像処理装置。
【請求項２】
前記サンプリング点選択部は、
（ａ）最大画素数のクラスタから順に１つ以上のクラスタをサンプリング点抽出クラスタとする、
（ｂ）各クラスタに含まれる画素の画素値の平均値や中央値が全クラスタの中心となるクラスタ、またはそのクラスタと隣接する数クラスタをサンプリング点抽出クラスタとする、
（ｃ）ユーザが選択したクラスタをサンプリング点抽出クラスタとする、
上記（ａ）〜（ｃ）いずれかの方法でサンプリング点抽出クラスタを決定する請求項１に記載の画像処理装置。
【請求項３】
前記サンプリング点選択部は、
前記画像内の解析対象となる被写体が多く含まれるクラスタを、サンプリング点抽出クラスタとして決定する請求項１に記載の画像処理装置。
【請求項４】
前記補正関数算出部は、
画素位置対応の画素値を定義した近似面ｙ（ｘ）を算出し、
前記近似面ｙ（ｘ）と、予め規定した補正基準Ｙｒｅｆ（ｘ）との比率に応じて補正量を変動させる補正関数を生成する請求項１に記載の画像処理装置。
【請求項５】
前記補正基準Ｙｒｅｆ（ｘ）は、
前記サンプリング点抽出クラスタの画素値の平均値、または中央値、またはユーザ選択値のいずれかである請求項４に記載の画像処理装置。
【請求項６】
前記補正関数算出部は、
画素位置対応の画素値を定義した近似面ｙ（ｘ）を、カーネル回帰補間、またはスプライン曲面補間、または多項式近似曲面、または線形補間の少なくともいずれかを用いて算出する請求項４に記載の画像処理装置。
【請求項７】
前記補正関数算出部は、
画素位置対応の画素値を定義した近似面ｙ（ｘ）を算出し、
前記近似面ｙ（ｘ）と、予め規定した補正基準Ｙｒｅｆ（ｘ）との比率に応じて補正量を変動させる下記の補正関数、
Ｙ'（ｘ）＝（Ｙｒｅｆ（ｘ）／ｙ（ｘ））Ｙ（ｘ）、
ただし、
Ｙ'（ｘ）は、前記画像の補正後の画素位置（ｘ）対応の画素値、
Ｙ（ｘ）は、前記画像の補正前の画素位置（ｘ）対応の画素値、
上記補正関数を生成する請求項１に記載の画像処理装置。
【請求項８】
前記サンプリング点選択部は、
前記クラスタリングを、
（ａ）Ｋ−Ｍｅａｎｓ法、
（ｂ）Ｋ−ＮＮ法、
（ｃ）Ｗａｒｄ法、
（ｄ）セマンティックセグメンテーション、
上記（ａ）〜（ｄ）いずれかの手法を適用して実行する請求項１に記載の画像処理装置。
【請求項９】
前記サンプリング点選択部は、
前記クラスタリングを、前記画像の画素の特定の特徴情報に基づいて実行する請求項１に記載の画像処理装置。
【請求項１０】
前記特徴情報は、前記画像の画素の輝度、またはＲＧＢ少なくともいずれかの信号、または、ＲＧＢ画像を変換したＬａｂ空間、ＹＵＶ空間、ｘｙ色度空間、これらいすいずれかの空間上の信号である請求項９に記載の画像処理装置。
【請求項１１】
前記画像処理装置は、さらに、
前記画像を縮小して縮小画像を生成する縮小画像生成部を有し、
前記サンプリング点選択部と、前記補正関数算出部は、前記縮小画像生成部が生成した縮小画像に対する処理を実行する請求項１に記載の画像処理装置。
【請求項１２】
前記画像処理装置は、
前記画像補正部が生成した補正画像をつなぎ合わせて１枚の合成画像を生成する合成画像生成部を有する請求項１に記載の画像処理装置。
【請求項１３】
前記合成画像生成部は、
つなぎ合わせ対象となる各補正画像の画素値平均値、または各補正画像の重複領域の画素値平均値、またはサンプリング点抽出クラスタの画素値平均値を、予め設定した補正基準画素値に一致させる処理を実行してつなぎ目の不連続性を軽減した合成画像を生成する請求項１２に記載の画像処理装置。
【請求項１４】
前記サンプリング点選択部は、
サンプリング点選択処理に際して、処理対象画像の周囲画像から実行済みのサンプリング点選択情報を入力して、入力情報を参照して処理対象画像のサンプリング点選択処理を実行する請求項１に記載の画像処理装置。
【請求項１５】
前記補正関数算出部は、
補正関数算出処理に際して、処理対象画像の周囲画像から算出済みの補正関数情報を入力して、入力情報を参照して処理対象画像の補正関数の算出処理を実行する請求項１に記載の画像処理装置。
【請求項１６】
画像処理装置において実行する画像処理方法であり、
サンプリング点選択部が、画像の画素値補正に適用する補正関数の算出に利用するサンプリング点を前記画像から選択するサンプリング点選択ステップと、
補正関数算出部が、前記サンプリング点選択部の選択したサンプリング点の画素値と位置情報を適用して前記補正関数を算出する補正関数算出ステップと、
画像補正部が、前記補正関数を適用して前記画像の画素値補正を行う画像補正ステップを実行し、
前記サンプリング点選択ステップは、
前記画像の構成画素を複数の部分集合に分割するクラスタリングを実行するステップと、
前記クラスタリングによって生成された複数クラスタからサンプリング点抽出クラスタを決定するステップと、
前記サンプリング点抽出クラスタからサンプリング点を選択するステップを有する画像処理方法。
【請求項１７】
画像処理装置において画像処理を実行させるプログラムであり、
サンプリング点選択部に、画像の画素値補正に適用する補正関数の算出に利用するサンプリング点を前記画像から選択させるサンプリング点選択ステップと、
補正関数算出部に、前記サンプリング点選択部の選択したサンプリング点の画素値と位置情報を適用して前記補正関数を算出させる補正関数算出ステップと、
画像補正部に、前記補正関数を適用して前記画像の画素値補正を行わせる画像補正ステップを実行させ、
前記サンプリング点選択ステップにおいては、
前記画像の構成画素を複数の部分集合に分割するクラスタリングを実行するステップと、
前記クラスタリングによって生成された複数クラスタからサンプリング点抽出クラスタを決定するステップと、
前記サンプリング点抽出クラスタからサンプリング点を選択するステップを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、画像の輝度むら等を補正して高画質画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、リモートコントロールでの飛行、あるいはＧＰＳ等に基づく自律飛行を行う小型の飛行体であるドローンの利用が急激に増加している。
例えば、ドローンにカメラを装着し、上空から地上の風景を撮影する処理等に利用される。
また、最近では、農地における作物の成長確認や管理、地形の確認処理や、測量処理、あるいは建築現場等においてもドローンを利用した空撮画像が利用されている。【０００３】
ドローンは移動しながら連続的に所定領域の画像を撮影する。撮影された複数の画像をつなぎ合わせると広い領域の１枚の画像を生成することができる。
しかし、空中を移動するドローンは風等の影響で各画像を撮影する際の姿勢が変化してしまう。この結果、カメラに対する被写体からの光の入力条件が変化し、各撮影画像の輝度や色が均一にならず、まばらになってしまう。このような異なる輝度や色を持つ画像をつなぎ合わせて１枚の合成画像を生成すると、各画像のつなぎ目の連続性が失われた低品質の画像となる。
また、１枚の撮影画像であっても、例えば、まばらな雲が存在するような環境では、雲の陰の部分と、影にならない部分とでは輝度や色が異なってしまう。【０００４】
上述したように、撮影位置や撮影方向を変化させて撮影した複数枚の画像をつなぎ合わせて合成画像（パノラマ画像）を生成するスティッチング（モザイキング）処理では、撮影画像単位の照明状態などの変化により、合成画像のつなぎ目に相当する領域で画素の輝度値が不連続に変化するという問題が発生する。【０００５】
この問題を解決する技術を開示した文献として、例えば、以下の文献がある。
非特許文献１（「内視鏡画像のシェーディング補正と色調補正」安東  正晴著、日本消化器内視鏡学会雑誌、３１巻、７号、ｐ．１７２７−１７４１，１９８９．）
この文献には、平滑化フィルタを用いた信号値補正手法が開示されている。
具体的には、撮影画像や参照用画像を平滑化した画像を利用して、撮影画像の各画素の信号値を平滑化画像の各画素値の信号値で除算し、撮影画像の輝度むらを補正する手法を開示している。【０００６】
しかし、この文献に記載された補正手法は、画像中に含まれる補正対象以外の被写体の輝度変化情報も補正画像に影響を及ぼすため、補正画像内にリンギングアーチファクト等のエラーが発生するという問題がある。【０００７】
さらに、特許文献１（特開２００４−１３９２１９号公報）には、既知の幾何条件を基に信号値を補正する手法が開示されている。
この文献は、カメラや撮影環境の照明、撮影対象の幾何条件を利用して画像補正のための二次関数等の補正関数を算出し、算出した補正関数を利用して画像の明るさ等の補正量を調整する手法を開示している。
すなわち、撮影環境から予め予測される輝度変化を補正関数でフィッティングして撮影画像の輝度補正を行うことで、撮影画像内の照明むらによる輝度変化を補正するものである。【０００８】
しかしながら、本手法は、照明やカメラの座標や向きの特定が難しい場合や、撮影対象の面が平面でなく、凹凸を有した曲面である場合など、幾何条件から正確な補正関数を求めることが困難な場合には、高精度な補正ができないという問題がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００４−１３９２１９号公報
【非特許文献】
【００１０】
【非特許文献１】「内視鏡画像のシェーディング補正と色調補正」安東  正晴著、日本消化器内視鏡学会雑誌、３１巻、７号、ｐ．１７２７−１７４１，１９８９．
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本開示は、例えば上記の問題点に鑑みてなされたものであり、撮影条件が異なる画像をつなぎ合わせて１枚の合成画像を生成する際に、画像間の輝度等、出力画素値の差異を低減して高品質な合成画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。【００１２】
例えば屋外においてドローンなどの移動物体から撮影した画像をつなぎ合わせて１枚の画像を作成するスティッチング処理を行う場合、太陽光や照明等の照射光条件、カメラ姿勢、被写体面の凹凸状態などの幾何条件の特定が困難な環境であっても、適切な画素値補正により画像のつなぎ目の不連続性をもたらすリンギングアーチファクトを抑制して、画像間のつなぎ目が目立たない高品質な合成画像を生成可能とする。【００１３】
さらに、本開示は、１枚の撮影画像中に輝度むら等、出力画素値の差異がある場合にも、この差異を低減して高品質な１枚の画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本開示の第１の側面は、
画像の画素値補正に適用する補正関数の算出に利用するサンプリング点を前記画像から選択するサンプリング点選択部と、
前記サンプリング点選択部の選択したサンプリング点の画素値と位置情報を適用して前記補正関数を算出する補正関数算出部と、
前記補正関数を適用して前記画像の画素値補正を行う画像補正部を有し、
前記サンプリング点選択部は、
前記画像の構成画素を複数の部分集合に分割するクラスタリングを実行し、
前記クラスタリングによって生成された複数クラスタからサンプリング点抽出クラスタを決定し、
前記サンプリング点抽出クラスタからサンプリング点を選択する処理を実行する画像処理装置にある。【００１５】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
サンプリング点選択部が、画像の画素値補正に適用する補正関数の算出に利用するサンプリング点を前記画像から選択するサンプリング点選択ステップと、
補正関数算出部が、前記サンプリング点選択部の選択したサンプリング点の画素値と位置情報を適用して前記補正関数を算出する補正関数算出ステップと、
画像補正部が、前記補正関数を適用して前記画像の画素値補正を行う画像補正ステップを実行し、
前記サンプリング点選択ステップは、
前記画像の構成画素を複数の部分集合に分割するクラスタリングを実行するステップと、
前記クラスタリングによって生成された複数クラスタからサンプリング点抽出クラスタを決定するステップと、
前記サンプリング点抽出クラスタからサンプリング点を選択するステップを有する画像処理方法にある。【００１６】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
サンプリング点選択部に、画像の画素値補正に適用する補正関数の算出に利用するサンプリング点を前記画像から選択させるサンプリング点選択ステップと、
補正関数算出部に、前記サンプリング点選択部の選択したサンプリング点の画素値と位置情報を適用して前記補正関数を算出させる補正関数算出ステップと、
画像補正部に、前記補正関数を適用して前記画像の画素値補正を行わせる画像補正ステップを実行させ、
前記サンプリング点選択ステップにおいては、
前記画像の構成画素を複数の部分集合に分割するクラスタリングを実行するステップと、
前記クラスタリングによって生成された複数クラスタからサンプリング点抽出クラスタを決定するステップと、
前記サンプリング点抽出クラスタからサンプリング点を選択するステップを実行させるプログラムにある。【００１７】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。【００１８】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００１９】
本開示の一実施例の構成によれば、輝度むらや色むらを低減した高画質な補正画像を生成可能とした画像処理装置、方法が実現される。
具体的には、例えば、画像の画素値補正に適用する補正関数の算出に利用するサンプリング点を画像から選択するサンプリング点選択部と、サンプリング点の画素値と位置情報を適用して補正関数を算出する補正関数算出部と、補正関数を適用して画像の画素値補正を行う画像補正部を有し、サンプリング点選択部は、画像の構成画素を複数の部分集合（クラスタ）に分割するクラスタリング（クラスタ分割）を実行し、クラスタリングによって生成された複数クラスタからサンプリング点抽出クラスタを決定し、サンプリング点抽出クラスタからサンプリング点を選択する処理を実行する。
本構成により、輝度むらや色むらを低減した高画質な補正画像を生成可能とした画像処理装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００２０】
【図１】本開示の画像処理装置の第１実施例の構成例を示すブロック図である。
【図２】補正対象となる撮影画像に対して、Ｋ−Ｍｅａｎｓ法で画像を１１クラスタ（Ｋ＝１１）に分割した例を示す図である。
【図３】図２に示すＫ−Ｍｅａｎｓ法によって分割した１１クラスタの各々に属する要素（画素）の信号値の平均値とその度数を示したヒストグラムを示す図である。
【図４】図３のヒストグラムを利用して選択したサンプリング点抽出クラスタからランダムにサンプリング点を選択した結果を示す図である。
【図５】サンプリング点選択部においてセマンティックセグメンテーションを適用してクラスタリングを行った場合の例について説明する図である。
【図６】ユーザが設定した境界や予め規定した境界を用いて撮影画像を複数の領域に分割して、これらの分割領域をクラスタとして設定した例について説明する図である。
【図７】本開示の画像処理装置による処理と、従来型の処理による画像補正例の具体的な差異について説明する図である。
【図８】本開示の画像処理装置による処理について説明する図である。
【図９】図１に示す画像処理装置が実行する画像処理のシーケンスについて説明するフローチャートを示す図である。
【図１０】本開示の画像処理装置の第２実施例の構成と処理について説明する図である。
【図１１】図１０に示す画像処理装置が実行する画像処理のシーケンスについて説明するフローチャートを示す図である。
【図１２】本開示の画像処理装置の第３実施例の構成と処理について説明する図である。
【図１３】図１２に示す画像処理装置が実行する画像処理のシーケンスについて説明するフローチャートを示す図である。
【図１４】本開示の画像処理装置の第４実施例の構成と処理について説明する図である。
【図１５】本開示の画像処理装置の第４実施例の実行する処理について説明する図である。
【図１６】本開示の画像処理装置の第４実施例の実行する処理について説明する図である。
【図１７】本開示の画像処理装置の第５実施例の構成と処理について説明する図である。
【図１８】本開示の画像処理装置の第５実施例の実行する処理について説明する図である。
【図１９】本開示の画像処理装置の第６実施例の構成と処理について説明する図である。
【図２０】本開示の画像処理装置の第６実施例の実行する処理について説明する図である。
【図２１】本開示の画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．本開示の画像処理装置の第１実施例の構成と処理について
２．画像処理装置の実行する画像処理シーケンスについて
３．本開示の画像処理装置の第２実施例の構成と処理について
４．本開示の画像処理装置の第３実施例の構成と処理について
５．その他の実施例について
６．画像処理装置のハードウェア構成例について
７．本開示の構成のまとめ
【００２２】
［１．本開示の画像処理装置の第１実施例の構成と処理について］
まず、図１以下を参照して本開示の画像処理装置の第１実施例の構成と処理について説明する。
【００２３】
図１は、本開示の画像処理装置の第１実施例の構成例を示すブロック図である。図１に示すように、画像処理装置１００は、サンプリング点選択部１０１と、補正関数算出部１０２と、画像補正部（補正関数適用部）１０３を有する。
【００２４】
画像処理装置１００は、補正対象となる１枚の撮影画像１０を入力して、補正を実行して補正画像２０を出力する。
なお、本実施例において、補正対象となる撮影画像１０は、カメラの１回の撮影処理によって撮影された１枚の撮影画像である。すなわち複数の画像をつなぎ合わせるスティッチング処理を行って生成した合成画像ではない。
【００２５】
例えばドローン等の移動体に装着したカメラによって撮影した画像には、上空の雲、あるいは他の飛行体である飛行機や鳥等の陰になる領域と陰にならない領域が含まれる場合があり、このような領域間では輝度や色が異なる。すなわち輝度むらや色むらが発生してしまう。
図１に示す画像処理装置１００は、このような１枚の撮影画像１０に含まれる画素値の出力むらを補正して、輝度むらや色むら等を低減した補正画像２０を生成する。
【００２６】
なお、図１に示す画像処理装置１００の各構成部は個別のハードウェア、とあるいは一体化したハードウェアとして構成可能である。また、図１に示す画像処理装置１００の各構成部の実行する処理は、その一部、または全てをソフトウェア（プログラム）によって実行することも可能である。
【００２７】
なお、以下の説明においては、撮影画像１０はＲＧＢカラー画像である例について説明する。ただし、これは一例であり、本開示の画像処理装置は、ＲＧＢ画像に限らず、ＹＣｂＣｒ画像等のＲＧＢ以外のカラー画像や、モノクロ画像、輝度画像等、様々な画像に対して補正処理を行うことが可能である。
【００２８】
図１に示す画像処理装置１００の構成と処理について説明する。
まず、図１に示す画像処理装置１００のサンプリング点選択部１０１は、補正対象となる撮影画像１０を入力する。
この撮影画像１０は、例えばドローンによって撮影された１枚の画像である。
【００２９】
サンプリング点選択部１０１は、この補正対象となる撮影画像１０からサンプリング点となる画素を選択する。
サンプリング点とは、次の補正関数算出部１０２において補正関数を生成するために利用する画素である。
サンプリング点選択部１０１は、サンプリング点の画素値（輝度値等）とその位置情報を次の補正関数算出部１０２に出力する。
【００３０】
補正関数算出部１０２は、サンプリング点選択部１０１で選択したサンプリング点の画素値と位置情報を利用して補正関数を生成する。
最終段の画像補正部（補正関数適用部）１０３では、補正関数算出部１０２が生成した補正関数を撮影画像１０の全ての画素に適用して、全画素の画素値補正を実行して補正画像２０を生成する。
【００３１】
サンプリング点選択部１０１は、まず、補正対象となる撮影画像１０の構成画素を複数の部分集合（クラスタ）に分割するクラスタリング（クラスタ分割）処理を実行する。
【００３２】
撮影画像１０の構成画素を複数の部分集合（クラスタ）に分割する手法としては、例えば、以下のような既存のクラスタリング手法が適用できる。
（ａ）Ｋ−Ｍｅａｎｓ法（Ｋ平均法）、
（ｂ）Ｋ−ＮＮ法（Ｋ最短距離法：Ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ法）、
（ｃ）Ｗａｒｄ法（ウォード法）、
（ｄ）セマンティックセグメンテーション、
【００３３】
Ｋ−Ｍｅａｎｓ法（Ｋ平均法）は、非階層的手法に従ったクラスタリング手法であり、評価関数を用いて最適な評価値を得るように分類してＫ個の部分集合（クラスタ）に分類する手法である。
Ｋ−ＮＮ法は、階層的手法に従ったクラスタリング手法であり、ある基準値や標準パターンから距離の近い（類似度の高い）順にソートして、Ｋ個のクラスに分類する手法である。
Ｗａｒｄ法も、階層的手法に従ったクラスタリング手法であり、各クラスタ内の平方和が最小となるように分類する手法である。
【００３４】
セマンティックセグメンテーションは、画像内のオブジェクトと、様々な実際のオブジェクトの形状やその他の特徴情報に基づくオブジェクト識別用の辞書データ（学習済みデータ）との一致度に基づいて、画像の構成画素（ピクセル）各々が、どのようなカテゴリ（人、車、道路、植物等）に属するオブジェクトであるかを識別して各カテゴリ単位のクラスタに分類する手法である。
【００３５】
なお、セマンティックセグメンテーションには、例えば以下のような複数の異なる手法がある。
（ｄ１）Ｃｏｎｄｉｔｉｏｎａｌ  Ｒａｎｄｏｍ  Ｆｉｅｌｄｓ（ＣＲＦ）を用いた手法（Ｐ．Ｋｒａｈｅｎｂｕｈｌ，ｅｔ．ａｌ，"Ｅｆｆｉｃｉｅｎｔ  Ｉｎｆｅｒｅｎｃｅ  ｉｎ  Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  ＣＲＦｓ  ｗｉｔｈ  Ｇａｕｓｓｉａｎ  Ｅｄｇｅ  Ｐｏｔｅｎｔｉａｌｓ"，  ＮＩＰＳ'１１  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２４ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ，２０１１．）
【００３６】
（ｄ２）畳み込みニューラルネットワーク（ＣＮＮ）を利用した手法（Ｇ．  Ｌｉｎ，ｅｔ．ａｌ，"Ｅｆｆｉｃｉｅｎｔ  Ｐｉｅｃｅｗｉｓｅ  Ｔｒａｉｎｉｎｇ  ｏｆ  Ｄｅｅｐ  Ｓｔｒｕｃｔｕｒｅｄ  Ｍｏｄｅｌｓ  ｆｏｒ  Ｓｅｍａｎｔｉｃ"，ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２０１６．）
（ｄ３）敵対生成学習（ＧＡＮ）を利用した手法（Ｐ．Ｉｓｏｌａ，ｅｔ．ａｌ，"Ｉｍａｇｅ−ｔｏ−Ｉｍａｇｅ  Ｔｒａｎｓｌａｔｉｏｎ  ｗｉｔｈ  Ｃｏｎｄｉｔｉｏｎａｌ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ"，  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２０１７．）
【００３７】
サンプリング点選択部１０１は、例えば上記クラスタリング手法、すなわち、
（ａ）Ｋ−Ｍｅａｎｓ法（Ｋ平均法）、
（ｂ）Ｋ−ＮＮ法（Ｋ最短距離法：Ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ法）、
（ｃ）Ｗａｒｄ法（ウォード法）、
（ｄ）セマンティックセグメンテーション、
これらのいずれかの手法を適用して補正対象となる撮影画像１０の構成画素を複数の部分集合（クラスタ）に分割するクラスタリング（クラスタ分割）処理を実行する。
【００３８】
次に、サンプリング点選択部１０１は、分割したクラスタから、サンプリング点、すなわち、次の補正関数算出部１０２において補正関数を生成するために利用するサンプリング点（画素）を選択する。
【００３９】
サンプリング点の選択処理は、例えば、以下の手順で実行される。
上記のクラスタリングによって分類された複数の画素群である部分集合（クラスタ）から、サンプリング点抽出クラスタを決定する。
次に、決定したサンプリング点抽出クラスタに含まれる画素をサンプリング点として選択する。
以下、これらの処理の詳細について説明する。
【００４０】
サンプリング点選択部１０１は、まず、上記のクラスタリングによって分類された複数の画素群である部分集合（クラスタ）から、サンプリング点抽出クラスタを決定する。
【００４１】
サンプリング点抽出クラスタの決定手法としては、例えば、以下のいずれかの手法が適用可能である。
（１）最もサンプル（要素／画素）が多いクラスタから順に１つ以上のクラスタをサンプリング点抽出クラスタとする。
（２）各クラスタの画素の出力（画素値や輝度値等）の平均値や中央値が全クラスタの中心となるクラスタ、またはそのクラスタと隣接する数クラスタをサンプリング点抽出クラスタとする。
（３）ユーザが特定のクラスタを選択して、選択したクラスタをサンプリング点抽出クラスタとする。
【００４２】
上記（２）に示す各クラスタの平均値や中央値は、本例では、各クラスタに属する画素の画素値や輝度値の平均値や中央値となる。
この（２）に示す各クラスタの平均値や中央値の中心となるクラスタ、またはそのクラスタと隣接する数クラスタをサンプリング点抽出クラスタとすることで、例えば画像内の極端に暗い画素領域や明るい領域を含むクラスタはサンプリング点抽出クラスタに設定されず、サンプリング点が抽出されないことになる。
【００４３】
また、上記（３）のユーザによるクラスタ選択の一例として、輝度むらや色むらを低減した画素値を求めたい特定の被写体（オブジェクト）の画素が多く含まれるクラスタを選択するといった例がある。
【００４４】
具体的には、例えばドローンで撮影した農地の作物の生育状況等を解析したいという目的がある場合は、その作物の画像領域に含まれる画素を多く含むクラスタをサンプリング点抽出クラスタとして選択するといったことが可能である。
また、ドローンで撮影した農地の土壌を解析したいという目的がある場合は、地面や農作物が写る画素を多く含むクラスタをサンプリング点抽出クラスタとすればよい。
【００４５】
なお、選択するサンプリング点抽出クラスタは１つのクラスタであってもよいが、２つ以上のクラスタをサンプリング点抽出クラスタとして選択してもよい。
サンプリング点選択部１０１において選択されたサンプリング点抽出クラスタ内の画素がサンプリング点（画素）として設定されて次の補正関数算出部１０２において補正関数を生成するために利用される。
【００４６】
サンプリング点選択部１０１において実行するサンプリング点選択処理の具体例について、図２以下を参照して説明する。
図２以下を参照して説明する処理は、補正対象となる撮影画像１０の構成画素を複数の部分集合（クラスタ）に分割するクラスタリング（クラスタ分割）処理としてＫ−Ｍｅａｎｓ法（Ｋ平均法）を適用した処理例である。
【００４７】
前述したように、Ｋ−Ｍｅａｎｓ法（Ｋ平均法）は、非階層的手法に従ったクラスタリング手法であり、評価関数を用いて最適な評価値を得るように分類してＫ個の部分集合（クラスタ）に分類する手法である。
【００４８】
図２は、補正対象となる撮影画像１０に対して、Ｋ−Ｍｅａｎｓ法で画像を１１クラスタ（Ｋ＝１１）に分割した例を示す図である。
なお、図２は濃淡画像として示しているが、実際は１１個のクラスタに対応して異なる色が設定されている。各色が１１個のクラスタ各々に対応する。
各クラスタには１以上の画素（要素）が含まれ、１つのクラスタに分類された画素は、クラスタ分類に適用した特徴情報（例えば輝度や色）の類似する画素となる。
【００４９】
なお、クラスタ分類に適用する画素の特徴情報としては、例えば画素の「輝度」、「色」、あるいはＲＧＢいずれかの値、例えば「Ｇ」の画素値等、様々な特徴情報が利用できる。
例えば「輝度」をクラスタ分類に適用する特徴情報として利用すれば、各画素の輝度が類似する画素の集合単位で複数のクラスタに分類することができる。
また、例えば「Ｇ」の画素値をクラスタ分類に適用する特徴情報として利用すれば、各画素のＧの出力値が類似する画素の集合単位で複数のクラスタに分類することができる。
【００５０】
このように、クラスタ分類に適用する特徴情報として適用する信号空間は、撮影画像１０の輝度、または色情報や、ＲＧＢ信号の３波長全てを用いてもよいし、ＲＧＢ信号中の任意の波長信号や、その組み合わせを用いてもよい。また、撮影画像１０をＬａｂ空間や、ＹＵＶ空間、ｘｙ色度空間などの所望の空間に変換後に得られる画像の信号やその組み合わせを用いてもよい。
【００５１】
図３は、図２に示すＫ−Ｍｅａｎｓ法によって分割した１１クラスタの各々に属する要素（画素）の信号値の平均値とその度数を示したヒストグラムである。
横軸が、図２に示すＫ−Ｍｅａｎｓ法によって分割した１１クラスタ各々のクラスタ内要素（画素）の輝度（または画素値）平均値であり、縦軸が、各クラスタの度数、すなわち各クラスタに含まれる要素数（画素数）を示している。
【００５２】
サンプリング点選択部１０１は、例えば、このヒストグラムに基づいてサンプリング点抽出クラスタの選択を行うことができる。
例えば、分割したクラスタの度数が最大となるクラスタを基準に、輝度平均値が高くなる方向（図のグラフの右側）に、予め規定した数のクラスタをサンプリング点抽出クラスタとして選択する。さらに選択したクラスタに属する画素をランダムにサンプリングする。
サンプリング点選択部１０１は、例えばこの処理により、サンプリング画素の選択を行う。
【００５３】
図３に示すヒストグラムにおいて、クラスタの度数が最大となるクラスタは左から２番目のクラスタであり、このクラスタを基準に、輝度平均値が高くなる方向（図のグラフの右側）に、予め規定した数のクラスタ、例えば７つのクラスタをサンプリング点抽出クラスタとして選択する。
このようにして選択した７つのサンプリング点抽出クラスタに属する画素をランダムにサンプリングする。
【００５４】
例えば、このようにサンプリング点抽出クラスタを選択することで、ヒストグラムの左端や右端側のクラスタからはサンプリング点（画素）が選択されないことになる。これは、輝度や画素値が画像全体の平均値から大きく離れた画素、すなわち低輝度の画素や高輝度の画素をサンプリングしないという処理である。
このような処理を行うことで、画像中の影や鏡面反射等の影響を受けた画素を除いた画素集合からサンプリング点を選択することができる。
【００５５】
なお、図３を参照して説明したヒストグラムを利用したサンプリング点抽出クラスタの選択処理は一例であり、前述したように、サンプリング点抽出クラスタの選択処理は、この他、例えば、選択したクラスタに属する画素数が、画像全体の画素数の内の、一定の割合を超えるまで選択する等、様々な処理によって行うことができる。
【００５６】
図４は、図３のヒストグラムを利用して選択したサンプリング点抽出クラスタ、すなわち、１１クラスタの度数が最大となるクラスタを基準に、輝度平均値が高くなる方向に選択した７つのサンプリング点抽出クラスタからランダムにサンプリング点を選択した結果を示す図である。
図４に示す画像内の白点がサンプリング点（画素）を示す。
【００５７】
図４に示す画像の右上側には川が撮影されており、この川の水面からは太陽光の反射光がカメラに入射している。すなわち、この川領域、鏡面反射領域となる。このような鏡面反射領域は、輝度が画像全体の平均値から大きく離れた高輝度領域であり、本処理例では、このような領域からは、サンプリング画素が選択されない。
また、同様に、輝度が画像全体の平均値から大きく離れた低輝度領域からもサンプリング画素が選択されない。
【００５８】
本処理例において、サンプリング画素は、輝度や画素値が画像全体の平均値に近い画素から構成され、平均値から大きく離れた低輝度画素や高輝度画素を含まない画素によって構成されることになる。
【００５９】
このような画像の平均的な画素値によって構成されるサンプリング画素の画素値情報と位置情報が、図１に示す補正関数算出部１０２に出力され、補正関数算出部１０２は、このサンプリング画素の画素値と位置情報に基づいて補正関数を生成する。
【００６０】
上述したように、サンプリング点選択部１０１は、サンプリング点の画素値（輝度値等）とその位置情報を次の補正関数算出部１０２に出力する。
補正関数算出部１０２は、サンプリング点選択部１０１で選択したサンプリング点の画素値と位置情報を利用して補正関数を生成する。
【００６１】
補正関数算出部１０２は、画像の平均的な画素値によって構成されるサンプリング画素の画素値に基づく補正関数を生成することができ、極端な輝度や画素値を持つ画素の影響を低減した補正関数を生成することが可能となる。
【００６２】
図２〜図４を参照して説明したサンプリング点選択処理は、サンプリング点選択部１０１が、Ｋ−Ｍｅａｎｓ法（Ｋ平均法）を適用して画像の構成画素をＫ個の部分集合（クラスタ）に分類するクラスタリングを行い、このクラスタリング結果を利用してサンプリング点を選択した例である。
前述したように、サンプリング点選択部１０１は、Ｋ−Ｍｅａｎｓ法（Ｋ平均法）以外にもさまざまなクラスタリング手法を適用できる。
【００６３】
図５は、サンプリング点選択部１０１においてセマンティックセグメンテーションを適用してクラスタリングを行った場合の例である。
【００６４】
前述したように、セマンティックセグメンテーションは、画像内のオブジェクトと、様々な実際のオブジェクトの形状やその他の特徴情報に基づくオブジェクト識別用の辞書データ（学習済みデータ）との一致度に基づいて、画像の構成画素（ピクセル）各々が、どのようなカテゴリ（人、車、道路、植物等）に属するオブジェクトであるかを識別して各カテゴリ単位のクラスタに分類する手法である。
【００６５】
図５に示すように、画像に対するセマンティックセグメンテーションを行うことで、図５に示すようなオブジェクト単位での画素分類（クラスタリング）が実行される。
図５に示す例では、キャベツ、人、土、川、家、木、道路、黒間、土、これらのオブジェクトが識別されている。これらが個別のクラスタとなる。
なお、画像中にはオブジェクト識別ができない不明領域（Ｕｎｋｎｏｗｎ）も発生する場合がある。
【００６６】
例えば、農作物であるキャベツの生育状況を解析目的としている場合、キャベツの色等の情報を正確に取得することが必要となる。このためにはキャベツが撮影されている画像領域の画素値を輝度むらや色むらを低減させた画素値に補正、すなわち雲の陰の影響等を取り除いた画素値に補正することが要求される。
【００６７】
このような解析目的がある場合、キャベツが含まれる画像領域をサンプリング点抽出クラスタとして選択し、このサンプリング点抽出クラスタ内の要素（画素）をサンプリング点（画素）として選択する。
このサンプリング画素の画素値情報が、図１に示す補正関数算出部１０２に出力され、補正関数算出部１０２は、このサンプリング画素の画素値に基づいて補正関数を生成する。
【００６８】
補正関数算出部１０２は、キャベツの画像領域であるサンプリング点抽出クラスタから選択されたサンプリング画素の画素値に基づく補正関数を生成することができ、結果として、キャベツの画像領域に特化した補正関数を生成することが可能となる。
このように、サンプリング点抽出クラスタから選択したサンプリング点を用いることで、補正対象以外の木や川などの信号値の影響を受けずに補正関数を生成して補正処理を行うことができる。
【００６９】
なお、サンプリング点選択部１０１におけるクラスタリング、すなわち、撮影画像１０の構成画素を複数の部分集合（クラスタ）に分割する手法は、前述したように、以下のような既存のクラスタリング手法が適用できる。
（ａ）Ｋ−Ｍｅａｎｓ法（Ｋ平均法）、
（ｂ）Ｋ−ＮＮ法（Ｋ最短距離法：Ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ法）、
（ｃ）Ｗａｒｄ法（ウォード法）、
（ｄ）セマンティックセグメンテーション、
【００７０】
サンプリング点選択部１０１におけるクラスタリングは、これらの既存手法に限ることなく、例えば、ユーザが設定した境界や予め規定した境界を用いて撮影画像１０を複数の領域に分割して、これらの分割領域をクラスタとして設定してもよい。具体例を図６に示す。
【００７１】
図６には、以下のクラスタ分割例を示している。
（１）クラスタ分割例１：画像をタイル状に等分割したクラスタリング処理例
（２）クラスタ分割例２：画像端部のみを複数の領域に分割したクラスタリング処理例
（３）クラスタ分割例３：ユーザ指定の境界を用いて画像領域を分割したクラスタリング処理例
例えば、このように様々なクラスタリングを行ってもよい。
【００７２】
サンプリング点選択部１０１は、クラスタリングを行った後、サンプリング点抽出クラスタを決定し、さらに決定したサンプリング点抽出クラスタからサンプリング点を選択する。
サンプリング点選択処理は、例えば、サンプリング点抽出クラスタからランダムに任意数の画素を選択する処理として実行可能である。
あるいは、サンプリング点選択対象であるサンプリング点抽出クラスタを、さらに複数の領域に分割し、分割した各領域で選択数の偏りが少なくなるように、各領域からランダムにサンプリング点を選択するといった手法を行ってもよい。
【００７３】
上述したように、サンプリング点選択部１０１は、
（１）撮影画像１０の構成画素を複数の部分集合（クラスタ）に分割するクラスタリング処理、
（２）複数のクラスタから、サンプリング点抽出対象となるサンプリング点抽出クラスタを決定する処理、
（３）決定したサンプリング点抽出クラスタから、サンプリング点（画素）を選択する処理、
これらの処理を実行する。
サンプリング点選択部１０１の選択したサンプリング点（画素）の画素値（輝度値等）情報は、その位置情報ととともに補正関数算出部１０２に入力される。
【００７４】
補正関数算出部１０２は、サンプリング点選択部１０１の選択したサンプリング点（画素）の画素値と位置情報を用いて、撮影画像１０の構成画素全てに適用する補正関数を算出する。
【００７５】
補正関数算出部１０２は、例えば、カーネル回帰補間（Ｋｅｒｎｅｌ  Ｒｅｇｒｅｓｓｉｏｎ）、スプライン曲面補間、多項式近似曲面、線形補間などの既存の手法のいずれかを用いて、画像座標の２次元関数として補正曲面フィッティング等を行い、画像の構成画素の画素値を補正するための補正関数を算出する。
【００７６】
以下では、補正関数算出部１０２の実行する補正関数算出処理の一例として、カーネル回帰補間（Ｋｅｒｎｅｌ  Ｒｅｇｒｅｓｓｉｏｎ）を用いて補正関数を算出する例について説明する。
【００７７】
カーネル回帰補間とは、データ観測空間である観測空間ｄのデータを、観測空間ｄとは異なるある特徴に対応した空間である特徴空間（射影空間）Ｄへ射影し、特徴空間（射影空間）Ｄ上でデータ対応の近似面を算出し、算出した射影空間上の近似面に基づいて、元の観測空間ｄ上の近似面（ｙ（ｘ））を得るものである。この観測空間ｄ上の近似面（ｙ（ｘ））により、元の観測空間ｄ上の全てのｘに対応する精度の高い近似解を得ることができる。
【００７８】
なお、観測空間ｄは、本例では、サンプリング点選択部１０１の選択したサンプリング点（画素）の位置と画素値（輝度値）によって構成される。
上述したカーネル回帰補間によって算出可能な近似面（ｙ（ｘ））は、サンプリング点以外の点も含むすべての点に対応する画素値（輝度値）の近似解（推定値）を定義した面となる。
【００７９】
サンプリング点選択部１０１の選択したサンプリング点（画素）の総数をＮ個とする。Ｎ個のサンプリング点の画素の集合をｄとする。
ｘをＮ個のサンプリング点の画素位置、ｔを信号値とすると、集合ｄは、以下の（数式１）として示すことができる。
【００８０】
【数１】
2020066456.tif 000003
【００８１】
なお、画素位置ｘは、画素位置を示す２次元座標データ（ｘ，ｙ）を示すベクトルである。
信号値ｔはクラスタリングを行った際の特徴情報に対応し、例えば輝度値である。
（ｘ，ｔ）は、画素位置ｘと、その画素位置ｘの輝度値ｔの組み合わせである。
【００８２】
なお、例えばクラスタリングを行った際の特徴情報がＲＧＢのＧの信号値であれば信号値ｔはＧの信号値であり、（ｘ，ｔ）は、画素位置ｘと、その画素位置ｘのＧ信号値ｔの組み合わせである。
【００８３】
補正関数算出部１０２は、クラスタリングに適用した特徴情報に対応する近似面ｙ（ｘ）や補正関数を生成することができる。
【００８４】
サンプリング点選択部１０１の選択したＮ個のサンプリング点の画素の集合ｄを上記（数式１）のように定義すると、入力ｘに対する近似面ｙ（ｘ）（近似面算出関数）は、次の（数式２）として示すことができる。
【００８５】
【数２】
2020066456.tif 000004
【００８６】
なお、上記（数式２）に示す近似面算出関数ｙ（ｘ）において、
λは正則化パラメータである。
また、Ｋはグラム行列であり、以下の（数式３）に示す行列である。
【００８７】
【数３】
2020066456.tif 000005
【００８８】
また、上記（数式２）のｋ（ｘ）は、以下の（数式４）で記述される。
【００８９】
【数４】
2020066456.tif 000006
【００９０】
上記（数式４）のｋ（ｘ，ｘ'）は、カーネル関数であり、ガウシアンカーネルや多項式カーネル、全部分集合カーネル、ＡＮＯＶＡカーネルなどのカーネル関数を用いることができる。本例では、ガウシアンカーネルを用いた例について説明する。
ガウシアンカーネルを用いた場合、上記（数式４）のカーネル関数：ｋ（ｘ，ｘ'）は、標準偏差σを用いて、以下の（数式５）として記述することができる。
【００９１】
【数５】
2020066456.tif 000007
【００９２】
補正関数算出部１０２は、さらに、算出した近似面ｙ（ｘ）を用いて、以下に示す（数式６）を適用して、補正後の各画素の画素値を算出する補正関数を生成する。
【００９３】
【数６】
2020066456.tif 000008
【００９４】
なお、上記（数式６）に示す補正関数において、
Ｙ'（ｘ）は、撮影画像１０の補正後の画素位置（ｘ）対応の信号値（画素値や輝度値）、
Ｙ（ｘ）は、撮影画像１０の補正前の画素位置（ｘ）対応の信号値（画素値や輝度値）、
ｙ（ｘ）は、前述した（数式２）で示される近似面ｙ（ｘ）、
Ｙｒｅｆ（ｘ）は、予め規定した補正基準である。
【００９５】
補正基準Ｙｒｅｆ（ｘ）は、例えばサンプリング点抽出クラスタの画素値の平均値や中央値、ユーザが選択した値を用いることが可能である。ユーザによる選択値は、画素位置に応じて値を変更した値としていもよい。
【００９６】
上記（数式６）は、
前述した（数式２）で示される近似面ｙ（ｘ）と、
サンプリング点抽出クラスタの画素値の平均値や中央値、ユーザが選択した値によって構成される補正基準Ｙｒｅｆ（ｘ）、
これら２つの値の比（Ｙｒｅｆ（ｘ）／ｙ（ｘ））が大きいほど補正量が大きく設定される補正関数である。
【００９７】
Ｙｒｅｆ（ｘ）とｙ（ｘ）が等しく、（Ｙｒｅｆ（ｘ）／ｙ（ｘ））＝１の場合は、上記（数式６）に従って算出される補正画素値Ｙ'（ｘ）は、補正前の画素値Ｙ（ｘ）に等しくなり、
Ｙ'（ｘ）＝Ｙ（ｘ）となる。
【００９８】
一方、補正基準Ｙｒｅｆ（ｘ）の値と、近似面ｙ（ｘ）の値の差が大きく、これら２つの値の比（Ｙｒｅｆ（ｘ）／ｙ（ｘ））が大きい場合、補正前の画素値Ｙ（ｘ）に対する補正量が大きく設定されることになる。
補正態様の具体例については後述する。
【００９９】
補正関数算出部１０２が実行する処理をまとめると以下のようになる。
（１）入力ｘに対する出力値（画素値や輝度値等）を定義した近似面ｙ（ｘ）を算出する。
（２）近似面ｙ（ｘ）と、補正基準Ｙｒｅｆ（ｘ）との比率に応じて補正量を変動させる補正関数（数式６）を算出する。
【０１００】
なお、本例では、上記（１）における「入力ｘに対する出力値（画素値や輝度値等）」とは画素位置に対応する画素値や輝度値であり、近似面ｙ（ｘ）は、画素位置に対応する画素値や輝度値を定義した近似面ｙ（ｘ）である。
【０１０１】
このように、補正関数算出部１０２は、クラスタリングを行った際の特徴情報に対応する信号値ｔに対応する補正関数を算出する。
例えば、クラスタリングを行った際の特徴情報が輝度値であり、補正関数生成時の信号値ｔが輝度値に対応する場合、輝度値に対応する補正関数が算出される。
この輝度値対応の補正関数は、補正対象となる撮影画像１０の輝度値の補正に適用する。また、この輝度値対応の補正関数を撮影画像１０の構成画素各々のＲＧＢの画素値の補正に適用する処理を行ってもよい。この場合、ＲＧＢの全信号値が補正される。
【０１０２】
また、例えば、クラスタリングを行った際の特徴情報がＲＧＢのＧ信号値であり、補正関数生成時の信号値ｔがＧの画素値に対応する場合、Ｇ画素値に基づいて生成した補正関数を補正対象となる撮影画像１０の構成画素各々のＧ画素値のみに適用するといった処理を行うことも可能である。
この場合、ＲＧＢの画素値中、Ｇ画素値のみが補正される。
【０１０３】
このように、補正関数算出部１０２は、撮影画像１０の構成画素各々のＲＧＢ全画素値に適用する１つの補正関数を算出する構成としてもよいし、ＲＧＢ３波長の画素値対応の３種類の補正関数を個別に算出する構成としてもよい。
【０１０４】
次の画像補正部（補正関数適用部）１０３は、補正関数算出部１０２が算出した補正関数（数式６）に従って、撮影画像１０の全構成画素の補正画素値を算出し、算出した画素値を設定した補正画像２０を生成する。
【０１０５】
なお、補正対象は、基本的には撮影画像１０の全構成画素である。画像補正部（補正関数適用部）１０３は、補正関数算出部１０２が算出した補正関数を適用して撮影画像１０の全構成画素の補正画素値を算出し、算出した画素値を設定した補正画像２０を生成する。
なお、ユーザ設定により、特定の画像領域や特定のクラスタを補正対象とすることも可能である。
【０１０６】
以上、図１に示す画像処理装置１００の各構成部の実行する一連の処理について説明した。
この本実施例に従った処理と、従来型の処理による画像補正例の具体的な差異について図７を参照して説明する。
【０１０７】
図７には、以下の２つの図を示している。
（１）従来型の処理例（空間的に均等なサンプリング点選択を実行した場合の画像補正処理例）
（２）本開示の処理例（クラスタリング結果に基づくサンプリング点選択を実行した場合の画像補正処理例）
【０１０８】
（１）従来型の処理例は、補正対象となる画像の２次元平面から空間的に均等なサンプリング点の選択を行った場合の処理例である。すなわち、画像上に等間隔でサンプリング点を設定し、このサンプリング点の画素値に基づいて近似面ｙ（ｘ）を算出して、近似面ｙ（ｘ）と補正基準Ｙｒｅｆ（ｘ）との比率に応じて補正量を変動させる補正関数（数式６）を適用して補正を行った場合の処理例である。補正基準Ｙｒｅｆ（ｘ）は画像の平均輝度を使用している。
【０１０９】
一方、（２）本開示の処理例は、クラスタリング結果に基づくサンプリング点選択を実行した場合の処理例である。すなわち、以下の処理（Ｓ１）〜（Ｓ３）によって算出した補正関数を適用した場合の補正例である。
（Ｓ１）図２〜図４を参照して説明したクラスタリングとサンプリング点抽出クラスタの決定処理と、サンプリング点抽出クラスタからのサンプリング点の選択処理
（Ｓ２）サンプリング点の画素値と位置情報に基づく近似面ｙ（ｘ）の算出、
（Ｓ３）算出した近似面ｙ（ｘ）と補正基準Ｙｒｅｆ（ｘ）との比率に応じて補正量を変動させる補正関数（数式６）の算出、
これらのステップＳ１〜Ｓ３によって生成した補正関数（数式６）を適用して補正を行った場合の処理例である。補正基準Ｙｒｅｆ（ｘ）は画像の平均輝度を使用している。
【０１１０】
なお、図７（２）に示す例は、補正対象画像となる画像の平均輝度や中間輝度に近い画素を多く含むクラスタをサンプリング点抽出クラスタとして設定した場合の処理例である。補正対象画像となる画像の平均輝度や中間輝度から大きく離れた高輝度画素や低輝度画素を多く含むクラスタはサンプリング点抽出クラスタとして設定されていない。
【０１１１】
図７（１）、（２）には、（Ａ），（Ｂ），（Ｃ）の各図を示している。
（Ａ）は、画素位置−輝度対応曲線（＝補正前画素輝度値）と、サンプリング点の選択態様を示す図である。
（Ｂ）は、サンプリング点に基づいて生成される近似面ｙ（ｘ）（＝画素位置−輝度近似曲線）を示す図である。
（Ｃ）は、画素位置−輝度対応曲線（＝補正前画素輝度値）と、近似面ｙ（ｘ）と、補正関数に基づいて補正された画素値である画素位置−輝度対応曲線（＝補正後画素輝度値）を示す図である。（Ｃ）中には、さらに、先に説明した（数式６）中のＹｒｅｆ（ｘ）、すなわち予め規定した補正基準として使用する画像の平均輝度値Ｙｒｅｆ（ｘ）を示している。
（Ａ）〜（Ｃ）いずれも横軸が画素位置、縦軸が輝度値（画素値）である。
【０１１２】
図７（１）従来型の処理例、すなわち、空間的に均等なサンプリング点選択を実行した場合の画像補正処理例では、（Ａ）に示すように、サンプリング点は、画素位置を示す横軸に沿って等間隔に選択されている。輝度値が急激に高くなっている画素位置（ｘ１）の画素もサンプリングされている。
なお、この高輝度領域は、例えば、先に図４を参照して説明した画像の川領域等に相当する。
【０１１３】
図７（１）（Ｂ）に示すように、近似面ｙ（ｘ）は、等間隔に選択されたサンプリング点をなめらかに接続するように生成される。近似面ｙ（ｘ）は、輝度が急激に高くなっている画素位置（ｘ１）の近傍において、この画素位置（ｘ１）の輝度レベルに近づくように湾曲している。
【０１１４】
図７（１）（Ｃ）には、補正関数（数式６）に基づいて補正された画素値である画素位置−輝度対応曲線（＝補正後画素輝度値）を示している。
この画素位置−輝度対応曲線（＝補正後画素輝度値）は、先に説明した（数式６）に従って算出される補正画素値Ｙ'（ｘ）に相当する曲線である。
図７（１）（Ｃ）に示すように、輝度が急激に高くなっている画素位置（ｘ１）の近傍において、画素位置−輝度対応曲線（＝補正後画素輝度値）は上下に大きく変動する設定となっている。
【０１１５】
これは、先に説明した（数式６）、すなわち、
Ｙ'（ｘ）＝（Ｙｒｅｆ（ｘ）／ｙ（ｘ））Ｙ（ｘ）・・・（数式６）
上記（数式６）において、Ｙｒｅｆ（ｘ）とｙ（ｘ）の差分が大きいほど、（Ｙｒｅｆ（ｘ）／ｙ（ｘ））が大となり、補正前の画素値Ｙ（ｘ）の補正量が大きくなる設定であるからである。
【０１１６】
図７（１）（Ｃ）に示すように、輝度が急激に高くなっている画素位置（ｘ１）の近傍では、
補正関数に対応する画素位置−輝度近似曲線（ｙ（ｘ））と、
予め規定した補正基準として使用する画像の平均輝度値Ｙｒｅｆ（ｘ）と、
の差分が大きくなり、先に説明した（数式６）中の（Ｙｒｅｆ（ｘ）／ｙ（ｘ））が大となり、補正前の画素値Ｙ（ｘ）の補正量が大きくなってしまう。
【０１１７】
この結果、図７（１）（Ｃ）に示すように、補正前の輝度値が周囲と比較して大きく高くなっている画素位置（ｘ１）の近傍では補正量が大きく設定され、急激な画素値変化、すなわちアーチファクトが発生する。
また、画素位置（ｘ１）の補正後の画素値Ｙ'（ｘ）は、元の補正前の画素値Ｙ（ｘ）に比較して、大きく補正されてしまうため、結果として周囲の画素の輝度との輝度差が減少してしまい、画像全体のダイナミックレンジが減少してしまう。
【０１１８】
これに対して、図７（２）に示す本開示の処理例は、クラスタリング結果に基づくサンプリング点選択を実行した場合の処理例である。画像の平均輝度や中間輝度に近い画素を多く含むクラスタをサンプリング点抽出クラスタとして設定した場合の処理例である。補正対象画像となる画像の平均輝度や中間輝度から大きく離れた高輝度画素や低輝度画素を多く含むクラスタはサンプリング点抽出クラスタとして設定されていない。
【０１１９】
図７（２）本開示の処理例では、（Ａ）に示すように、サンプリング点は、画像の平均輝度や中間輝度に近い画素を多く含むクラスタから抽出されているため、輝度値が周囲から急激に高くなっている画素位置（ｘ１）の画素はサンプリングされていない。
【０１２０】
図７（２）（Ｂ）に示すように、近似面ｙ（ｘ）は、画像の平均輝度や中間輝度に近い画素を多く含むクラスタから抽出されたサンプリング点をなめらかに接続するように生成される。近似面ｙ（ｘ）は、輝度が急激に高くなっている画素位置（ｘ１）の近傍において湾曲していない。すなわち、図７（１）（Ｂ）に示すように画素位置（ｘ１）の輝度レベルに近づくような湾曲が形成されない。
【０１２１】
図７（２）（Ｃ）には、クラスタリング結果に基づいて選択したサンプリング点に基づいて生成された補正関数（数式６）に従って補正された画素値である画素位置−輝度対応曲線（＝補正後画素輝度値）を示している。
この画素位置−輝度対応曲線（＝補正後画素輝度値）は、先に説明した（数式６）に従って算出される補正画素値Ｙ'（ｘ）に相当する曲線である。
図７（２）（Ｃ）に示すように、輝度が急激に高くなっている画素位置（ｘ１）の近傍において、画素位置−輝度対応曲線（＝補正後画素輝度値）は、ほぼ補正前の画素値（輝度値）を維持した設定となっている。
【０１２２】
これは、先に説明した（数式６）、すなわち、
Ｙ'（ｘ）＝（Ｙｒｅｆ（ｘ）／ｙ（ｘ））Ｙ（ｘ）・・・（数式６）
上記（数式６）において、Ｙｒｅｆ（ｘ）とｙ（ｘ）の差分が小さいほど、（Ｙｒｅｆ（ｘ）／ｙ（ｘ））が小となり、補正前の画素値Ｙ（ｘ）の補正量が小さくなる設定であるからである。
【０１２３】
図７（２）（Ｃ）に示すように、輝度が急激に高くなっている画素位置（ｘ１）の近傍において、
近似面ｙ（ｘ）と、
予め規定した補正基準として使用する画像の平均輝度値Ｙｒｅｆ（ｘ）と、
の差分は小さい設定である。
すなわち、先に説明した（数式６）中の（Ｙｒｅｆ（ｘ）／ｙ（ｘ））が小となり、補正前の画素値Ｙ（ｘ）の補正量が小さくなる。
【０１２４】
これは、近似面ｙ（ｘ）の生成時に、輝度が急激に高くなっている画素位置（ｘ１）の画素をサンプリング点として選択せず、この高輝度画素の画素値を近似面ｙ（ｘ）に反映させない設定としたためである。
【０１２５】
この結果、図７（２）（Ｃ）に示すように、補正前の輝度値が周囲と比較して大きく高くなっている画素位置（ｘ１）では補正量が小さく設定され、補正前後の画素値に大きな変化が発生しない補正が行われることになる。
【０１２６】
この結果、従来型の処理として説明した図７（１）（Ｃ）に示すような急激な画素値変化、すなわちアーチファクトの発生が防止される。
また、画素位置（ｘ１）の補正後の画素値Ｙ'（ｘ）は、元の補正前の画素値Ｙ（ｘ）から大きく変化しないため、結果として周囲の画素の輝度との輝度差が減少することなく、画像全体のダイナミックレンジの減少も抑制される。
【０１２７】
このように、図１に示す本開示の画像処理装置１００を適用した画像補正を行うことで、輝度変化の大きい部分におけるアーチファクトの発生が防止可能であり、また画像全体のダイナミックレンジの減少も防止でき、画質低下の少ない画素値補正を実現することができる。
【０１２８】
図８には、もう１つの本開示の処理例を示している。
（３）本開示の処理例（クラスタリング結果に基づくサンプリング点選択を実行した場合の画像補正処理例）
この処理例は、例えば画像内の一部が雲の陰になっており暗くなっている場合の画像補正例である。
【０１２９】
ただしこの例は、例えば、雲の陰になった暗い領域も解析対象領域、例えば成長状態の解析対象である農作物のキャベツの画像領域であり、正しい画素値に復元することが要求される解析対象領域である場合の例である。
このような場合、雲の陰になった暗い領域についても他の明るい領域と同様、サンプリング点として選択する処理を行う。
すなわち被写体オブジェクトとして解析対象であるキャベツの領域を多く含むクラスタをサンプリング点抽出クラスタとして設定する。
【０１３０】
このように、図８（３）に示す本開示の処理例は、解析対象領域、例えば農作物であるキャベツの画像領域を含む領域をサンプリング点抽出クラスタとして設定した場合の処理例である。
【０１３１】
図８（３）本開示の処理例では、（Ａ）に示すように、雲の陰の影響で輝度が落ち込んでいる領域についても、その領域がキャベツの画像領域を含む領域であれば、他の明るい領域と同様、サンプリング点が抽出される。
【０１３２】
図８（Ｂ）に示すように、近似面ｙ（ｘ）は、サンプリング点をなめらかに接続するように生成される。近似面ｙ（ｘ）は、輝度が落ちている領域では、その位置の輝度レベルに近づくように湾曲している。
【０１３３】
図８（Ｃ）には、クラスタリング結果に基づいて選択したサンプリング点に基づいて生成された補正関数（数式６）に従って補正された画素値である画素位置−輝度対応曲線（＝補正後画素輝度値）を示している。
この画素位置−輝度対応曲線（＝補正後画素輝度値）は、先に説明した（数式６）に従って算出される補正画素値Ｙ'（ｘ）に相当する曲線である。
図８（Ｃ）に示すように、輝度が落ちている画素位置近傍において、画素位置−輝度対応曲線（＝補正後画素輝度値）は、補正前の画素値（輝度値）から大きく明るい方向に補正された設定となっている。
【０１３４】
これは、先に説明した（数式６）、すなわち、
Ｙ'（ｘ）＝（Ｙｒｅｆ（ｘ）／ｙ（ｘ））Ｙ（ｘ）・・・（数式６）
上記（数式６）において、Ｙｒｅｆ（ｘ）とｙ（ｘ）の差分が大きいほど、（Ｙｒｅｆ（ｘ）／ｙ（ｘ））が大となり、補正前の画素値Ｙ（ｘ）の補正量が大きくなる設定であるからである。
【０１３５】
図８（Ｃ）に示すように、輝度が落ちている画素位置の近傍において、
近似面ｙ（ｘ）と、
予め規定した補正基準として使用する画像の平均輝度値Ｙｒｅｆ（ｘ）と、
の差分は大きい。
すなわち、先に説明した（数式６）中の（Ｙｒｅｆ（ｘ）／ｙ（ｘ））が大となり、補正前の画素値Ｙ（ｘ）の補正量が大きくなる。
【０１３６】
これは、近似面ｙ（ｘ）の生成時に、輝度が落ちているる画素位置の画素もサンプリング点として選択し、この低輝度画素の画素値を近似面ｙ（ｘ）に反映させた設定としたためである。
【０１３７】
この結果、図８（Ｃ）に示すように、補正前の輝度値が周囲と比較して落ちている画素位置では補正量が大きく設定され、補正により輝度値を高くする補正が行われることになる。
【０１３８】
この結果、雲の陰によって輝度値が低下した領域が明るく補正され、雲の影響を排除したと同様の補正画像が生成される。
【０１３９】
このように、図１に示す本開示の画像処理装置１００を適用した画像補正では、補正対象オブジェクトを含む画像領域に影などの影響で輝度が変動している場合でも、その画像領域の画素を含むクラスタをサンプリング点抽出クラスタとして設定することで、その画像領域の影による影響を低減させた画素値補正を行うことが可能となる。
【０１４０】
［２．画像処理装置の実行する画像処理シーケンスについて］
次に、図１に示す画像処理装置１００が実行する画像処理のシーケンスについて、図９に示すフローチャートを参照して説明する。
【０１４１】
なお、図９に示すフローチャートに従った処理は、例えば画像処理装置１００の記憶部に格納されたプログラムに従って実行可能である。例えばプログラム実行機能を有するＣＰＵ等を有するデータ処理部（制御部）の制御の下で実行可能である。
以下、図９に示すフローチャートの各ステップの処理について、順次、説明する。
【０１４２】
（ステップＳ１０１）
まず、画像処理装置１００は、ステップＳ１０１において、補正対象となる撮影画像を入力する。
この撮影画像は、図１に示す撮影画像１０であり、例えばドローンによって撮影された１枚の画像である。撮影画像は、例えば一部領域が雲等の陰になり、他領域に比較して暗めの画素値に設定され、輝度むらや色むらかある画像である。
【０１４３】
（ステップＳ１０２）
次に、画像処理装置１００は、ステップＳ１０２において、補正対象となる撮影画像１０の構成画素を複数の部分集合（クラスタ）に分割するクラスタリング（クラスタ分割）を実行する。
この処理は、図１に示すサンプリング点選択部１０１が実行する。
【０１４４】
先に説明したように、以下のような既存のクラスタリング手法が適用できる。
（ａ）Ｋ−Ｍｅａｎｓ法（Ｋ平均法）、
（ｂ）Ｋ−ＮＮ法（Ｋ最短距離法：Ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ法）、
（ｃ）Ｗａｒｄ法（ウォード法）、
（ｄ）セマンティックセグメンテーション、
また、これらの既存手法に限ることなく、先に図６を参照して説明したように、例えば、ユーザが設定した境界や予め規定した境界を用いて撮影画像１０を複数の領域に分割して、これらの分割領域をクラスタとして設定してもよい。
【０１４５】
なお、クラスタ分類に適用する画素の特徴情報としては、例えば画素の「輝度」、「色」、あるいはＲＧＢいずれかの値、例えば「Ｇ」の画素値等、様々な特徴情報が利用できる。
例えば「輝度」をクラスタ分類に適用する特徴情報として利用すれば、各画素の輝度が類似する画素の集合単位で複数のクラスタに分類することができる。
また、例えば「Ｇ」の画素値をクラスタ分類に適用する特徴情報として利用すれば、各画素のＧの出力値が類似する画素の集合単位で複数のクラスタに分類することができる。
【０１４６】
（ステップＳ１０３）
次に、画像処理装置１００は、ステップＳ１０３において、補正対象となる撮影画像１０からサンプリング点を選択する。
この処理も、図１に示すサンプリング点選択部１０１が実行する。
【０１４７】
サンプリング点選択部１０１は、ステップＳ１０２において補正対象となる撮影画像１０の構成画素についてクラスタリングを行った後、サンプリング点抽出クラスタを決定し、さらに決定したサンプリング点抽出クラスタからサンプリング点を選択する。
【０１４８】
先に説明したように、サンプリング点抽出クラスタの決定手法としては、例えば、以下のいずれかの手法が適用可能である。
（１）最もサンプル（画素）が多いクラスタから順に１つ以上のクラスタをサンプリング点抽出クラスタとする。
クラスタをサンプリング点抽出クラスタとする。
（２）各クラスタの平均値や中央値が全クラスタの中心となるクラスタ、またはそのクラスタと隣接する数クラスタをサンプリング点抽出クラスタとする。
（３）ユーザが特定のクラスタを選択して、選択したクラスタをサンプリング点抽出クラスタとする。
【０１４９】
例えば上記（２）の処理を行う場合、各クラスタに属する画素の画素値や輝度値の平均値や中央値を利用すれば、画像内の極端に暗い画素領域や明るい領域を含むクラスタはサンプリング点抽出クラスタに設定されず、サンプリング点が抽出されないことになる。
【０１５０】
また、上記（３）のユーザによるクラスタ選択を行う場合は、正確な画素値を求めたい特定の被写体（オブジェクト）、例えば、農地の作物の画素を多く含むクラスタをサンプリング点抽出クラスタとして選択するといった処理を行う。
【０１５１】
（ステップＳ１０４）
次に、画像処理装置１００は、ステップＳ１０４において、サンプリング点の画素値を利用して補正関数を生成する。
この処理は、図１に示す補正関数算出部１０２が実行する。
【０１５２】
補正関数算出部１０２は、サンプリング点選択部１０１の選択したサンプリング点（画素）の画素値を用いて、撮影画像１０の構成画素全てに適用する補正関数を算出する。
前述したように、補正関数算出部１０２は、まず、例えば、カーネル回帰補間（Ｋｅｒｎｅｌ  Ｒｅｇｒｅｓｓｉｏｎ）、スプライン曲面補間、多項式近似曲面、線形補間などの既存の手法のいずれかを用いて、画像座標の２次元関数として補正曲面フィッティング等を行い、近似面ｙ（ｘ）を算出する。
近似面ｙ（ｘ）は、例えば先に説明した（数式２）に示す近似面ｙ（ｘ）である。
【０１５３】
さらに、補正関数算出部１０２は、近似面ｙ（ｘ）と、補正基準Ｙｒｅｆ（ｘ）との比率に応じて補正量を変動させる補正関数（数式６）を算出する。
補正基準Ｙｒｅｆ（ｘ）は、例えばサンプリング点抽出クラスタの画素値の平均値や中央値、ユーザが選択した値を用いることが可能である。ユーザによる選択値は、画素位置に応じて値を変更した値としていもよい。
【０１５４】
補正関数算出部１０２は、サンプリング点選択部１０１の選択したサンプリング点（画素）の画素値のみを用いて補正関数を算出することで、例えば画像の平均的な画素値によって構成されるサンプリング画素の画素値に基づく補正関数を生成することができる。すなわち、極端な輝度や画素値を持つ画素の影響を排除した補正関数を生成することが可能となる。
【０１５５】
また、例えば解析対象となるオブジェクトが特定されている場合は、そのオブジェクトの画像領域を多く含むクラスタから選択したサンプリング点の画素値に基づいて補正関数を生成することで、そのオブジェクトの画素値補正を、より正確に行うための補正関数を生成することも可能である。
例えば、解析対象オブジェクトがドローンで撮影された畑のキャベツである場合、キャベツの画像領域であるサンプリング点抽出クラスタから選択されたサンプリング画素の画素値に基づく補正関数を生成すれば、キャベツの画像領域に特化した補正関数を生成することが可能となる。
【０１５６】
（ステップＳ１０５）
次に、画像処理装置１００は、ステップＳ１０５において、補正対象である撮影画像１０の各画素の画素値に補正関数（数式６）を適用して補正画素値を算出する。
この処理は、図１に示す画像補正部（補正関数適用部）１０３の実行する処理である。
【０１５７】
画像補正部（補正関数適用部）１０３は、ステップＳ１０４において補正関数算出部１０２が算出した補正関数、すなわち以下に示す（数式６）を適用して、補正後の各画素の画素値を算出する。
Ｙ'（ｘ）＝（Ｙｒｅｆ（ｘ）／ｙ（ｘ））Ｙ（ｘ）・・・（数式６）
上記式に従った画素値算出処理を実行する。
【０１５８】
なお、上記（数式６）において、
Ｙ'（ｘ）は、撮影画像１０の補正後の画素位置（ｘ）対応の信号値（画素値や輝度値等）、
Ｙ（ｘ）は、撮影画像１０の補正前の画素位置（ｘ）対応の信号値（画素値や輝度値等）、
ｙ（ｘ）は、例えば前述した（数式２）で示される近似面ｙ（ｘ）、
Ｙｒｅｆ（ｘ）は、予め規定した補正基準である。
補正基準：Ｙｒｅｆ（ｘ）は、例えばサンプリング点抽出クラスタの画素値の平均値や中央値、ユーザが選択した値を用いることが可能である。ユーザによる選択値は、画素位置に応じて値を変更した値としていもよい。
【０１５９】
画像補正部（補正関数適用部）１０３は、補正関数算出部１０２が算出した補正関数（数式６）に従って、撮影画像１０の全構成画素の補正画素値を算出し、算出した画素値を設定した補正画像２０を生成する。
【０１６０】
（ステップＳ１０６）
最後に、画像処理装置１００は、ステップＳ１０５における画素値補正処理によって補正した画素値によって構成される補正画像を生成して出力する。例えば表示部に対する出力処理や記憶部に対する格納処理を実行する。
【０１６１】
この結果、先に図７や図８を参照して説明したように、輝度変化の大きい部分におけるアーチファクトの発生や、画像のダイナミックレンジの減少が防止され、画質低下の少ない補正画像を生成することができる。
【０１６２】
［３．本開示の画像処理装置の第２実施例の構成と処理について］
次に、図１０以下を参照して本開示の画像処理装置の第２実施例の構成と処理について説明する。
図１０は、本開示の第２実施例の画像処理装置１２０の構成例を示すブロック図である。図１０に示すように、画像処理装置１２０は、縮小画像生成部１２１、サンプリング点選択部１０１と、補正関数算出部１０２と、画像補正部（補正関数適用部）１０３を有する。
図１０に示す画像処理装置１２０は、先に図１を参照して説明した第１実施例の画像処理装置１００のサンプリング点選択部１０１の前段に縮小画像生成部１２１を設けた構成である。
その他の構成であるサンプリング点選択部１０１と、補正関数算出部１０２と、画像補正部（補正関数適用部）１０３は、第１実施例とほぼ同様の処理を実行する。
以下、先に説明した実施例１と異なる点を中心として説明する。
【０１６３】
画像処理装置１２０は、補正対象となる１枚の撮影画像１０を入力して、補正を実行して補正画像２０を出力する。
なお、本実施例においても、補正対象となる撮影画像１０は、カメラの１回の撮影処理によって撮影された１枚の撮影画像である。すなわち複数の画像をつなぎ合わせるスティッチング処理を行って生成した合成画像ではない。
【０１６４】
縮小画像算出部１２１は補正対象となる撮影画像１０を入力し、撮影画像１０を縮小した縮小画像を生成する。
画像の縮小方法は、例えば、最近傍法や面積平均法、バイリニア法、バイキュービック法、Ｌａｎｃｚｏｓ法など、既存の画像縮小手法が適用可能である。さらに、縮小範囲のメディアン値（中央値）や平均値を縮小画像の信号値とすることで縮小画像を算出してもよい。
【０１６５】
サンプリング点選択部１０１と、補正関数算出部１０２は、縮小画像算出部１２１が生成した縮小画像を利用して、サンプリング点の選択処理と、補正関数の算出処理を実行する。
補正関数算出部１０２は、縮小画像サイズの近似面ｙ（ｘ）と補正関数を算出する。
【０１６６】
画像補正部（補正関数適用部）１０３は、補正関数算出部１０２が算出した補正関数を用いて、補正画像を生成する。
【０１６７】
画像補正部（補正関数適用部）１０３には、縮小されない撮影画像１０が入力され、この撮影画像１０の構成画素の画素値を補正する。
画像補正部（補正関数適用部）１０３は、まず、補正関数算出部１０２が算出した縮小画像サイズの近似面ｙ（ｘ）と補正関数を、縮小前の撮影画像１０のサイズに拡大し、拡大した補正関数を生成し、拡大した補正関数を撮影画像１０に適用する。
【０１６８】
あるいは、画像補正部（補正関数適用部）１０３に縮小画像生成部１２１の生成した縮小画像を入力して、補正関数算出部１０２が算出した縮小画像サイズの近似面ｙ（ｘ）と補正関数を、縮小画像に適用して縮小補正画像の補正画像を生成し、その後、縮小補正画像を拡大する処理を行ってもよい。画像拡大方法としては、最近傍法やバイリニア法、バイキュービック法、Ｌａｎｃｚｏｓ法など、既存の拡大手法が利用可能である。
【０１６９】
この第２実施例の処理では、縮小画像生成部１２１が撮影画像１０の縮小画像を生成し、その後、サンプリング点選択部１０１、補正関数算出部１０２、画像補正部（補正関数適用部）１０３の処理を縮小画像に対する処理として実行することが可能となり、計算量を低減することが可能となり、処理速度の向上、処理に適用するハードウェアやプログラムの簡略化が可能となる。
【０１７０】
次に、図１０に示す画像処理装置１２０が実行する画像処理のシーケンスについて、図１１に示すフローチャートを参照して説明する。
【０１７１】
なお、図１１に示すフローチャートに従った処理は、例えば画像処理装置１２０の記憶部に格納されたプログラムに従って実行可能である。例えばプログラム実行機能を有するＣＰＵ等を有するデータ処理部（制御部）の制御の下で実行可能である。
以下、図１１に示すフローチャートの各ステップの処理について、順次、説明する。
【０１７２】
（ステップＳ２０１）
まず、画像処理装置１２０は、ステップＳ２０１において、補正対象となる撮影画像を入力する。
【０１７３】
この撮影画像は、図１０に示す撮影画像１０であり、例えばドローンによって撮影された１枚の画像である。撮影画像は、例えば一部領域が雲等の陰になり、他領域に比較して暗めの画素値に設定され、輝度むらや色むらかある画像である。
【０１７４】
（ステップＳ２０２）
次に、画像処理装置１２０は、ステップＳ２０２において、補正対象となる撮影画像１０の縮小画像を生成する。
この処理は、図１０に示す縮小画像生成部１２１が実行する処理である。
【０１７５】
縮小画像算出部１２１は補正対象となる撮影画像１０に対して、例えば、最近傍法や面積平均法、バイリニア法、バイキュービック法、Ｌａｎｃｚｏｓ法など、既存の画像縮小手法を適用して縮小画像を生成する。なお縮小範囲のメディアン値（中央値）や平均値を縮小画像の信号値とした縮小画像を生成してもよい。
【０１７６】
（ステップＳ２０３〜Ｓ２０５）
ステップＳ２０３〜Ｓ２０５の処理は、先に図９を参照して説明した実施例１におけるフローのステップＳ１０２〜Ｓ１０４の処理と同様の処理である。
ただし、本実施例では、ステップＳ２０２で生成した縮小画像に対してステップＳ２０３〜Ｓ２０５の処理を実行する。
【０１７７】
ステップＳ２０３において、補正対象となる撮影画像１０の縮小画像の構成画素を複数の部分集合（クラスタ）に分割するクラスタリング（クラスタ分割）を実行する。
ステップＳ２０４において、クラスタリング結果として生成されたクラスタから、サンプリング点抽出クラスタを決定し、さらに決定したサンプリング点抽出クラスタからサンプリング点を選択する。
これらの処理は、図１０に示すサンプリング点選択部１０１が実行する。
【０１７８】
さらに、ステップＳ２０５において、サンプリング点の画素値を利用して補正関数を生成する。
この処理は、図１０に示す補正関数算出部１０２が実行する。
先に説明したように、本実施例２では、補正関数算出部１０２は縮小画像サイズの補正関数ｙ（ｘ）（＝近似面算出関数ｙ（ｘ））を算出する。
【０１７９】
（ステップＳ２０６〜Ｓ２０７）
次に画像処理装置１２０は、ステップＳ２０６において、補正対象である撮影画像１０の各画素の画素値に補正関数を適用して補正画素値を算出する。
最後に、ステップＳ２０７において、補正した画素値によって構成される補正画像を生成して出力する。例えば表示部に対する出力処理や記憶部に対する格納処理を実行する。
これらの処理は、図１０に示す画像補正部（補正関数適用部）１０３の実行する処理である。
【０１８０】
前述したように、画像補正部（補正関数適用部）１０３は、例えば、縮小されない撮影画像１０を入力して、この撮影画像１０の構成画素の画素値を補正する。
この場合、画像補正部（補正関数適用部）１０３は、まず、補正関数算出部１０２が算出した縮小画像サイズの近似面ｙ（ｘ）や補正関数を、縮小前の撮影画像１０のサイズに拡大し、拡大した補正関数を生成し、拡大した補正関数を撮影画像１０に適用する。
【０１８１】
あるいは、画像補正部（補正関数適用部）１０３が縮小画像生成部１２１の生成した縮小画像を入力して、補正関数算出部１０２が算出した縮小画像サイズの近似面ｙ（ｘ）や補正関数を、そのまま縮小画像に適用して縮小補正画像の補正画像を生成し、その後、縮小補正画像を拡大する処理を行ってもよい。画像拡大方法としては、最近傍法やバイリニア法、バイキュービック法、Ｌａｎｃｚｏｓ法など、既存の拡大手法が利用可能である。
【０１８２】
前述したように、この第２実施例の処理では、縮小画像生成部１２１が撮影画像１０の縮小画像を生成し、その後の処理を、縮小画像を適用して実行することが可能となる。これにより計算量の低減が可能であり、処理速度の向上、処理に適用するハードウェアやプログラムの簡略化が実現される。
【０１８３】
［４．本開示の画像処理装置の第３実施例の構成と処理について］
次に、図１２以下を参照して本開示の画像処理装置の第３実施例の構成と処理について説明する。
図１２は、本開示の第３実施例の画像処理装置１３０の構成例を示すブロック図である。図１２に示すように、画像処理装置１３０は、縮小画像生成部１２１、サンプリング点選択部１０１と、補正関数算出部１０２と、画像補正部（補正関数適用部）１０３、さらに合成画像生成部１３１を有する。
【０１８４】
図１２に示す画像処理装置１３０は、先に図１０を参照して説明した第２実施例の画像処理装置１２０に合成画像生成部１３１を追加した構成である。
画像補正部（補正関数適用部）１０３の後段処理部として合成画像生成部１３１を追加している。
その他の構成である縮小画像生成部１２１、サンプリング点選択部１０１、補正関数算出部１０２、画像補正部（補正関数適用部）１０３は、第２実施例とほぼ同様の処理を実行する。
【０１８５】
以下、先に説明した実施例２と異なる点を中心として説明する。
図１２に示す画像処理装置１３０は、例えばドローンによって撮影された複数の画像をつなぎ合わせた合成画像３０を最終出力画像として生成して出力する。
入力画像は、例えばドローンによって撮影された複数の画像である。図１２に示すように、画像Ｐ１〜Ｐｎまでの複数の画像が、順次、撮影画像１０として画像処理装置１３０に入力される。
画像Ｐ１〜Ｐｎは、例えばドローンによって連続撮影された画像であり、各々がある広大な領域の一部領域を撮影した画像である。これら画像をつなぎ合わせることで一枚の広大な領域に対応する画像を生成できる。
【０１８６】
ただし、空中を移動するドローンは風等の影響で各画像を撮影する際の姿勢が変化してしまう。この結果、各画像を撮影するタイミングにおいて、カメラ、被写体、光源の関係の変化からカメラで受光する被写体からの反射光が変化し、各撮影画像の輝度や色が均一にならず、まばらになってしまう。このような異なる輝度や色を持つ画像をつなぎ合わせて１枚の合成画像を生成すると、各画像のつなぎ目の連続性が失われた低品質の画像となる。
【０１８７】
また、１枚の画像中にも、上空の雲、あるいは他の飛行体である飛行機や鳥等の陰になる領域と陰にならない領域が含まれる場合があり、このような領域間では輝度や色が異なる。すなわち輝度むらや色むらが発生してしまう。
【０１８８】
図１２に示す実施例３の画像処理装置１３０は、１枚の撮影画像単位で輝度むらや色むらを低減する補正を施し、さらに、合成画像を構成する各画像間の輝度差や色差をも低減した高品質な合成画像３０を生成するものである。
【０１８９】
図１２に示す実施例３の画像処理装置１３０の縮小画像算出部１２１〜画像補正部１０３は、補正前の合成画像を構成する画像（Ｐ１〜Ｐｎ）の各々に対して、順次、処理を実行し、補正画像２０−１〜ｎを生成する。
各画像単位の処理は、先に図１０を参照して説明した実施例２の構成と同様の処理である。
実施例３では、この各画像単位の処理を、補正前の合成画像を構成する画像（Ｐ１〜Ｐｎ）の各々に対して、順次、実行する。すなわちｎ枚の画像に対して同じ処理をｎ回、繰り返し、実行して、補正画像２０−１〜ｎを生成する。
【０１９０】
合成画像生成部１３１は、これらのｎ枚の補正画像２０−１〜ｎを入力して、補正画像２０−１〜ｎをつなぎ合わせた合成画像３０を生成する。
【０１９１】
合成画像生成部１３１は、例えば、画像のつなぎ合わせの際に基準となる補正基準信号を設定し、各画像の平均信号（画素値や輝度値の平均値）やつなぎ合わせの際の重複領域の平均信号（画素値や輝度値の平均値）、サンプリング点抽出クラスタの平均値（画素値や輝度値の平均値）を、補正基準信号に一致させることで、つなぎ目の不連続性を軽減した合成画像を生成する。
【０１９２】
なお、補正基準信号は、予め設定した値を使用してもよいし、特定の単一、または複数の画像の平均値を用いてもよい。
具体的には、例えば隣接する画像の平均輝度を一致させる、あるいは差分を規定値範囲以下に設定する等の調整を実行して隣接画像を接続する。
【０１９３】
また、画像接続（つなぎ合わせ）の際には隣接画像の重複領域を検出して、一方の画像から重複領域を削除する、あるいは複数の画像に含まれる重複領域の平均値を算出して１つの領域として画像のつなぎ合わせを行う等の処理を実行して、合成画像内に重複領域が出現しないように画像補正を行う。
【０１９４】
本実施例３の図１２に示す実施例３の画像処理装置１３０は、１枚の撮影画像単位で輝度むらや色むらを低減する補正を施し、さらに、合成画像を構成する各画像間の輝度差や色差をも低減した高品質な合成画像３０を生成する。
【０１９５】
図１２に示す画像処理装置１３０が実行する画像処理のシーケンスについて、図１３に示すフローチャートを参照して説明する。
なお、図１３に示すフローチャートに従った処理は、例えば画像処理装置１３０の記憶部に格納されたプログラムに従って実行可能である。例えばプログラム実行機能を有するＣＰＵ等を有するデータ処理部（制御部）の制御の下で実行可能である。
以下、図１３に示すフローチャートの各ステップの処理について、順次、説明する。
【０１９６】
（ステップＳ３０１）
まず、画像処理装置１３０は、ステップＳ３０１において、複数の撮影画像から、補正対象となる撮影画像を選択する。
すなわち、図１２に示す補正前の合成画像を構成する画像（Ｐ１〜Ｐｎ）を、順次、補正対象画像として選択する。
【０１９７】
これらの画像Ｐ１〜Ｐｎは、例えばドローンによって連続撮影された画像であり、各々がある広大な領域の一部領域を撮影した画像である。これら画像をつなぎ合わせることで一枚の広大な領域に対応する画像を生成できる。
ただし、各画像は、撮影時の条件の差異により輝度や色が均一ではなくまばらな画像であり、また一枚の画像中にも影の領域や鏡面反射領域等に起因する輝度むらや色むらが存在する。
【０１９８】
（ステップＳ３０２）
次に、画像処理装置１３０は、ステップＳ３０２において、ステップＳ３０１で選択された補正対象画像を入力する。
【０１９９】
（ステップＳ３０３〜Ｓ３０８）
ステップＳ３０３〜Ｓ３０８の処理は、先に図１１を参照して説明した実施例２におけるフロー中のステップＳ２０２〜Ｓ２０７の処理と同様の処理である。
すなわち、ステップＳ３０３において、補正対象画像である撮影画像１０に対して、縮小処理を実行する。
ステップＳ３０４において、縮小画像に対するクラスタリングを実行する。
ステップＳ３０５において、クラスタリング結果からのサンプリング点抽出クラスタの決定、サンプリング点抽出クラスタからのサンプリング点の選択を実行する。
【０２００】
さらに、ステップＳ３０６において、選択されたサンプリング点の画素値に基づく補正関数の生成処理を実行する。
ステップＳ３０７において、生成した補正関数を適用して補正対象画像の補正画素値を算出する。
ステップＳ３０８において、補正画素値によって構成される補正画像を生成する。
【０２０１】
（ステップＳ３０９）
ステップＳ３０９では、全ての撮影画像（Ｐ１〜Ｐｎ）に対する補正画像の生成が完了したか否かを判定する。
未処理画像がある場合は、ステップＳ３０１において未処理画像を選択して、未処理画像に対してステップＳ３０２〜Ｓ３０８の処理を実行する。
【０２０２】
ステップＳ３０９において、全ての撮影画像（Ｐ１〜Ｐｎ）に対する補正画像の生成が完了したと判定するとステップＳ３１０に進む。
この時点で、図１２に示す画素値が補正された補正画像２０−１〜ｎの生成が完了していることになる。
【０２０３】
（ステップＳ３１０）
最後に、画像処理装置１３０は、ステップＳ３１０において、全ての補正画像２０−１〜ｎをつなぎ合わせて合成画像３０を生成して出力する。
この処理は、図１２に示す合成画像生成部１３１が実行する処理である。
【０２０４】
前述したように、合成画像生成部１３１は、例えば、画像のつなぎ合わせの際に基準となる補正基準信号を設定し、各画像の平均信号やつなぎ合わせの際の重複領域の平均信号、サンプリング点抽出クラスタの平均値を、補正信号に一致させることで、つなぎ目の不連続な段差を軽減した画像を生成する。
補正基準信号は、予め設定した値、例えば特定の単一、または複数の画像の平均値等を利用することができる。これにより隣接画像の平均輝度を一致、または差分を規定値範囲以下に設定した合成画像の生成が可能となる。
【０２０５】
なお、画像接続（つなぎ合わせ）の際には隣接画像の重複領域を検出して、一方の画像から重複領域を削除する等の処理を行う。あるいは複数画像に含まれる重複領域の平均値を算出して１つの領域として画像のつなぎ合わせを行ってもよい。また、重複領域の画素値を、重畳画像のαブレンディングで決定し、重畳領域の画像を滑らかに変更しても良い。αブレンディングは、例えば、２枚の画像を考えた場合、画像Ａから画像Ｂにかけて、連続的に信号値を変更することが目的であるが、αブレンディングの際に、レンズ歪みやシェーディング、周辺ボケの影響を踏まえて、上記ブレンディング率に追加して画面中心からの距離を反映させ、画面中心ほど比率が高くなるように値を設定してもよい。
【０２０６】
これらの処理を実行することで、図１２に示す実施例３の画像処理装置１３０は、１枚の撮影画像単位の輝度むらや色むらの低減を行うとともに、合成画像を構成する各画像間の輝度差や色差も低減した高品質な合成画像３０を生成することができる。
【０２０７】
［５．その他の実施例について］
次に、図１４以下を参照してその他の実施例について説明する。
以下の３つの実施例について説明する。
（実施例４）処理済みの周囲画像のサンプリング点位置情報を参照して、未処理画像におけるサンプリング点の選択処理を実行する実施例
（実施例５）処理済みの周囲画像の補正関数情報を参照して、未処理画像における補正関数の算出処理を実行する実施例
（実施例６）処理済みの周囲画像の近似面情報を参照して、未処理画像における近似面の算出処理を実行する実施例
【０２０８】
（５−１）（実施例４）処理済みの周囲画像のサンプリング点位置情報を参照して、未処理画像におけるサンプリング点の選択処理を実行する実施例
【０２０９】
まず、実施例４として、処理済みの周囲画像のサンプリング点位置情報を参照して、未処理画像におけるサンプリング点の選択処理を実行する実施例について説明する。
【０２１０】
図１４は、本実施例４の画像処理装置１４０の構成例を示すブロック図である。図１４に示すように、画像処理装置１４０は、縮小画像生成部１２１、サンプリング点選択部１０１と、補正関数算出部１０２と、画像補正部（補正関数適用部）１０３、さらに合成画像生成部１３１、さらに、画像対応サンプリング点位置情報記憶部１４１を有する。
【０２１１】
図１４に示す画像処理装置１４０は、先に図１２を参照して説明した第３実施例の画像処理装置１３０に画像対応サンプリング点位置情報記憶部１４１を追加した構成である。
その他の構成である縮小画像生成部１２１、サンプリング点選択部１０１、補正関数算出部１０２、画像補正部（補正関数適用部）１０３、合成画像生成部１３１は、基本的には、第３実施例とほぼ同様の処理を実行する。
ただし、サンプリング点選択部１０１の実行する処理は異なる。
【０２１２】
画像対応サンプリング点位置情報記憶部１４１は、サンプリング点選択部１０１においてサンプリング点選択処理が行われた画像のサンプリング点位置情報を格納する。
【０２１３】
さらに、サンプリング点選択部１０１は、新たな画像についてのサンプリング点選択処理を実行する際に、処理対象画像の周囲の処理済み画像、すなわち、サンプリング点選択部１０１においてサンプリング点選択処理が行われた画像のサンプリング点位置情報を画像対応サンプリング点位置情報記憶部１４１から取得する。サンプリング点選択部１０１は、画像対応サンプリング点位置情報記憶部１４１からの取得情報を参照して、新たな画像のサンプリング点選択処理を実行する。
【０２１４】
具体例について図１５を参照して説明する。
図１５の左上部には、補正前の合成画像を示している。合成画像は、例えばドローンによって連続的に撮影された複数の画像から構成されている。
画像処理装置１４０には、この合成画像を構成する各画像が順次、入力されて処理が行われる。
図１５に示す矢印に従って処理が行われるとする。
【０２１５】
図１５の右側には、合成画像を構成する画像の一部である５つの隣接画像を示している。
これらは、サンプリング点選択部１０１が、これからサンプリング点選択処理を実行する画像Ｐｘと、画像Ｐｘの周囲画像中、既にサンプリング点選択処理が実行済みの画像Ｐａ〜Ｐｄである。
【０２１６】
サンプリング点選択部１０１は、これからサンプリング点選択処理を実行する画像Ｐｘについて、サンプリング点の選択処理を行う際に、既にサンプリング点選択処理が実行済みの画像Ｐａ〜Ｐｄ、すなわち画像Ｐｘの周囲画像に設定されたサンプリング点を参照する。
この参照結果を利用して、画像Ｐｘのサンプリング点選択処理を行う。
【０２１７】
例えば、図に示すような領域ａや領域ｂは、周囲画像に基づいて、サンプリング点選択対象の画像が含まれる可能性が高いと判定し、画像Ｐｘ中の領域ａ，ｂに含まれる領域からサンプリング点の選択を行う。
【０２１８】
このような処理を行うことで、前述したクラスタリング処理や、サンプリング抽出クラスタの決定、サンプリング抽出クラスタからのサンプリング点の選択処理といった工程を省略、または簡略化することが可能である。
また、例えば、図１６に示すように、周囲画像で選択したサンプリング点を、一定割合でサンプリング点選択対象の画像のサンプル点として採用することで、サンプリング点選択対象の画像のサンプル点が、周囲画像と大きく異なるサンプル点の選択配置になることを避けることができる。このような処理を行うことで、補正を安定的に実施することが可能となる。
【０２１９】
なお、前述したクラスタリング処理や、サンプリング抽出クラスタの決定、サンプリング抽出クラスタからのサンプリング点の選択処理を省略することなく、これらの処理を行うとともに、これらの処理を行う際に処理済み周囲画像のサンプリング点情報を参照して、周囲画像の情報に基づいて選択されるサンプリング点を修正するといった処理を行うのが好ましい。
【０２２０】
（５−２）（実施例５）処理済みの周囲画像の補正関数情報を参照して、未処理画像における補正関数の算出処理を実行する実施例
【０２２１】
次に、実施例５として、処理済みの周囲画像の補正関数情報を参照して、未処理画像における補正関数の算出処理を実行する実施例について説明する。
【０２２２】
図１７は、本実施例５の画像処理装置１５０の構成例を示すブロック図である。図１７に示すように、画像処理装置１５０は、縮小画像生成部１２１、サンプリング点選択部１０１と、補正関数算出部１０２と、画像補正部（補正関数適用部）１０３、さらに合成画像生成部１３１、さらに、画像対応補正関数記憶部１５１を有する。
【０２２３】
図１７に示す画像処理装置１５０は、先に図１２を参照して説明した第３実施例の画像処理装置１３０に画像対応補正関数記憶部１５１を追加した構成である。
その他の構成である縮小画像生成部１２１、サンプリング点選択部１０１、補正関数算出部１０２、画像補正部（補正関数適用部）１０３、合成画像生成部１３１は、基本的には、第３実施例とほぼ同様の処理を実行する。
ただし、補正関数算出部１０２の実行する処理は異なる。
【０２２４】
画像対応補正関数記憶部１５１は、補正関数算出部１０２において補正関数の算出処理が行われた画像の補正関数を格納する。
【０２２５】
さらに、補正関数算出部１０２は、新たな画像についての補正関数算出処理を実行する際に、処理対象画像の周囲の処理済み画像、すなわち、補正関数算出部１０２において補正関数の算出処理が行われた画像の補正関数情報を画像対応補正関数記憶部１５１から取得する。補正関数算出部１０２は、画像対応補正関数記憶部１５１からの取得情報を参照して、新たな画像の補正関数算出処理を実行する。
【０２２６】
具体例について図１８を参照して説明する。
図１８の左上部には、補正前の合成画像を示している。合成画像は、例えばドローンによって連続的に撮影された複数の画像から構成されている。
画像処理装置１５０には、この合成画像を構成する各画像が順次、入力されて処理が行われる。
図１８に示す矢印に従って処理が行われるとする。
【０２２７】
図１８の右側には、合成画像を構成する画像の一部である５つの隣接画像を示している。
これらは、補正関数算出部１０２が、これから補正関数算出処理を実行する画像Ｐｘと、画像Ｐｘの周囲画像中、既に補正関数算出済みの画像Ｐａ〜Ｐｄである。
【０２２８】
補正関数算出部１０２は、これから補正関数算出処理を実行する画像Ｐｘについて、補正関数の算出を行う際に、既に補正関数がすでに算出されている画像Ｐａ〜Ｐｄ、すなわち画像Ｐｘの周囲画像の補正関数を参照する。
この参照結果を利用して、画像Ｐｘの補正関数算出処理を行う。
【０２２９】
例えば、画像Ｐｘの補正関数を、図１８に示す周囲の５つの画像の補正関数を合成して算出する。例えばαブレンド等の処理を実行して、周囲画像の複数の補正関数に基づいて、新たな画像の補正関数を算出する。
例えば距離の近い参照画像ほど重みを大きく設定したαブレンド等の処理を実行して、周囲画像の複数の補正関数に基づいて、新たな画像の補正関数を算出する。
【０２３０】
このような処理を行うことで、前述した近似面の算出を伴う補正関数の算出処理工程を省略、または簡略化することが可能である。
【０２３１】
なお、前述した近似面の算出を伴う補正関数の算出処理を省略することなく、これらの処理を行うとともに、これらの処理を行う際に処理済み周囲画像の補正関数情報を参照して、周囲画像の情報に基づいて算出した補正関数を修正するといった処理を行うのが好ましい。
【０２３２】
（５−３）（実施例６）処理済みの周囲画像の近似面情報を参照して、未処理画像における近似面の算出処理を実行する実施例
【０２３３】
次に、実施例６として、処理済みの周囲画像の近似面情報を参照して、未処理画像における近似面の算出処理を実行する実施例
【０２３４】
図１９は、本実施例６の画像処理装置１６０の構成例を示すブロック図である。図１９に示すように、画像処理装置１６０は、縮小画像生成部１２１、サンプリング点選択部１０１と、補正関数算出部１０２と、画像補正部（補正関数適用部）１０３、さらに合成画像生成部１３１、さらに、画像対応近似面記憶部１６１を有する。
【０２３５】
図１９に示す画像処理装置１６０は、先に図１２を参照して説明した第３実施例の画像処理装置１３０に画像対応近似面記憶部１６１を追加した構成である。
その他の構成である縮小画像生成部１２１、サンプリング点選択部１０１、補正関数算出部１０２、画像補正部（補正関数適用部）１０３、合成画像生成部１３１は、基本的には、第３実施例とほぼ同様の処理を実行する。
ただし、補正関数算出部１０２の実行する処理は異なる。
【０２３６】
画像対応近似面記憶部１６１は、補正関数算出部１０２において近似面ｙ（ｘ）の算出処理が行われた画像の近似面ｙ（ｘ）を格納する。
【０２３７】
さらに、補正関数算出部１０２は、新たな画像についての近似面ｙ（ｘ）の算出処理を実行する際に、処理対象画像の周囲の処理済み画像、すなわち、補正関数算出部１０２において近似面ｙ（ｘ）の算出処理が行われた画像の近似面ｙ（ｘ）情報を画像対応近似面記憶部１６１から取得する。補正関数算出部１０２は、画像対応近似面記憶部１６１からの取得情報を参照して、新たな画像の近似面ｙ（ｘ）算出処理を実行する。
【０２３８】
具体例について図２０を参照して説明する。
図２０の左上部には、補正前の合成画像を示している。合成画像は、例えばドローンによって連続的に撮影された複数の画像から構成されている。
画像処理装置１６０には、この合成画像を構成する各画像が順次、入力されて処理が行われる。
図２０に示す矢印に従って処理が行われるとする。
【０２３９】
図２０の右側には、合成画像を構成する画像の一部である５つの隣接画像を示している。
これらは、補正関数算出部１０２が、これから近似面ｙ（ｘ）算出処理を実行する画像Ｐｘと、画像Ｐｘの周囲画像中、既に近似面ｙ（ｘ）算出済みの画像Ｐａ〜Ｐｄである。
【０２４０】
補正関数算出部１０２は、これから近似面ｙ（ｘ）算出処理を実行する画像Ｐｘについて、近似面ｙ（ｘ）の算出を行う際に、既に近似面ｙ（ｘ）がすでに算出されている画像Ｐａ〜Ｐｄ、すなわち画像Ｐｘの周囲画像の近似面ｙ（ｘ）を参照する。
この参照結果を利用して、画像Ｐｘの近似面ｙ（ｘ）算出処理を行う。
【０２４１】
例えば、画像Ｐｘの近似面ｙ（ｘ）を、図２０に示す周囲の５つの画像の近似面ｙ（ｘ）を合成して算出する。例えばαブレンド等の処理を実行して、周囲画像の複数の近似面ｙ（ｘ）に基づいて、新たな画像の近似面ｙ（ｘ）を算出する。
例えば距離の近い参照画像ほど重みを大きく設定したαブレンド等の処理を実行して、周囲画像の複数の補正関数に基づいて、新たな画像の近似面ｙ（ｘ）を算出する。
このような処理を行うことで、前述した近似面ｙ（ｘ）の算出処理工程を省略、または簡略化することが可能である。
【０２４２】
なお、前述した近似面ｙ（ｘ）の算出処理を省略することなく、近似面ｙ（ｘ）の算出処理処理を行うとともに、この処理を行う際に処理済み周囲画像の近似面ｙ（ｘ）情報を参照して、周囲画像の情報に基づいて算出した近似面ｙ（ｘ）を修正するといった処理を行うのが好ましい。
【０２４３】
以上、図１４〜図２０を参照して以下の３つの実施例について説明した。
（実施例４）処理済みの周囲画像のサンプリング点位置情報を参照して、未処理画像におけるサンプリング点の選択処理を実行する実施例
（実施例５）処理済みの周囲画像の補正関数情報を参照して、未処理画像における補正関数の算出処理を実行する実施例
（実施例６）処理済みの周囲画像の近似面情報を参照して、未処理画像における近似面の算出処理を実行する実施例
【０２４４】
これらの実施例は、サンプリング点選択、または補正関数、または近似面算出処理に際して、周囲の処理済み画像の情報を参照する構成である。
これらの実施例４〜６は、個別に実施する構成としてもよいが組み合わせて実施する構成としてもよい。例えば、実施例４と実施例５を組み合わせた構成等、様々な構成が可能である。
【０２４５】
なお、例えば実施例４と実施例５等、複数の参照処理を行う場合の処理手順としては、以下のいずれかの設定が可能である。
（ａ）サンプリング選択部と補正関数算出部の処理ブロック毎に、撮影画像をループさせ、順々に処理する手順（インナーループ）
（ｂ）画像毎に、処理ブロックの処理をループさせ、順々に処理する手順（アウターループ）
【０２４６】
また、処理開始時には処理済みの周辺画像が存在しないが、その場合の処理態様としては、例えば以下のような処理が可能である。
（ａ）周辺画像情報なしでサンプリングしたものを初期値として、周辺情報を利用した処理を再帰的に繰り返す処理、
（ｂ）撮影画像を順々に補正し、各画像を補正する際に、補正済みの情報のみを利用して、サンプリング点や補正関数を求める処理
【０２４７】
また、参照画像として利用する画像は、補正前の画像に限らず、補正後の画像としてもよい。すなわち、以下のいずれかの処理態様とすることが可能である。
（ａ）補正前の撮影画像中、サンプリング点や補正関数のみが算出された画像を参照画像とする方法
（ｂ）補正後の画像中、サンプリング点や補正関数が算出された画像を参照画像とする方法
【０２４８】
なお、図１５、図１８、図２０を参照して説明した処理例ではサンプリング点や補正関数の参照画像として１枚の大きな合成画像を構成する複数の画像の位置的な関係から決定される周囲画像、すなわち隣接画像を用いた例を説明した。
このような位置的な隣接画像を参照画像とする構成以外に、例えば動画像の補正を行う場合は、処理対象とする画像フレームの前後の画像（例えば前後Ｎフレーム）を参照画像とすることが可能である。
【０２４９】
また、サンプリング点を周囲画像のサンプリング点から決定する場合の具体的処理例としては、例えば以下のいずれかの手法が適用可能である。
（ａ）周囲画像のサンプリング点（画素）と同一の画素位置の画素を一定割合で選択する。
（ｂ）周囲画像を含めた複数の画像を適用してクラスタリング、セマンティックセグメンテーション、サンプリング点抽出クラスタの決定処理、サンプリング点選択処理を実行する。
【０２５０】
さらに、周囲画像と処理対象画像との重畳領域の情報を利用する方法として、以下の手法も可能である。
（ｃ）重複領域（周辺画像と処理対象画像の重畳領域全て）から一定割合サンプリング点を選択する
（ｄ）重畳領域の信号をいずれかの画像のみの信号で置き換える場合、重複領域の内、前述した置き換える画像の信号のみから一定割合サンプリング点を選択する。
【０２５１】
また、補正関数算出処理や、近似面算出処理に際しては、周囲画像との近さを重みとする重み付き平均を用いて補正関数や近似面を再計算して修正するといった処理を行ってもよい。
【０２５２】
［６．画像処理装置のハードウェア構成例について］
次に、図２１を参照して、本開示の画像処理装置のハードウェア構成例について説明する。図２１に示すハードウェアは、図１他を参照して説明した各実施例の画像処理装置の具体的なハードウェアの一構成例である。
【０２５３】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
【０２５４】
ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、マウス、マイクロホン、センサなどよりなる入力部３０６、ディスプレイ、スピーカーなどよりなる出力部３０７が接続されている。
ＣＰＵ３０１は、入力部３０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
【０２５５】
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、Ｗｉ−Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
【０２５６】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。
【０２５７】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２５８】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  画像の画素値補正に適用する補正関数の算出に利用するサンプリング点を前記画像から選択するサンプリング点選択部と、
前記サンプリング点選択部の選択したサンプリング点の画素値と位置情報を適用して前記補正関数を算出する補正関数算出部と、
前記補正関数を適用して前記画像の画素値補正を行う画像補正部を有し、
前記サンプリング点選択部は、
前記画像の構成画素を複数の部分集合に分割するクラスタリングを実行し、
前記クラスタリングによって生成された複数クラスタからサンプリング点抽出クラスタを決定し、
前記サンプリング点抽出クラスタからサンプリング点を選択する処理を実行する画像処理装置。
【０２５９】
（２）  前記サンプリング点選択部は、
（ａ）最大画素数のクラスタから順に１つ以上のクラスタをサンプリング点抽出クラスタとする、
（ｂ）各クラスタに含まれる画素の画素値の平均値や中央値が全クラスタの中心となるクラスタ、またはそのクラスタと隣接する数クラスタをサンプリング点抽出クラスタとする、
（ｃ）ユーザが選択したクラスタをサンプリング点抽出クラスタとする、
上記（ａ）〜（ｃ）いずれかの方法でサンプリング点抽出クラスタを決定する（１）に記載の画像処理装置。
【０２６０】
（３）  前記サンプリング点選択部は、
前記画像内の解析対象となる被写体が多く含まれるクラスタを、サンプリング点抽出クラスタとして決定する（１）に記載の画像処理装置。
【０２６１】
（４）  前記補正関数算出部は、
画素位置対応の画素値を定義した近似面ｙ（ｘ）を算出し、
前記近似面ｙ（ｘ）と、予め規定した補正基準Ｙｒｅｆ（ｘ）との比率に応じて補正量を変動させる補正関数を生成する（１）〜（３）いずれかに記載の画像処理装置。
【０２６２】
（５）  前記補正基準Ｙｒｅｆ（ｘ）は、
前記サンプリング点抽出クラスタの画素値の平均値、または中央値、またはユーザ選択値のいずれかである（４）に記載の画像処理装置。
【０２６３】
（６）  前記補正関数算出部は、
画素位置対応の画素値を定義した近似面ｙ（ｘ）を、カーネル回帰補間、またはスプライン曲面補間、または多項式近似曲面、または線形補間の少なくともいずれかを用いて算出する（４）また（５）に記載の画像処理装置。
【０２６４】
（７）  前記補正関数算出部は、
画素位置対応の画素値を定義した近似面ｙ（ｘ）を算出し、
前記近似面ｙ（ｘ）と、予め規定した補正基準Ｙｒｅｆ（ｘ）との比率に応じて補正量を変動させる下記の補正関数、
Ｙ'（ｘ）＝（Ｙｒｅｆ（ｘ）／ｙ（ｘ））Ｙ（ｘ）、
ただし、
Ｙ'（ｘ）は、前記画像の補正後の画素位置（ｘ）対応の画素値、
Ｙ（ｘ）は、前記画像の補正前の画素位置（ｘ）対応の画素値、
上記補正関数を生成する（１）〜（６）いずれかに記載の画像処理装置。
【０２６５】
（８）  前記サンプリング点選択部は、
前記クラスタリングを、
（ａ）Ｋ−Ｍｅａｎｓ法、
（ｂ）Ｋ−ＮＮ法、
（ｃ）Ｗａｒｄ法、
（ｄ）セマンティックセグメンテーション、
上記（ａ）〜（ｄ）いずれかの手法を適用して実行する（１）〜（７）いずれかに記載の画像処理装置。
【０２６６】
（９）  前記サンプリング点選択部は、
前記クラスタリングを、前記画像の画素の特定の特徴情報に基づいて実行する（１）〜（８）いずれかに記載の画像処理装置。
【０２６７】
（１０）  前記特徴情報は、前記画像の画素の輝度、またはＲＧＢ少なくともいずれかの信号、または、ＲＧＢ画像を変換したＬａｂ空間、ＹＵＶ空間、ｘｙ色度空間、これらいすいずれかの空間上の信号である（９）に記載の画像処理装置。
【０２６８】
（１１）  前記画像処理装置は、さらに、
前記画像を縮小して縮小画像を生成する縮小画像生成部を有し、
前記サンプリング点選択部と、前記補正関数算出部は、前記縮小画像生成部が生成した縮小画像に対する処理を実行する（１）〜（１０）いずれかに記載の画像処理装置。
【０２６９】
（１２）  前記画像処理装置は、
前記画像補正部が生成した補正画像をつなぎ合わせて１枚の合成画像を生成する合成画像生成部を有する（１）〜（１１）いずれかに記載の画像処理装置。
【０２７０】
（１３）  前記合成画像生成部は、
つなぎ合わせ対象となる各補正画像の画素値平均値、または各補正画像の重複領域の画素値平均値、またはサンプリング点抽出クラスタの画素値平均値を、予め設定した補正基準画素値に一致させる処理を実行してつなぎ目の不連続性を軽減した合成画像を生成する（１２）に記載の画像処理装置。
【０２７１】
（１４）  前記サンプリング点選択部は、
サンプリング点選択処理に際して、処理対象画像の周囲画像から実行済みのサンプリング点選択情報を入力して、入力情報を参照して処理対象画像のサンプリング点選択処理を実行する（１）〜（１３）いずれかに記載の画像処理装置。
【０２７２】
（１５）  前記補正関数算出部は、
補正関数算出処理に際して、処理対象画像の周囲画像から算出済みの補正関数情報を入力して、入力情報を参照して処理対象画像の補正関数の算出処理を実行する（１）〜（１４）いずれかに記載の画像処理装置。
【０２７３】
（１６）  画像処理装置において実行する画像処理方法であり、
サンプリング点選択部が、画像の画素値補正に適用する補正関数の算出に利用するサンプリング点を前記画像から選択するサンプリング点選択ステップと、
補正関数算出部が、前記サンプリング点選択部の選択したサンプリング点の画素値と位置情報を適用して前記補正関数を算出する補正関数算出ステップと、
画像補正部が、前記補正関数を適用して前記画像の画素値補正を行う画像補正ステップを実行し、
前記サンプリング点選択ステップは、
前記画像の構成画素を複数の部分集合に分割するクラスタリングを実行するステップと、
前記クラスタリングによって生成された複数クラスタからサンプリング点抽出クラスタを決定するステップと、
前記サンプリング点抽出クラスタからサンプリング点を選択するステップを有する画像処理方法。
【０２７４】
（１７）  画像処理装置において画像処理を実行させるプログラムであり、
サンプリング点選択部に、画像の画素値補正に適用する補正関数の算出に利用するサンプリング点を前記画像から選択させるサンプリング点選択ステップと、
補正関数算出部に、前記サンプリング点選択部の選択したサンプリング点の画素値と位置情報を適用して前記補正関数を算出させる補正関数算出ステップと、
画像補正部に、前記補正関数を適用して前記画像の画素値補正を行わせる画像補正ステップを実行させ、
前記サンプリング点選択ステップにおいては、
前記画像の構成画素を複数の部分集合に分割するクラスタリングを実行するステップと、
前記クラスタリングによって生成された複数クラスタからサンプリング点抽出クラスタを決定するステップと、
前記サンプリング点抽出クラスタからサンプリング点を選択するステップを実行させるプログラム。
【０２７５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２７６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２７７】
以上、説明したように、本開示の一実施例の構成によれば、輝度むらや色むらを低減した高画質な補正画像を生成可能とした画像処理装置、方法が実現される。
具体的には、例えば、画像の画素値補正に適用する補正関数の算出に利用するサンプリング点を画像から選択するサンプリング点選択部と、サンプリング点の画素値と位置情報を適用して補正関数を算出する補正関数算出部と、補正関数を適用して画像の画素値補正を行う画像補正部を有し、サンプリング点選択部は、画像の構成画素を複数の部分集合（クラスタ）に分割するクラスタリング（クラスタ分割）を実行し、クラスタリングによって生成された複数クラスタからサンプリング点抽出クラスタを決定し、サンプリング点抽出クラスタからサンプリング点を選択する処理を実行する。
本構成により、輝度むらや色むらを低減した高画質な補正画像を生成可能とした画像処理装置、方法が実現される。
【符号の説明】
【０２７８】
１０  撮影画像
２０  補正画像
１００  画像処理装置
１０１  サンプリング点選択部
１０２  補正関数算出部
１０３  画像補正部
１２０  画像処理装置
１２１  縮小画像生成部
１３０  画像処理装置
１３１  合成画像生成部
１４０  画像処理装置
１４１  画像対応サンプリング点位置情報記憶部
１５０  画像処理装置
１５１画像対応補正関数記憶部
１６０  画像処理装置
１６１  画像対応近似面記憶部
３０１  ＣＰＵ
３０２  ＲＯＭ
３０３  ＲＡＭ
３０４  バス
３０５  入出力インタフェース
３０６  入力部
３０７  出力部
３０８  記憶部
３０９  通信部
３１０  ドライブ
３１１  リムーバブルメディア
【図１】
2020066456.tif 000009
【図２】
2020066456.tif 000010
【図３】
2020066456.tif 000011
【図４】
2020066456.tif 000012
【図５】
2020066456.tif 000013
【図６】
2020066456.tif 000014
【図７】
2020066456.tif 000015
【図８】
2020066456.tif 000016
【図９】
2020066456.tif 000017
【図１０】
2020066456.tif 000018
【図１１】
2020066456.tif 000019
【図１２】
2020066456.tif 000020
【図１３】
2020066456.tif 000021
【図１４】
2020066456.tif 000022
【図１５】
2020066456.tif 000023
【図１６】
2020066456.tif 000024
【図１７】
2020066456.tif 000025
【図１８】
2020066456.tif 000026
【図１９】
2020066456.tif 000027
【図２０】
2020066456.tif 000028
【図２１】
2020066456.tif 000029
【国際調査報告】
2020066456.tif 000030
2020066456.tif 000031