(57)【要約】【課題】電子機器で撮像された撮像画像のデータに対して適切なシェーディング補正を施すこと。【解決手段】各フェーズ処理部４２は、所定の補正処理の手法であって、画像の勾配を用いる手法として予め用意されているN種類（Nは２以上の整数値）の中から、所定の補正処理に適用する適用手法を、注目画像よりも時間的に前の単位画像の内容に基づいて、選択する。シェーディング補正実行部４５は、適用手法に基づいて、注目画像のデータに対して、所定の補正処理を施す。【選択図】図２
2018093291.tif 000002
【特許請求の範囲】
【請求項１】
複数の単位画像から構成される動画像のうち、処理対象として注目すべき単位画像を注目画像として、当該注目画像のデータに対して所定の補正処理を施す画像処理装置において、
前記所定の補正処理の手法であって、画像の勾配を用いる手法として予め用意されているN種類（Nは２以上の整数値）の中から、前記所定の補正処理に適用する適用手法を、前記注目画像よりも時間的に前の単位画像の内容に基づいて、選択する手法選択手段と、
前記適用手法に基づいて、前記注目画像のデータに対して、前記所定の補正処理を施す補正手段と、
を備える画像処理装置。
【請求項２】
前記N種類の手法は、第１手法乃至第３手法を含み、
前記第１手法は、
前記所定の補正処理に用いるテーブルとして、基本テーブル、正テーブル、及び負テーブルを用意しており、単位画像を単位として前記勾配を用いて正負を判定して、前記テーブルに基づく補正値を導き出し、徐々に補正が収束するように処理される手法であり、
前記第２手法は、
前記単位画像を単位として前記勾配を用いて、位置情報と補正された結果を量子化して増減判定を行い、徐々に補正が収束するように処理される手法であり、
前記第３手法は、
前記画像の中心を基準にして２以上の象限を特定し、各象限毎に前記第２手法を用いた補正を可能にする手法である、
請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、
前記第１手法乃至前記第３手法に用いられる前記注目画像のデータを固定値から動的に補正量を変化させ、
測定値又は演算値を正規化する手法を取り入れる、
請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来より、デジタルカメラ、デジタルビデオカメラ、カメラ付き通信端末（携帯電話、スマートフォン、タブレット等）等の電子機器は、は、レンズやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を有する電子カメラを備えている。このような電子機器は、ＩＳＰ（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等の半導体を用いて、電子カメラから出力された画像信号に対して、画像補正処理や画像解析処理等を施している（例えば、特許文献１、特許文献２、特許文献３参照）。
例えば、電子機器は、このような画像補正処理のうちシェーディング補正処理について、一般的に撮像素子の中心付近と外側との受光の差異によって生じる輝度ムラの補正の処理を実行している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１６０７３０号公報
【特許文献２】特開２０１５−０２３３７６号公報
【特許文献３】特開２０１６−１０５５７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１乃至特許文献３を含む従来の技術では、適切なシェーディング補正を行えない場合が多々あった。なぜならば、電子機器で撮像された撮像画像のデータには、例えば太陽光や蛍光灯等の光源の種類や他の光源の影響を受けたり、レンズと撮像素子との間で光の入射角の差異の影響を受けるからである。また、従来の技術では、シェーディング補正処理は、隣接するスタティスティックスデータに一定以上の差があると異なる被写体と判断して補正されない場合があった。さらに、シェーディング補正を行うためのテーブルデータが固定値となっているため、補正結果に誤差が生じていた。
また、薄型の電子カメラ等では、レンズと撮像素子との距離が短いため入射角が大きくなる傾向がある。具体的には例えば、被写体の拡大や縮小等に伴う焦点距離の変化に伴い入射角が大きくなる傾向がある。これらの入射角が大きくなることに伴い可視光線の帯域フィルターの種類によってはフィルターの帯域が短波長の方向へシフトする。その結果、従来の技術では、撮像素子の中心付近と外側との受光に差異が生じるため、画質劣化の要因である色毎に輝度ムラが発生して最適なカラーシェーディング補正を行うことができない状況が生じていた。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、電子機器で撮像された撮像画像のデータに対して適切なカラーシェーディング補正を施すことを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、
複数の単位画像から構成される動画像のうち、処理対象として注目すべき単位画像を注目画像として、当該注目画像のデータに対して所定の補正処理を施す画像処理装置において、
前記所定の補正処理の手法であって、画像の勾配を用いる手法として予め用意されているN種類（Nは２以上の整数値）の中から、前記所定の補正処理に適用する適用手法を、前記注目画像よりも時間的に前の単位画像の内容に基づいて、選択する手法選択手段と、
前記適用手法に基づいて、前記注目画像のデータに対して、前記所定の補正処理を施す補正手段と、
を備えることを特徴とする。
【０００７】
本発明の一態様としての画像処理方法及びプログラムの夫々は、上述の本発明の一態様の画像処理装置に対応する方法及びプログラムの夫々である。
【発明の効果】
【０００８】
本発明によれば、電子機器で撮像された撮像画像のデータに対して適切なシェーディング補正を施すことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】図１の画像処理装置のうちシェーディング補正処理部の機能的構成の詳細を示す機能ブロック図である。
【図３】図２の画像処理装置のシェーディング補正処理部により実行されるシェーディング補正処理を説明するフローチャートである。
【図４】図３のシェーディング補正処理のうち、ステップＳ１１の勾配検出処理の詳細を説明するフローチャートである。
【図５】同一被写体認識用の閾値の設定曲線を示す図である。
【図６】領域毎に区分して勾配を取得する方向を決定する手法の一例を説明する図である。
【図７】領域毎に区分して勾配を取得する方向を決定する手法の一例を説明する図である。
【図８】積算された距離別の勾配値に基づく正規化の一例を示す図である。
【図９】積算された距離別の勾配値に基づく正規化のグラフイメージを示す図である。
【図１０】図３のシェーディング補正処理のうち、ステップＳ１３の第１フェーズ処理を説明するフローチャートである。
【図１１】位置別の正規化結果の具体例（補正方向の例）を示す図である。
【図１２】距離別正規化の結果に基づく補正方向の決定結果の具体例を示す図である。
【図１３】補正テーブルの選択手法の一例を示す図である。
【図１４】基準補正テーブルの一例を示す図である。
【図１５】陽の補正テーブルの一例を示す図である。
【図１６】陰の補正テーブルの一例を示す図である。
【図１７】図３のシェーディング補正処理のうち、ステップＳ１４の第２フェーズ処理を説明するフローチャートである。
【図１８】趨勢線の一例を示す図である。
【図１９】図３のシェーディング補正処理のうち、ステップＳ１５の第３フェーズ処理を説明するフローチャートである。
【図２０】第２象限の補正用比率テーブルの一例を示す図である。
【図２１】動的補正テーブルの一例を示す図である。
【図２２】図３のシェーディング補正処理のうち、ステップＳ１７のフェーズ遷移処理を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１１】
図１は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
画像処理装置１は、センサベイヤデータ取得部１１と、イメージパイプ１２と、出力画像データ出力部１３とを備えている。
【００１２】
センサベイヤデータ取得部１１は、図示せぬ撮像装置により撮像された動画像を構成する各フレームのデータの夫々を、センサベイヤデータの形態で順次取得して、イメージパイプ１２に出力する。
【００１３】
イメージパイプ１２は、各フレームのデータに対して各種画像処理を施すべく、シェーディング補正処理部２１と、ホワイトバランス処理部２２と、色補間処理部２３と、色再現ゲイン処理部２４と、ガンマ処理部２５と、色空間変換処理部２６とを備えている。
【００１４】
シェーディング補正処理部２１は、センサベイヤデータ取得部１１から供給されたフレームのデータ（センサベイヤデータ）に対して、シェーディング補正処理を施す。シェーディング補正処理が施されたフレームのデータは、ホワイトバランス処理部２２に供給される。なお、シェーディング補正処理の詳細については、図３を参照して後述する。
【００１５】
ホワイトバランス処理部２２は、シェーディング補正処理部２１から供給されたフレームのデータに対して、ホワイトバランス処理を施す。ホワイトバランス処理が施されたフレームのデータは、色補間処理部２３に供給される。
【００１６】
色補間処理部２３は、ホワイトバランス処理部２２から供給されたフレームのデータに対して、色補間処理を施す。色補間処理が施されたフレームのデータは、色再現ゲイン処理部２４に供給される。
【００１７】
色再現ゲイン処理部２４は、色補間処理部２３から供給されたフレームのデータに対して、色再現ゲイン処理を施す。色再現ゲイン処理が施されたフレームのデータは、ガンマ処理部２５に供給される。
【００１８】
ガンマ処理部２５は、色再現ゲイン処理部２４から供給されたフレームのデータに対して、ガンマ処理を施す。ガンマ処理が施されたフレームのデータは、色空間変換処理部２６に供給される。
【００１９】
色空間変換処理部２６は、ガンマ処理部２５から供給されたフレームのデータに対して、色空間変換処理を施す。色空間変換処理が施されたフレームのデータは、出力画像データ出力部１３に供給される。
【００２０】
出力画像データ出力部１３は、イメージパイプ１２から順次出力される各フレームのデータの夫々を、出力画像のデータとして、図示せぬ後段の回路に出力する。
【００２１】
図２は、図１の画像処理装置１のうちシェーディング補正処理部２１の機能的構成の詳細を示す機能ブロック図である。
【００２２】
シェーディング補正処理部２１においては、勾配検出部４１と、各フェーズ処理部４２と、フェーズ遷移部４３と、フェーズ結果保持部４４と、シェーディング補正実行部４５と、Ｓｔａｔｉｓｔｉｃｓ作成部４６とが機能する。
各フェーズ処理部４２には、フェーズチェック部６１と、第１フェーズ処理部６２と、第２フェーズ処理部６３と、第３フェーズ処理部６４と、アイドル処理部６５とが機能する。
勾配検出部４１乃至Ｓｔａｔｉｓｔｉｃｓ作成部４６の各機能等の詳細については、図３以降のフローチャート等を参照して画像処理装置１の処理を説明する際にあわせて説明する。
【００２３】
次に、図３を参照して、画像処理装置１のシェーディング補正処理部２１が実行する処理のうち、シェーディング補正処理について説明する。
ここで、「シェーディング補正処理」とは、動的に手法を変化させながら、各フレームのデータに対してシェーディング補正を施していく一連の処理をいう。
【００２４】
図３は、画像処理装置１のシェーディング補正処理部２１により実行されるシェーディング補正処理を説明するフローチャートである。
【００２５】
シェーディング補正処理は、センサベイヤデータ取得部１１からシェーディング補正処理部２１にフレームのデータ（センサベイヤデータ）が供給される毎にその都度実行される。なお以下、シェーディング補正処理の処理対象として注目すべきフレームのデータを、「注目フレームのデータ」と呼ぶ。
【００２６】
ステップＳ１１において、勾配検出部４１は、注目フレーム内の処理対象の画素群のデータ（スタティックデータ）について、勾配を検出する処理（以下、「勾配検出処理」と呼ぶ）を実行する。勾配検出処理の詳細については、図４を参照して後述する。
【００２７】
ステップＳ１２において、フェーズチェック部６１は、注目フレームの直前フレームに対するシェーディング処理において事前に決定（遷移）されたフェーズをチェックする。
【００２８】
本実施形態では、シェーディング補正の手法（シェーディング補正Ｔａｂｌｅの生成を含む）として３つの手法が採用されており、各フレーム毎に適用される手法が動的に変化する。これらの３つの手法の夫々を、「第１フェーズ」乃至「第３フェーズ」の夫々と呼ぶ。なお、本実施形態では、シェーディング補正Ｔａｂｌｅを変化させないフレームも存在する。このように、シェーディング補正Ｔａｂｌｅを変化させない状態を「アイドル状態」と呼ぶ。
つまり、詳細については後述するが、ステップＳ１７においては、直後のフレーム（今回の注目フレームの直前フレームに対するシェーディング補正処理の場合には、今回の注目フレームが該当）で用いるためのフェーズが決定（遷移）される。このようなステップＳ１７の処理を以下、「フェーズ遷移処理」と呼ぶ。
【００２９】
直前フレームに対するシェーディング補正処理（ステップＳ１７のフェーズ遷移処理）において、第１フェーズであると決定（遷移）されている場合、注目フレームに対するステップＳ１２の処理では「第１フェーズ」とチェックされるので、処理はステップＳ１３に進む。
直前フレームに対するシェーディング補正処理（ステップＳ１７のフェーズ遷移処理）において、第２フェーズであると決定（遷移）されている場合、注目フレームに対するステップＳ１２の処理では「第２フェーズ」とチェックされるので、処理はステップＳ１４に進む。
直前フレームに対するシェーディング補正処理（ステップＳ１７のフェーズ遷移処理）において、第３フェーズであると決定（遷移）されている場合、注目フレームに対するステップＳ１２の処理では「第３フェーズ」とチェックされるので、処理はステップＳ１５に進む。
直前フレームに対するシェーディング補正処理（ステップＳ１７のフェーズ遷移処理）において、アイドルであると決定（遷移）されている場合、注目フレームに対するステップＳ１２の処理では「アイドル」とチェックされるので、処理はステップＳ１６に進む。
【００３０】
ステップＳ１２において第１フェーズとチェックされた場合、ステップＳ１３において、第１フェーズ処理部６２は、ステップＳ１１において検出された勾配を用いて、第１フェーズ用の補正テーブルを生成する処理（以下、「第１フェーズ処理」と呼ぶ）を実行する。第１フェーズ処理の詳細については、図１０を参照して後述する。
シェーディング補正実行部４５は、第１フェーズ用の補正テーブルを用いて、直前フレームのデータに対してシェーディング補正処理を施す。
【００３１】
ステップＳ１２において第２フェーズとチェックされた場合、ステップＳ１４において、第２フェーズ処理部６３は、ステップＳ１１において検出された勾配を用いて、第２フェーズ用の補正テーブルを生成する処理（以下、「第２フェーズ処理」と呼ぶ）を実行する。第２フェーズ処理の詳細については、図１７を参照して後述する。
シェーディング補正実行部４５は、第２フェーズ用の補正テーブルを用いて、直前フレームのデータに対してシェーディング補正処理を施す。
【００３２】
ステップＳ１２において第３フェーズとチェックされた場合、ステップＳ１５において、第３フェーズ処理部６４は、ステップＳ１１において検出された勾配を用いて、第３フェーズ用の補正テーブルを生成する処理（以下、「第３フェーズ処理」と呼ぶ）を実行する。第３フェーズ処理の詳細については、図１９を参照して後述する。
シェーディング補正実行部４５は、第３フェーズ用の補正テーブルを用いて、直前フレームのデータに対してシェーディング補正処理を施す。
【００３３】
ステップＳ１６において、アイドル処理部６５は、ステップＳ１３乃至ステップＳ１５が終了すると、アイドル処理を実行する。
ここで、「アイドル処理」とは、シェーディング補正テーブルを変化させずに、その結果として補正の出力の値は変動させない処理をいう。
【００３４】
ステップＳ１７において、フェーズ遷移部４３は、フェーズ遷移処理を実行することで、注目フレームの直後のフレームに対するフェーズを決定（遷移）する。フェーズ実行処理の詳細については、図２２を参照して後述する。
【００３５】
さらに以下、図３のシェーディング補正処理の詳細について説明する。
図４は、図３のシェーディング補正処理のうち、ステップＳ１１の勾配検出処理の詳細を説明するフローチャートである。
【００３６】
ステップＳ２０において、勾配検出部４１は、屋内若しくは屋外の光源の明るさ及び色温度に基づいて、同一被写体認識用の閾値を設定する。
ここで、図５を用いて閾値の設定手法の一例を説明する。
図５は、同一被写体認識用の閾値の設定曲線を示す図である。
図５において、横軸は画面領域の中心から外枠に向けての距離を示している。縦軸は閾値を示している。つまり、画面領域の中心から外郭に向けて撮像装置固有の特性を包括するような閾値の曲線が予め用意されている。この閾値の曲線としては、例えば屋内又は屋外の光源の明るさ及び色温度によって異なるパターンの複数の曲線が予め用意されている。具体的には例えば図５の例では、色温度に基づく赤外線量が、少、中、多の夫々に応じて３つの閾値の曲線が予め用意されている。
そこで、勾配検出部４１は、注目フレーム内の処理対象の画素群のデータ（スタティックデータ）毎に、画面領域の中心からの距離と図５の曲線とに基づいて、同一被写体認識用の閾値を夫々設定していく。
【００３７】
ステップＳ２１において、勾配検出部４１は、注目フレーム内の各画素群のデータ（スタティックデータ）の夫々を、処理の対象として注目すべきデータ（以下、「注目データ」と呼ぶ）として、注目データについて、その位置に基づいて勾配を取得する方向を決定する。
ここで、図６及び図７を参照して、勾配を取得する方向の決定手法の一例について説明する。
【００３８】
図６は、領域毎に区分して勾配を取得する方向を決定する手法の一例を説明する図である。
注目フレームは、図６に示すように、領域Ａ乃至領域Ｈに区分されている。領域Ａ乃至領域Ｈの夫々に対して、勾配を取得する方向が対応付けられている。
【００３９】
図７は、図６の領域Ａ乃至領域Ｈの夫々に対して対応付けられている、勾配を取得する方向の一例を説明する図である。
図７において、黒丸印は注目データを示しており、白丸印は比較対象データを示しており、三角印はその他のデータを示している。即ち、各枠内において、注目データ（白丸印）と比較対象データとを結ぶ方向が、当該枠に対応する領域に対応付けられた勾配を取得する方向に該当する。
つまり、勾配検出部４１は、注目データが領域Ａ乃至領域Ｈ（図６）の何れに属するかを認識し、注目データが属する領域に割り当てられた方向（図７）を、当該注目データにとっての勾配を取得する方向として決定する。
なお、図６は本実施形態を説明するための例示に過ぎない。即ち、注目フレームにおける各領域の分割される位置や数等は、本実施形態に記載されたものに限定されるものではない。
【００４０】
ステップＳ２２において、勾配検出部４１は、ステップＳ２１において決定された「勾配の取得する方向」に基づいて、注目データの勾配値を取得する。
なお、本実施形態において当該勾配は、注目データと比較対象データとから取得されているが、特にこれに限定されるものではなく、複数のデータから勾配を取得することも可能である。また、当該複数のデータから勾配を取得する際に適用される方向も、単調な方向だけに限られず、撮像機器固有の特性を包括するような特徴的な方向が用いられるものでもよい。
【００４１】
ステップＳ２３において、勾配検出部４１は、ステップＳ２０において設定された閾値に基づいて、注目データと比較対象データとが同一被写体であるか否かを判定する。
同一被写体でないと判定された場合、ステップＳ２３においてＮＯであると判定され、ステップＳ２４の処理は実行されずに、処理はステップＳ２５に進む。なお、ステップＳ２５以降の処理は後述する。
これに対して、同一被写体であると判定された場合、ステップＳ２３においてＹＥＳであると判定されて、処理はステップＳ２４に進む。
ステップＳ２４において、勾配検出部４１は、勾配値を距離別に積算する。
【００４２】
ステップＳ２５において、勾配検出部４１は、全てのデータについて勾配取得がされたか否かを判定する。
全てのデータについて勾配取得がされていないと判定された場合、ステップＳ２５においてＮＯであると判定され、処理はステップＳ２１に戻される。即ち、全てのデータについて勾配取得するまでの間、順次注目データが設定され、ステップＳ２１乃至Ｓ２５のループ処理が繰り返し実行されて勾配が取得されていく。
そして、全てのデータについて勾配取得がなされると、ステップＳ２５においてＹＥＳであると判定されて、処理はステップＳ２６に進む。
【００４３】
ステップＳ２６において、勾配検出部４１は、ステップＳ２４において積算された距離別の勾配値に基づいて、正規化の処理を施す。
ここで、図８及び図９を用いて、積算された距離別の勾配値に基づく正規化の処理の手法の一例を説明する。
図８は、積算された距離別の勾配値に基づく正規化の一例を示す図である。
図９は、積算された距離別の勾配値に基づく正規化のグラフイメージを示す図である。
図８に示すように、注目フレームの中心から外郭にむけて距離が１０分割される。この１０分割された距離毎に、補正方向が「陰」なのか「陽」なのかが決定されると共に、そこまでの距離の積算値（陽の場合＋１で、陰の場合−１として積算した値）が得られる。
この距離毎の積算値の分布状態を示すグラフが図９に示されるものである。
以上により、勾配検出処理は終了となる。即ち、図３のステップＳ１１の処理が終了し、処理はステップＳ１２に進み、それ以降の処理が実行される。
【００４４】
以上、図４乃至図９を参照して、図３のシェーディング補正処理のうち、ステップＳ１１の勾配検出処理の詳細について説明した。
次に、図１０乃至図１６を参照して、図３のシェーディング補正処理のうち、ステップＳ１３の第１フェーズ処理の詳細について説明する。
図１０は、図３のシェーディング補正処理のうち、ステップＳ１３の第１フェーズ処理を説明するフローチャートである。
図３のステップＳ１３において第１フェーズとチェックされた場合、ステップＳ１３における第１フェーズ処理として、次のステップＳ３０乃至Ｓ３３の一連の処理が実行される。
【００４５】
ステップＳ３０において、第１フェーズ処理部６２は、図３のステップＳ１１において検出された勾配に基づいて、位置別に正規化の処理を施す。
ここで、図１１を用いて、位置別正規化処理の例を説明する。
図１１は、位置別の正規化結果の具体例（補正方向の例）を示す図である。
図１１に示すように、注目フレームの中心から外郭にむけて３つの領域、即ち、Ｃｅｎｔｅｒ、Ｍｉｄ、及びＡｒｏｕｎｄからなる３つの領域に大別される。
そして、３つの領域毎に、複数の距離に分割される。複数の距離毎に、補正方向が「陰」なのか「陽」なのかが決定される。つまり、距離別正規化が行われる。そして、３つの領域毎に、位置別の正規化結果が求められる。例えば、図１１の例では、位置別の正規化結果としては、距離別正規化結果の陰と陽とが同数である場合は「無のパターン」が、陰が陽の数を上回る場合は「陰のパターン」が、陽が陰の数を上回る場合は「陽のパターン」が、夫々得られる。
【００４６】
ステップＳ３１において、第１フェーズ処理部６２は、ステップＳ３０において位置別の正規化結果に基づいて、補正方向を決定する。
ここで、図１２を用いて、補正方向の決定手法の一例を説明する。
図１２は、距離別正規化の結果に基づく補正方向の決定結果の具体例を示す図である。
例えば、第１フェーズ処理部６２は、図１２に示すように、導き出されたＣｅｎｔｅｒ、Ｍｉｄ、及びＡｒｏｕｎｄの位置別の正規化結果から補正方向を決定する。なお、補正方向は図１２に示された補正方向に限定されず、撮像装置固有の特性を包括するように補正方向を決めるものであってもよい。
【００４７】
ステップＳ３２において、第１フェーズ処理部６２は、ステップＳ３１において決定された補正方向と、明るさの環境と、色温度に基づく赤外線量とに基づいて、補正テーブルを選択する。
ここで、図１３を用いて補正テーブルの選択手法を説明する。
図１３は、補正テーブルの選択手法の一例を示す図である。
例えば、図１３に示すよう、（Ａ）明るい環境と（Ｂ）暗い環境とに分類され、夫々に固有の補正テーブルが予め準備されている。即ち、（Ａ）明るい環境と（Ｂ）暗い環境とのいずれかにおいて、色温度に基づく赤外線量少、赤外線量中、赤外線量多のいずれかと、補正方向の陰と陽のいずれかとの組み合わせにより、補正テーブルＡ乃至補正テーブルＬのうちのいずれかが選択される。
なお、図１３に示される赤外線量と補正テーブルとの関係によって補正が選択される手法に特に限定されず、例えば撮像装置固有の特性を包括するように補正テーブルの数や赤外線量の関係によって選択される手法が採用されてもよい。
【００４８】
ステップＳ３３において、第１フェーズ処理部６２は、注目フレームについて、前のフレームでの動的補正テーブルを基準補正テーブルとして用いて、当該基準補正テーブルに対して、ステップＳ３２において選択された補正テーブルを適用して、一定の割合に基づき動的補正テーブルを生成して、シェーディング補正テーブルとして設定する。
ここで、図１４乃至図１６を用いて動的補正テーブルの設定手法の一例を説明する。
図１４は、基準補正テーブルの一例を示している。
図１５は、陽の補正テーブルの一例を示している。
図１６は、陰の補正テーブルの一例を示している。
この場合、例えば、ステップＳ３２において明るい環境で赤外線量中の補正テーブルＣが選択されたものとすると、第１フェーズ処理部６２は、補正テーブルＣとして図１５に示される陽の補正テーブルを適用して、図１４に示される基準補正テーブルに対して、一定の割合に基づいて動的補正テーブルを生成する。
ここで、動的補正テーブルとは、次のようなテーブルを言う。即ち、図示せぬ撮像装置により撮像された動画像を構成する各フレームのうち最初のフレームに適用されるべき補正テーブルが予め用意されている。この補正テーブルを、以下「ベーステーブル」と呼ぶ。また、ベーステーブルと図１３に示すテーブル（ＴａｂｌｅＡ乃至Ｌ）を「静的テーブル」と呼ぶ。直前フレームで使用された補正テーブル（最初のフレーム以後は、常に動的補正テーブルが使用される）に対して、第１フェーズで選ばれた静的テーブル、もしくは、第２フェーズ若しくは第３フェーズの計算された趨勢線による補正テーブル（Ｆｉｔｔｉｎｇ  Ｔａｂｌｅ）を一定の比率でブレンディングしたものが、「動的補正テーブル」である。
また例えば、ステップＳ３２において暗い環境で赤外線量少の補正テーブルＫが選択されたものとすると、第１フェーズ処理部６２は、補正テーブルＫとして図１６に示される陰の補正テーブルを適用して、図１４に示される基準補正テーブルに対して、一定の割合に基づいて動的補正テーブルを生成する。
【００４９】
シェーディング補正実行部４５は、第１フェーズ用の補正テーブルとして、ステップＳ３３において設定されたものを用いて、注目フレームのデータに対してシェーディング補正処理を施す。
これにより、第１フェーズ処理は終了となる。即ち、図３のステップＳ１３の処理が終了し、処理はステップＳ１７に進み、それ以降の処理が実行される。
【００５０】
以上、図１０乃至図１６を参照して、図３のシェーディング補正処理のうち、ステップＳ１３の第１フェーズ処理の詳細について説明した。
次に、図１７及び図１８を参照して、図３のシェーディング補正処理のうち、ステップＳ１４の第２フェーズ処理の詳細について説明する。
図１７は、図３のシェーディング補正処理のうち、ステップＳ１４の第２フェーズ処理を説明するフローチャートである。
図３のステップＳ１２において第２フェーズとチェックされた場合、ステップＳ１４における第２フェーズ処理として、次のステップＳ４０乃至Ｓ４２の一連の処理が実行される。
【００５１】
ステップＳ４０において、第２フェーズ処理部６３は、勾配検出部４１により正規化された距離別勾配積算値に基づいて、趨勢線を作成する。
ここで、図１８を用いて趨勢線の一例を説明する。
図１８は、趨勢線の一例を示す図である。
例えば、第２フェーズ処理部６３は、図４のステップS２６において正規化された距離別勾配積算値（図１８の黒いバー）に沿って趨勢線（図１８の点線）を作成する。
【００５２】
ステップＳ４１において、第２フェーズ処理部６３は、ステップＳ４０において作成された趨勢線に基づいて、補正テーブルを作成する。
【００５３】
ステップＳ４２において、第２フェーズ処理部６３は、注目フレームについて、前のフレームでの動的補正テーブルを基準補正テーブルとして用いて、当該基準補正テーブルに対して、ステップＳ４１において生成された補正テーブルを適用して、一定の割合に基づき動的補正テーブルを生成して、シェーディング補正テーブルとして設定する。
【００５４】
シェーディング補正実行部４５は、第２フェーズ用の補正テーブルとして、ステップＳ４２において設定されたものを用いて、注目フレームのデータに対してシェーディング補正処理を施す。
これにより、第２フェーズ処理は終了となる。即ち、図３のステップＳ１４の処理が終了し、処理はステップＳ１７に進み、それ以降の処理が実行される。
【００５５】
以上、図１７及び図１８を参照して、図３のシェーディング補正処理のうち、ステップＳ１４の第２フェーズ処理の詳細について説明した。
次に、図１９乃至図２１を参照して、図３のシェーディング補正処理のうち、ステップＳ１５の第３フェーズ処理の詳細について説明する。
図１９は、図３のシェーディング補正処理のうち、ステップＳ１５の第３フェーズ処理を説明するフローチャートである。
図３のステップＳ１２において第３フェーズとチェックされた場合、ステップＳ１５における第３フェーズ処理として、次のステップＳ５０乃至Ｓ５４の一連の処理が実行される。
【００５６】
ステップＳ５０において、第３フェーズ処理部６４は、注目フレームから象限を特定する。具体的には例えば、第３フェーズ処理部６４は、内部で保持した変数の値に基づいて、注目フレームの中心を基準として注目フレームを例えば４象限に分割し、当該４象限のうち１つの象限を特定する。なお以下、第３フェーズ処理の処理対象として注目すべき象限を、「注目象限」と呼ぶ。
【００５７】
ステップＳ５１において、第３フェーズ処理部６４は、ステップＳ５０において特定された注目象限について、勾配検出部４１により正規化された距離別勾配積算値に基づいて、趨勢線を作成する。
【００５８】
ステップＳ５２において、第３フェーズ処理部６４は、ステップＳ５１において作成された趨勢線に基づいて、補正テーブルを作成する。
【００５９】
ステップＳ５３において、第３フェーズ処理部６４は、注目フレームについて、前のフレームでの動的補正テーブルを基準補正テーブルとして用いて、当該基準補正テーブルに対して、ステップＳ５２において生成された補正テーブルを適用して、一定の割合に基づき動的補正テーブルを生成して、シェーディング補正テーブルとして設定する。
ここで、動的補正テーブルを生成するに際し、図２０に示される第２象限の補正用比率テーブルを用いてもよい。この場合、例えば図２１に示さるような動的補正テーブルが生成される。
【００６０】
ステップＳ５４において、第３フェーズ処理部６４は、注目象限の次の象限を決定（遷移）する。
【００６１】
シェーディング補正実行部４５は、第３フェーズ用の補正テーブルとして、ステップＳ５３において設定されたものを用いて、注目フレームのデータに対してシェーディング補正処理を施す。
これにより、第３フェーズ処理は終了となる。即ち、図３のステップＳ１５の処理が終了し、処理はステップＳ１７に進み、それ以降の処理が実行される。
【００６２】
以上、図１９乃至図２１を参照して、図３のシェーディング補正処理のうち、ステップＳ１５の第３フェーズ処理の詳細について説明した。
次に、図２２を参照して、図３のシェーディング補正処理のうち、ステップＳ１７のフェーズ遷移処理の詳細について説明する。
【００６３】
図２２は、図３のシェーディング補正処理のうち、ステップＳ１７のフェーズ遷移処理を説明するフローチャートである。
【００６４】
ステップＳ６０において、フェーズ遷移部４３は、注目フレームに対するシェーディング処理において用いられたフェーズをチェックする。つまり、直前の処理でステップＳ１３乃至Ｓ１６のうち何れの処理が実行されたのかがチェックされる。
【００６５】
ステップＳ６０において第１フェーズとチェックされた場合、ステップＳ６１において、フェーズ遷移部４３は、発振検出されているか否かを判定する。ここで、発振検出は、陽の補正と陰の補正とが繰り返されることで検出される。
発振検出されていないと判定された場合、ステップＳ６１においてＮＯであると判定されて、処理はステップＳ６２に進む。
これに対して、発振検出されていると判定された場合、処理はステップＳ６３に進む。即ち、注目フレームの直後のフレームに対するフェーズが第２フェーズであることが決定（遷移）される。
【００６６】
ステップＳ６２において、フェーズ遷移部４３は、勾配の積算値が一定値以下か否かを判定する。
勾配の積算値が一定値以下でないと判定された場合、ステップＳ６２においてＮＯであると判定されて、注目フレームの直後のフレームに対するフェーズが第１フェーズのままと決定される。
これに対して、勾配の積算値が一定値以下であると判定された場合、処理はステップＳ６３に進む。即ち、注目フレームの直後のフレームに対するフェーズが第２フェーズであることが決定（遷移）される。
【００６７】
ステップＳ６０において第２フェーズとチェックされた場合、ステップＳ６４において、フェーズ遷移部４３は、第２フェーズ処理が一定回数以上処理されているか否かを判定する。
第２フェーズ処理が一定回数以上処理されていないと判定された場合、ステップＳ６４においてＮＯであると判定されて、処理はステップＳ６５に進む。
これに対して、第２フェーズ処理が一定回数以上処理されていると判定された場合、処理はステップＳ６６に進む。即ち、注目フレームの直後のフレームに対するフェーズが第３フェーズのままであることが決定される。
ステップＳ６５において、フェーズ遷移部４３は、勾配の積算値が一定値以下か否かを判定する。
勾配の積算値が一定値以下でないと判定された場合、ステップＳ６５においてＮＯであると判定されて、注目フレームの直後のフレームに対するフェーズが第２フェーズのままであることが決定される。
これに対して、勾配の積算値が一定値以下であると判定された場合、処理はステップＳ６６に進む。即ち、注目フレームの直後のフレームに対するフェーズが第３フェーズであることが決定（遷移）される。
【００６８】
ステップＳ６０において第３フェーズとチェックされた場合、ステップＳ６７において、フェーズ遷移部４３は、第３フェーズ処理が一定回数以上処理されているか否かを判定する。
第３フェーズ処理が一定回数以上処理されていないと判定された場合、ステップＳ６７においてＮＯであると判定されて、処理はステップＳ６８に進む。
これに対して、第３フェーズ処理が一定回数以上処理されていると判定された場合、処理はステップＳ６９に進む。即ち、注目フレームの直後のフレームに対するフェーズがアイドルであることが決定（遷移）される。
ステップＳ６８において、フェーズ遷移部４３は、勾配の積算値が一定値以下か否かを判定する。
勾配の積算値が一定値以下でないと判定された場合、ステップＳ６８においてＮＯであると判定されて、注目フレームの直後のフレームに対するフェーズが第３フェーズのままであることが決定される。
これに対して、勾配の積算値が一定値以下であると判定された場合、処理はステップＳ６９に進む。即ち、注目フレームの直後のフレームに対するフェーズがアイドルであることが決定（遷移）される。
【００６９】
ステップＳ６０においてアイドルとチェックされた場合、ステップＳ７０において、フェーズ遷移部４３は、環境光の明るさが変化したか否かを判定する。
環境光の明るさが変化していないと判定された場合、ステップＳ７０においてＮＯであると判定されて、処理はステップＳ７１に進む。
これに対して、環境光の明るさが変化していると判定された場合、処理はステップＳ７３に進む。即ち、注目フレームの直後のフレームに対するフェーズが第１フェーズであることが決定（遷移）される。
ステップＳ７１において、アイドル処理部６５は、環境光の色温度が変化しているか否かを判定する。
環境光の色温度が変化していないと判定された場合、ステップＳ７１においてＮＯであると判定されて、処理はステップＳ７２に進む。
これに対して、環境光の色温度が変化していると判定された場合、処理はステップＳ７３に進む。即ち、注目フレームの直後のフレームに対するフェーズが第１フェーズであることが決定（遷移）される。
ステップＳ７２において、アイドル処理部６５は、勾配の積算値が一定値以上か否かを判定する。
勾配の積算値が一定値以上ではないと判定された場合、ステップＳ７２においてＮＯであると判定されて、注目フレームの直後のフレームに対するフェーズがアイドルのままであることが決定（遷移）される。
これに対して、勾配の積算値が一定値以上であると判定された場合、処理はステップＳ７３に進む。即ち、注目フレームの直後のフレームに対するフェーズが第１フェーズであることが決定される。
【００７０】
これにより、フェーズ遷移処理は終了となる。即ち、図３のステップＳ１７の処理が終了し、処理はステップＳ１１に進み、それ以降の処理が実行される。
【００７１】
以上本発明の画像処理装置の一実施形態について説明したが、本発明は上述した本実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙に過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
【００７２】
例えば、上述の本実施形態では、シェーディング補正の手法として第１フェーズ乃至第３フェーズを用いているが、これに特に制限されない。例えばシェーディング補正の手法は、複数の手法が用いられてもよい。
【００７３】
例えば、上述の本実施形態では、シェーディング補正の手法として第１フェーズ乃至第３フェーズを用いているが、これに特に制限されない。例えばシェーディング補正の手法は、複数の任意の手法が用いられてもよい。
【００７４】
また、図１に示すハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【００７５】
また、図２に示すブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能がシェーディング補正処理部２１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図２の例に限定されない。
さらに、機能ブロックの存在場所も、図２に限定されず、任意でよい。
そして、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェアとの組み合わせで構成してもよい。
【００７６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００７７】
以上まとめると、本発明が適用される画像処理装置は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される画像処理装置（例えば図１の画像処理装置１）は、
複数の単位画像から構成される動画像のうち、処理対象として注目すべき単位画像を注目画像として、当該注目画像のデータに対して所定の補正処理を施す画像処理装置において、
前記所定の補正処理の手法であって、画像の勾配を用いる手法として予め用意されているN種類（Nは２以上の整数値）の中から、前記所定の補正処理に適用する適用手法を、前記注目画像よりも時間的に前の単位画像の内容に基づいて、選択する手法選択手段（例えば図２の各フェーズ処理部４２）と、
前記適用手法に基づいて、前記注目画像のデータに対して、前記所定の補正処理を施す補正手段（例えば図２のシェーディング補正実行部４５）と、
を備える、情報処理装置であれば足りる。
これにより、電子カメラで撮影された画像のデータを用いて、適切なシェーディング補正を実現することができる。
【００７８】
また、画像処理装置は、前記N種類の手法は、第１手法乃至第３手法を含み、
前記第１手法は、
前記所定の補正処理に用いるテーブルとして、基本テーブル、正テーブル、及び負テーブルを用意しており、単位画像を単位として前記勾配を用いて正負を判定して、前記テーブルに基づく補正値を導き出し、徐々に補正が収束するように処理される手法であり、
前記第２手法は、
前記単位画像を単位として前記勾配を用いて、位置情報と補正された結果を量子化して増減判定を行い、徐々に補正が収束するように処理される手法であり、
前記第３手法は、
前記画像の中心を基準にして２以上の象限を特定し、各象限毎に前記第２手法を用いた補正を可能にする手法であるようにしてもよい。
【００７９】
また、画像処理装置は、前記第１手法乃至第３手法に用いられる前記注目画像のデータを固定値から動的に補正量を変化させ、
測定値又は演算値を正規化する手法を取り入れることを特徴とするようにしてもよい。
【符号の説明】
【００８０】
１・・・  画像処理装置
１１・・・  センサベイヤデータ取得部
１２・・・  イメージパイプ
１３・・・  出力画像データ出力部
２１・・・  シェーディング補正処理部
２２・・・  ホワイトバランス処理部
２３・・・  色補間処理部
２４・・・  色再現ゲイン処理部
２５・・・  ガンマ処理部
２６・・・  色空間変換処理部
４１・・・  勾配検出部
４２・・・  各フェーズ処理部
４３・・・  フェーズ遷移部
４４・・・  フェーズ結果保持部
４５・・・  シェーディング補正実行部
４６・・・  Ｓｔａｔｉｓｔｉｃｓ作成部
６１・・・  フェーズチェック部
６２・・・  第１フェーズ処理部
６３・・・  第２フェーズ処理部
６４・・・  第３フェーズ処理部
６５・・・  アイドル処理部
【図１】
2018093291.tif 000003
【図２】
2018093291.tif 000004
【図３】
2018093291.tif 000005
【図４】
2018093291.tif 000006
【図５】
2018093291.tif 000007
【図６】
2018093291.tif 000008
【図７】
2018093291.tif 000009
【図８】
2018093291.tif 000010
【図９】
2018093291.tif 000011
【図１０】
2018093291.tif 000012
【図１１】
2018093291.tif 000013
【図１２】
2018093291.tif 000014
【図１３】
2018093291.tif 000015
【図１４】
2018093291.tif 000016
【図１５】
2018093291.tif 000017
【図１６】
2018093291.tif 000018
【図１７】
2018093291.tif 000019
【図１８】
2018093291.tif 000020
【図１９】
2018093291.tif 000021
【図２０】
2018093291.tif 000022
【図２１】
2018093291.tif 000023
【図２２】
2018093291.tif 000024