(57)【要約】カラー画像における画像領域単位の画像特性に応じた偽色補正を行う装置、方法を提供する。カラー画像と、全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子によって撮影されたホワイト（Ｗ）画像を入力して、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有する。画像処理部は、ホワイト（Ｗ）画像を入力し、画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出部と、ホワイト（Ｗ）画像と、カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出部と、周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、ホワイト（Ｗ）画像と、カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する。
2017154293.tif 000002
【特許請求の範囲】
【請求項１】
カラー画像と、全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子によって撮影されたホワイト（Ｗ）画像を入力して、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出部と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する画像補正部を有する画像処理装置。
【請求項２】
前記カラー画像は、ＲＧＢ配列撮像素子によって撮影されたＲＧＢ画像であり、
前記位置ずれ対応パラメータ算出部は、
前記ホワイト（Ｗ）画像と、前記ＲＧＢ画像に基づいて生成されるＹＵＶ画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出し、
前記画像補正部は、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記ＹＵＶ画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する請求項１に記載の画像処理装置。
【請求項３】
前記画像補正部は、
異なるカットオフ周波数を有する複数の異なるローパスフィルタ（ＬＰＦ）を、画像領域単位で選択適用して補正画素値を算出する請求項１に記載の画像処理装置。
【請求項４】
前記画像補正部は、
（ａ）前記カラー画像の領域単位でローパスフィルタ（ＬＰＦ）を適用したＬＰＦ適用カラー画素値と、
（ｂ）前記ホワイト（Ｗ）画像の画素値を、前記ホワイト（Ｗ）画像の領域単位でローパスフィルタ（ＬＰＦ）を適用した値で除算した除算Ｗ画素値と、
を算出し、算出した２つの値を乗算して補正画素値を算出する請求項１に記載の画像処理装置。
【請求項５】
前記画像補正部は、
前記カラー画像の領域単位で適用するローパスフィルタ（ＬＰＦ）を、
高周波領域では、カットオフ周波数が相対的に低いローパスフィルタを優先適用し、
低周波領域では、カットオフ周波数が相対的に高いローパスフィルタを優先適用する請求項１に記載の画像処理装置。
【請求項６】
前記画像補正部は、
前記カラー画像の領域単位で適用するローパスフィルタ（ＬＰＦ）を、
位置ずれが大きい領域では、カットオフ周波数が相対的に低いローパスフィルタを優先適用し、
位置ずれが小さい領域では、カットオフ周波数が相対的に高いローパスフィルタを優先適用する請求項１に記載の画像処理装置。
【請求項７】
前記画像補正部は、
（ａ）前記ＹＵＶ画像の領域単位でローパスフィルタ（ＬＰＦ）を適用したＬＰＦ適用ＹＵＶ画素値と、
（ｂ）前記ホワイト（Ｗ）画像の画素値を、前記ホワイト（Ｗ）画像の領域単位でローパスフィルタ（ＬＰＦ）を適用した値で除算した除算Ｗ画素値と、
を算出し、算出した２つの値を乗算して補正画素値を算出する請求項２に記載の画像処理装置。
【請求項８】
前記画像補正部は、
前記ＹＵＶ画像の画像領域単位で、以下の補正画素値算出式、
Ｕｏｕｔ＝ＬＰＦ（Ｕ）×（Ｗ／ＬＰＦ（Ｗ））
Ｖｏｕｔ＝ＬＰＦ（Ｖ）×（Ｗ／ＬＰＦ（Ｗ））
上記補正画素値式に従って算出されるＵＶ値（Ｕｏｕｔ，Ｖｏｕｔ）を補正画素値として算出する請求項２に記載の画像処理装置。
【請求項９】
前記画像補正部は、
前記補正画素値算出式に適用するローパスフィルタ（ＬＰＦ）を、
高周波領域では、カットオフ周波数が相対的に低いローパスフィルタを優先適用し、
低周波領域では、カットオフ周波数が相対的に高いローパスフィルタを優先適用する請求項８に記載の画像処理装置。
【請求項１０】
前記画像補正部は、
前記補正画素値算出式に適用するローパスフィルタ（ＬＰＦ）を、
位置ずれが大きい領域では、カットオフ周波数が相対的に低いローパスフィルタを優先適用し、
位置ずれが小さい領域では、カットオフ周波数が相対的に高いローパスフィルタを優先適用する請求項８に記載の画像処理装置。
【請求項１１】
前記画像処理部は、
前記カラー画像と、前記ホワイト（Ｗ）画像の位置合わせを実行する位置合わせ部を有し、
前記位置ずれ対応パラメータ算出部は、
前記ホワイト（Ｗ）画像と、前記位置合わせ部の生成した位置合わせ後のカラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する請求項１に記載の画像処理装置。
【請求項１２】
前記画像処理部は、
前記カラー画像と、前記ホワイト（Ｗ）画像を入力し、両画像間の動きベクトルを検出する動きベクトル検出部を有し、
前記位置合わせ部は、前記動きベクトルを利用して、前記カラー画像と、前記ホワイト（Ｗ）画像の位置合わせを実行する請求項１１に記載の画像処理装置。
【請求項１３】
前記動きベクトル検出部は、
前記カラー画像の撮像部と、前記ホワイト（Ｗ）画像の撮像部との撮影位置のずれに応じた視差に基づく画像の位置ずれに相当する動きベクトルを検出する請求項１２に記載の画像処理装置。
【請求項１４】
全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子を有し、ホワイト（Ｗ）画像を撮影する第１撮像部と、
ＲＧＢ画素配列を有するＲＧＢ配列撮像素子を有し、カラー画像を撮影する第２撮像部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出部と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する画像補正部を有する撮像装置。
【請求項１５】
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
カラー画像と、全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子によって撮影されたホワイト（Ｗ）画像を入力して、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記画像処理部が、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出処理と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出処理と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する画像処理方法。
【請求項１６】
撮像装置において実行する画像処理方法であり、
前記撮像装置は、
全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子を有し、ホワイト（Ｗ）画像を撮影する第１撮像部と、
ＲＧＢ画素配列を有するＲＧＢ配列撮像素子を有し、カラー画像を撮影する第２撮像部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記第１撮像部と、前記第２撮像部において、ホワイト（Ｗ）画像とカラー画像を撮影し、
前記画像処理部において、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出処理と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出処理と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する画像処理方法。
【請求項１７】
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
カラー画像と、全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子によって撮影されたホワイト（Ｗ）画像を入力して、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記プログラムは、前記画像処理部に、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出処理と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出処理と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する処理を実行させるプログラム。
【請求項１８】
撮像装置において画像処理を実行させるプログラムであり、
前記撮像装置は、
全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子を有し、ホワイト（Ｗ）画像を撮影する第１撮像部と、
ＲＧＢ画素配列を有するＲＧＢ配列撮像素子を有し、カラー画像を撮影する第２撮像部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記プログラムは、
前記第１撮像部と、前記第２撮像部において、ホワイト（Ｗ）画像とカラー画像を撮影させ、
前記画像処理部に、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出処理と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出処理と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。特に、画像に発生する偽色の補正処理を実行する画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
カメラ（撮像装置）によりカラー画像を撮影すると、撮影画像中に撮影被写体の実際の色と異なる色、いわゆる偽色が発生することがある。
撮像素子には、例えばＲＧＢ配列からなるカラーフィルタが設けられ、カラーフィルタを介した入射光が撮像素子上に到達して各入射光量に応じた電気信号を出力する。
このようなカラーフィルタを用いた撮像構成では、例えば単位面積たりの輝度や色信号の変化量の大きい、いわゆる高周波信号領域に偽色が発生しやすい。特に高密度化された撮像素子では、偽色がより発生しやすい傾向がある。【０００３】
このような偽色の補正手法を開示した従来技術として、例えば特許文献１（特開２０１３−２６６７２号公報）がある。
特許文献１には、一般的なカラー画像撮影のためのＲＧＢ画素配列、例えばベイヤ配列を持つ撮像素子（イメージセンサ）と、ホワイト（Ｗ）画素のみからなるＷ画素配列からなる撮像素子の２つの撮像素子を用いた２枚の撮影画像を用いて、色補正を実行する構成を開示している。【０００４】
しかし、ＲＧＢ画素配列を持つ撮像素子（イメージセンサ）による撮影画像には、偽色が発生しやすい領域とほとんど発生しないが領域があり、これらの領域を判別して、領域単位で最適な処理を行なわなければ、正しい被写体の色を再現することができない。
また、ＲＧＢ画像とＷ画像の２つの画像を用いるためには、２つの撮像素子を並べて撮影することが必要であり、２つの画像に視差に基づく位置ずれが発生する。
上記の領域単位の補正を正しく行うためには、２画像の位置ずれを解消するための位置合わせを実行した上で領域単位の画像特性を検出して、領域単位で最適な補正を行う必要がある。【０００５】
上記の特許文献１は、ＲＧＢ配列の撮像素子（イメージセンサ）と、ホワイト（Ｗ）画素配列の撮像素子（イメージセンサ）の２つの撮像素子の撮影画像を用いた偽色補正について説明しているが、各画像領域の特徴に基づいて補正態様を最適化することについての詳細な説明はなく、画像領域によって誤った補正が行われてしまうという可能性がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−２６６７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本開示は、上記の問題点に鑑みてなされたものであり、ＲＧＢ配列撮像素子等、通常のカラー画像撮影用の撮像素子と、ホワイト（Ｗ）画素配列の撮像素子を用いて撮影された２枚の画像を用い、画像領域単位の特徴に応じて補正態様を最適化し、各画像領域の画像特性に応じた最適な画像補正により、偽色を減少させた高品質な画像を生成する画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本開示の第１の側面は、
カラー画像と、全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子によって撮影されたホワイト（Ｗ）画像を入力して、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出部と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する画像補正部を有する画像処理装置にある。【０００９】
さらに、本開示の第２の側面は、
全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子を有し、ホワイト（Ｗ）画像を撮影する第１撮像部と、
ＲＧＢ画素配列を有するＲＧＢ配列撮像素子を有し、カラー画像を撮影する第２撮像部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出部と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する画像補正部を有する撮像装置にある。【００１０】
さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
カラー画像と、全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子によって撮影されたホワイト（Ｗ）画像を入力して、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記画像処理部が、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出処理と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出処理と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する画像処理方法にある。【００１１】
さらに、本開示の第４の側面は、
撮像装置において実行する画像処理方法であり、
前記撮像装置は、
全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子を有し、ホワイト（Ｗ）画像を撮影する第１撮像部と、
ＲＧＢ画素配列を有するＲＧＢ配列撮像素子を有し、カラー画像を撮影する第２撮像部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記第１撮像部と、前記第２撮像部において、ホワイト（Ｗ）画像とカラー画像を撮影し、
前記画像処理部において、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出処理と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出処理と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する画像処理方法にある。【００１２】
さらに、本開示の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
カラー画像と、全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子によって撮影されたホワイト（Ｗ）画像を入力して、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記プログラムは、前記画像処理部に、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出処理と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出処理と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する処理を実行させるプログラムにある。【００１３】
さらに、本開示の第６の側面は、
撮像装置において画像処理を実行させるプログラムであり、
前記撮像装置は、
全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子を有し、ホワイト（Ｗ）画像を撮影する第１撮像部と、
ＲＧＢ画素配列を有するＲＧＢ配列撮像素子を有し、カラー画像を撮影する第２撮像部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記プログラムは、
前記第１撮像部と、前記第２撮像部において、ホワイト（Ｗ）画像とカラー画像を撮影させ、
前記画像処理部に、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出処理と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出処理と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する処理を実行させるプログラムにある。【００１４】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。【００１５】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００１６】
本開示の一実施例の構成によれば、カラー画像における画像領域単位の画像特性に応じた偽色補正を行う装置、方法が実現される。
具体的には、カラー画像と、全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子によって撮影されたホワイト（Ｗ）画像を入力して、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有する。画像処理部は、ホワイト（Ｗ）画像を入力し、画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出部と、ホワイト（Ｗ）画像と、カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出部と、周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、ホワイト（Ｗ）画像と、カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する。
これらの処理により、カラー画像における画像領域単位の画像特性に応じた偽色補正を行う装置、方法が実現され、偽色を除去または低減した高品質な画像を生成して出力することが可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１７】
【図１】画像処理装置の構成例について説明する図である。
【図２】撮像装置の画素配列の構成例について説明する図である。
【図３】画像処理部の構成と処理について説明する図である。
【図４】周波数対応パラメータ算出部の構成と処理について説明する図である。
【図５】周波数対応パラメータ算出部の構成と処理について説明する図である。
【図６】位置ずれ対応パラメータ算出部の構成と処理について説明する図である。
【図７】位置ずれ対応パラメータ算出部の構成と処理について説明する図である。
【図８】位置ずれ対応パラメータ算出部の構成と処理について説明する図である。
【図９】画像補正部の構成と処理について説明する図である。
【図１０】画像補正部の実行する処理について説明する図である。
【図１１】画像補正部の実行する処理について説明する図である。
【図１２】画像補正部の実行する処理について説明する図である。
【図１３】画像補正部の実行する処理について説明する図である。
【図１４】画像補正部の実行する処理について説明する図である。
【図１５】画像補正部の実行する処理について説明する図である。
【図１６】画像補正部の実行する処理について説明する図である。
【図１７】画像補正部の実行する処理について説明する図である。
【図１８】画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら本開示の画像処理装置、撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本開示の画像処理装置の構成と処理について
２．画像処理部の構成と、偽色低減処理について
３．画像補正部の実行する画像特性に応じた画像処理について
４．画像特性に応じて複数の異なるローパスフィルタを組み合わせて利用した画像処理について
５．画像処理装置の実行する画像処理の処理シーケンスについて
６．画像処理装置のその他の構成例について
７．本開示の構成のまとめ
【００１９】
［１．本開示の画像処理装置の構成と処理について］
図１以下を参照して本開示の画像処理装置の構成と処理について説明する。
図１は、本開示の画像処理装置１００の一例である撮像装置の構成を示すブロック図である。
なお、本開示の画像処理装置は、撮像装置に限らず、例えば撮像装置の撮影画像を入力して画像処理を実行するＰＣ等の情報処理装置も含まれる。
以下では、本開示の画像処理装置１００の一例として、撮像装置の構成と処理について説明する。
以下の実施例において説明する撮影処理以外の画像処理は、撮像装置に限らず、ＰＣ等の情報処理装置において実行することも可能である。
【００２０】
図１に示す撮像装置としての画像処理装置１００は、制御部１０１、記憶部１０２、コーデック１０３、入力部１０４、出力部１０５、撮像部１０６、画像処理部１２０を有する。
撮像部１０６は、可視光の全波長領域の入射光量に基づく電気信号出力を行うＷ（ホワイト）画素配列撮像素子を有する第１撮像部１０７と、ＲＧＢのカラーフィルタ、例えばベイヤ配列からなるカラーフィルタを有し、各画素単位でＲＧＢ各色の入力光対応の信号を出力するＲＧＢ画素配列撮像素子を有する第２撮像部１０８によって構成される。
【００２１】
第１撮像部１０７と、第２撮像部１０８は、所定間隔、離れた位置に設定される２つの撮像部であり、それぞれの撮影画像は異なる視点からの画像となる。これらの２つの画像は、静止画である場合は、同一タイミングの静止画として撮影される。動画である場合は、各撮像部の撮影フレームは、同期した撮影フレーム、すなわち同一タイミングで順次撮影される連続した画像フレームとなる。
なお、これらの撮影タイミングの制御は制御部１０１によって行われる。
【００２２】
しかし、これらの２つの撮像部１０７，１０８は、上述のように、所定間隔離れた位置に設定される２つの撮像部であり、それぞれの撮影画像は異なる視点からの画像となる。すなわち視差を持つ画像となる。
従って、２つの画像の対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。
本開示の画像処理装置１００は、画像処理部１２０においてこのずれを考慮して画像補正、具体的には偽色を低減させる画像処理を行なう、この処理の詳細については後述する。
【００２３】
制御部１０１は、画像の撮影、撮影画像に対する信号処理、画像の記録処理、表示処理等、撮像装置１００において実行する各種の処理を制御する。制御部１０１は、例えば記憶部１０２に格納された様々な処理プログラムに従った処理を実行するＣＰＵ等を備え、プログラムを実行するデータ処理部として機能する。
【００２４】
記憶部１０２は、撮影画像の格納部、さらに、制御部１０１において実行する処理プログラムや、各種パラメータの記憶部、さらにデータ処理時のワークエリアとして機能するＲＡＭ，ＲＯＭ等によって構成される。
コーデック１０３は、撮影画像の圧縮、伸長処理等の符号化、復号処理を実行する。
入力部１０４は、例えばユーザ操作部であり、撮影開始、終了、様々なモード設定等の制御情報を入力する。
出力部１０５は表示部、スピーカ等によって構成され、撮影画像、スルー画等の表示、音声出力等に利用される。
【００２５】
画像処理部１２０は、撮像部１０６から入力する２枚の画像ホワイト−ＲＡＷ（Ｗ−ＲＡＷ）画像１１１、ＲＧＢ−ＲＡＷ画像１１２、さらに処理パラメータとしてのセンサノイズ特性（σ）１１３を入力し、偽色を減少させる画像処理を実行して、ＲＧＢ画像１５０を生成して出力する。
【００２６】
前述したように、撮像部１０６は、可視光の全波長領域の入射光量に基づく電気信号出力を行うＷ（ホワイト）画素配列撮像素子を有する第１撮像部１０７と、ＲＧＢのカラーフィルタ、例えばベイヤ配列からなるカラーフィルタを有し、各画素単位でＲＧＢ各色の入力光対応の信号を出力するＲＧＢ画素配列撮像素子を有する第２撮像部１０８によって構成される。
【００２７】
この２つの撮像部１０７，１０８の画素配列（フィルタ配列）について図２を参照して説明する。
【００２８】
図２（ａ）は、一般的なカラー画像の撮影に用いられるベイヤ配列を示している。
ベイヤ配列は、ＲＧＢ各色の波長光を選択的に透過するＲＧＢフィルタによって構成される。
２×２の４画素中の対角上に２つのＧ画素が設定され、残りにＲ、Ｂ画素が１ｚずつ配置される。
【００２９】
このベイヤ配列型のＲＧＢ画素配列は、図１に示す第２撮像部１０８に用いられる画素配列である。画像撮影処理によって、各画素単位でＲＧＢのいずれかの画素値が設定される。この信号処理前の画像が、図１に示すＲＧＢ−ＲＡＷ画像１１２である。
【００３０】
ＲＧＢ−ＲＡＷ画像は、各画素にＲ，Ｇ，Ｂのいずれか１つの画素値が設定されている。その後の信号処理として実行されるデモザイク処理によって、全ての画素にＲＧＢの３信号を設定する処理が行われる。
通常の単眼カメラでは、このような処理によってカラー画像の生成が行われるが、この処理において、このような処理を行なうと、前述したように、本来の被写体にはない色が出力画像中に出現する偽色が発生することがある。
本開示の画像処理装置では、図１に示す画像処理部１２０内における画像処理によって、この偽色を減少させる処理を行なう。
この具体的処理については後段で説明する。
【００３１】
図２（ｂ）は、図１の第１撮像部１０７の画素配列（フィルタ配列）を示す図である。全画素が、可視光の全波長領域の入射光量に基づく電気信号出力を行うＷ（ホワイト）画素によって構成される。
図１の第１撮像部１０７は、全画素についてＲＧＢの全ての波長光を入射するＷ画素を全画素位置に配列したＷ画素配列撮像素子による撮像画像としてのＷ−ＲＡＷ画像１１１を生成して画像処理部１２０に入力する。
【００３２】
画像処理部１２０は、第１撮像部１０７からＷ−ＲＡＷ画像１１１、第２撮像部１０８からＲＧＢ−ＲＡＷ画像１１２を入力し、さらに、偽色を減少させる補正処理に適用するパラメータであるセンサノイズ特性（σ）１１３を入力して、偽色を減少させるための画像補正処理を行なう。
なお、センサノイズ特性（σ）１１３は、撮像部１０６の第１撮像部１０７、第２撮像部１０８において用いられる撮像素子のノイズ特性であり、例えば、制御部１０１によって予め取得され、記憶部１０２に格納される。
なお、ここでは、第１撮像部１０７、第２撮像部１０８において用いられる撮像素子のノイズ特性を共通の値（σ）として示しているが、各撮像部の撮像素子各々の特性、σ１，σ２を用いる構成としてもよい。
【００３３】
［２．画像処理部の構成と、偽色低減処理について］
次に、図３以下を参照して、図１に示す画像処理装置１００の画像処理部１２０の構成と処理について説明する。
【００３４】
図３は、画像処理装置１００の画像処理部１２０の構成を示すブロック図である。
図３に示ように、画像処理部１２０は、現像処理部１２１、動きベクトル検出部１２２、位置合わせ部１２３、周波数対応パラメータ算出部１２４、位置ずれ対応パラメータ１２５、画像補正部１２６、信号変換部１２７を有する。
画像処理部１２０は、図１に示す第２撮像部１０８の撮影画像であるＲＧＢ画像に発生する偽色を低減させる処理を実行して、偽色の低減されたＲＧＢ画像１５０を出力する。
【００３５】
画像処理部１２０に対する入力信号は、以下の各信号である。
（１）第１撮像部１０７から入力するＷ画像１１１、
（２）第２撮像部１０８から入力するＲＧＢ−ＲＡＷ画像１１２、
（３）センサノイズ特性（σ）１１３、
【００３６】
まず、現像処理部１２１は、第２撮像部１０８から入力するＲＧＢ−ＲＡＷ画像１１２に対する現像処理を実行する。具体的には、例えば以下の処理を実行する。
（ａ）撮像素子を構成する回路に基づいて発生するＤＣオフセットやノイズ信号に基づくオフセット成分を除去するクランプ処理、
（ｂ）ＲＧＢ−ＲＡＷ画像の各画素に設定されたＲＧＢの単一信号値に基づいて、各画素にＲＧＢの３信号を設定するデモザイク処理、
（ｃ）白の被写体に対するＲＧＢ値を揃えるホワイトバランス処理、
（ｄ）ＲＧＢ値のＹＵＶ値への変換処理、
これらの処理を実行する。
なお、これらの処理は、いずれも既存技術を適用して実行可能である。
【００３７】
現像処理部１２１における現像処理によって、ＲＧＢ−ＲＡＷ画像１１２は、ＹＵＶ画像１３０に変換される。
ＹＵＶ画像１３０は、全画素にＹ（輝度），Ｕ（色差），Ｖ（色差）の３つの画素値が設定された画像である。
【００３８】
次に、動きベクトル（ＭＶ：Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）検出部１２２の処理について説明する。
動きベクトル検出部１２２は、第１撮像部１０７からＷ画像１１１を入力するとともに、現像処理部１２１が、第２撮像部１０８の撮影画像であるＲＧＢ−ＲＡＷ画像１１２に基づいて生成した、ＹＵＶ画像１３０中のＹ信号（輝度信号）を入力する。
動きベクトル検出部１２２は、これらの２つの信号（Ｗ信号，Ｙ信号）に基づいて、２つの画像の位置ずれに相当する動きベクトル（ＭＶ：Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を検出する。
【００３９】
前述したように、図１に示す画像処理装置１００の撮像部１０６に構成される第１撮像部１０７と、第２撮像部１０８は、所定間隔離れた位置に設定される２つの撮像部であり、それぞれの撮影画像は異なる視点からの画像となる。すなわち、視差を持つ画像となる。
従って、２つの画像の対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。
【００４０】
動きベクトル検出部１２２は、これらの２つの信号（Ｗ信号，Ｙ信号）に基づいて、２つの画像の位置ずれに相当する動きベクトル（ＭＶ：Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を検出する。
具体的には、２つの画像（Ｗ画像、Ｙ画像）の対応点をもとめ、その対応点を結ぶベクトルを動きベクトル（ＭＶ）として算出する。
動きベクトル検出部１２２の生成した動きベクトル（ＭＶ）は、位置合わせ部１２３に入力される。
【００４１】
位置合わせ部１２３は、動きベクトル検出部１２２の生成した動きベクトル（ＭＶ）を入力するとともに、現像処理部１２１が、ＲＧＢ−ＲＡＷ画像１１２に基づいて生成したＹＵＶ画像１３０を入力する。
位置合わせ部１２３は、ＹＵＶ画像１３０を、動きベクトル（ＭＶ）の大きさと方向に従って各画素位置を移動させて、Ｗ画像、すなわち、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１と同一視点位置から撮影されたと同様のＹＵＶ画像を生成する。
【００４２】
この処理によって、ＹＵＶ画像１３０は、第１撮像部１０７と同一視点から撮影されたとみなされるＹＵＶ画像に変換される。
位置合わせ部１２３の生成した位置合わせ処理後のＹＵＶ画像は、位置ずれ対応パラメータ算出部１２５に入力される。
さらに、色差信号ＵＶは、画像補正部１２６に入力される。
【００４３】
次に、周波数対応パラメータ算出部１２４の処理について説明する。
周波数対応パラメータ算出部１２４は、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１と、センサノイズ特性（σ）１１３を入力し、これらの入力データに基づいて、偽色補正に利用するための補正パラメータである周波数対応ブレンド率設定パラメータを算出して画像補正部１２６に出力する。
【００４４】
なお、センサノイズ特性（σ）１１３は、撮像部１０６の第１撮像部１０７において用いられる撮像素子のノイズ特性情報、具体的には、第１撮像部１０７において用いられる撮像素子の出力信号中に含まれるノイズ強度を示すデータである。
このセンサノイズ特性（σ）１１３は、例えば、制御部１０１によって予め取得され、記憶部１０２に格納され、制御部１０１の制御によって記憶部１０２から取得され、周波数対応パラメータ算出部１２４に入力される。
【００４５】
周波数対応パラメータ算出部１２４の具体的構成と処理について、図４、図５を参照して説明する。
図４は、周波数対応パラメータ算出部１２４の具体的構成を示す図である。
図４に示すように、周波数対応パラメータ算出部１２４は、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１と、センサノイズ特性（σ）１１３を入力し、これらの入力データに基づいて、偽色補正に利用するための補正パラメータである周波数対応ブレンド率設定パラメータを算出して画像補正部１２６に出力する。
【００４６】
図４に示すように、周波数対応パラメータ算出部１２４は、隣接画素画素画素値差分絶対値算出部１５１、ダイナミックレンジ（ＤＲ）算出部１５２、周波数パラメータ算出部１５３、加算部１５４、ブレンド率算出部１５５を有する。
【００４７】
これらの各処理部の具体的処理について、図５を参照して説明する。
図５（ａ）は、周波数対応パラメータ算出部１２４において算出する周波数対応ブレンド率設定パラメータの算出領域の設定例について説明する図である。
周波数対応パラメータ算出部１２４において算出する周波数対応ブレンド率設定パラメータは、各画素対応のパラメータである。
【００４８】
パラメータ算出処理は、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１を用いて実行する。パラメータ算出対象画素を（ｘ，ｙ）の位置の画素とすると、そのパラメータ算出対象画素（ｘ，ｙ）の周囲画素領域の画素値を用いてパラメータの算出処理を実行する。
【００４９】
図５（ａ）に示す例は、パラメータ算出対象画素（ｘ，ｙ）の周囲画素領域として、パラメータ算出対象画素（ｘ，ｙ）を中心画素とした９×９画素の画素領域をパラメータ算出に適用する画素領域とした例である。
なお、この画素領域の大きさは、様々な設定が可能である。
【００５０】
図５（ｂ）に、周波数対応パラメータ算出部１２４によるパラメータ算出処理の具体的手順を示す。
周波数対応パラメータ算出部１２４における周波数対応ブレンド率設定パラメータの算出処理は、以下の手順（ステップＳ０１〜Ｓ０３）に従って行われる。
【００５１】
（ステップＳ０１）
ステップＳ０１，Ｓ０２の処理は、図４に示す隣接画素画素画素値差分絶対値算出部１５１と、ダイナミックレンジ（ＤＲ）算出部１５２と、周波数パラメータ算出部１５３において実行する処理である。
【００５２】
まず、ステップＳ０１において、水平方向の周波数パラメータ（ａｃｔｉｖｉｔｙ）［ａｃｔＨＯＲ］を算出する。
この処理は、パラメータ算出対象画素（ｘ，ｙ）を中心としたパラメータ算出領域に含まれる水平方向の画素の画素値を利用した処理である。
図５（ａ）に示すパラメータ算出領域設定例では、パラメータ算出対象画素（ｘ，ｙ）と、パラメータ算出対象画素（ｘ，ｙ）の左側の４画素と、右側の４画素の計９画素の画素値を利用して、水平方向の周波数パラメータ（ａｃｔｉｖｉｔｙ）［ａｃｔＨＯＲ］を算出する。
【００５３】
水平方向の周波数パラメータ（ａｃｔｉｖｉｔｙ）［ａｃｔＨＯＲ］の算出は、以下の（式１）に従って実行する。
【００５４】
【数１】
2017154293.tif 000003
【００５５】
なお、上記（式１）は、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１の画素位置（ｘ，ｙ）の水平方向周波数パラメータ（ａｃｔｉｖｉｔｙ）［ａｃｔＨＯＲ］の算出式である。
上記（式１）において、Ｗｘ−ｉ，ｙは、Ｗ−ＲＡＷ画像１１１の画素位置（ｘ−ｉ，ｙ）の画素値であり、Ｗｘ−ｉ＋１，ｙは、Ｗ−ＲＡＷ画像１１１の画素位置（ｘ−ｉ＋１，ｙ）の画素値である。
ｉは、パラメータ算出領域の画素位置（ｘ座標）を示す変数であり、図４（ａ）の設定の場合、ｉ＝４〜−４となる。
【００５６】
なお、ダイナミックレンジ（ＤＲ）や、センサノイズ特性（σ）１１３、すなわち、第１撮像部１０７の撮像素子のノイズ強度等を考慮してパラメータを調整する設定としてもよい。
【００５７】
上記（式１）は、図４（ａ）に示す領域設定とした場合、パラメータ算出対象画素（ｘ，ｙ）の水平方向にある９画素の画素値Ｗｘ−４，ｙ〜Ｗｘ＋４，ｙ、これら９画素の隣接画素値の差分絶対値を加算して、９画素のダイナミックレンジ（ＤＲ）で除算した値を算出する式であり、この値を画素位置（ｘ，ｙ）の水平方向の周波数パラメータ（ａｃｔｉｖｉｔｙ）［ａｃｔＨＯＲ］とするものである。
【００５８】
（ステップＳ０２）
次に、垂直方向の周波数パラメータ（ａｃｔｉｖｉｔｙ）［ａｃｔＶＥＲ］を算出する。
この処理は、パラメータ算出対象画素（ｘ，ｙ）を中心としたパラメータ算出領域に含まれる垂直方向の画素の画素値を利用した処理である。
図４（ａ）に示すパラメータ算出領域設定例では、パラメータ算出対象画素（ｘ，ｙ）と、パラメータ算出対象画素（ｘ，ｙ）の上側の４画素と、下側の４画素の計９画素の画素値を利用して、垂直方向の周波数パラメータ（ａｃｔｉｖｉｔｙ）［ａｃｔＶＥＲ］を算出する。
【００５９】
垂直方向の周波数パラメータ（ａｃｔｉｖｉｔｙ）［ａｃｔＶＥＲ］の算出は、以下の（式２）に従って実行する。
【００６０】
【数２】
2017154293.tif 000004
【００６１】
なお、上記（式２）は、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１の画素位置（ｘ，ｙ）の垂直方向周波数パラメータ（ａｃｔｉｖｉｔｙ）［ａｃｔＶＥＲ］の算出式である。
上記（式２）において、Ｗｘ，ｙ−ｉは、Ｗ−ＲＡＷ画像１１１の画素位置（ｘ，ｙ−ｉ）の画素値であり、Ｗｘ，ｙ−ｉ＋１は、Ｗ−ＲＡＷ画像１１１の画素位置（ｘ，ｙ−ｉ＋１）の画素値である。
ｉは、パラメータ算出領域の画素位置（ｙ座標）を示す変数であり、図４（ａ）の設定の場合、ｉ＝４〜−４となる。
【００６２】
なお、ダイナミックレンジ（ＤＲ）や、センサノイズ特性（σ）１１３、すなわち、第１撮像部１０７の撮像素子のノイズ強度等を考慮してパラメータを調整する設定としてもよい。
【００６３】
上記（式２）は、図４（ａ）に示す領域設定とした場合、パラメータ算出対象画素（ｘ，ｙ）の垂直方向にある９画素の画素値Ｗｘ，ｙ−４〜Ｗｘ，ｙ＋４、これら９画素の隣接画素値の差分絶対値を加算して、９画素のダイナミックレンジ（ＤＲ）で除算した値を算出する式であり、この値を画素位置（ｘ，ｙ）の垂直方向の周波数パラメータ（ａｃｔｉｖｉｔｙ）［ａｃｔＶＥＲ］とするものである。
【００６４】
（ステップＳ０３）
ステップＳ０３の処理は、図４に示す加算部１５４、ブレンド率算出部１５５の実行する処理である。
ステップＳ０３では、以下の処理を実行する。
上記のステップＳ０１で算出した水平方向の周波数パラメータ（ａｃｔｉｖｉｔｙ）［ａｃｔＨＯＲ］と、
ステップＳ０２で算出した垂直方向の周波数パラメータ（ａｃｔｉｖｉｔｙ）［ａｃｔＶＥＲ］、
これらの２方向のパラメータを用いて、以下の（式３）に従って、周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］を算出する。
【００６５】
【数３】
2017154293.tif 000005
【００６６】
なお、上記（式３）において、
αは、予め規定したパラメータ算出係数であり、例えば、
ａｃｔ＝ａｃｔＨＯＲ＋ａｃｔＶＥＲ
上記式によって算出されるａｃｔの値の最大値をαとする。
【００６７】
水平方向の周波数パラメータ（ａｃｔｉｖｉｔｙ）［ａｃｔＨＯＲ］と、垂直方向の周波数パラメータ（ａｃｔｉｖｉｔｙ）［ａｃｔＶＥＲ］との加算値（ａｃｔ）と、パラメータ算出係数（α）のいずれか小さい値を選択し、この選択値を、パラメータ算出係数（α）で除算した値を、画素位置（ｘ，ｙ）の周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］として算出する。
なお、パラメータ算出係数（α）の一例として、例えば、α＝５を用いることができる。
上記（式３）に従って算出される周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］は０〜１の範囲の値となる。
【００６８】
周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］は、
画素値が細かく変化する高周波領域では大きな値、すなわち１に近い値となり、、
画素値の変化が少ない平坦な画像領域、すなわち低周波領域では小さな値、すなわち０に近い値となる。
【００６９】
周波数対応パラメータ算出部１２４は、上述した処理に従って、周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］を算出する。
なお、周波数対応パラメータ算出部１２４は、周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］を、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１を構成する全画素について算出する。
算出パラメータは、画像補正部１２６に入力される。
【００７０】
次に、図３に示す位置ずれ対応パラメータ算出部１２５の構成と処理について説明する。
図３に示す位置ずれ対応パラメータ算出部１２５は、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１と、位置合わせ部１２３が生成した位置合わせ後のＹＵＶ画像、すなわち、第１撮像部１０７の撮影視点から撮影したと同等のＹＵＶ画像と、センサノイズ特性（σ）１１３を入力し、これらの入力データに基づいて、偽色補正に利用するための補正パラメータである位置ずれ対応ブレンド率設定パラメータを算出して画像補正部１２６に出力する。
【００７１】
なお、センサノイズ特性（σ）１１３は、撮像部１０６の第２撮像部１０８において用いられる撮像素子のノイズ特性情報、具体的には、第２撮像部１０８において用いられる撮像素子の出力信号中に含まれるノイズ強度を示すデータである。
このセンサノイズ特性（σ）１１３は、例えば、制御部１０１によって予め取得され、記憶部１０２に格納され、制御部１０１の制御によって記憶部１０２から取得され、位置ずれ対応パラメータ算出部１２５に入力される。
【００７２】
位置ずれ対応パラメータ算出部１２５の具体的構成と処理について、図６を参照して説明する。
図６に示すように、位置ずれ対応パラメータ算出部１２５は、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１と、位置合わせ部１２３が生成した位置合わせ後ＹＵＶ画像１６１、すなわち、第１撮像部１０７の撮影視点から撮影したと同等の位置合わせ後ＹＵＶ画像１６１と、センサノイズ特性（σ）１１３を入力し、これらの入力データに基づいて、偽色補正に利用するための補正パラメータである位置ずれ対応ブレンド率設定パラメータ２０２を算出して画像補正部１２６に出力する。
【００７３】
まず、位置ずれ対応パラメータ算出部１２５の信号変換部１７１が、位置合わせ後ＹＵＶ画像１６１の各画素のＹＵＶ信号をＷ（ホワイト）信号に変換する信号変換処理を実行する。
具体的には、図７に示す式、すなわち、下記式（式４）に従って、ＹＵＶ信号をＷ（ホワイト）信号に変換する。
【００７４】
【数４】
2017154293.tif 000006
【００７５】
なお、上記（式４）において、α０，α１，α２は、分光モデル係数であり、予め規定された変換パラメータである。
【００７６】
位置合わせ後ＹＵＶ画像１６１に基づいて信号変換部１７１が生成したＹＵＶ画像ベースＷ画像１６２は、第２領域単位画素値加算部１７３と、乗算部１７５に出力される。
【００７７】
第２領域単位画素値加算部１７３は、ＹＵＶ画像ベースＷ画像１６２について、予め規定した画素領域（ｎ×ｎ画素、ｎは例えば３，５，７，９等）単位で、画素値加算処理を実行し、算出した加算画素値（Ｂ）を領域単位画素値比（Ａ／Ｂ）算出部１７４に出力する。
【００７８】
一方、第１領域単位画素値加算部１７２は、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１について、第２領域単位画素値加算部１７３で適用した画素領域（ｎ×ｎ画素、ｎは例えば９）と同じ画素領域単位で、画素値加算処理を実行し、算出した加算画素値（Ａ）を領域単位画素値比（Ａ／Ｂ）算出部１７４に出力する。
【００７９】
領域単位画素値比（Ａ／Ｂ）算出部１７４は、Ｗ−ＲＡＷ画像１１１の領域単位加算画素値（Ａ）と、ＹＵＶ画像ベースＷ画像１６２の領域単位加算画素値（Ｂ）との領域単位加算画素値比（Ａ／Ｂ）を算出して乗算部１７５に出力する。
【００８０】
乗算部１７５は、信号変換部１７１が位置合わせ後ＹＵＶ画像１６１に基づいて生成したＹＵＶ画像ベースＷ画像１６２と、領域単位画素値比（Ａ／Ｂ）算出部１７４が算出した領域単位加算画素値比（Ａ／Ｂ）を入力する。
乗算部１７５は、ＹＵＶ画像ベースＷ画像１６２の構成画素の画素値に、領域単位加算画素値比（Ａ／Ｂ）を乗算する処理を実行して、画素値を変換する。
なお、各画素の位置が含まれる領域の領域単位加算画素値比（Ａ／Ｂ）を組み合わせて乗算処理を実行する。
【００８１】
この乗算処理は、ＹＵＶ画像ベースＷ画像１６２の画素値レベルを、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１のＷ画素の画素値レベルに合わせる処理として実行される。
乗算部１７５は、このレベル調整により、画素値調整ＹＵＶ画像ベースＷ画像１６３を生成して差分算出部１７６に出力する。
【００８２】
画素値調整ＹＵＶ画像ベースＷ画像１６３のＷ画素値は、偽色が発生していない画素領域では、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１のＷ画素の画素値とほぼ同一になる。
しかし、偽色発生領域においては、画素値調整ＹＵＶ画像ベースＷ画像１６３のＷ画素値と、Ｗ−ＲＡＷ画像１１１のＷ画素の画素値とに差分が発生する。
差分算出部１７６は、この差分（ｄｉｆｆ）を検出する。
【００８３】
差分算出部１７６は、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１と、乗算部１７５の出力である画素値調整ＹＵＶ画像ベースＷ画像１６３を入力し、これら２つの画像の同一座標位置の対応画素の画素値の差分を算出する。
算出された各画素対応の差分値からなる差分画像１６４が、フィルタ処理部１７７に入力される。
【００８４】
フィルタ処理部１７７は、各画素にＷ−ＲＡＷ画像１１１と、画素値調整ＹＵＶ画像ベースＷ画像１６３の画素値の差分値が設定された差分画像１６４を入力し、この差分画像に対して、所定領域単位（例えばｎ×ｎ画素、ｎ＝３，５，７，９等）でフィルタリング処理を行なう。適用フィルタは、例えば、所定画素領域の画素値の中間値を取得して新たな画素値とするメディアンフィルタである。
【００８５】
差分画素値からなる差分画像１６４のフィルタリング結果画像は、位置ずれ対応ブレンド率算出部１７８に入力される。
ブレンド率算出部１７８は、差分画素値からなる差分画像１６４のフィルタリング結果画像の各画素値（フィルタリング後の差分画素値）に基づいて、位置ずれ対応ブレンド率設定パラメータ（ｒａｔｉｏＥＲＲ）２０２を算出して、画像補正部１２６に出力する。
【００８６】
ブレンド率算出部１７８が入力する「差分画素値からなる差分画像１６４のフィルタリング結果画像の各画素値（フィルタリング後の差分画素値）」と、ブレンド率算出部１７８が出力する「位置ずれ対応ブレンド率設定パラメータ（ｒａｔｉｏＥＲＲ）２０２」との対応関係を示すグラフの例を図８に示す。
【００８７】
図８に示すグラフは、
横軸が入力値である「差分画素値からなる差分画像１６４のフィルタリング結果画像の各画素値（フィルタリング後の差分画素値）」、
縦軸が、出力値となる「位置ずれ対応ブレンド率設定パラメータ（ｒａｔｉｏＥＲＲ）２０２」である。
【００８８】
図８に示すグラフは、入出力値の対応関係を示す一例であり、予め設定したしきい値：１σ、３σを用いて、出力値を以下のように規定している。
（ａ）入力値＜σの場合、ブレンド率を示す出力値＝０
（ｂ）σ≦入力値＜３σの場合、ブレンド率を示す出力値＝０〜１の範囲で入力値に比例して増加させる設定、
（ｃ）３σ≦入力値の場合、ブレンド率を示す出力値＝１
【００８９】
ブレンド率算出部１７８は、例えば図８に示す入出力対応関係規定データに従って、入力値である「差分画素値からなる差分画像１６４のフィルタリング結果画像の各画素値（フィルタリング後の差分画素値）」の値に基づいて、出力値、すなわち、「位置ずれ対応ブレンド率設定パラメータ（ｒａｔｉｏＥＲＲ）２０２」を算出し、算出値を画像補正部１２６に出力する。
なお、ブレンド率算出部１７８の算出する位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］は０〜１の範囲の値となる。
【００９０】
位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］は、
位置ずれが大きい（＝偽色が多い）画素領域では、大きな値、すなわち、１に近い値となり、
位置ずれが小さい（＝偽色が少ない）画素領域では、小さな値、すなわち、０に近い値となる。
【００９１】
なお、基本的にＷ−ＲＡＷ画像１１１と、画素値調整ＹＵＶ画像ベースＷ画像１６３は、位置合わせ後の画像であり、本来、位置ずれは解消されているはずである。しかし、画素位置によって、それぞれの画素値（Ｗ画素値）に差分が発生する。この差分は偽色であると考えられ、本来の画素位置の画素値と異なる画素位置に出力されるべき画素とであるとの解釈の下に、「位置ずれ対応パラメータ」として説明している。
従って、「位置ずれが大きい」とは「偽色が多い」ことに相当し、「位置ずれが小さい」とは「偽色が少ない」ことに相当する。
なお、図８に示す入出力値の対応関係例は一例であり、この他の様々な設定が可能である。
【００９２】
［３．画像補正部の実行する画像特性に応じた画像処理について］
次に、図３に示す画像処理部１２０の画像補正部１２６の処理について、図９以下を参照して説明する。
図９に示すように、画像補正部１２６は、以下の各データを入力する。
（ａ）第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１、
（ｂ）位置合わせ部１２３の生成した位置合わせ後ＹＵＶ画像１６１、
（ｃ）周波数対応パラメータ算出部１２４の生成した周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］、
（ｄ）位置ずれ対応パラメータ算出部１２５の生成した位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］、
【００９３】
画像補正部１２６は、これらのデータを入力し、偽色を低減させた補正画像（ＹＵＶ画像）の画素値を構成する色差信号ＵＶの出力信号値である補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を生成して、図３に示す画像処理部１２０内の信号変換部１２７に出力する。
【００９４】
画像補正部１２６は、例えば、図９（ａ）に示す出力信号算出式に従って、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）を生成する。
【００９５】
【数５】
2017154293.tif 000007
【００９６】
上記（式５）に示すＬＰＦは、ローパスフィルタである。
ＬＰＦ（Ｕ）は、位置合わせ部１２３の生成した位置合わせ後ＹＵＶ画像１６１の画素値信号Ｕに対するローパスフィルタの適用処理である。
ＬＰＦ（Ｖ）は、位置合わせ部１２３の生成した位置合わせ後ＹＵＶ画像１６１の画素値信号Ｖに対するローパスフィルタの適用処理である。
ＬＰＦ（Ｗ）は、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１の画素値信号Ｗに対するローパスフィルタの適用処理である。
【００９７】
上記（式５）は、具体的には、例えば、以下の画素値補正処理を実行する式である。
例えば（式５）中の補正後Ｕ信号（Ｕｏｕｔ）の算出式に示す「ＬＰＦ（Ｕ）」は、ＹＵＶ画像１６１の画素信号Ｕに対してローパスフィルタを適用して、偽色画素値を周囲画素の画素値によって平滑化して、偽色を低減させる。
しかし、この平滑化によって、画像の「ぼけ」が発生してしまう。このぼけを解消するために、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１の画素値信号Ｗをブレンドする。すなわち、「Ｗ／ＬＰＦ（Ｗ）」を乗算して、画像の「ぼけ」を解消させる。
【００９８】
（式５）中の補正後Ｖ信号（Ｖｏｕｔ）の算出式についても同様であり、「ＬＰＦ（Ｖ）」は、ＹＵＶ画像１６１の画素信号Ｖに対してローパスフィルタを適用して、偽色画素値を周囲画素の画素値によって平滑化して、偽色を低減させる。
しかし、この平滑化によって、画像の「ぼけ」が発生してしまう。このぼけを解消するために、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１の画素値信号Ｗをブレンドする。すなわち、「Ｗ／ＬＰＦ（Ｗ）」を乗算して、画像の「ぼけ」を解消させる。
【００９９】
なお、図９（ａ）出力信号算出式や、上記（式５）に示す式は、画像補正部１２６における補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３の算出処理において、
（１）位置合わせ部１２３の生成した位置合わせ後ＹＵＶ画像１６１と、
（２）第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１、
これらの２つの画像のブレンド処理が行われることを示している。
【０１００】
実際的な処理としては、上記（式５）に示す式に含まれるローパスフィルタ（ＬＰＦ）を画像特性に応じて切り替えて、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を算出する。
画像補正部１２６は、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を算出する際に、画像領域単位の特性、
（１）周波数特性
（２）位置ずれ特性
これらの特性に応じて、異なるブレンド率、すなわち、位置合わせ後ＹＵＶ画像１６１とＷ−ＲＡＷ画像１１１とのブレンド率を変更して、最終的な補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を算出する。
【０１０１】
このブレンド率を決定するパラメータとなるのが、
（１）周波数対応パラメータ算出部１２４の生成した周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］、
（２）位置ずれ対応パラメータ算出部１２５の生成した位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］、
これらのパラメータである。
【０１０２】
これらのパラメータを用いた具体的な処理例の説明の前に、画像領域単位の画像特性に応じて、画像補正部１２６が、位置合わせ後ＹＵＶ画像１６１とＷ−ＲＡＷ画像１１１とのブレンド率をどのように設定すれるかについて、図１０を参照して説明する。
【０１０３】
図１０には、以下の各データを対応付けて示している。
（ａ）画像領域の特性
（ｂ）ＲＧＢセンサ出力画像とＷセンサ出力画像とのブレンド率設定例
なお、（ｂ）に示すＲＧＢセンサ出力画像は、位置合わせ後ＹＵＶ画像１６１に相当し、Ｗセンサ出力画像は、Ｗ−ＲＡＷ画像１１１に相当する。
【０１０４】
図１０には、以下の３種類（（１）〜（３））の代表的な画像領域特性を例示している。
（１）周波数＝低域、位置ずれ＝小
（２）周波数＝高域、位置ずれ＝小
（３）周波数＝低域〜広域、位置ずれ＝大
【０１０５】
（１）周波数＝低域、位置ずれ＝小
この画像特性を有する画像領域は、低周波数領域、すなわち、画素値変化の少ない平坦な画像領域であり、かつ、位置ずれ＝小、すなわち、本来の画素位置対応の画素値以外の画素値が出力されている「位置ずれ」（＝偽色発生と推定）が小さい画像領域である。
このような画像特性を有する画像領域については、図１０の（１）（ｂ）の欄に示すように、ＲＧＢセンサ出力画像（位置合わせ後ＹＵＶ画像１６１）のブレンド率を高くし、Ｗセンサ出力画像（Ｗ−ＲＡＷ画像１１１）のブレンド率を小さくした設定とする。
このような設定のブレンド率に従ったブレンド処理によって、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を算出する。
【０１０６】
（２）周波数＝高域、位置ずれ＝小
この画像特性を有する画像領域は、高周波数領域、すなわち、画素値変化の激しい画像領域であり、かつ、位置ずれ＝小、すなわち、本来の画素位置対応の画素値以外の画素値が出力されている「位置ずれ」（＝偽色発生と推定）が小さい画像領域である。
このような画像特性を有する画像領域については、図１０の（２）（ｂ）の欄に示すように、ＲＧＢセンサ出力画像（位置合わせ後ＹＵＶ画像１６１）と、Ｗセンサ出力画像（Ｗ−ＲＡＷ画像１１１）のブレンド率を、ほぼ同等にする。
このような設定のブレンド率に従ったブレンド処理によって、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を算出する。
【０１０７】
（３）周波数＝低域〜広域、位置ずれ＝大
この画像特性を有する画像領域は、低周波数領域〜高周波領域、すなわち、画素値変化の少ない平坦な画像領域から、高周波数領域、すなわち、画素値変化の激しい画像領域の様々な周波数領域であり、かつ、位置ずれ＝大、すなわち、本来の画素位置対応の画素値以外の画素値が出力されている「位置ずれ」（＝偽色発生と推定）が大きい画像領域である。
このような画像特性を有する画像領域については、図１０の（３）（ｂ）の欄に示すように、ＲＧＢセンサ出力画像（位置合わせ後ＹＵＶ画像１６１）のブレンド率を小さくし、Ｗセンサ出力画像（Ｗ−ＲＡＷ画像１１１）のブレンド率を大きくした設定とする。
このような設定のブレンド率に従ったブレンド処理によって、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を算出する。
【０１０８】
図１０に示すような画像特性に応じたブレンド率で、位置合わせ後ＹＵＶ画像１６１とＷ−ＲＡＷ画像１１１とのブレンド処理を実現するための具体的処理の一例として、先に説明した図９（ａ）に示す式、すなわち、前述の（式５）として示す出力信号算出式に適用するローパスフィルタ（ＬＰＦ）を、画像特性に応じて切り替える処理が有効となる。
【０１０９】
図１１を参照して、前述の（式５）として示す出力信号算出式に適用するローパスフィルタ（ＬＰＦ）を、画像特性に応じて切り替える処理理の一例について説明する。
図１１に示す処理例は、前述の（式５）として示す出力信号算出式に適用するローパスフィルタ（ＬＰＦ）を、画像特性、すなわち、
（１）周波数対応パラメータ算出部１２４の生成した周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］、
（２）位置ずれ対応パラメータ算出部１２５の生成した位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］、
これらのパラメータの値に応じて切り替える処理例について説明する図である。
【０１１０】
図１１には、横軸に、位置ずれ対応パラメータ算出部１２５の生成した位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］、縦軸に周波数対応パラメータ算出部１２４の生成した周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］、これらの各軸を設定し、各パラメータの値に応じて利用する３種類の異なるローパスフィルタ（ＬＰＦ）の適用例を示している。
【０１１１】
３つのローパスフィルタ（ＬＰＦ０〜ＬＰＦ２）の違いは、カットオフ周波数の差であり、ＬＰＦ０のカットオフ周波数が最も高く、ＬＰＦ２のカットオフ周波数が最も低い。
例えば、各ローパスフィルタとして、以下の設定のローパスフィルタが適用可能である。
ＬＰＦ０は３×３（画素）の移動平均フィルタ、
ＬＰＦ１は１３×１３（画素）の移動平均フィルタ、
ＬＰＦ２は２５×２５（画素）の移動平均フィルタ、
このような設定の移動平均フィルタを、上記３つのローパスフィルタ（ＬＰＦ０〜ＬＰＦ２）として適用することができる。
【０１１２】
なお、移動平均フィルタは、補正対象画素を中心とする画素領域（ｎ×ｎ，ｎ＝３，１３，２５等）の全画素の平均画素値を算出し、その算出画素値を補正画素値として設定する処理である。
例えば、３×３の移動平均フィルタの係数設定は、以下の（式６）に示す設定となる。
【０１１３】
【数６】
2017154293.tif 000008
【０１１４】
上記行列は、補正対象画素を中心とする画素領域（ｎ×ｎ，ｎ＝３）にある９個の画素の画素値の平均値を算出して補正対象画素の補正画素値とする処理を行なうローパスフィルタの係数設定である。
【０１１５】
ＬＰＦ０は３×３（画素）の移動平均フィルタ、
ＬＰＦ１は１３×１３（画素）の移動平均フィルタ、
ＬＰＦ２は２５×２５（画素）の移動平均フィルタ、
このような設定とした場合、ＬＰＦ０を適用すれば、より小さい画素領域（３×３）を処理単位とした平滑化処理が行われ、ＬＰＦ１を適用すれば、より画素領域（１３×１３）を処理単位としたの平滑化処理が行われ、ＬＰＦ２を適用すれば、より大きい画素領域（２５×２５）を処理単位とした平滑化処理が行われることになる。
【０１１６】
図１１に示す例は、先に図１０を参照して説明したと同様、画像特性に応じて異なる処理を実行する例であり、前述の（式５）として示す出力信号算出式に適用するローパスフィルタ（ＬＰＦ）を、画像特性に応じて切り替える処理例である。
【０１１７】
画像特性に応じたローパスフィルタ（ＬＰＦ）の適用態様は以下の設定となる。
（１）周波数＝低域、位置ずれ＝小、すなわち、図１１に示す領域（１）である。
周波数対応ブレンド率設定パラメータ：ｒａｔｉｏＦｒｅｑ＜Ｔｈｆ１、
位置ずれ対応ブレンド率設定パラメータ：ｒａｔｉｏＥｒｒ＜Ｔｈｅ１、
これらの条件を満たす領域である。なお、Ｔｈはしきい値を示す。
【０１１８】
この画像特性を有する画像領域は、低周波数領域、すなわち、画素値変化の少ない平坦な画像領域であり、かつ、位置ずれ＝小、すなわち、本来の画素位置対応の画素値以外の画素値が出力されている「位置ずれ」（＝偽色発生と推定）が小さい画像領域である。
このような画像特性を有する画像領域については、前述の（式５）の出力信号算出式のＬＰＦとして、カットオフ周波数が最も高いローパスフィルタ（ＬＰＦ０）を適用して補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を算出する。
【０１１９】
このローパスフィルタ（ＬＰＦ０）適用処理により、ＲＧＢセンサ出力画像（位置合わせ後ＹＵＶ画像１６１）のブレンド率を高くし、Ｗセンサ出力画像（Ｗ−ＲＡＷ画像１１１）のブレンド率を小さくした設定の補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３が算出される。
【０１２０】
（２）周波数＝高域、位置ずれ＝大、すなわち、図１１に示す領域（２）である。
周波数対応ブレンド率設定パラメータが、Ｔｈｆ２≦ｒａｔｉｏＦｒｅｑ、
位置ずれ対応ブレンド率設定パラメータが、Ｔｈｅ１≦ｒａｔｉｏＥｒｒ、
これらの条件を満たす領域である。なお、Ｔｈはしきい値を示す。
【０１２１】
この画像特性を有する画像領域は、高周波数領域、すなわち、画素値変化の大きい画像領域であり、かつ、位置ずれ＝大、すなわち、本来の画素位置対応の画素値以外の画素値が出力されている「位置ずれ」（＝偽色発生と推定）が大きい画像領域である。
このような画像特性を有する画像領域については、前述の（式５）の出力信号算出式のＬＰＦとして、カットオフ周波数が最も低いローパスフィルタ（ＬＰＦ２）を適用して補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を算出する。
【０１２２】
このローパスフィルタ（ＬＰＦ２）適用処理により、ＲＧＢセンサ出力画像（位置合わせ後ＹＵＶ画像１６１）のブレンド率を低くし、Ｗセンサ出力画像（Ｗ−ＲＡＷ画像１１１）のブレンド率を高くした設定の補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３が算出される。
【０１２３】
（３）その他の領域、すなわち、図１１に示す領域（３）であり（１），（２）以外の領域である。
この画像特性を有する画像領域については、前述の（式５）の出力信号算出式のＬＰＦとして、カットオフ周波数が中程度のローパスフィルタ（ＬＰＦ１）を適用して補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を算出する。
【０１２４】
このローパスフィルタ（ＬＰＦ０）適用処理により、ＲＧＢセンサ出力画像（位置合わせ後ＹＵＶ画像１６１）と、Ｗセンサ出力画像（Ｗ−ＲＡＷ画像１１１）のブレンド率がほぼ同程度の補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３が算出される。
【０１２５】
図１２は、図１１の処理についてまとめた図であり、以下の各データの対応データを示している。
（ａ）画像領域の特性
（ｂ）パラメータの値
（ｃ）適用フィルタ
（ｄ）補正後ＵＶ値（Ｕｏｕｔ，Ｖｏｕｔ）
（ｅ）ＲＧＢセンサ出力画像と、Ｗセンサ出力画像とのブレント率設定例
【０１２６】
図１２のエントリ（１）は、図１１に示す領域（１）に対応し、以下の画像特性、および、補正処理態様となる。
（ａ）画像領域の特性：周波数＝低、位置ずれ＝小
（ｂ）パラメータの値：周波数対応ブレンド率設定パラメータ＝ｒａｔｉｏＦｒｅｑ＜Ｔｈｆ１、位置ずれ対応ブレンド率設定パラメータ＝ｒａｔｉｏＥｒｒ＜Ｔｈｅ１、
（ｃ）適用フィルタ：ＬＰＦ０、
（ｄ）補正後ＵＶ値（Ｕｏｕｔ，Ｖｏｕｔ）：Ｕｏｕｔ＝Ｕ０＝ＬＰＦ０（Ｕ）、Ｖｏｕｔ＝Ｖ０＝ＬＰＦ０（Ｖ）、
（ｅ）ＲＧＢセンサ出力画像と、Ｗセンサ出力画像とのブレント率設定例：ＲＧＢセンサ出力＞Ｗセンサ出力、
【０１２７】
なお、（ｄ）のＬＰＦ０（Ｕ）、ＬＰＦ０（Ｖ）は、前述の（式５）におけるＬＰＦに、ＬＰＦ０を適用して、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）を算出する処理を示す。
【０１２８】
図１２のエントリ（３）は、図１１に示す領域（３）に対応し、以下の画像特性、および、補正処理態様となる。
（ａ）画像領域の特性：周波数＝高、位置ずれ＝大
（ｂ）パラメータの値：周波数対応ブレンド率設定パラメータが、Ｔｈｆ２≦ｒａｔｉｏＦｒｅｑ、位置ずれ対応ブレンド率設定パラメータが、Ｔｈｅ１≦ｒａｔｉｏＥｒｒ、
（ｃ）適用フィルタ：ＬＰＦ２、
（ｄ）補正後ＵＶ値（Ｕｏｕｔ，Ｖｏｕｔ）：Ｕｏｕｔ＝Ｕ２＝ＬＰＦ２（Ｕ）、Ｖｏｕｔ＝Ｖ２＝ＬＰＦ２（Ｖ）、
（ｅ）ＲＧＢセンサ出力画像と、Ｗセンサ出力画像とのブレント率設定例：ＲＧＢセンサ出力＜Ｗセンサ出力、
【０１２９】
図１２のエントリ（２）は、図１１に示す領域（２）に対応し、以下の画像特性、および、補正処理態様となる。
（ａ）画像領域の特性：（１）、（３）以外、
（ｂ）パラメータの値：（１），（３）以外、
（ｃ）適用フィルタ：ＬＰＦ１、
（ｄ）補正後ＵＶ値（Ｕｏｕｔ，Ｖｏｕｔ）：Ｕｏｕｔ＝Ｕ１＝ＬＰＦ１（Ｕ）、Ｖｏｕｔ＝Ｖ１＝ＬＰＦ１（Ｖ）、
（ｅ）ＲＧＢセンサ出力画像と、Ｗセンサ出力画像とのブレント率設定例：ＲＧＢセンサ出力≒Ｗセンサ出力、
【０１３０】
このように画像特性に応じて適用フィルタを変更することで、画像特性に応じたブレンド率、すなわち、ＲＧＢセンサ出力画像（位置合わせ後ＹＵＶ画像１６１）と、Ｗセンサ出力画像（Ｗ−ＲＡＷ画像１１１）とのブレンド率を変更して最終的な補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を算出する。
【０１３１】
なお、図１１、図１２を参照して説明した画像特性に応じたローパスフィルタ（ＬＰＦ）の適用処理例は一例であり、その他にも、様々な設定が可能である。
例えば図１３には、画像特性と、各画像特性に応じて適用する４つの異なるローパスフィルタ（ＬＰＦ０〜ＬＰＦ３）の適用領域の例を示している。
４つのローパスフィルタ（ＬＰＦ０〜ＬＰＦ３）の違いは、カットオフ周波数の差であり、ＬＰＦ０のカットオフ周波数が最も高く、ＬＰＦ３のカットオフ周波数が最も低い。
【０１３２】
図１３に示すように、周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］、または、位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］が、１に近いほど、カットオフ周波数の低いＬＰＦ、例えばＬＰＦ３等のＬＰＦを適用する。
また、周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］、または、位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］が、０に近いほど、カットオフ周波数の高いＬＰＦ、例えばＬＰＦ０等のＬＰＦを適用する。
【０１３３】
図１４には、さらに異なる領域対応フィルタ適用例を示している。図１４には、画像特性と、各画像特性に応じて適用する５つの異なるローパスフィルタ（ＬＰＦ０〜ＬＰＦ４）の適用領域の例を示している。
５つのローパスフィルタ（ＬＰＦ０〜ＬＰＦ４）の違いは、カットオフ周波数の差であり、ＬＰＦ０のカットオフ周波数が最も高く、ＬＰＦ４のカットオフ周波数が最も低い。
【０１３４】
図１４に示すように、周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］、または、位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］が、１に近いほど、カットオフ周波数の低いＬＰＦ、例えばＬＰＦ４等のＬＰＦを適用する。
また、周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］、または、位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］が、０に近いほど、カットオフ周波数の高いＬＰＦ、例えばＬＰＦ０等のＬＰＦを適用する。
【０１３５】
［４．画像特性に応じて複数の異なるローパスフィルタを組み合わせて利用した画像処理について］
次に、図１５以下を参照して、画像補正部１２６において実行する補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３の生成処理のもう１つの実施例について説明する。
以下に説明する実施例は、画像特性に応じて、複数の異なるローパスフィルタを組み合わせて利用した画像処理を行なう例である。
【０１３６】
以下に説明する処理例は、上述した画像領域単位の画像特性に応じた画像のブレンド処理を実現する具体的な処理例の１つである。すなわち、画像補正部１２６において実行する補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３の生成処理の１つの具体例であり、画像特性に応じて、複数の異なるローパスフィルタを組み合わせて利用した処理例である。
【０１３７】
図１５に示すように、画像補正部１２６は、以下の各データを入力する。
（ａ）第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１、
（ｂ）位置合わせ部１２３の生成した位置合わせ後ＹＵＶ画像１６１、
（ｃ）周波数対応パラメータ算出部１２４の生成した周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］、
（ｄ）位置ずれ対応パラメータ算出部１２５の生成した位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］、
【０１３８】
画像補正部１２６は、これらのデータを入力し、偽色を低減させた補正画像（ＹＵＶ画像）の画素値を構成する色差信号ＵＶの出力信号値である補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を生成して、図３に示す画像処理部１２０内の信号変換部１２７に出力する。
【０１３９】
画像補正部１２６は、例えば、図１５（ａ）に示す出力信号算出式に従って、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）を生成する。
図１５（ａ）に示す出力信号算出式は、先に説明した（式５）、すなわち、図９（ａ）に示す出力信号算出式をベースとして作成された式である。
図１５（ａ）に示す出力信号算出式は、周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］と、位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］を適用して画像領域特性に応じて画像のブレンド率を変更して、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）を生成するための式となる。
【０１４０】
画像補正部１２６は、図１５（ａ）に示す出力信号算出式、すなわち、以下に示す（式７）に従って、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）を生成する。
【０１４１】
【数７】
2017154293.tif 000009
【０１４２】
なお、上記（式７）において、
Ｕ０，Ｕ１，Ｕ２、およびＶ０，Ｖ１，Ｖ２は、複数の異なるローパスフィルタ（ＬＰＦ）を適用した画素値変換結果として得られるＵＶ値である。
【０１４３】
図１６を参照して、上記（式７）の具体的な構成について説明する。
図１６（ａ）は、図１５（ａ）に示す式と同様の式、すなわち上記（式７）に示す補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）算出式である。
【０１４４】
図１６（ｂ），（ｃ）を参照して、図１６（ａ）に示す式のＵ０，Ｕ１，Ｕ２、およびＶ０，Ｖ１，Ｖ２について説明する。
図１６（ｂ）に示すように、Ｕｎ，Ｖｎ（ｎ＝０〜３）は、以下の（式８）によって算出される。
【０１４５】
【数８】
2017154293.tif 000010
【０１４６】
上記（式８）は、先に説明した（式５）、すなわち、図９（ａ）を参照して説明した出力信号算出式と同様の２つの画像、すなわち、
（ａ）第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１、
（ｂ）位置合わせ部１２３の生成した位置合わせ後ＹＵＶ画像１６１、
これらの画像のブレンド処理を実行する式である。
【０１４７】
しかし、Ｕｎ，Ｖｎ（ｎ＝０〜３）のｎの値によって適用するローパスフィルタが異なる。
Ｕ０，Ｖ０は、ローパスフィルタＬＰＦ０を、入力データである位置合わせ部１２３の生成した位置合わせ後ＹＵＶ画像１６１のＵＶ画素値に適用して得られるＵＶ値である。
Ｕ１，Ｖ１は、ローパスフィルタＬＰＦ１を、入力データである位置合わせ部１２３の生成した位置合わせ後ＹＵＶ画像１６１のＵＶ画素値に適用して得られるＵＶ値である。
Ｕ２，Ｖ２は、ローパスフィルタＬＰＦ２を、入力データである位置合わせ部１２３の生成した位置合わせ後ＹＵＶ画像１６１のＵＶ画素値に適用して得られるＵＶ値である。
【０１４８】
これらのローパスフィルタについて、図１６（ｃ）を参照して説明する。
図１６（ｃ）に示すように、入力データである位置合わせ部１２３の生成した位置合わせ後ＹＵＶ画像１６１のＵＶ画素値と、ローパスフィルタ（ＬＰＦ０〜ＬＰＦ２）の適用結果として得られるフィルタ処理後のＵＶ値（Ｕ０，Ｕ１，Ｕ２、およびＶ０，Ｖ１，Ｖ２）との対応関係は、以下の通りである。
【０１４９】
Ｕ０＝ＬＰＦ０（Ｕ）
Ｖ０＝ＬＰＦ０（Ｖ）
Ｕ１＝ＬＰＦ１（Ｕ）
Ｖ１＝ＬＰＦ１（Ｖ）
Ｕ２＝ＬＰＦ２（Ｕ）
Ｖ２＝ＬＰＦ２（Ｖ）
【０１５０】
３つのローパスフィルタ（ＬＰＦ０〜ＬＰＦ２）の違いは、カットオフ周波数の差であり、ＬＰＦ０のカットオフ周波数が最も高く、ＬＰＦ２のカットオフ周波数が最も低い。
例えば、各ローパスフィルタとして、以下の設定のローパスフィルタが適用可能である。
ＬＰＦ０は３×３（画素）の移動平均フィルタ、
ＬＰＦ１は１３×１３（画素）の移動平均フィルタ、
ＬＰＦ２は２５×２５（画素）の移動平均フィルタ、
このような設定の移動平均フィルタを、上記３つのローパスフィルタ（ＬＰＦ０〜ＬＰＦ２）として適用することができる。
【０１５１】
なお、前述したように、移動平均フィルタは、補正対象画素を中心とする画素領域（ｎ×ｎ，ｎ＝３，１３，２５等）の全画素の平均画素値を算出し、その算出画素値を補正画素値として設定する処理である。
例えば、３×３の移動平均フィルタの係数設定は、先に説明した（式６）に示す設定となる。
【０１５２】
以下の設定の３種類のローパスフィルタ（ＬＰＦ）、すなわち、
ＬＰＦ０は３×３（画素）の移動平均フィルタ、
ＬＰＦ１は１３×１３（画素）の移動平均フィルタ、
ＬＰＦ２は２５×２５（画素）の移動平均フィルタ、
このような設定のローパスフィルタを画像に適用することで、以下のような平滑化処理が実行される。
【０１５３】
ＬＰＦ０を適用すれば、より小さい画素領域（３×３）を処理単位とした平滑化処理が行われ、ＬＰＦ１を適用すれば、より画素領域（１３×１３）を処理単位としたの平滑化処理が行われ、ＬＰＦ２を適用すれば、より大きい画素領域（２５×２５）を処理単位とした平滑化処理が行われることになる。
【０１５４】
前述したように、
周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］は、
画素値が細かく変化する高周波領域では大きな値、すなわち１に近い値となり、、
画素値の変化が少ない平坦な画像領域、すなわち低周波領域では小さな値、すなわち０に近い値となる。
また、位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］は、
位置ずれが大きい（＝偽色が多い）画素領域では、大きな値、すなわち、１に近い値となり、
位置ずれが小さい（＝偽色が少ない）画素領域では、小さな値、すなわち、０に近い値となる。
【０１５５】
例えば、上記（式７）、すなわち、
Ｕｏｕｔ＝（１−ｒａｔｉｏＥｒｒ）（（１−ｒａｔｉｏＦｒｅｑ）×Ｕ０＋ｒａｔｉｏＦｒｅｑ×Ｕ１）＋ｒａｔｉｏＥｒｒ×Ｕ２
Ｖｏｕｔ＝（１−ｒａｔｉｏＥｒｒ）（（１−ｒａｔｉｏＦｒｅｑ）×Ｖ０＋ｒａｔｉｏＦｒｅｑ×Ｖ１）＋ｒａｔｉｏＥｒｒ×Ｖ２
・・・・・（式７）
【０１５６】
上記（式７）に従って算出される補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）が、画像特性に応じてどのように設定されるかについて、図１７を参照して説明する。
図１７には、横軸に位置ずれ（偽色量に相当）、縦軸に周波数の各軸を示し、かつ、代表的な複数の画像特性に応じた領域例１〜７を示している。
以下、領域例１〜７に対応する画像特性（位置ずれと周波数）に応じて、上記（式７）に従って算出される補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）が、どのような設定となるかについて、説明する。
【０１５７】
（領域例１）位置ずれが少ない（偽色が少ない）画素領域：ｒａｔｉｏＥｒｒ＝０、かつ、低周波領域：ｒａｔｉｏＦｒｅｑ＝０
このように、位置ずれが少なく、かつ画素値の変化が少ない低周波領域では、
Ｕｏｕｔ＝Ｕ０
Ｖｏｕｔ＝Ｖ０
上記設定となる。
すなわち、３つのローパスフィルタ（ＬＰＦ０，ＬＰＦ１，ＬＰＦ２）の中で、最も高いカットオフ周波数を持つＬＰＦ０を、入力ＵＶ値（Ｕ，Ｖ）に適用した画素値が、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）として設定される。
【０１５８】
（領域例２）位置ずれが中程度（偽色が中程度）の画素領域：ｒａｔｉｏＥｒｒ＝０．５、かつ、低周波領域：ｒａｔｉｏＦｒｅｑ＝０
このように、位置ずれが中程度であり、かつ画素値の変化が少ない低周波領域では、
Ｕｏｕｔ＝０．５×Ｕ０＋０，５×Ｕ２
Ｖｏｕｔ＝０．５×Ｖ０＋０．５×Ｖ２
上記設定となる。
すなわち、３つのローパスフィルタ（ＬＰＦ０，ＬＰＦ１，ＬＰＦ２）の中で、最も高いカットオフ周波数を持つＬＰＦ０を、入力ＵＶ値（Ｕ，Ｖ）に適用した画素値と、最も低いカットオフ周波数を持つＬＰＦ２を、入力ＵＶ値（Ｕ，Ｖ）に適用した画素値との平均値が、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）として設定される。
【０１５９】
（領域例３）位置ずれが大きい（偽色が多い）画素領域：ｒａｔｉｏＥｒｒ＝１、かつ、低周波領域〜高周波領域：ｒａｔｉｏＦｒｅｑ＝０〜１
このように、位置ずれが大きい画素領域では、低周波〜高周波の全領域で、
Ｕｏｕｔ＝Ｕ２
Ｖｏｕｔ＝Ｖ２
上記設定となる。
すなわち、３つのローパスフィルタ（ＬＰＦ０，ＬＰＦ１，ＬＰＦ２）の中で、最も低いカットオフ周波数を持つＬＰＦ２を、入力ＵＶ値（Ｕ，Ｖ）に適用した画素値が、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）として設定される。
【０１６０】
（領域例４）位置ずれが少ない（偽色が少ない）画素領域：ｒａｔｉｏＥｒｒ＝０、かつ、中程度の周波数領域：ｒａｔｉｏＦｒｅｑ＝０．５
このように、位置ずれが少なく、かつ画素値の変化が中程度の周波数領域では、
Ｕｏｕｔ＝０．５×Ｕ０＋０．５×Ｕ１
Ｖｏｕｔ＝０．５×Ｖ０＋０．５×Ｖ１
すなわち、３つのローパスフィルタ（ＬＰＦ０，ＬＰＦ１，ＬＰＦ２）の中で、最も高いカットオフ周波数を持つＬＰＦ０を、入力ＵＶ値（Ｕ，Ｖ）に適用した画素値と、中程度のカットオフ周波数を持つＬＰＦ１を、入力ＵＶ値（Ｕ，Ｖ）に適用した画素値との平均値が、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）として設定される。
【０１６１】
（領域例５）位置ずれが中程度（偽色が中程度）の画素領域：ｒａｔｉｏＥｒｒ＝０．５、かつ、中程度の周波数領域：ｒａｔｉｏＦｒｅｑ＝０．５
このように、位置ずれが中程度で、かつ画素値の変化が中程度の周波数領域では、
Ｕｏｕｔ＝０．５×（０．５×Ｕ０＋０．５×Ｕ１）＋０．５×Ｕ２
Ｖｏｕｔ＝０．５×（０．５×Ｖ０＋０．５×Ｖ１）＋０．５×Ｖ２
上記設定となる。
【０１６２】
すなわち、３つのローパスフィルタ（ＬＰＦ０，ＬＰＦ１，ＬＰＦ２）の中で、最も高いカットオフ周波数を持つＬＰＦ０を、入力ＵＶ値（Ｕ，Ｖ）に適用した画素値と、中程度のカットオフ周波数を持つＬＰＦ１を、入力ＵＶ値（Ｕ，Ｖ）に適用した画素値との平均値と、最も低いカットオフ周波数を持つＬＰＦ２を、入力ＵＶ値（Ｕ，Ｖ）に適用した画素値との平均値が、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）として設定される。
【０１６３】
（領域例６）位置ずれが少ない（偽色が少ない）画素領域：ｒａｔｉｏＥｒｒ＝０、かつ、高周波領域：ｒａｔｉｏＦｒｅｑ＝１
このように、位置ずれが少なく、かつ画素値が細かく変化する高周波領域では、
Ｕｏｕｔ＝Ｕ１
Ｖｏｕｔ＝Ｖ１
上記設定となる。
すなわち、３つのローパスフィルタ（ＬＰＦ０，ＬＰＦ１，ＬＰＦ２）の中で、中程度のカットオフ周波数を持つＬＰＦ１を、入力ＵＶ値（Ｕ，Ｖ）に適用した画素値が、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）として設定される。
【０１６４】
（領域例７）位置ずれが中程度（偽色が中程度）の画素領域：ｒａｔｉｏＥｒｒ＝０．５、かつ、高周波領域：ｒａｔｉｏＦｒｅｑ＝１
このように、位置ずれが中程度で、かつ画素値が細かく変化する高周波領域では、
Ｕｏｕｔ＝０．５×Ｕ１＋０．５×Ｕ２
Ｖｏｕｔ＝０．５×Ｖ１＋０．５×Ｖ２
すなわち、３つのローパスフィルタ（ＬＰＦ０，ＬＰＦ１，ＬＰＦ２）の中で、中程度のカットオフ周波数を持つＬＰＦ１を、入力ＵＶ値（Ｕ，Ｖ）に適用した画素値と、最も低いカットオフ周波数を持つＬＰＦ２を、入力ＵＶ値（Ｕ，Ｖ）に適用した画素値との平均値が、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）として設定される。
【０１６５】
本実施例において、画像補正部１２６は、このように、図１５（ａ）に示す出力信号算出式（式７）に従って、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を生成する。
補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３の生成処理に際して、画像補正部１２６が領域の特徴に応じて実行する処理との対応をまとめると以下のようになる。
【０１６６】
位置ずれが多い（偽色が多いと推定される）領域では、カットオフ周波数の低いローパスフィルタＬＰＦ２を用いて、より広範囲の周囲画素（例えば２５×２５画素）の画素値に基づいて平滑化する処理を実行する。
【０１６７】
位置ずれが少ない（偽色が少ないと推定される）領域では、
高周波成分の多い領域では、カットオフ周波数が中程度のローパスフィルタＬＰＦ１を用いて、中程度の範囲の周囲画素（例えば１３×１３画素）の画素値に基づいて平滑化する処理を実行する。
また、高周波成分の少ない低周波領域では、カットオフ周波数が高いローパスフィルタＬＰＦ０を用いて、小さい範囲の周囲画素（例えば３×３画素）の画素値に基づいて平滑化する処理を実行する。
【０１６８】
位置ずれが中程度（偽色がややあると推定される）領域では、上記の位置ずれが多い（偽色が多いと推定される）領域に対する処理と、位置ずれが少ない（偽色が少ないと推定される）領域に対する処理との中間的な処理を実行する。
【０１６９】
画像補正部１２６は、このように画像領域の特性に応じて補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を生成し、生成信号を、図３に示す画像処理部１２０内の信号変換部１２７に出力する。
【０１７０】
信号変換部１２７は、画像補正部１２６の生成した補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３と、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１を入力する。
信号変換部１２７は、これらの入力信号に基づいてく信号変換を実行して、ＲＧＢ画像１５０を生成して出力する。
【０１７１】
信号変換部１２７は、Ｗ−ＲＡＷ画像１１１のＷ信号Ｙ（輝度）信号とし、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３のＵＶ信号との組み合わせからなるＹＵＶ信号をＲＧＢ信号に変換する処理を実行する。
この信号変換処理は、既存の変換式に従って行われる。
【０１７２】
信号変換部１２７の生成したＲＧＢ画像１５０は、例えば表示部に表示される。あるいは、記憶部に格納される。あるいは、外部の他の情報処理装置に出力される。
なお、記憶部格納処理や、外部出力処理の前処理として圧縮処理等の符号化処理を実行する場合もある。
なお、ＹＵＶ信号からＲＧＢ信号への必須ではなく、ＹＵＶ信号のまま、表示装置への出力、記憶部に対する格納、あるいは外部出力を行う構成としてもよい。
【０１７３】
［５．画像処理装置の実行する画像処理の処理シーケンスについて］
次に、図１８に示すフローチャートを参照して画像処理装置の実行する画像処理の処理シーケンスについて説明する。
【０１７４】
図１８に示すフローチャートは、例えば記憶部に格納された処理プログラムに従った処理を実行するＣＰＵ等を備えた制御部（データ処理部）の制御の下で実行される。
以下、図１８に示す各ステップの処理について、順次、説明する。
【０１７５】
（ステップＳ１０１ａ，１０１ｂ）
ステップＳ１０１ａ，１０１ｂは、画像撮影処理である。
図１に示す撮像部１０６の第１撮像部１０７と、第２撮像部１０８において２枚の画像が撮影される。
ステップＳ１０１ａは、先に図２（ａ）を参照して説明したベイヤ配列等のＲＧＢ画素配列を持つ撮像素子を有する第２撮像部１０８において実行されるＲＧＢ画像の撮影処理である。
【０１７６】
ステップＳ１０１ｂは、先に図２（ｂ）を参照して説明したホワイト（Ｗ）画素配列を持つ撮像素子を有する第１撮像部１０７において実行れるホワイト（Ｗ）画像の撮影処理である。
【０１７７】
（ステップＳ１０２）
次に、ステップＳ１０２において、ステップＳ１０１ａで第２撮像部１０８が撮影したＲＧＢ画像の現像処理を実行する。
【０１７８】
この処理は、図３に示す画像処理部１２０の現像処理部１２１において実行される。
先に説明したように、現像処理部１２１は、第２撮像部１０８から入力するＲＧＢ−ＲＡＷ画像１１２に対する現像処理を実行する。具体的には、例えば以下の処理を実行する。
（ａ）撮像素子を構成する回路に基づいて発生するＤＣオフセットやノイズ信号に基づくオフセット成分を除去するクランプ処理、
（ｂ）ＲＧＢ−ＲＡＷ画像の各画素に設定されたＲＧＢの単一信号値に基づいて、各画素にＲＧＢの３信号を設定するデモザイク処理、
（ｃ）白の被写体に対するＲＧＢ値を揃えるホワイトバランス処理、
（ｄ）ＲＧＢ値のＹＵＶ値への変換処理、
これらの処理を実行する。
【０１７９】
（ステップＳ１０３）
次に、ステップＳ１０３において動きベクトル（ＭＶ）の検出処理を実行する。
この処理は、図３に示す画像処理部１２０の動きベクトル検出部１２２において実行される。
動きベクトル検出部１２２は、第１撮像部１０７からＷ画像１１１を入力するとともに、現像処理部１２１が、第２撮像部１０８の撮影画像であるＲＧＢ−ＲＡＷ画像１１２に基づいて生成した、ＹＵＶ画像１３０中のＹ信号（輝度信号）を入力する。
動きベクトル検出部１２２は、これらの２つの信号（Ｗ信号，Ｙ信号）に基づいて、２つの画像の位置ずれに相当する動きベクトル（ＭＶ：Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を検出する。
【０１８０】
前述したように、図１に示す画像処理装置１００の撮像部１０６に構成される第１撮像部１０７と、第２撮像部１０８は、所定間隔離れた位置に設定される２つの撮像部であり、それぞれの撮影画像は異なる視点からの画像となる。すなわち、視差を持つ画像となる。
従って、２つの画像の対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。
【０１８１】
動きベクトル検出部１２２は、これらの２つの信号（Ｗ信号，Ｙ信号）に基づいて、２つの画像の位置ずれに相当する動きベクトル（ＭＶ：Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を検出する。
具体的には、２つの画像（Ｗ画像、Ｙ画像）の対応点をもとめ、その対応点を結ぶベクトルを動きベクトル（ＭＶ）として算出する。
動きベクトル検出部１２２の生成した動きベクトル（ＭＶ）は、位置合わせ部１２３に入力される。
【０１８２】
（ステップＳ１０４）
次に、ステップＳ１０４において位置合わせ処理を実行する。
この処理は、図３に示す画像処理部１２０の位置合わせ部１２３の実行する処理である。
【０１８３】
位置合わせ部１２３は、動きベクトル検出部１２２の生成した動きベクトル（ＭＶ）を入力するとともに、現像処理部１２１が、ＲＧＢ−ＲＡＷ画像１１２に基づいて生成したＹＵＶ画像１３０を入力する。
位置合わせ部１２３は、ＹＵＶ画像１３０を、動きベクトル（ＭＶ）の大きさと方向に従って各画素位置を移動させて、Ｗ画像、すなわち、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１と同一視点位置から撮影されたと同様のＹＵＶ画像を生成する。
この処理によって、ＹＵＶ画像１３０は、第１撮像部１０７と同一視点から撮影されたとみなされるＹＵＶ画像に変換される。
【０１８４】
（ステップＳ１０５）
次に、ステップＳ１０５において、周波数対応パラメータ算出処理を実行する。
この処理は、図３に示す画像処理部１２０の周波数対応パラメータ算出部１２４の実行する処理である。
【０１８５】
先に図４を参照して説明したように、周波数対応パラメータ算出部１２４は、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１と、センサノイズ特性（σ）１１３を入力し、これらの入力データに基づいて、偽色補正に利用するための補正パラメータである周波数対応ブレンド率設定パラメータを算出して画像補正部１２６に出力する。
【０１８６】
周波数対応パラメータ算出部１２４は、先にら図５を参照して説明したように、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１を構成する全画素について、周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］を算出し、算出パラメータを、画像補正部１２６に入力する。
【０１８７】
（ステップＳ１０６）
次に、ステップＳ１０６において、位置ずれ対応パラメータ算出処理を実行する。
この処理は、図３に示す画像処理部１２０の位置ずれ対応パラメータ算出部１２５の実行する処理である。
【０１８８】
先に図３、図６〜図８を参照して説明したように、位置ずれ対応パラメータ算出部１２５は、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１と、位置合わせ部１２３が生成した位置合わせ後のＹＵＶ画像、すなわち、第１撮像部１０７の撮影視点から撮影したと同等のＹＵＶ画像と、センサノイズ特性（σ）１１３を入力し、これらの入力データに基づいて、偽色補正に利用するための補正パラメータである位置ずれ対応ブレンド率設定パラメータを算出して画像補正部１２６に出力する。
【０１８９】
なお、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１と、位置合わせ部１２３が生成した位置合わせ後のＹＵＶ画像は、本来、位置ずれは解消されているはずである。しかし、画素位置によって、それぞれの画素値（Ｗ画素値）に差分が発生する。この差分は偽色であると考えられ、本来の画素位置の画素値と異なる画素位置に出力されるべき画素とであるとの解釈の下に、「位置ずれ対応パラメータ」として説明している。
従って、「位置ずれが大きい」とは「偽色が多い」ことに相当し、「位置ずれが小さい」とは「偽色が少ない」ことに相当する。
【０１９０】
位置ずれ対応パラメータ算出部１２５は、先に説明した図６の構成に従い、位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］を算出する。
位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］は、
位置ずれが大きい（＝偽色が多い）画素領域では、大きな値、すなわち、１に近い値となり、
位置ずれが小さい（＝偽色が少ない）画素領域では、小さな値、すなわち、０に近い値となる。
位置ずれ対応パラメータ算出部１２５の算出した位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］は、図３に示す画像処理部１２０内の画像補正部１２６に入力される。
【０１９１】
（ステップＳ１０７）
ステップＳ１０７〜Ｓ１０８の処理は、図３に示す画像処理部１２０の画像補正部１２６の実行する処理である。
【０１９２】
画像補正部１２６は、以下の各データを入力する。
（ａ）第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１、
（ｂ）位置合わせ部１２３の生成した位置合わせ後ＹＵＶ画像１６１、
（ｃ）周波数対応パラメータ算出部１２４の生成した周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］、
（ｄ）位置ずれ対応パラメータ算出部１２５の生成した位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］、
【０１９３】
画像補正部１２６は、これらのデータを入力し、偽色を低減させた補正画像（ＹＵＶ画像）の画素値を構成する色差信号ＵＶの出力信号値である補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を生成して、図３に示す画像処理部１２０内の信号変換部１２７に出力する。
【０１９４】
画像補正部１２６は、まず、ステップＳ１０７において、入力データを適用して、複数の異なるローパスフィルタ（ＬＰＦ０，ＬＰＦ１，ＬＰＦ２）、具体的には、それぞれカットオフ周波数の異なるローパスフィルタを適用して、異なるＵＶ画、すなわち、先に、図１５〜図１７を参照して説明した以下の各ＵＶ画を生成する。、
Ｕ０＝ＬＰＦ０（Ｕ）
Ｖ０＝ＬＰＦ０（Ｖ）
Ｕ１＝ＬＰＦ１（Ｕ）
Ｖ１＝ＬＰＦ１（Ｖ）
Ｕ２＝ＬＰＦ２（Ｕ）
Ｖ２＝ＬＰＦ２（Ｖ）
【０１９５】
３つのローパスフィルタ（ＬＰＦ０〜ＬＰＦ２）の違いは、カットオフ周波数の差であり、ＬＰＦ０のカットオフ周波数が最も高く、ＬＰＦ２のカットオフ周波数が最も低い。
例えば、各ローパスフィルタとして、以下の設定のローパスフィルタが適用可能である。
ＬＰＦ０は３×３（画素）の移動平均フィルタ、
ＬＰＦ１は１３×１３（画素）の移動平均フィルタ、
ＬＰＦ２は２５×２５（画素）の移動平均フィルタ、
このような設定の移動平均フィルタを、上記３つのローパスフィルタ（ＬＰＦ０〜ＬＰＦ２）として適用することができる。
【０１９６】
（ステップＳ１０８）
次に、画像補正部１２６は、ステップＳ１０８において、ステップＳ１０７で算出したＵ０〜Ｕ３，Ｖ０〜Ｖ３と、
（１）周波数対応パラメータ算出部１２４の生成した周波数対応ブレンド率設定パラメータ［ｒａｔｉｏＦｒｅｑ］、
（２）位置ずれ対応パラメータ算出部１２５の生成した位置ずれ対応ブレンド率設定パラメータ［ｒａｔｉｏＥｒｒ］、
これら２つのブレンド率設定パラメータを適用して、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を算出する。
この補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）の算出処理は、先に説明したように、例えば、以下の（式７）、すなわち、
Ｕｏｕｔ＝（１−ｒａｔｉｏＥｒｒ）（（１−ｒａｔｉｏＦｒｅｑ）×Ｕ０＋ｒａｔｉｏＦｒｅｑ×Ｕ１）＋ｒａｔｉｏＥｒｒ×Ｕ２
Ｖｏｕｔ＝（１−ｒａｔｉｏＥｒｒ）（（１−ｒａｔｉｏＦｒｅｑ）×Ｖ０＋ｒａｔｉｏＦｒｅｑ×Ｖ１）＋ｒａｔｉｏＥｒｒ×Ｖ２
・・・・・（式７）
上記（式７）に従って算出される。
【０１９７】
あるいは、図９（ａ）に示す前述した（式５）を適用し、画像特性に応じて適用するフィルタを変更する処理としてもよい。
【０１９８】
なお、先に、説明したように、画像補正部１２６が領域の特徴に応じて実行する補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）の算出処理は、以下のような態様で実行される。
（ａ）位置ずれが多い（偽色が多いと推定される）領域では、カットオフ周波数の低いローパスフィルタＬＰＦ２を優先的に用いて、より広範囲の周囲画素（例えば２５×２５画素）の画素値に基づいて平滑化する処理を実行する。
【０１９９】
（ｂ）位置ずれが少ない（偽色が少ないと推定される）領域では、
高周波成分の多い領域では、カットオフ周波数が中程度のローパスフィルタＬＰＦ１を優先的に用いて、中程度の範囲の周囲画素（例えば１３×１３画素）の画素値に基づいて平滑化する処理を実行する。
また、高周波成分の少ない低周波領域では、カットオフ周波数が高いローパスフィルタＬＰＦ０を優先的に用いて、小さい範囲の周囲画素（例えば３×３画素）の画素値に基づいて平滑化する処理を実行する。
【０２００】
（ｃ）位置ずれが中程度（偽色がややあると推定される）領域では、上記の位置ずれが多い（偽色が多いと推定される）領域に対する処理と、位置ずれが少ない（偽色が少ないと推定される）領域に対する処理との中間的な処理を実行する。
【０２０１】
画像補正部１２６は、このように画像領域の特性に応じて補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３を生成し、生成信号を、図３に示す画像処理部１２０内の信号変換部１２７に出力する。
【０２０２】
（ステップＳ１０９）
ステップＳ１０９の処理は、図３に示す画像処理部１２０の信号変換部１２７の実行する処理である。
信号変換部１２７は、画像補正部１２６の生成した補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３と、第１撮像部１０７の撮影画像であるＷ−ＲＡＷ画像１１１を入力する。
信号変換部１２７は、これらの入力信号に基づいてく信号変換を実行して、ＲＧＢ画像１５０を生成して出力する。
【０２０３】
信号変換部１２７は、Ｗ−ＲＡＷ画像１１１のＷ信号Ｙ（輝度）信号とし、補正後ＵＶ信号（Ｕｏｕｔ，Ｖｏｕｔ）２０３のＵＶ信号との組み合わせからなるＹＵＶ信号をＲＧＢ信号に変換する処理を実行する。
この信号変換処理は、既存の変換式に従って行われる。
【０２０４】
信号変換部１２７の生成したＲＧＢ画像１５０は、例えば表示部に表示される。あるいは、記憶部に格納される。あるいは、外部の他の情報処理装置に出力される。
なお、記憶部格納処理や、外部出力処理の前処理として圧縮処理等の符号化処理を実行する場合もある。
なお、ＹＵＶ信号からＲＧＢ信号への必須ではなく、ＹＵＶ信号のまま、表示装置への出力、記憶部に対する格納、あるいは外部出力を行う構成としてもよい。
【０２０５】
このような処理により、画像特性に応じた最適な偽色低減処理が実行され、偽色の少ない高品質な補正画像を生成することが可能となる。
【０２０６】
［６．画像処理装置のその他の構成例について］
次に、画像処理装置のその他の構成例について説明する。
上述した実施例では、例えば図３に示す画像処理部１２０が、第２撮像部１０８の撮影画像であるＲＧＢ−ＲＡＷ画像１１２を現像処理部１２１に入力し、ＲＧＢ−ＲＡＷ画像１１２の弦象処理によって生成されたＹＵＶ画像１３０を適用しはた画像処理を実行する構成としている。
【０２０７】
この現像処理の実行タイミングは、例えば、画像処理部１２０の処理が完了した後としてもよい。あるいは現像処理部の一部の処理を画像処理部１２０の処理が完了した後に実行する構成等、様々な設定が可能である。
【０２０８】
また、図３に示す画像処理部１２０の最終段の処理として、信号変換部１２７によるＹＵＶ信号からＲＧＢ信号への信号変換を実行する構成としているが、前述したように、この処理は、必須ではなく、ＹＵＶ信号のまま、表示装置への出力、記憶部に対する格納、あるいは外部出力を行う構成としてもよい。
【０２０９】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２１０】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  カラー画像と、全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子によって撮影されたホワイト（Ｗ）画像を入力して、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出部と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する画像補正部を有する画像処理装置。
【０２１１】
（２）  前記カラー画像は、ＲＧＢ配列撮像素子によって撮影されたＲＧＢ画像であり、
前記位置ずれ対応パラメータ算出部は、
前記ホワイト（Ｗ）画像と、前記ＲＧＢ画像に基づいて生成されるＹＵＶ画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出し、
前記画像補正部は、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記ＹＵＶ画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する（１）に記載の画像処理装置。
【０２１２】
（３）  前記画像補正部は、
異なるカットオフ周波数を有する複数の異なるローパスフィルタ（ＬＰＦ）を、画像領域単位で選択適用して補正画素値を算出する（１）または（２）に記載の画像処理装置。
【０２１３】
（４）  前記画像補正部は、
（ａ）前記カラー画像の領域単位でローパスフィルタ（ＬＰＦ）を適用したＬＰＦ適用カラー画素値と、
（ｂ）前記ホワイト（Ｗ）画像の画素値を、前記ホワイト（Ｗ）画像の領域単位でローパスフィルタ（ＬＰＦ）を適用した値で除算した除算Ｗ画素値と、
を算出し、算出した２つの値を乗算して補正画素値を算出する（１）〜（３）いずれかに記載の画像処理装置。
【０２１４】
（５）  前記画像補正部は、
前記カラー画像の領域単位で適用するローパスフィルタ（ＬＰＦ）を、
高周波領域では、カットオフ周波数が相対的に低いローパスフィルタを優先適用し、
低周波領域では、カットオフ周波数が相対的に高いローパスフィルタを優先適用する（１）〜（４）いずれかに記載の画像処理装置。
【０２１５】
（６）  前記画像補正部は、
前記カラー画像の領域単位で適用するローパスフィルタ（ＬＰＦ）を、
位置ずれが大きい領域では、カットオフ周波数が相対的に低いローパスフィルタを優先適用し、
位置ずれが小さい領域では、カットオフ周波数が相対的に高いローパスフィルタを優先適用する（１）〜（５）いずれかに記載の画像処理装置。
【０２１６】
（７）  前記画像補正部は、
（ａ）前記ＹＵＶ画像の領域単位でローパスフィルタ（ＬＰＦ）を適用したＬＰＦ適用ＹＵＶ画素値と、
（ｂ）前記ホワイト（Ｗ）画像の画素値を、前記ホワイト（Ｗ）画像の領域単位でローパスフィルタ（ＬＰＦ）を適用した値で除算した除算Ｗ画素値と、
を算出し、算出した２つの値を乗算して補正画素値を算出する（２）に記載の画像処理装置。
【０２１７】
（８）  前記画像補正部は、
前記ＹＵＶ画像の画像領域単位で、以下の補正画素値算出式、
Ｕｏｕｔ＝ＬＰＦ（Ｕ）×（Ｗ／ＬＰＦ（Ｗ））
Ｖｏｕｔ＝ＬＰＦ（Ｖ）×（Ｗ／ＬＰＦ（Ｗ））
上記補正画素値式に従って算出されるＵＶ値（Ｕｏｕｔ，Ｖｏｕｔ）を補正画素値として算出する（２）に記載の画像処理装置。
【０２１８】
（９）  前記画像補正部は、
前記補正画素値算出式に適用するローパスフィルタ（ＬＰＦ）を、
高周波領域では、カットオフ周波数が相対的に低いローパスフィルタを優先適用し、
低周波領域では、カットオフ周波数が相対的に高いローパスフィルタを優先適用する（８）に記載の画像処理装置。
【０２１９】
（１０）  前記画像補正部は、
前記補正画素値算出式に適用するローパスフィルタ（ＬＰＦ）を、
位置ずれが大きい領域では、カットオフ周波数が相対的に低いローパスフィルタを優先適用し、
位置ずれが小さい領域では、カットオフ周波数が相対的に高いローパスフィルタを優先適用する（８）または（９）に記載の画像処理装置。
【０２２０】
（１１）  前記画像処理部は、
前記カラー画像と、前記ホワイト（Ｗ）画像の位置合わせを実行する位置合わせ部を有し、
前記位置ずれ対応パラメータ算出部は、
前記ホワイト（Ｗ）画像と、前記位置合わせ部の生成した位置合わせ後のカラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する（１）〜（１０）いずれかに記載の画像処理装置。
【０２２１】
（１２）  前記画像処理部は、
前記カラー画像と、前記ホワイト（Ｗ）画像を入力し、両画像間の動きベクトルを検出する動きベクトル検出部を有し、
前記位置合わせ部は、前記動きベクトルを利用して、前記カラー画像と、前記ホワイト（Ｗ）画像の位置合わせを実行する（１１）に記載の画像処理装置。
【０２２２】
（１３）  前記動きベクトル検出部は、
前記カラー画像の撮像部と、前記ホワイト（Ｗ）画像の撮像部との撮影位置のずれに応じた視差に基づく画像の位置ずれに相当する動きベクトルを検出する（１２）に記載の画像処理装置。
【０２２３】
（１４）  全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子を有し、ホワイト（Ｗ）画像を撮影する第１撮像部と、
ＲＧＢ画素配列を有するＲＧＢ配列撮像素子を有し、カラー画像を撮影する第２撮像部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出部と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する画像補正部を有する撮像装置。
【０２２４】
（１５）  画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
カラー画像と、全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子によって撮影されたホワイト（Ｗ）画像を入力して、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記画像処理部が、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出処理と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出処理と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する画像処理方法。
【０２２５】
（１６）  撮像装置において実行する画像処理方法であり、
前記撮像装置は、
全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子を有し、ホワイト（Ｗ）画像を撮影する第１撮像部と、
ＲＧＢ画素配列を有するＲＧＢ配列撮像素子を有し、カラー画像を撮影する第２撮像部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記第１撮像部と、前記第２撮像部において、ホワイト（Ｗ）画像とカラー画像を撮影し、
前記画像処理部において、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出処理と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出処理と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する画像処理方法。
【０２２６】
（１７）  画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
カラー画像と、全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子によって撮影されたホワイト（Ｗ）画像を入力して、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記プログラムは、前記画像処理部に、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出処理と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出処理と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する処理を実行させるプログラム。
【０２２７】
（１８）  撮像装置において画像処理を実行させるプログラムであり、
前記撮像装置は、
全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子を有し、ホワイト（Ｗ）画像を撮影する第１撮像部と、
ＲＧＢ画素配列を有するＲＧＢ配列撮像素子を有し、カラー画像を撮影する第２撮像部と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有し、
前記プログラムは、
前記第１撮像部と、前記第２撮像部において、ホワイト（Ｗ）画像とカラー画像を撮影させ、
前記画像処理部に、
前記ホワイト（Ｗ）画像を入力し、ホワイト（Ｗ）画像の画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出処理と、
前記ホワイト（Ｗ）画像と、前記カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出処理と、
前記周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、前記ホワイト（Ｗ）画像と、前記カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する処理を実行させるプログラム。
【０２２８】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２２９】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２３０】
以上、説明したように、本開示の一実施例の構成によれば、カラー画像における画像領域単位の画像特性に応じた偽色補正を行う装置、方法が実現される。
具体的には、カラー画像と、全画素をホワイト（Ｗ）画素配列としたＷ配列撮像素子によって撮影されたホワイト（Ｗ）画像を入力して、カラー画像に含まれる偽色を低減させる画像処理を実行する画像処理部を有する。画像処理部は、ホワイト（Ｗ）画像を入力し、画像領域単位の周波数対応パラメータを算出する周波数対応パラメータ算出部と、ホワイト（Ｗ）画像と、カラー画像を入力し、入力した２つの画像の画像領域単位の位置ずれ対応パラメータを算出する位置ずれ対応パラメータ算出部と、周波数対応パラメータと、位置ずれ対応パラメータとの値に応じて、ホワイト（Ｗ）画像と、カラー画像のブレンド比率を制御したブレンド処理を実行して、補正画素値を算出する。
これらの処理により、カラー画像における画像領域単位の画像特性に応じた偽色補正を行う装置、方法が実現され、偽色を除去または低減した高品質な画像を生成して出力することが可能となる。
【符号の説明】
【０２３１】
１００  画像処理装置
１０１  制御部
１０２  記憶部
１０３  コーデック
１０４  入力部
１０５  出力部
１０６  撮像部
１０７  第１撮像部
１０８  第２撮像部
１１１  Ｗ−ＲＡＷ画像
１１２  ＲＧＢ−ＲＡＷ画像
１１３  センサノイズ特性（σ）
１２０  画像処理部
１２１  現像処理部
１２２  動きベクトル検出部
１２３  位置合わせ部
１２４  周波数対応パラメータ算出部
１２５  位置ずれ対応パラメータ算出部
１２６  画像補正部
１２７  信号変換部
１５０  ＲＧＢ画像
１５１  隣接画素画素値差分絶対値算出部
１５２  ダイナミックレンジ（ＤＲ）算出部
１５３  周波数パラメータ算出部
１５４  加算部
１５５  ブレンド率算出部
１６１  位置合わせ後ＹＵＶ画像
１６２  ＹＵＶ画像ベースＷ画像
１６３  画素値調整ＹＵＶ画像ベースＷ画像
１６４  差分画像
１７１  信号変換部
１７２  第１領域単位画素値加算部
１７３  第２領域単位画素値加算部
１７４  領域単位画素非算出部
１７５  乗算部
１７６  差分算出部
２０１  周波数対応ブレンド率設定パラメータ
２０２  位置ずれ対応ブレンド比率設定パラメータ
２０３  補正後ＵＶ信号
【図１】
2017154293.tif 000011
【図２】
2017154293.tif 000012
【図３】
2017154293.tif 000013
【図４】
2017154293.tif 000014
【図５】
2017154293.tif 000015
【図６】
2017154293.tif 000016
【図７】
2017154293.tif 000017
【図８】
2017154293.tif 000018
【図９】
2017154293.tif 000019
【図１０】
2017154293.tif 000020
【図１１】
2017154293.tif 000021
【図１２】
2017154293.tif 000022
【図１３】
2017154293.tif 000023
【図１４】
2017154293.tif 000024
【図１５】
2017154293.tif 000025
【図１６】
2017154293.tif 000026
【図１７】
2017154293.tif 000027
【図１８】
2017154293.tif 000028
【国際調査報告】
2017154293.tif 000029
2017154293.tif 000030