(57)【要約】【課題】ＲＧＢＷ配列を持つ撮像素子による撮影信号からのＲＧＢ配列データあるいはカラー画像を生成する装置および方法を提供する。【解決手段】ＲＧＢＷ配列の撮像素子の出力信号を解析し、各画素対応のエッジ情報、ぼけ補正信号を生成し、ぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号と、ぼけ補正処理の非適用信号であるぼけ補正なしＲＧＢ信号を算出し、これらの各信号のブレンド処理によりＲＧＢ配列データまたはカラー画像を生成する。エッジ強度が大の画素位置ではぼけ補正ありＲＧＢ信号のブレンド比率を高くし、エッジ強度が小の画素位置ではぼけ補正なしＲＧＢ信号のブレンド比率を高く設定したブレンド処理を実行する。【選択図】図４
2011055038.tif 000002
【特許請求の範囲】
【請求項１】
ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を行い、各画素対応のぼけ補正信号を生成するぼけ補正処理部と、
前記ＲＧＢＷ配列をＲＧＢ配列に変換するデータ変換部を有し、
前記データ変換部は、
前記ぼけ補正処理部の生成したぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を生成し、
前記ぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を適用してＲＧＢ配列を構成するＲＧＢ信号値を決定する処理を実行する画像処理装置。
【請求項２】
ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を行い、各画素対応のぼけ補正信号を生成するぼけ補正処理部と、
前記ＲＧＢＷ配列からなるモザイク信号のデモザイク処理を実行して各画素対応のＲＧＢ全信号値を決定したカラー画像を生成するデータ変換部を有し、
前記データ変換部は、
前記ぼけ補正処理部の生成したぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を生成し、
前記ぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を適用してカラー画像を構成する各画素対応のＲＧＢ全信号値を決定する処理を実行する画像処理装置。
【請求項３】
前記画像処理装置は、さらに、
ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号を解析して各画素対応のエッジ強度情報を含むエッジ情報を生成するエッジ検出部を有し、
前記データ変換部は、
ぼけ補正処理の非適用信号であるぼけ補正なしＲＧＢ信号（Ｒｌ，Ｇｌ，Ｂｌ）を算出して、前記ぼけ補正ありＲＧＢ信号と前記ぼけ補正なしＲＧＢ信号とのブレンド処理によりＲＧＢ配列またはカラー画像を構成するＲＧＢ信号値の決定処理を行う構成であり、
前記エッジ情報によりエッジ強度が大であると判定した画素位置ではぼけ補正ありＲＧＢ信号のブレンド比率を高くし、エッジ強度が小であると判定した画素位置ではぼけ補正なしＲＧＢ信号のブレンド比率を高く設定したブレンド処理を実行してＲＧＢ信号値の決定処理を行う請求項１または２に記載の画像処理装置。
【請求項４】
前記ぼけ補正処理部は、
前記撮像素子の出力信号に含まれるＷ信号のみを適用してぼけ補正処理を実行して各画素対応のぼけ補正Ｗ信号（Ｗｄ）を生成し、
前記データ変換部は、
画像の局所領域でＷ信号とＲＧＢ各信号に正の相関があるとの仮定に基づいて、前記ぼけ補正Ｗ信号（Ｗｄ）から前記ぼけ補正ありＲＧＢ信号を算出する請求項１〜３いずれかに記載の画像処理装置。
【請求項５】
前記データ変換部は、
前記撮像素子の出力信号に含まれるＷ信号を適用して各画素対応のノイズ除去Ｗ信号（Ｗｎ）を生成し、
前記ノイズ除去Ｗ信号（Ｗｎ）から前記ぼけ補正なしＲＧＢ信号を算出する請求項３に記載の画像処理装置。
【請求項６】
前記エッジ検出部は、
前記撮像素子の出力信号に含まれるＷ信号のみを適用したエッジ検出処理により各画素対応のエッジ情報を生成する構成であり、
処理対象画素近傍のＷ画素の信号値勾配を算出してエッジ強度とエッジ方向を含むエッジ情報を生成する請求項３〜５いずれかに記載の画像処理装置。
【請求項７】
前記エッジ検出部は、
前記撮像素子の出力信号に含まれるＷ信号のみを適用したエッジ検出処理により各画素対応のエッジ情報を生成する構成であり、
処理対象画素近傍のＷ画素の信号値勾配絶対値平均の加重加算値を算出し、該加重加算値を適用して平坦度（ｗｅｉｇｈｔＦｌａｔ）を算出して前記データ変換部に出力し、
前記データ変換部は、
前記ぼけ補正ありＲＧＢ信号と前記ぼけ補正なしＲＧＢ信号とのブレンド比率を、前記平坦度（ｗｅｉｇｈｔＦｌａｔ）を適用して決定する請求項３〜５いずれかに記載の画像処理装置。
【請求項８】
前記ぼけ補正処理部は、
前記撮像素子の出力信号に含まれるＷ信号に対するウィーナフィルタの畳み込み演算により前記ぼけ補正Ｗ信号（Ｗｄ）を生成する構成であり、
前記撮像素子の出力信号に含まれるＲＧＢ画素位置については、前記エッジ検出部の生成するエッジ情報に含まれるエッジ方向に応じて参照Ｗ画素を決定して参照Ｗ画素の信号値を適用した補間処理により補間Ｗ信号値を決定し、該補間Ｗ信号に対する前記ウィーナフィルタの畳み込み演算によりぼけ補正Ｗ信号（Ｗｄ）を生成する請求項３〜７いずれかに記載の画像処理装置。
【請求項９】
前記画像処理装置は、さらに、
光学レンズおよび、該光学レンズを介した受光部として前記ＲＧＢＷ配列を有する撮像素子を有する請求項１〜８いずれかに記載の画像処理装置。
【請求項１０】
前記光学レンズは、
前記撮像素子のＲＧＢＷ配列中、各色成分において同色成分のナイキスト周波数を超える信号成分を発生させないレンズ収差を持つ光学レンズである請求項９に記載の画像処理装置。
【請求項１１】
画像処理装置において画像信号処理を実行する画像処理方法であり、
ぼけ補正処理部が、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を行い各画素対応のぼけ補正信号を生成するぼけ補正処理ステップと、
データ変換部が、前記ＲＧＢＷ配列をＲＧＢ配列に変換するデータ変換ステップを有し、
前記データ変換ステップは、
前記ぼけ補正処理ステップにおいて生成したぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を生成するステップと、
前記ぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を適用してＲＧＢ配列を構成するＲＧＢ信号値を決定するステップを含む画像処理方法。
【請求項１２】
画像処理装置において画像信号処理を実行する画像処理方法であり、
ぼけ補正処理部が、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を行い各画素対応のぼけ補正信号を生成するぼけ補正処理ステップと、
データ変換部が、前記ＲＧＢＷ配列からなるモザイク信号のデモザイク処理を実行して各画素対応のＲＧＢ全信号値を決定したカラー画像を生成するデータ変換ステップを有し、
前記データ変換ステップは、
前記ぼけ補正処理ステップにおいて生成したぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を生成するステップと、
前記ぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を適用してカラー画像を構成する各画素対応のＲＧＢ全信号値を決定するステップを含む画像処理方法。
【請求項１３】
前記画像処理方法は、さらに、
エッジ検出部が、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号を解析して各画素対応のエッジ強度情報を含むエッジ情報を生成するエッジ検出ステップを有し、
前記データ変換ステップは、
ぼけ補正処理の非適用信号であるぼけ補正なしＲＧＢ信号（Ｒｌ，Ｇｌ，Ｂｌ）を算出して、前記ぼけ補正ありＲＧＢ信号と前記ぼけ補正なしＲＧＢ信号とのブレンド処理によりＲＧＢ配列またはカラー画像を構成するＲＧＢ信号値を決定するＲＧＢ信号値決定ステップを有し
前記ＲＧＢ信号値決定ステップは、
前記エッジ情報によりエッジ強度が大であると判定した画素位置ではぼけ補正ありＲＧＢ信号のブレンド比率を高くし、エッジ強度が小であると判定した画素位置ではぼけ補正なしＲＧＢ信号のブレンド比率を高く設定したブレンド処理を実行してＲＧＢ信号値を決定するステップである請求項１１または１２に記載の画像処理方法。
【請求項１４】
画像処理装置において画像信号処理を実行させるプログラムであり、
ぼけ補正処理部に、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を行い各画素対応のぼけ補正信号を生成させるぼけ補正処理ステップと、
データ変換部に、前記ＲＧＢＷ配列をＲＧＢ配列に変換させるデータ変換ステップを有し、
前記データ変換ステップは、
前記ぼけ補正処理ステップにおいて生成したぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を生成させるステップと、
前記ぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を適用してＲＧＢ配列を構成するＲＧＢ信号値を決定させるステップを含むプログラム。
【請求項１５】
画像処理装置において画像信号処理を実行させるプログラムであり、
ぼけ補正処理部に、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を行い各画素対応のぼけ補正信号を生成させるぼけ補正処理ステップと、
データ変換部に、前記ＲＧＢＷ配列からなるモザイク信号のデモザイク処理を実行して各画素対応のＲＧＢ全信号値を決定したカラー画像を生成させるデータ変換ステップを有し、
前記データ変換ステップは、
前記ぼけ補正処理ステップにおいて生成したぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を生成させるステップと、
前記ぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を適用してカラー画像を構成する各画素対応のＲＧＢ全信号値を決定させるステップを含むプログラム。
【請求項１６】
前記プログラムは、さらに、
エッジ検出部に、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号を解析して各画素対応のエッジ強度情報を含むエッジ情報を生成させるエッジ検出ステップを有し、
前記データ変換ステップは、
ぼけ補正処理の非適用信号であるぼけ補正なしＲＧＢ信号（Ｒｌ，Ｇｌ，Ｂｌ）を算出して、前記ぼけ補正ありＲＧＢ信号と前記ぼけ補正なしＲＧＢ信号とのブレンド処理によりＲＧＢ配列またはカラー画像を構成するＲＧＢ信号値を決定するＲＧＢ信号値決定ステップを有し
前記ＲＧＢ信号値決定ステップは、
前記エッジ情報によりエッジ強度が大であると判定した画素位置ではぼけ補正ありＲＧＢ信号のブレンド比率を高くし、エッジ強度が小であると判定した画素位置ではぼけ補正なしＲＧＢ信号のブレンド比率を高く設定したブレンド処理を実行してＲＧＢ信号値を決定するステップである請求項１４または１５に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特にＲＧＢＷ配列を持つ撮像素子の出力に対する信号処理を行なう画像処理装置、および画像信号処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば撮像装置に用いられる撮像素子（イメージセンサ）は、素子表面に各画素単位で特定の波長成分光（Ｒ，Ｇ，Ｂ）を透過させるカラーフィルタを貼り付けた構成を持つ。例えば図１（ａ）に示すようなＲＧＢ配列を持つフィルタが利用される。撮像素子の出力信号を用いたカラー画像生成処理においては、複数個の画素の組によって必要な色成分を復元する処理が行われる。カラーフィルタの色配列には様々なタイプがあるが、図１（ａ）に示す赤（Ｒ）、緑（Ｇ）、青（Ｂ）の特定波長光のみを透過させる３種類のフィルタによって構成されたベイヤ配列が多く利用されている。
【０００３】
近年、撮像素子（イメージセンサ）の画素の微細化が進み、これに伴い各画素への入射光量が減少しＳ／Ｎ比が劣化するという問題が発生してきた。この問題を解決するため、図１（ｂ）に示すようにＲＧＢ等の特定波長光のみを透過させるフィルタの他に、さらに可視光域の光を広く透過するホワイト(Ｗ：Ｗｈｉｔｅ)を持つイメージセンサ（撮像素子）が提案されている。図１（ｂ）には、ＲＧＢＷ配列を持つフィルタの一例を示している。図１（ｂ）に示すＲＧＢＷ配列におけるＷ画素は可視光域の光を広く透過するフィルタである。
【０００４】
このような、ホワイト(Ｗ：Ｗｈｉｔｅ)画素を持つカラーフィルタを搭載した撮像素子については、例えば特許文献１（ＵＳ公開特許２００７／００２４８７９）、特許文献２（ＵＳ公開特許２００７／００２４９３４）に記載されている。
図１（ｂ）に示すようなホワイト(Ｗ：Ｗｈｉｔｅ)画素を持つカラーフィルタを持つ撮像素子（イメージセンサ）を用いることで、フィルタの透過光率が高くなり、高感度化が実現できる。
【０００５】
しかし、ＲＧＢＷ型の素子の問題点として以下のような問題点がある。
図１（ａ）に示すＲＧＢ配列、あるいは図１（ｂ）に示すＲＧＢＷ配列のいずれも、Ｒ，Ｇ，Ｂ，Ｗいずれかのフィルタをモザイク状に配列した一枚の素子、すなわち単板型イメージセンサである。従ってカラー画像を生成する際には、各画素に対応するＲＧＢ画素値を生成するカラーコーディングとしてのデモザイク処理が必要となる。
【０００６】
図１（ｂ）に示すＲＧＢＷ配列では、図１（ａ）に示すＲＧＢ配列に比較して、Ｒ，Ｇ，Ｂ成分のサンプリングレートが低下する。この結果、カラー画像生成処理に際して、図１（ｂ）に示すＲＧＢＷ配列方の素子の取得データを用いた場合、図１（ａ）に示すＲＧＢ配列に比較して、偽色が発生しやすくなるという問題がある。また、ホワイト（Ｗ）の波長成分はＲ，Ｇ，Ｂすべての波長成分を含んでいるため、色収差の大きい光学レンズを用いると、単色成分のものと比べてＲＧＢ波長成分の集光率が落ち、解像度の低下を招くという問題もある。この問題点は画素の微細化が進むにつれて、更に顕著となる。
【０００７】
光学レンズの色収差に起因する解像度劣化の防止手法として、屈折率の異なるレンズを組み合わせて色収差の発生を抑えることが有効であるが、この場合、光学レンズの枚数が増えることによるコストが増大するという新たな問題が発生する。さらに、このような構成とすると、前述のＲＧＢ成分のサンプリングレート低下に起因する偽色の問題がより顕著となるという問題も発生する。
【０００８】
また、単板型イメージセンサの各画素は単一の色成分の情報しかもたないため離散的に取得されたＲ，Ｇ，Ｂ，Ｗ信号からカラー画像を得るために全画素対応のＲＧＢ画素値を求めるデモザイク処理が行われる。このデモザイク処理の際、局所領域においては色比率がほぼ一定に保たれることや強い色相関があることを仮定した補間処理が行われる。具体的には、ある画素の特定色の画素値を算出する際、周囲の画素値を用いて補間する方法が広く用いられる。この方法については、例えば特許文献３（特開２００９−１７５４４号公報）に記載がある。しかしながら、エッジ近傍では上記の仮定、すなわち局所領域における一定の色比率や強い色相関があるという仮定は成り立たない。この結果エッジ近傍に偽色が発生しやすくなるという問題がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】ＵＳ公開特許２００７／００２４８７９
【特許文献２】ＵＳ公開特許２００７／００２４９３４
【特許文献３】特開２００９−１７５４４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを適用したカラー画像生成処理において、偽色やぼけの少ない高品質なカラー画像の生成を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の側面は、
ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を行い、各画素対応のぼけ補正信号を生成するぼけ補正処理部と、
前記ＲＧＢＷ配列をＲＧＢ配列に変換するデータ変換部を有し、
前記データ変換部は、
前記ぼけ補正処理部の生成したぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を生成し、
前記ぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を適用してＲＧＢ配列を構成するＲＧＢ信号値を決定する処理を実行する画像処理装置にある。
【００１２】
さらに、本発明の第２の側面は、
ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を行い、各画素対応のぼけ補正信号を生成するぼけ補正処理部と、
前記ＲＧＢＷ配列からなるモザイク信号のデモザイク処理を実行して各画素対応のＲＧＢ全信号値を決定したカラー画像を生成するデータ変換部を有し、
前記データ変換部は、
前記ぼけ補正処理部の生成したぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を生成し、
前記ぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を適用してカラー画像を構成する各画素対応のＲＧＢ全信号値を決定する処理を実行する画像処理装置にある。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号を解析して各画素対応のエッジ強度情報を含むエッジ情報を生成するエッジ検出部を有し、前記データ変換部は、ぼけ補正処理の非適用信号であるぼけ補正なしＲＧＢ信号（Ｒｌ，Ｇｌ，Ｂｌ）を算出して、前記ぼけ補正ありＲＧＢ信号と前記ぼけ補正なしＲＧＢ信号とのブレンド処理によりＲＧＢ配列またはカラー画像を構成するＲＧＢ信号値の決定処理を行う構成であり、前記エッジ情報によりエッジ強度が大であると判定した画素位置ではぼけ補正ありＲＧＢ信号のブレンド比率を高くし、エッジ強度が小であると判定した画素位置ではぼけ補正なしＲＧＢ信号のブレンド比率を高く設定したブレンド処理を実行してＲＧＢ信号値の決定処理を行う。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記撮像素子の出力信号に含まれるＷ信号のみを適用してぼけ補正処理を実行して各画素対応のぼけ補正Ｗ信号（Ｗｄ）を生成し、前記データ変換部は、画像の局所領域でＷ信号とＲＧＢ各信号に正の相関があるとの仮定に基づいて、前記ぼけ補正Ｗ信号（Ｗｄ）から前記ぼけ補正ありＲＧＢ信号を算出する。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記データ変換部は、前記撮像素子の出力信号に含まれるＷ信号を適用して各画素対応のノイズ除去Ｗ信号（Ｗｎ）を生成し、前記ノイズ除去Ｗ信号（Ｗｎ）から前記ぼけ補正なしＲＧＢ信号を算出する。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記エッジ検出部は、前記撮像素子の出力信号に含まれるＷ信号のみを適用したエッジ検出処理により各画素対応のエッジ情報を生成する構成であり、処理対象画素近傍のＷ画素の信号値勾配を算出してエッジ強度とエッジ方向を含むエッジ情報を生成する。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記エッジ検出部は、前記撮像素子の出力信号に含まれるＷ信号のみを適用したエッジ検出処理により各画素対応のエッジ情報を生成する構成であり、処理対象画素近傍のＷ画素の信号値勾配絶対値平均の加重加算値を算出し、該加重加算値を適用して平坦度（ｗｅｉｇｈｔＦｌａｔ）を算出して前記データ変換部に出力し、前記データ変換部は、前記ぼけ補正ありＲＧＢ信号と前記ぼけ補正なしＲＧＢ信号とのブレンド比率を、前記平坦度（ｗｅｉｇｈｔＦｌａｔ）を適用して決定する。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記撮像素子の出力信号に含まれるＷ信号に対するウィーナフィルタの畳み込み演算により前記ぼけ補正Ｗ信号（Ｗｄ）を生成する構成であり、前記撮像素子の出力信号に含まれるＲＧＢ画素位置については、前記エッジ検出部の生成するエッジ情報に含まれるエッジ方向に応じて参照Ｗ画素を決定して参照Ｗ画素の信号値を適用した補間処理により補間Ｗ信号値を決定し、該補間Ｗ信号に対する前記ウィーナフィルタの畳み込み演算によりぼけ補正Ｗ信号（Ｗｄ）を生成する。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、光学レンズおよび、該光学レンズを介した受光部として前記ＲＧＢＷ配列を有する撮像素子を有する。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記光学レンズは、前記撮像素子のＲＧＢＷ配列中、各色成分において同色成分のナイキスト周波数を超える信号成分を発生させないレンズ収差を持つ光学レンズである。
【００２１】
さらに、本発明の第３の側面は、
画像処理装置において画像信号処理を実行する画像処理方法であり、
ぼけ補正処理部が、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を行い各画素対応のぼけ補正信号を生成するぼけ補正処理ステップと、
データ変換部が、前記ＲＧＢＷ配列をＲＧＢ配列に変換するデータ変換ステップを有し、
前記データ変換ステップは、
前記ぼけ補正処理ステップにおいて生成したぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を生成するステップと、
前記ぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を適用してＲＧＢ配列を構成するＲＧＢ信号値を決定するステップを含む画像処理方法にある。
【００２２】
さらに、本発明の第４の側面は、
画像処理装置において画像信号処理を実行する画像処理方法であり、
ぼけ補正処理部が、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を行い各画素対応のぼけ補正信号を生成するぼけ補正処理ステップと、
データ変換部が、前記ＲＧＢＷ配列からなるモザイク信号のデモザイク処理を実行して各画素対応のＲＧＢ全信号値を決定したカラー画像を生成するデータ変換ステップを有し、
前記データ変換ステップは、
前記ぼけ補正処理ステップにおいて生成したぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を生成するステップと、
前記ぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を適用してカラー画像を構成する各画素対応のＲＧＢ全信号値を決定するステップを含む画像処理方法にある。
【００２３】
さらに、本発明の画像処理方法の一実施態様において、
前記画像処理方法は、さらに、
エッジ検出部が、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号を解析して各画素対応のエッジ強度情報を含むエッジ情報を生成するエッジ検出ステップを有し、
前記データ変換ステップは、
ぼけ補正処理の非適用信号であるぼけ補正なしＲＧＢ信号（Ｒｌ，Ｇｌ，Ｂｌ）を算出して、前記ぼけ補正ありＲＧＢ信号と前記ぼけ補正なしＲＧＢ信号とのブレンド処理によりＲＧＢ配列またはカラー画像を構成するＲＧＢ信号値を決定するＲＧＢ信号値決定ステップを有し
前記ＲＧＢ信号値決定ステップは、
前記エッジ情報によりエッジ強度が大であると判定した画素位置ではぼけ補正ありＲＧＢ信号のブレンド比率を高くし、エッジ強度が小であると判定した画素位置ではぼけ補正なしＲＧＢ信号のブレンド比率を高く設定したブレンド処理を実行してＲＧＢ信号値を決定するステップである。
【００２４】
さらに、本発明の第５の側面は、
画像処理装置において画像信号処理を実行させるプログラムであり、
ぼけ補正処理部に、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を行い各画素対応のぼけ補正信号を生成させるぼけ補正処理ステップと、
データ変換部に、前記ＲＧＢＷ配列をＲＧＢ配列に変換させるデータ変換ステップを有し、
前記データ変換ステップは、
前記ぼけ補正処理ステップにおいて生成したぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を生成させるステップと、
前記ぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を適用してＲＧＢ配列を構成するＲＧＢ信号値を決定させるステップを含むプログラムにある。
【００２５】
さらに、本発明の第６の側面は、
画像処理装置において画像信号処理を実行させるプログラムであり、
ぼけ補正処理部に、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を行い各画素対応のぼけ補正信号を生成させるぼけ補正処理ステップと、
データ変換部に、前記ＲＧＢＷ配列からなるモザイク信号のデモザイク処理を実行して各画素対応のＲＧＢ全信号値を決定したカラー画像を生成させるデータ変換ステップを有し、
前記データ変換ステップは、
前記ぼけ補正処理ステップにおいて生成したぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を生成させるステップと、
前記ぼけ補正ありＲＧＢ信号（Ｒｄ，Ｇｄ，Ｂｄ）を適用してカラー画像を構成する各画素対応のＲＧＢ全信号値を決定させるステップを含むプログラムにある。
【００２６】
さらに、本発明のプログラムの一実施態様において、前記プログラムは、さらに、エッジ検出部に、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号を解析して各画素対応のエッジ強度情報を含むエッジ情報を生成させるエッジ検出ステップを有し、前記データ変換ステップは、ぼけ補正処理の非適用信号であるぼけ補正なしＲＧＢ信号（Ｒｌ，Ｇｌ，Ｂｌ）を算出して、前記ぼけ補正ありＲＧＢ信号と前記ぼけ補正なしＲＧＢ信号とのブレンド処理によりＲＧＢ配列またはカラー画像を構成するＲＧＢ信号値を決定するＲＧＢ信号値決定ステップを有し前記ＲＧＢ信号値決定ステップは、前記エッジ情報によりエッジ強度が大であると判定した画素位置ではぼけ補正ありＲＧＢ信号のブレンド比率を高くし、エッジ強度が小であると判定した画素位置ではぼけ補正なしＲＧＢ信号のブレンド比率を高く設定したブレンド処理を実行してＲＧＢ信号値を決定するステップである。
【００２７】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２９】
本発明の一実施例の構成によれば、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを適用したカラー画像生成処理において、偽色やぼけの少ない高品質なカラー画像の生成を実現することができる。具体的には、ＲＧＢＷ配列の撮像素子の出力信号を解析し、各画素対応のエッジ情報とぼけ補正信号を生成する。さらに、ぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号と、ぼけ補正処理の非適用信号であるぼけ補正なしＲＧＢ信号を算出する。さらに、これらの各信号のブレンド処理によりＲＧＢ配列データまたはカラー画像を生成する。エッジ強度が大の画素位置ではぼけ補正ありＲＧＢ信号のブレンド比率を高くし、エッジ強度が小の画素位置ではぼけ補正なしＲＧＢ信号のブレンド比率を高く設定したブレンド処理を実行する。これらの処理により、偽色やぼけの少ない高品質なカラー画像の生成を実現することができる。
【図面の簡単な説明】
【００３０】
【図１】一般的なカラーフィルタで用いられる色配列としてのベイヤ配列と、本発明において適用するＲＧＢＷ配列の例について説明する図である。
【図２】本発明の一実施例における処理であるＲＧＢＷ配列からＲＧＢ配列への変換処理として行われるリモザイク処理について説明する図である。
【図３】本発明の一実施例に係る撮像装置の構成例について説明する図である。
【図４】本発明の一実施例に係る撮像装置の構成例について説明する図である。
【図５】エッジ検出部の実行するＷ画素を用いたエッジ方向とエッジ強度の判定方法について説明する図である。
【図６】エッジ検出部の実行するＷ画素を用いたエッジ方向とエッジ強度の判定方法について説明する図である。
【図７】エッジ検出部の実行するＷ画素を用いたエッジ方向とエッジ強度の判定方法について説明する図である。
【図８】エッジ情報の一例としての平坦度（ｗｅｉｇｈｔＦｌａｔ）情報について説明する図である。
【図９】ぼけ補正処理部の実行する処理であり、中心画素がＷ画素でない場合に周辺のＷ信号から中心のＷ信号を補間する方法について図である。
【図１０】Ｗ信号の低周波成分ｍＷを算出するフィルタ構成とｍＷ算出処理例について説明する図である。
【図１１】Ｇ信号の低周波成分ｍＧを算出するフィルタ構成とｍＧ算出処理例について説明する図である。
【図１２】ｍＷとｍＧの比率が画像内の局所領域において保たれると仮定した場合のぼけ補正Ｗ信号（Ｗｄ）からぼけ補正ありＧ信号（Ｇｄ）を算出する処理について説明する図である。
【図１３】ノイズ除去Ｗ信号（Ｗｎ）を算出するフィルタ構成とＷｎ算出処理例について説明する図である。
【図１４】Ｗ信号の低周波成分ｍＷを算出するフィルタ構成とｍＷ算出処理例について説明する図である。
【図１５】Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを算出するフィルタ構成とｍＲ，ｍＢ算出処理例について説明する図である。
【図１６】ｍＷとｍＲまたはｍＢの比率が画像内の局所領域において保たれると仮定した場合のぼけ補正Ｗ信号（Ｗｄ）からぼけ補正ありＲ信号（Ｒｄ）、ぼけ補正ありＢ信号（Ｂｄ）を算出する処理について説明する図である。
【図１７】ノイズ除去Ｗ信号（Ｗｎ）を算出するフィルタ構成とＷｎ算出処理例について説明する図である。
【図１８】Ｒ信号の低周波成分ｍＲを算出するフィルタ構成とｍＲ算出処理例について説明する図である。
【図１９】Ｂ信号の低周波成分ｍＢを算出するフィルタ構成とｍＢ算出処理例について説明する図である。
【図２０】本発明の一実施例に係る撮像装置の構成例について説明する図である。
【図２１】本発明の一実施例に係る撮像装置の構成例について説明する図である。
【図２２】図２１に示すＷ位置ＲＧＢ補間パラメータ算出部７１１の処理について説明する図である。
【図２３】図２１に示すＷ位置ＲＧＢ補間パラメータ算出部７１１の処理について説明する図である。
【図２４】図２１に示すＧ位置ＲＧＢ補間パラメータ算出部７１２の処理について説明する図である。
【図２５】図２１に示すＲ位置ＲＧＢ補間パラメータ算出部７１３の処理について説明する図である。
【図２６】図２１に示すＢ位置ＲＧＢ補間パラメータ算出部７１４の処理について説明する図である。
【図２７】ＲＧＢＨ配列信号のデモザイク処理のメリットについて説明する図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにプログラムについて説明する。説明は、以下の順番で行なう。
１．本発明の処理の概要について
２．撮像装置および画像処理装置の構成例および処理例について
３．データ変換処理部の処理の詳細について
３−１．エッジ検出部の処理について
３−２．ぼけ補正処理部の処理について
３−３．色相関リモザイク処理部（データ変換部）の処理について
４．ＲＧＢＷ配列信号に対するデモザイク処理を行う実施例について
５．本発明の処理の効果についてのまとめ
【００３２】
［１．本発明の処理の概要について］
まず、図２を参照して本発明の撮像装置等の画像処理装置が実行する処理の概要について説明する。本発明の画像処理装置は、ＲＧＢ各色の波長光を選択的に透過するＲＧＢフィルタに加え、ＲＧＢ各波長光をすべて透過するホワイト(Ｗ：Ｗｈｉｔｅ)を含むＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データに対する処理を行う。
【００３３】
本発明の画像処理装置は、図２（１）に示すような、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを、図２（２）に示すＲＧＢ配列（ベイヤ配列）に変換する処理を実行する。さらに、この変換処理に際して、ぼけや偽色の発生を低下させるための処理を併せて実行する。
【００３４】
図２に示すように、ＲＧＢＷのカラー配列に設定されたＲＧＢＷの各画素の少なくとも一部を他の色（ＲＧＢのいずれか）へ変換または補正する処理を行う。具体的には、ＲＧＢＷ配列からＲＧＢベイヤ配列への変換処理において、以下の５つの変換や補正処理を実行する。
Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
【００３５】
上記の各変換処理は、ＲＧＢＷ配列におけるＲＧＢＷ各画素をＲＧＢ配列におけるＲＧＢ画素に変換するための画素値推定または補正処理として行われる。これらの処理を実行することで、図２（１）に示すＲＧＢＷのカラー配列から図２（２）に示すＲＧＢベイヤ配列を生成する。
【００３６】
以下、このようなカラー配列の変換処理をリモザイク処理と呼ぶ。
以下の実施例では、ホワイト（Ｗ）を持つＲＧＢＷ型カラー配列をＲＧＢ型カラー配列（ベイヤ配列）に変換するリモザイク処理を実行し、かつ、このリモザイク処理に際して、ぼけの発生や偽色の発生を低減させる処理を実行する構成について説明する。
【００３７】
［２．撮像装置および画像処理装置の構成例および処理例について］
図３、図４を参照して、本発明の一実施例に係る撮像装置および画像処理装置の構成例及び処理例について説明する。
図３は、本発明の一実施例に係る撮像装置１００の構成例を示す図である。撮像装置１００は、光学レンズ１０５、撮像素子（イメージセンサ）１１０、信号処理部１２０、メモリ１３０、制御部１４０を有する。なお、撮像装置は画像処理装置の一態様である。画像処理装置には、例えばＰＣなどの装置も含まれる。ＰＣ等の画像処理装置は、図３に示す撮像装置１００の光学レンズ１０５、撮像素子１１０を持たず、その他の構成要素から構成され、撮像素子１００の取得データの入力部、または記憶部を持つ構成となる。具体的には撮像装置１００は、スチルカメラ、ビデオカメラなどであり、画像処理装置１００にはＰＣなど画像処理の可能な情報処理装置が含まれる。
【００３８】
以下では、撮像装置１００を、本発明の画像処理装置の代表例として説明する。図３に示す撮像装置１００の撮像素子（イメージセンサ）１１０は、図１（ｂ）や図２（１）を参照して説明したホワイト（Ｗ）を持つＲＧＢＷ配列１８１を持つフィルタを備えた構成である。すなわち、
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これらに加え、
とＲＧＢのすべてを透過するホワイト(Ｗ)、
これら４種類の分光特性を持つフィルタを備えた撮像素子である。
【００３９】
このＲＧＢＷ配列１８１フィルタを持つ撮像素子１１０は、光学レンズ１０５を介してＲＧＢＷいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子１１０によってＲＧＢＷ４種類の分光から成るモザイク画像が得られる。
【００４０】
撮像素子（イメージセンサ）１１０の出力信号は信号処理部１２０のデータ変換処理部２００に入力される。
データ変換処理部２００は、先に図２を参照して説明したように、ＲＧＢＷ配列１８１からＲＧＢ配列１８２への変換処理を実行する。この変換処理に際しては、前述のように、
Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
これら５つの変換や補正処理を実行する。
この変換／補正処理に際して、偽色やぼけを抑制するための処理を併せて実行する。
【００４１】
データ変換処理部２００の生成したＲＧＢ配列１８２、すなわちベイヤ配列を持つデータは、従来のカメラ等の撮像素子によって得られるカラー配列を持つデータである。このカラー配列データは、ＲＧＢ信号処理部２５０入力される。
【００４２】
ＲＧＢ信号処理部２５０は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像１８３を生成する。生成したカラー画像１８３はメモリ１３０に記録される。
【００４３】
制御部１４０は、これら一連の処理の制御を実行する。例えば、一連の処理を実行させるプログラムがメモリ１３０に格納されており、制御部１４０は、メモリ１３０から読み出したプログラムを実行して一連の処理を制御する。
【００４４】
データ変換処理部２００の詳細構成について図４を参照して説明する。データ変換処理部２００は、ＲＧＢＷのカラー配列からＲＧＢ配列１８２への変換処理を実行する。さらに、この処理に際して偽色やぼけを抑制するための処理を併せて実行する。
【００４５】
データ変換処理部２００は、図４に示すように、ラインメモリ２０１、エッジ検出部２０２、ぼけ補正処理部２０３、色相関リモザイク処理部（データ変換部）２１０を有する。
色相関リモザイク処理部（データ変換部）２１０は、Ｗ位置Ｇ補間パラメータ算出部２１１、Ｇ位置ＲＢ補間パラメータ算出部２１２、Ｒ位置Ｒ補間パラメータ算出部２１３、Ｂ位置Ｂ補間パラメータ算出部２１４、加重加算部２１５を有する。
【００４６】
撮像素子１１０から出力された信号は一旦、ラインメモリ２０１に蓄えられる。ラインメモリ２０１は撮像素子の水平７ライン分のラインメモリを有する。ラインメモリ２０１からは７つの水平ライン分のデータを並列に順次出力する。出力先は、エッジ検出部２０２、ぼけ補正処理部２０３、色相関リモザイク処理部２１０である。これらの各処理部に対して、ＲＧＢＷ配列１８１の撮像データが７ライン単位で出力される。
【００４７】
エッジ検出部２０２、ぼけ補正処理部２０３は、ＲＧＢＷ配列１８１の撮像データ中、ホワイト（Ｗ）信号のみを利用した処理を実行する。
また、色相関リモザイク処理部２１０は、ＲＧＢＷ配列１８１の撮像データ中、ＲＧＢＷすべての信号を利用した処理を実行する。
【００４８】
なお、ラインメモリ２０１からのデータ出力態様としては、例えば以下の２つの出力態様のいずれかとすることができる。
第１の態様は、エッジ検出部２０２と、ぼけ補正処理部２０３と、色相関リモザイク処理部２１０、これらの各処理部に対して、ＲＧＢＷ配列１８１の撮像データＲＧＢＷ全てを７ライン単位で出力する態様である。
第２の態様は、エッジ検出部２０２、ぼけ補正処理部２０３に対する供給信号はＲＧＢＷ配列１８１中のＷ信号のみとする態様である。例えば、ＲＧＢ信号についてはすべて０とした設定で信号を供給してよい。この場合、例えばラインメモリ２０１の出力部に出力制御部等を構成し、Ｗ信号以外の信号値はすべて０に設定してエッジ検出部２０２、ぼけ補正処理部２０３に対する信号供給を行う。
【００４９】
エッジ検出部２０２は、ラインメモリ２０１からの出力信号に含まれる離散的なホワイト（Ｗ）信号を検証して、画像に含まれるエッジ情報、例えばエッジ方向とエッジ強度を含むエッジ情報を生成して色相関リモザイク処理部２１０に出力する。
【００５０】
ぼけ補正処理部２０３は、ラインメモリ２０１からの出力信号に含まれる離散的なホワイト（Ｗ）信号を検証して、画像ぼけを削減する処理を行い、その処理結果として得られる全画素対応のぼけ補正ホワイト（Ｗ）信号（＝Ｗｄ）を算出する。
すなわち、ぼけ補正処理部２０３は、離散的なホワイト（Ｗ）信号を検証して、ぼけの発生状況を解析し、ぼけ発生を抑制した全画素対応のぼけ補正ホワイト（Ｗ）信号（＝Ｗｄ）を生成して色相関リモザイク処理部２１０に出力する。
【００５１】
色相関リモザイク処理部２１０は、ラインメモリ２０１からの出力信号中のＲＧＢＷ信号と、エッジ検出部２０２から出力されるエッジ情報、およびぼけ補正処理部２０３から出力される全画素対応のぼけ補正Ｗ信号（Ｗｄ）を入力する。
色相関リモザイク処理部２１０は、これらの情報を利用して、ＲＧＢＷのカラー配列からＲＧＢ配列１８２への変換処理を実行する。
【００５２】
具体的には、先に図２を参照して説明したように、
Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
これら５つの変換や補正処理を実行する。
【００５３】
Ｗ位置Ｇ補間パラメータ算出部２１１は、ＲＧＢＷ配列１８１のＷ画素位置に設定するＧ画素値の算出に適用する補間パラメータを算出する。上記の（ＧｏｎＷ）の処理に適用する補間パラメータである。
具体的には、ラインメモリ２０１からの入力信号中のＷ信号とＧ信号、ぼけ補正処理部２０３から入力するぼけ補正Ｗ信号（Ｗｄ）を用いて、
ぼけ補正ありＧ信号：Ｇｄ、
ぼけ補正なしＧ信号：Ｇｌ、
これらの各信号値を算出する。
これらの信号値は、ＲＧＢＷ配列１８１のＷ画素位置をＲＧＢ配列１８２のＧ画素として設定するためのＧ画素値算出に適用する補間パラメータ（ＧｏｎＷ補間パラメータ）である。
【００５４】
Ｇ位置ＲＢ補間パラメータ算出部２１２は、ＲＧＢＷ配列１８１のＧ画素位置に設定するＲ画素値またはＢ画素値の算出に適用する補間パラメータを算出する。上記の（ＲｏｎＧ）、（ＢｏｎＧ）の処理に適用するパラメータである。
具体的には、ラインメモリ２０１からの入力信号中のＧ信号とＲ信号、ぼけ補正処理部２０３から入力するぼけ補正Ｗ信号（Ｗｄ）を用いて、
ぼけ補正ありＲ信号：Ｒｄ、
ぼけ補正なしＲ信号：Ｒｌ、
これらの各信号値を算出する。
これらの信号値は、ＲＧＢＷ配列１８１のＧ画素位置をＲＧＢ配列１８２のＲ画素として設定するためのＲ画素値算出に適用する補間パラメータ（ＲｏｎＧ補間パラメータ）である。
【００５５】
Ｇ位置ＲＢ補間パラメータ算出部２１２は、さらに、ラインメモリ２０１からの入力信号中のＧ信号とＢ信号、ぼけ補正処理部２０３から入力するぼけ補正Ｗ信号（Ｗｄ）を用いて、
ぼけ補正ありＢ信号：Ｂｄ、
ぼけ補正なしＢ信号：Ｂｌ、
これらの各信号値を算出する。
これらの信号値は、ＲＧＢＷ配列１８１のＧ画素位置をＲＧＢ配列１８２のＢ画素として設定するためのＢ画素値算出に適用する補間パラメータ（ＢｏｎＧ補間パラメータ）である。
【００５６】
Ｒ位置Ｒ補間パラメータ算出部２１３は、ＲＧＢＷ配列１８１のＲ画素位置に設定する補正Ｒ画素値の算出に適用する補間パラメータを算出する。上記の（ＲｏｎＲ）の処理に適用するパラメータである。
具体的には、ラインメモリ２０１からの入力信号中のＷ信号とＲ信号、ぼけ補正処理部２０３から入力するぼけ補正Ｗ信号（Ｗｄ）を用いて、
ぼけ補正ありＲ信号：Ｒｄ、
ぼけ補正なしＲ信号：Ｒｌ、
これらの各信号値を算出する。
これらの信号値は、ＲＧＢＷ配列１８１のＲ画素位置をＲＧＢ配列１８２の補正されたＲ画素として設定するためのＲ画素値補正処理に適用する補間パラメータ（ＲｏｎＲ補間パラメータ）である。
【００５７】
Ｂ位置Ｂ補間パラメータ算出部２１４は、ＲＧＢＷ配列１８１のＢ画素位置に設定する補正Ｂ画素値の算出に適用する補間パラメータを算出する。上記の（ＢｏｎＢ）の処理に適用するパラメータである。
具体的には、ラインメモリ２０１からの入力信号中のＷ信号とＢ信号、ぼけ補正処理部２０３から入力するぼけ補正Ｗ信号（Ｗｄ）を用いて、
ぼけ補正ありＢ信号：Ｂｄ、
ぼけ補正なしＢ信号：Ｂｌ、
これらの各信号値を算出する。
これらの信号値は、ＲＧＢＷ配列１８１のＢ画素位置をＲＧＢ配列１８２の補正されたＢ画素として設定するためのＢ画素値補正処理に適用する補間パラメータ（ＢｏｎＢ補間パラメータ）である。
【００５８】
加重加算処理部２１５は、エッジ検出部２０２から入力するエッジ情報を適用して、
ぼけ補正あり信号：Ｇｄ，Ｒｄ，Ｂｄ、
ぼけ補正なし信号：Ｇｌ，Ｒｌ，Ｂｌ、
これらの各信号の加重平均値：Ｇｒ，Ｒｒ，Ｂｒを算出する。この加重平均値の算出処理の詳細については後段で説明する。
【００５９】
加重加算処理部２１５の算出したＧｒ，Ｒｒ，Ｂｒは、ＲＧＢ配列（ベイヤ配列）１８２を構成する各画素のＲＧＢ信号値に対応する。
このようにして、加重加算処理部２１５の算出したＧｒ，Ｒｒ，Ｂｒから構成されるＲＧＢ配列（ベイヤ配列）１８２を生成して、ＲＧＢ信号処理部２５０に提供する。
【００６０】
ＲＧＢ信号処理部２５０は、一般的なカメラや画像処理装置が持つＲＧＢ配列（ベイヤ配列）信号に対する信号処理部と同様である。ＲＧＢ信号処理部２５０は、加重平均部２１５から出力されるＲＧＢ配列（ベイヤ配列）１８２に対する信号処理を実行してカラー画像１８３（図３参照）を生成する。ＲＧＢ信号処理部２５０は、具体的には、例えばホワイトバランス調整処理、デモザイク処理、シェーディング処理、ＲＧＢカラーマトリクス処理、γ補正処理などを実行してカラー画像１８３を生成する。
【００６１】
［３．データ変換処理部の処理の詳細について］
次に、図４に示すデータ変換処理部２００を構成する各処理部の実行する処理の詳細について説明する。
【００６２】
（３−１．エッジ検出部の処理について）
まず、図４に示すデータ変換処理部２００内のエッジ検出部２０２の処理の詳細について説明する。
エッジ検出部２０２は、ラインメモリ２０１からの出力信号に含まれる離散的なホワイト（Ｗ）信号を検証して、画像のエッジ情報、具体的には例えばエッジ方向とエッジ強度を含むエッジ情報を生成して色相関リモザイク処理部２１０に出力する。
図５以下を参照してエッジ検出部２０２の実行するＷ画素を用いたエッジ方向とエッジ強度の判定方法について説明する。
【００６３】
エッジ検出部２０２は、ラインメモリ２０１から入力するＲＧＢＷ配列１８１の信号中、ホワイト（Ｗ）信号のみを利用して、エッジ方向とエッジ強度を判定する。ラインメモリ２０１からは７水平ライン単位でＲＧＢＷ配列データ中の少なくともＷの信号値と位置情報を入力する。エッジ検出部２０２は、入力データに対して７×７画素の領域単位でエッジ検出処理を実行する。エッジ検出部２０２は、７×７画素の領域を１画素ずつずらしながら順次、エッジ検出処理を実行する。１つの７×７画素領域に対する処理によって７×７画素領域の中心画素に対応するエッジ情報（エッジ方向とエッジ強度）を取得する。各画素対応のエッジ情報は、色相関リモザイク処理部２１０に出力される。
【００６４】
エッジ検出処理には様々な手法が適用可能である。図５、図６を参照してその１つの手法について説明する。以下に説明する方法では、７×７画素領域の中心近傍の４×４画素を利用する。
【００６５】
図５に示すように、処理対象とする７×７画素の中心画素は、
（ａ）Ｗ画素である場合と、
（ｂ）Ｗ以外の画素である場合、
これらの２通りがある。なお、図５においてグレーで示す画素がＷ画素であり、その他はＲＧＢいずれかの画素に対応する。
これら（ａ），（ｂ）２種類のケースに対して、それぞれ異なる算出式を用いてエッジ方向が、水平、垂直、右斜め上、左斜め上の４方向のいずれであり、またその強度を推定するためのエッジ判定処理を行う。
【００６６】
具体的な処理について図６を参照して説明する。
図６には、
（ａ）中心画素がＷ画素の場合
（ｂ）中心画素がＷ以外の画素の場合
これら（ａ），（ｂ）の場合におけるエッジ方向およびエッジ強度の判定処理に適用する算出式を示している。適用する算出式は画像の特定方向の画素値の勾配を算出する式であり、以下の各値の算出式である。
ｇｒａｄＨ：水平方向の勾配絶対値平均
ｇｒａｄＶ：垂直方向の勾配絶対値平均
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらのｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤは、それぞれ異なる方向の画素値の勾配（差分）の絶対値の平均値に相当する。以下、具体的な算出処理について説明する。
【００６７】
（ａ）中心画素がＷ画素の場合の処理について
まず、中心画素がＷ画素の場合の処理について図６（ａ）を参照して説明する。図６（ａ）には（ａ１）〜（ａ４）に中心画素がＷ画素の場合のｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの算出処理例を示している。
二重丸［◎］で示す位置が７×７画素における中心画素位置である。
また、丸［○］で示す位置がエッジ重心位置である。
【００６８】
中心画素がＷ画素の場合、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤは以下の算出式によって算出する。
【数１】
2011055038.tif 000003
【００６９】
なお、Ｗｘｙは、水平方向を（ｘ）、垂直方向を（ｙ）とし、図６に示す４×４画素の左上端画素の座標を（０，０）、右下端の画素座標を（３，３）として設定した座標系におけるｘｙ座標位置のＷ画素値を示す。
【００７０】
ｇｒａｄＨは、水平方向の勾配絶対値平均であり、水平方向に近接するＷ画素の差分絶対値の平均値に対応する。
図６（ａ１）に示すように、４×４画素領域の中央部にある２つの水平ラインの水平方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＨとして算出する。
【００７１】
ｇｒａｄＶは、垂直方向の勾配絶対値平均であり、垂直方向に近接するＷ画素の差分絶対値の平均値に対応する。
図６（ａ２）に示すように、４×４画素領域の中央部にある２つの垂直ラインの垂直方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＶとして算出する。
【００７２】
ｇｒａｄＡは、右斜め上方向の勾配絶対値平均であり、右斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
図６（ａ３）に示すように、４×４画素領域の中央部にある１つの右斜め上方向ラインの右斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＡとして算出する。
【００７３】
ｇｒａｄＤは、左斜め上方向の勾配絶対値平均であり、左斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
図６（ａ４）に示すように、４×４画素領域の中央部にある１つの左斜め上方向ラインの左斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＤとして算出する。
【００７４】
水平方向の勾配絶対値平均ｇｒａｄＨの値が大きい程、垂直方向のエッジ強度が大である可能性が高い。
垂直方向の勾配絶対値平均ｇｒａｄＶの値が大きい程、水平方向のエッジ強度が大である可能性が高い。
右斜め上方向の勾配絶対値平均ｇｒａｄＡの値が大きい程、左斜め上方向のエッジ強度が大である可能性が高い。
左斜め上方向の勾配絶対値平均ｇｒａｄＤの値が大きい程、右斜め上方向のエッジ強度が大である可能性が高い。
このように、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの各値の算出値に基づいてエッジ方向とエッジ強度を判定することができる。
【００７５】
（ｂ）中心画素がＷ画素以外の場合の処理について
次に、中心画素がＷ画素以外の場合の処理について図６（ｂ）を参照して説明する。図６（ｂ）には（ｂ１）〜（ｂ４）に中心画素がＷ画素以外の場合のｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの算出処理例を示している。
二重丸［◎］で示す位置が７×７画素における中心画素位置である。
また、丸［○］で示す位置がエッジ重心位置である。
【００７６】
中心画素がＷ画素以外の場合、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤは以下の算出式によって算出する。
【数２】
2011055038.tif 000004
【００７７】
なお、Ｗｘｙは、水平方向を（ｘ）、垂直方向を（ｙ）とし、図６に示す４×４画素の左上端画素の座標を（０，０）、右下端の画素座標を（３，３）として設定した座標系におけるｘｙ座標位置のＷ画素値を示す。
【００７８】
ｇｒａｄＨは、水平方向の勾配絶対値平均であり、水平方向に近接するＷ画素の差分絶対値の平均値に対応する。
図６（ｂ１）に示すように、４×４画素領域の中央部にある２つの水平ラインの水平方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＨとして算出する。
【００７９】
ｇｒａｄＶは、垂直方向の勾配絶対値平均であり、垂直方向に近接するＷ画素の差分絶対値の平均値に対応する。
図６（ｂ２）に示すように、４×４画素領域の中央部にある２つの垂直ラインの垂直方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＶとして算出する。
【００８０】
ｇｒａｄＡは、右斜め上方向の勾配絶対値平均であり、右斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
図６（ｂ３）に示すように、４×４画素領域の中央部にある２つの右斜め上方向ラインの右斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＡとして算出する。
【００８１】
ｇｒａｄＤは、左斜め上方向の勾配絶対値平均であり、左斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
図６（ｂ４）に示すように、４×４画素領域の中央部にある２つの左斜め上方向ラインの左斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＤとして算出する。
【００８２】
水平方向の勾配絶対値平均ｇｒａｄＨの値が大きい程、垂直方向のエッジ強度が大である可能性が高い。
垂直方向の勾配絶対値平均ｇｒａｄＶの値が大きい程、水平方向のエッジ強度が大である可能性が高い。
右斜め上方向の勾配絶対値平均ｇｒａｄＡの値が大きい程、左斜め上方向のエッジ強度が大である可能性が高い。
左斜め上方向の勾配絶対値平均ｇｒａｄＤの値が大きい程、右斜め上方向のエッジ強度が大である可能性が高い。
このように、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの各値の算出値に基づいてエッジ方向とエッジ強度を推定することができる。
【００８３】
エッジ検出部２０２は、このように、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの各値に基づいて各画素対応のエッジ情報（エッジ方向とエッジ強度）を取得する。取得したエッジ情報は色相関リモザイク処理部２１０に出力される。
なお、上述のに示したエッジの方向・強度検出方法は一例であり、他のエッジ検出方法を用いた構成としてもよい。例えば、図６を参照して説明したエッジ検出方法は極めて狭い範囲の特定の画素値情報を用いており、ノイズが大きいときには誤判定を起こすことが予想される。この誤判定を防止したエッジ情報の取得処理例について、図７を参照して説明する。
【００８４】
図７に示すエッジ情報取得処理例は、図６を参照して説明した算出値である勾配絶対値平均を加重加算する処理を用いた手法である。図７には、
（１）水平・垂直成分エッジ情報取得処理例
（２）斜め成分エッジ情報取得処理例
これらの各処理例を示している。
【００８５】
図７（１）、(２)には７×７画素の画像データを示している。このデータは、エッジ検出部２０２が処理対象とするデータであり、図６に示すと同様、Ｗ画素値のみが離散的に配列されたデータである。この７×７画素の中心に位置する中心画素に対応するエッジ情報（エッジ方向とエッジ強度）を求める。
【００８６】
図７（１）に示す水平・垂直成分エッジ情報取得処理例について説明する。図７（１）には１６個のエッジ重心を示している。これらは、図６（ａ１），（ａ２），（ｂ１），（ｂ２）に示すエッジ重心に対応する。すなわち、
ｇｒａｄＨ：水平方向の勾配絶対値平均
ｇｒａｄＶ：垂直方向の勾配絶対値平均
これらの値を算出する際のエッジ重心に対応する。
【００８７】
図７（１）に示す７×７画素領域に、図６（ａ１），（ａ２），（ｂ１），（ｂ２）に示す４×４画素領域を設定する。設定可能な４×４画素領域は、図に示す左上端の４×４画素領域３０２から右下端の４×４画素領域３０４まで１６個ある。図７（１）に示す１６個のエッジ重心は、これら１６個の４×４画素領域に対応するエッジ重心、すなわち、図６（ａ１），（ａ２），（ｂ１），（ｂ２）に示すと同様の位置のエッジ重心である。
【００８８】
水平軸をｉ、垂直軸をｊとして、図に示す０，１，２，３のスケールを設定し、エッジ重心の座標位置を（ｉ，ｊ）として表記した場合、エッジ重心（０，０）３０１は、４×４の画素領域３０２に対応するエッジ重心となる。４×４の画素領域３０２を図６（ａ１），（ａ２），（ｂ１），（ｂ２）に示す４×４の画素領域とした場合、エッジ重心（０，０）３０１は、図６（ａ１），（ａ２），（ｂ１），（ｂ２）に示す重心に対応する。
【００８９】
また、エッジ重心（３，３）３０３は、４×４の画素領域３０４に対応して設定されるエッジ重心である。４×４の画素領域３０４を図６（ａ１），（ａ２），（ｂ１），（ｂ２）に示す４×４の画素領域とした場合、エッジ重心（３，３）３０３は、図６（ａ１），（ａ２），（ｂ１），（ｂ２）に示す重心に対応する。
【００９０】
図７（１）に示す７×７画素領域には、４×４の画素領域とエッジ重心の組が１６個設定される。これら１６個の組に対して、図６（ａ１），（ａ２），（ｂ１），（ｂ２）を参照して説明した算出式を用いることで、
ｇｒａｄＨ：水平方向の勾配絶対値平均
ｇｒａｄＶ：垂直方向の勾配絶対値平均
これらの値をそれぞれ１６個ずつ算出することができる。
【００９１】
エッジ重心（ｉ，ｊ）に対応する４×４画素領域を用いて算出される勾配絶対値平均（ｇｒａｄＨ）、（ｇｒａｄＶ）を、それぞれ、
ｇｒａｄＨｉ，ｊ
ｇｒａｄＶｉ，ｊ
として示す。これらを用いて、勾配絶対値平均の加重加算値、すなわち、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
これらを、以下の算出式を用いて算出する。
【００９２】
【数３】
2011055038.tif 000005
【００９３】
上記式においてｗｉｊは、（ｉ，ｊ）位置のエッジ重心に対応する重み係数である。重み係数は、例えば図７（１）に示すように、中心部を大きく周辺部を小さくした係数として設定される。図７（１）には重み係数の一例として（４／３６）〜（１／３６）の重み係数を１６個のエッジ重心に対応付けた例を示している。
【００９４】
次に、図７（２）に示す斜め成分エッジ情報取得処理例について説明する。図７（２）には２５個のエッジ重心を示している。これらは、図６（ａ３），（ａ４），（ｂ３），（ｂ４）に示すエッジ重心に対応する。すなわち、
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらの値を算出する際のエッジ重心に対応する。
【００９５】
７×７画素領域に、図６（ａ３），（ａ４），（ｂ３），（ｂ４）に示す４×４画素領域を設定する。設定可能な４×４画素領域は、図に示す左上端の４×４画素領域３１２から右下端の４×４画素領域３１４まで１６個ある。図７（２）に示す２５個のエッジ重心中、図７（２）に示す点線矩形枠３１５内の１６個のエッジ重心は、これら１６個の４×４画素領域に対応するエッジ重心、すなわち、図６（ａ３），（ａ４），（ｂ３），（ｂ４）に示すと同様の位置のエッジ重心である。
【００９６】
水平軸をｉ、垂直軸をｊとして、図に示す０，１，２，３，４のスケールを設定し、エッジ重心の座標位置を（ｉ，ｊ）として表記した場合、エッジ重心（１，１）３１１は、４×４の画素領域３１２に対応するエッジ重心となる。４×４の画素領域３１２を図６（ａ３），（ａ４），（ｂ３），（ｂ４）に示す４×４の画素領域とした場合、エッジ重心（１，１）３１１は、図６（ａ３），（ａ４），（ｂ３），（ｂ４）に示す重心に対応する。
【００９７】
また、エッジ重心（４，４）３１３は、４×４の画素領域３１４に対応して設定されるエッジ重心である。４×４の画素領域３１４を図６（ａ３），（ａ４），（ｂ３），（ｂ４）に示す４×４の画素領域とした場合、エッジ重心（４，４）３１３は、図６（ａ３），（ａ４），（ｂ３），（ｂ４）に示す重心に対応する。
【００９８】
図７（２）には点線矩形枠３１５の外側にもエッジ重心を示している。ｉ＝０、ｊ＝０の位置にある、
（ｉ，ｊ）＝（０，０）〜（０，４）と、（１，０）〜（４，０）
これらのエッジ重心である。
図６（ａ３），（ａ４），（ｂ３），（ｂ４）に示すように、
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらの値を算出する最に利用する画素位置は、エッジ重心周りの８画素のみである。従って、図７（２）に示すｉ＝０、ｊ＝０の位置にエッジ重心を設定した場合でも、ｇｒａｄＡ、ｇｒａｄＶを算出することができる。
【００９９】
従って、７×７画素領域を用いて、異なる位置にエッジ重心を設定した算出可能なｇｒａｄＡ、ｇｒａｄＤは図７（２）に示す２５個のエッジ重心位置に対応する２５個のデータとなる。
【０１００】
図７（２）に示す７×７画素領域から、図６（ａ３），（ａ４），（ｂ３），（ｂ４）を参照して説明した算出式を用いることで、
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらの値をそれぞれ２５個ずつ算出することができる。
【０１０１】
エッジ重心（ｉ，ｊ）に対応する４×４画素領域を用いて算出される勾配絶対値平均（ｇｒａｄＡ）、（ｇｒａｄＤ）を、それぞれ、
ｇｒａｄＡｉ，ｊ
ｇｒａｄＤｉ，ｊ
として示す。これらを用いて、勾配絶対値平均の加重加算値、すなわち、
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらを、以下の算出式を用いて算出する。
【０１０２】
【数４】
2011055038.tif 000006
【０１０３】
上記式においてｗｉｊは、（ｉ，ｊ）位置のエッジ重心に対応する重み係数である。重み係数は、例えば図７（２）に示すように、中心部を大きく周辺部を小さくした係数として設定される。図７（２）には重み係数の一例として（１６／１００）〜（１／１００）の重み係数を２５個のエッジ重心に対応付けた例を示している。
【０１０４】
図７を参照して説明した処理によって算出したエッジ情報、すなわち、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤは、７×７画素領域に含まれる多数の画素値（Ｗ画素値）を利用して算出されたエッジ情報である。
従って、図６を参照して説明した少数の画素情報を適用して算出したエッジ情報に比較して、ノイズ等による誤った結果を発生させる可能性が低減される。
なお、上記式および図７に示す重み係数ｗｉｊの設定例は一例であり、他の平均化係数を用いることも可能である。
【０１０５】
エッジ検出部２０２は、さらに、このようにして求めたｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤの内、最大値を、７×７画素の中心画素に対応するエッジ強度とする。
エッジ強度は（ｒａｔｉｏＦｌａｔ）として以下の式で示すものとする。
ｒａｔｉｏＦｌａｔ＝ｍａｘ（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）
【０１０６】
さらに、エッジ検出部２０２は、上記エッジ強度（ｒａｔｉｏＦｌａｔ）に対して、予め設定した非線形関数ｆｆｌａｔを適用して、平坦度の指標値を示す値
平坦度（ｗｅｉｇｈｔＦｌａｔ）を以下の式で算出する。
平坦度（ｗｅｉｇｈｔＦｌａｔ）＝ｆｆｌａｔ（ｒａｔｉｏＦｌａｔ）
【０１０７】
平坦度（ｗｅｉｇｈｔＦｌａｔ）は、図８に示すように、０〜１の範囲の値を持ち、
１に近いほど、平坦度が低い（テクスチャが多い）
０に近いほど、平坦度が高い（テクスチャが少ない）
このような画像状態を示す、平坦度の指標値である。
【０１０８】
図８に示すように、予め設定した２つの閾値（Ｌｉｍｉｔ０，Ｌｉｍｉｔ１）を用いて、平坦度（ｗｅｉｇｈｔＦｌａｔ）を以下のように算出する。
０≦（ｒａｔｉｏＦｌａｔ）＜Ｌｉｍｉｔ０であれば、
平坦度（ｗｅｉｇｈｔＦｌａｔ）＝０
Ｌｉｍｉｔ０≦（ｒａｔｉｏＦｌａｔ）＜Ｌｉｍｉｔ１であれば、
平坦度（ｗｅｉｇｈｔＦｌａｔ）＝０〜１
Ｌｉｍｉｔ１≦（ｒａｔｉｏＦｌａｔ）であれば、
平坦度（ｗｅｉｇｈｔＦｌａｔ）＝１
とする。
【０１０９】
エッジ検出部２０２は、例えば、上記の平坦度（ｗｅｉｇｈｔＦｌａｔ）情報をエッジ情報として、色相関リモザイク処理部２１０に出力する。
なお、この平坦度（ｗｅｉｇｈｔＦｌａｔ）情報は、エッジ検出部２０２が色相関リモザイク処理部２１０に出力するエッジ情報の一例である。エッジ検出部２０２が色相関リモザイク処理部２１０に出力するエッジ情報としては、この平坦度（ｗｅｉｇｈｔＦｌａｔ）情報に限らず、先に図６を参照して説明した画素値勾配情報（ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤ）としてもよい。あるいは、図７を参照して説明した勾配絶対値平均の加重加算値（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）としてもよい。
【０１１０】
（３−２．ぼけ補正処理部の処理について）
次に、図４に示すデータ変換処理部２００内のぼけ補正処理部２０３の処理について説明する。
【０１１１】
ぼけ補正処理部の処理の説明の前に、撮像素子（イメージセンサ）１１０の前段にある光学レンズ１０５の収差について説明する。撮像素子（イメージセンサ）１１０に入力される信号中に撮像素子（イメージセンサ）１１０のナイキスト周波数（サンプリング周波数の１／２の周波数）を超えた信号が含まれる場合、サンプリング定理に基づくエイリアシング（折り返し）が発生し、画質劣化の要因となる。従来のカメラに多く搭載される性能の光学レンズとＲＧＢベイヤ配列センサの組み合わせであれば、光学レンズの集光性能に比べてセンサのサンプリングレートが高く、エイリアシングの発生が問題となることは少ない。
【０１１２】
しかしながら、図３に示すＲＧＢＷ配列１８１を有する撮像素子１１０を用いた場合は、色成分のサンプリングレートがＲＧＢベイヤの半分となるため、エイリアシングによる偽色が発生しやすいという問題がある。
【０１１３】
撮像素子１１０と光学レンズ１０５間に光学ローパスフィルタを付加してナイキスト周波数を超える信号をカットし、偽色を抑制することは可能であるが、コストが増加してしまうという問題がある。
【０１１４】
さらに、図１（ｂ）等を参照して説明したＲＧＢＷ配列では、ＲＧＢＷの各画素配分比率が異なっている。すなわち、波長によりナイキスト周波数が大きく異なっており、例えば最もサンプリングレートの低いＲ画素やＢ画素に合わせた設計にすると、Ｗ信号やＧ信号の高周波成分がなくなってしまう。逆に、もっともサンプリングレートの高いＷ信号に合わせた設計にすると、Ｒ信号やＢ信号で強いエイリアシングが発生することとなる。
【０１１５】
この問題を解決するため、色成分においてエイリアシングが発生しないよう、センサのサンプリングレートに合わせた光学レンズ１０５の収差設計を行うことが好ましい。すなわち、レンズ収差を色成分毎にサンプリングレートに合わせて設計して入力信号をぼかす設定とすることでエイリアシングの発生を抑制することができる。
【０１１６】
更に、レンズ収差の大きな光学レンズ１０５を利用することで、局所領域における色比率の変動を小さくして偽色を抑制することができる。特に、本発明の画像処理装置の色相関リモザイク処理部２１０では、ＲＧＢＷ配列からＲＧＢ配列への変換を行う際、補間パラメータＧｄ，Ｒｄ，Ｂｄ信号等を生成して、補間パラメータＧｄ，Ｒｄ，Ｂｄ信号等を利用した信号変換を行う。このような場合、エイリアシングが存在すると、補間パラメータＧｄ，Ｒｄ，Ｂｄ信号の推定違いによる偽色が発生しやすくなる。
【０１１７】
そこで、本発明の画像処理装置（撮像装置）ではレンズ収差を色成分毎にサンプリングレートに合わせた光学レンズ１０５を利用する構成とする。この設定により、エイリアシングの発生が抑制され、色相関リモザイク処理部２１０におけるＧｄ，Ｒｄ，Ｂｄ信号等の補間パラメータの推定が正しく実行され、偽色の発生を抑制することが可能となる。具体的には、例えばＲＧＢＷ配列中、各色成分において、同色成分のナイキスト周波数を超える信号成分を発生させないレンズ収差を持つ光学レンズを利用する。
【０１１８】
なお、色成分のエイリアシングを抑制するように収差を高めた光学レンズ１０５を利用すると、Ｒ，Ｇ，Ｂ各波長の足し合わせであるＷ成分にも同様に収差が入り、ぼけた画像となる。図１（ｂ）に示すようにＲＧＢＷ配列において、Ｗ成分はＲＧＢ色成分よりも高いサンプリングレートを持ち、輝度の基準信号となるため、高い解像度特性を有する信号であることが望ましい。
【０１１９】
この要求に応じて、本発明の画像処理装置では、ぼけ補正処理部２０３において、Ｗ成分に対して光学レンズの収差情報に基づいたぼけ補正処理を行う。この処理により、高い解像度特性を実現するとともに、偽色の少ない画像を取得することができる。なお、信号がレンズ収差により強く劣化しすぎると信号成分がノイズに埋もれてしまい、復元することができなくなる。そのため、ぼけ補正処理を行うＷ信号の強度がナイキスト周波数以下の全周波数帯に渡り小さくなりすぎない設定とした光学レンズを用いることが望ましい。
【０１２０】
ぼけ補正処理部２０３の処理について説明する。
ｆ（ｘ，ｙ）を、ぼけの解消された理想画像、
ｇ（ｘ，ｙ）を、ぼけを含む観測画像、
ｈ（ｘ，ｙ）を、レンズ収差や手ぶれによる劣化関数、
ｎ（ｘ，ｙ）を、ノイズ成分、
とする。ｈ（ｘ，ｙ）が移動不変であることを仮定すると、以下の（式１）の関係が成り立つ。
【０１２１】
【数５】
2011055038.tif 000007
・・・・（式１）
【０１２２】
上記式の両辺をフーリエ変換すると、
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）・・・・（式２）
となる。
ここで、Ｇ（ｕ，ｖ），Ｈ（ｕ，ｖ），Ｆ（ｕ，ｖ），Ｎ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ），ｈ（ｘ，ｙ），ｆ（ｘ，ｙ），ｎ（ｘ，ｙ）のフーリエ変換を表す。
この式からレンズ収差や手ぶれによる劣化関数に零点がなく、ノイズ成分が既知であるとき、Ｆ（ｕ，ｖ）は、以下の（式３）から求めることが可能である。
【０１２３】
【数６】
2011055038.tif 000008
・・・・（式３）
【０１２４】
しかしながら、劣化関数のフーリエ変換であるＨ（ｕ，ｖ）が零点を持つ場合や、ノイズに埋もれるほど小さいレベルのときには、上記（式３）の演算を行うことはできない。そのため、前述のとおり、撮像装置１００の光学レンズ１０５の収差はＷ信号の強度がナイキスト周波数以下の全周波数帯に渡り、小さくなりすぎないように留意する。また、一般にノイズ成分は未知であるため、たとえＨ（ｕ，ｖ）が零点を持たなくとも、厳密に解くことはできない。
【０１２５】
理想画像と復元画像の誤差を最小とする以下の（式４）のウィーナ（Ｗｉｅｎｅｒ）フィルタＫ（ｕ，ｖ）を用いたぼけ補正の手法が知られている。例えば特開２００８−４２８７４号公報参照のこと。
【０１２６】
【数７】
2011055038.tif 000009
・・・・（式４）
【０１２７】
上記（式４）において、
ｃはＳＮ比により決定される定数である。
【０１２８】
以下に示す（式５）のとおり、このフィルタを逆フーリエ変換したものｋ（ｘ，ｙ）と、観測画像を実空間で畳み込むことで、ぼけ補正のされた画像ｆ'（ｘ，ｙ）を得ることができる。
【０１２９】
【数８】
2011055038.tif 000010
・・・・（式５）
【０１３０】
上記算出式で得られるぼけ補正画像ｆ'（ｘ，ｙ）を構成するホワイト（Ｗ）画素の画素値をぼけ補正Ｗ信号（Ｗｄ）として色相関リモザイク処理部２１０に出力する。
【０１３１】
なお、ここでは、ウィーナフィルタを用いたぼけ復元処理を例示したが、最尤推定やベイズ推定に基づき、反復処理によるぼけ復元処理を行っても良い。
【０１３２】
一般に、集光することを目的とした光学レンズの場合、中心画素に最もパワーが集中する。そのため、ぼけ補正を行うフィルタも中心画素に最もパワーが集中することになる。ぼけ補正処理部２０３において、中心画素がＷ画素の場合は、リサンプリングされたウィーナフィルタの畳込演算を行うことでぼけ補正が可能となるが、中心画素がＷ画素でない場合には、最も重みの集中する画素のＷ信号が欠落しているため、十分なぼけ補正効果が期待できない。そのため、下記に示す通り、周辺のＷ信号から中心のＷ信号を補間し、その信号と、周辺のＷ画素信号を用いてぼけ補正処理を行う。
【０１３３】
中心画素がＷ画素でない場合に周辺のＷ信号から中心のＷ信号を補間する方法について図９を参照して説明する。
【０１３４】
ぼけ補正処理部２０３は、エッジ検出部２０２で算出された勾配絶対値平均の加重加算値ｄｉｒＨとｄｉｒＶの大小関係を比較し、ｄｉｒＨ≧ｄｉｒＶの場合には、垂直方向のエッジと判断し、図９（ａ）に示すフィルタ４１１を適用してＷ画素以外の画素のＷ画素値を設定する。すなわち、垂直方向のＷ画素値を参照画素として、これらの参照画素のＷ画素値を用いて、中心画素のＷ画素値を推定する。
【０１３５】
一方、ｄｉｒＨ＜ｄｉｒＶの場合には水平方向のエッジと判断し、図９（ｂ）に示すフィルタ４１２を適用してＷ画素以外の画素のＷ画素値を設定する。すなわち、水平方向のＷ画素値を参照画素として、これらの参照画素のＷ画素値を用いて、中心画素のＷ画素値を推定する。
なお、図９に示すフィルタ４１１，４１２においてグレーで示す画素がＷ画素対応位置である。その他はＲＧＢ画素である。
【０１３６】
７×７画素の入力信号４０１の中心を補間対象画素４０２として、ｄｉｒＨ≧ｄｉｒＶの場合には、垂直方向のエッジと判断し、図９（ａ）に示すフィルタ４１１を適用して補間対象画素４０２の上下２つのＷ画素の平均値Ｗｃを算出して、補間対象画素４０２のＷ画素値とする。ｄｉｒＨ＜ｄｉｒＶの場合には水平方向のエッジと判断し、図９（ｂ）に示すフィルタ４１２を適用して補間対象画素４０２の左右２つのＷ画素の平均値Ｗｃを算出して、補間対象画素４０２のＷ画素値とする。
【０１３７】
この補間されたＷ信号とラインメモリ２０１から出力される市松状のＷ信号に前述のウィーナフィルタを畳み込むことによりぼけ補正処理を行う。すなわちウィーナフィルタを適用した畳み込み演算によって得られるぼけ補正画像ｆ'（ｘ，ｙ）を構成するホワイト（Ｗ）画素の画素値をぼけ補正Ｗ信号（Ｗｄ）として色相関リモザイク処理部２１０に出力する。なお、前述のように、最尤推定やベイズ推定に基づき、反復処理によるぼけ復元処理を行ってもよく、ぼけ補正Ｗ信号（Ｗｄ）の生成には、これらの処理を適用することも可能である。
【０１３８】
ぼけ補正処理部２０３は、このようにラインメモリ２０１から入力するデータのホワイト（Ｗ）画素を適用し、Ｗ画素以外のＲＧＢ画素位置にＷ画素を補間処理により設定し、さらにぼけ補正処理を実行して、全画素に対応するぼけ補正されたＷ信号、すなわち、ぼけ補正Ｗ信号（Ｗｄ）を生成して色相関リモザイク処理部２１０に出力する。
【０１３９】
（３−３．色相関リモザイク処理部（データ変換部）の処理について）
次に、図４に示すデータ変換処理部２００内の色相関リモザイク処理部２１０の処理について説明する。色相関リモザイク処理部２１０は、ＲＧＢＷのカラー配列からＲＧＢ配列１８２への変換処理を実行する。
【０１４０】
具体的には、先に図２を参照して説明したように、
Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
これら５つの変換や補正処理を実行する。
【０１４１】
色相関リモザイク処理部２１０は、ＲＧＢＷ配列１８１において輝度の主成分であるＷ信号と、色成分であるＧ，Ｒ，Ｂ信号に正の相関があることを仮定して、ＲＧＢＷ配列の各画素に設定すべきＲＧＢいずれかの目的の画素値を推定する。
【０１４２】
色相関リモザイク処理部２１０は、Ｗ位置Ｇ補間パラメータ算出部２１１、Ｇ位置ＲＢ補間パラメータ算出部２１２、Ｒ位置Ｒ補間パラメータ算出部２１３、Ｂ位置Ｂ補間パラメータ算出部２１４、加重加算部２１５を有する。
【０１４３】
最初に、ＲＧＢＷ配列１８１のＷ画素位置をＲＧＢ配列１８２のＧ画素に変換（Ｇ画素値を推定）するための補間パラメータ算出部であるＷ位置Ｇ補間パラメータ算出部２１１の処理について説明する。
【０１４４】
Ｗ位置Ｇ補間パラメータ算出部２１１は、ＲＧＢＷ配列１８１のＷ画素位置に設定するＧ画素値の算出に適用する補間パラメータを算出する。前述の（ＧｏｎＷ）の処理に適用する補間パラメータである。
具体的には、ラインメモリ２０１からの入力信号中のＷ信号とＧ信号、ぼけ補正処理部２０３から入力するぼけ補正Ｗ信号（Ｗｄ）を用いて、
ぼけ補正ありＧ信号：Ｇｄ、
ぼけ補正なしＧ信号：Ｇｌ、
これらの各信号値を算出する。
これらの信号値は、ＲＧＢＷ配列１８１のＷ画素位置をＲＧＢ配列１８２のＧ画素として設定するためのＧ画素値算出に適用する補間パラメータ（ＧｏｎＷ補間パラメータ）である。
【０１４５】
なお、色相関リモザイク処理部２１０においても、７×７の画素領域を処理単位として、処理を行う。Ｗ位置Ｇ補間パラメータ算出部２１１は、まず、処理単位の７×７画素領域におけるＷ信号とＧ信号の比率を求める。
図１０に示す平滑化フィルタ５１１を用いてＷ信号の低周波成分ｍＷを算出する。
図１１に示す平滑化フィルタ５２１、または平滑化フィルタ５２２を用いてＧ信号の低周波成分ｍＧを算出する。
【０１４６】
まず、図１０を参照してＷ信号の低周波成分ｍＷの算出処理について説明する。７×７画素の入力信号５０１に対して図１０に示す平滑化フィルタ５１１を適用して、７×７画素の入力信号５０１に対応する低周波成分ｍＷを算出する。ここでＧ画素に変換する対象となるＷ画素は、７×７画素の入力信号５０１の中心にある変換対象画素５０２である。図１０に示す入力信号５０１においてグレーで示す画素がＷ画素である。その他はＲＧＢ画素である。同様に、図１０に示す平滑化フィルタ５１１においてグレーで示す画素がＷ画素対応位置である。その他はＲＧＢ画素対応位置である。なお、以下の図面においてもＷ画素またはＷ画素対応位置はグレーで示し、ＲＧＢ画素位置または対応位置は白で示す。
【０１４７】
平滑化フィルタ５１１は、変換対象画素対応位置５１２のフィルタ係数が最も高く、周囲に離れるに従って係数を低く設定したフィルタである。係数として（１６／１２８〜１／１２８）の各係数を設定している。この平滑化フィルタ５１１を適用して、低周波成分ｍＷを算出する。７×７画素の入力信号５０１のＷ画素位置の画素値に、平滑化フィルタ５１１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号の低周波成分ｍＷとして算出する。
【０１４８】
なお、図１０に示す平滑化フィルタ５１１のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。図１０に示す平滑化フィルタ５１１はフィルタ係数の合計値が２のべき乗となるよう構成している。この設定により除算部をビットシフトのみで実現可能となり演算コストが削減可能となる。図１０に示すフィルタ例の他、例えばローパス特性を持つ他の平滑化フィルタを用いることも可能である。
【０１４９】
なお、低周波成分ｍＷの算出に用いる入力信号５０１は、ぼけ補正処理の行われていないＷ信号を利用することが望ましい。ただし、演算コスト削減のため、ぼけ補正処理部２０３の生成したぼけ補正処理後のぼけ補正Ｗ信号（Ｗｄ）を用いてもよい。
【０１５０】
次に、図１１を参照してＧ信号の低周波成分ｍＧの算出処理について説明する。７×７画素の入力信号５０１に対して図１１（ａ）に示す平滑化フィルタ５２１、または、図１１（ｂ）に示す平滑化フィルタ５２２を適用して、７×７画素の入力信号５０１に対応する低周波成分ｍＧを算出する。ここでＧ画素に変換する対象となるＷ画素は、７×７画素の入力信号５０１の中心にある変換対象画素５０２である。
【０１５１】
ここでＧ画素に変換する対象となるＷ画素、すなわち変換対象画素５０２は左隣にＧ画素を持つ位相と、右隣にＧ画素を持つ位相の２タイプが存在する。そのため、各位相に対して異なったフィルタを適用する。左隣にＧ画素を持つ位相の場合には図１１（ａ）に示す平滑化フィルタ５２１を用い、右隣にＧ画素を持つ位相の場合には図１１（ｂ）に示す平滑化フィルタ５２２を用いる。いずれのフィルタにおいても、フィルタ係数を示す数値を示している画素がＧ画素対応位置である。
【０１５２】
平滑化フィルタ５２１、５２２のいずれも、変換対象画素対応位置５２３,５２４に近いＧ画素対応位置のフィルタ係数が最も高く、周囲に離れるに従って係数を低く設定したフィルタである。係数として（６／３２〜１／３２）の各係数を設定している。これらの平滑化フィルタ５２１、５２２のいずれかを適用して、低周波成分ｍＧを算出する。７×７画素の入力信号５０１のＧ画素位置の画素値に、平滑化フィルタ５２１、５２２のいずれかの対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＧ信号の低周波成分ｍＧとして算出する。
【０１５３】
なお、図１１に示す平滑化フィルタ５２１，５２２のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。
Ｗ位置Ｇ補間パラメータ算出部２１１は、このように、Ｇ画素への変換対象となるＷ画素を中心画素として持つ７×７画素領域を処理単位として、Ｗ信号とＧ信号の低周波成分ｍＷおよびｍＧを算出する。
【０１５４】
このようにして算出されたｍＷとｍＧの比率が画像内の局所領域において保たれると仮定する。この仮定に従うと、局所領域におけるＷとＧの画素値比率の対応関係は図１２のグラフに示す対応関係となる。図１２のグラフは横軸がＷ画素値、縦軸がＧ画素値である。画像の特定の狭い局所領域では、このＷ画素値とＧ画素値の比率は一定であるとすると、図１２に示す直線のような比例関係にあると仮定できる。
【０１５５】
この仮定に従い、ぼけ補正処理部２０３から出力される変換対象画素位置のぼけ補正ホワイト（Ｗ）信号（＝Ｗｄ）を用いて、
ぼけ補正ありＧ信号：Ｇｄ、
を算出する。以下の式に従って算出する。
Ｇｄ＝（ｍＧ／ｍＷ）Ｗｄ
この信号［Ｇｄ］は、高周波成分を含むＧ信号である。
なお、ここでは、Ｗ画素値とＧ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＧ画素値の相関を利用した他の推定手法を用いても良い。
【０１５６】
前述したように、Ｗ位置Ｇ補間パラメータ算出部２１１は、ＲＧＢＷ配列１８１のＷ画素位置に設定するＧ画素値の算出に適用する補間パラメータとして、
ぼけ補正ありＧ信号：Ｇｄ、
ぼけ補正なしＧ信号：Ｇｌ、
これらの各信号値を算出する。加重加算処理部２１５が変換対象画素のエッジ情報に応じて、これら２つの信号、Ｇｄ、Ｇｌのブレンド処理をして最終的なＧ画素値を決定する。
【０１５７】
ぼけ補正なしＧ信号Ｇｌの算出処理について説明する。ぼけ補正なしＧ信号Ｇｌの算出に際しては、まず、図１３に示す平滑化フィルタ５３１を用いてノイズ信号を除去したＷ信号Ｗｎを算出する。７×７画素の入力信号５０１の変換対象画素５０２のＷ画素位置を中心とする９画素中のＷ画素値に、平滑化フィルタ５３１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号のノイズ除去ホワイト（Ｗ）信号Ｗｎを算出する。平滑化フィルタ５３１のフィルタ係数は、変換対象画素５０２の対応位置Ｗ画素〜周囲Ｗ画素について（４／８〜１／８）の設定としてある。このフィルタ係数は一例であり、その他の係数を利用した構成でもよい。また、９画素より広い領域を利用した構成としてもよい。また、演算コスト削減のため、ラインメモリ２０１から入力するＷ信号をそのまま利用する構成でも良い。
【０１５８】
このノイズ除去Ｗ信号［Ｗｎ］と前述のＷ信号とＧ信号の低周波成分ｍＷおよびｍＧを適用して、
ぼけ補正なしＧ信号：Ｇｌ、
を算出する。以下の式に従って算出する。
Ｇｌ＝（ｍＧ／ｍＷ）Ｗｎ
この信号［Ｇｌ］は、ぼけ補正信号Ｗｄを適用したものではなく、高周波成分を強調していないＧ信号に相当する。
なお、ここでは、Ｗ画素値とＧ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＧ画素値の相関を利用した他の推定手法を用いても良い。
【０１５９】
加重加算処理部２１５は、変換対象画素のエッジ情報に応じて、これら２つの信号、Ｇｄ、Ｇｌのブレンド処理をして最終的なＧ画素値を決定する。具体的には、平坦部でなくテクスチャ度の高いエッジ部では、ぼけ補正ありＧ信号：Ｇｄの比率を高め、平坦部では、ぼけ補正なしＧ信号：Ｇｌの比率を高めたブレンド処理を実行して最終的なＧ画素値を決定する。この処理については後述する。
【０１６０】
次に、ＲＧＢＷ配列１８１のＧ画素位置をＲＧＢ配列１８２のＲ画素、またはＢ画素に変換するための補間パラメータ算出部であるＧ位置ＲＢ補間パラメータ算出部２１２の処理について説明する。Ｇ位置ＲＢ補間パラメータ算出部２１２は、
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
これらの処理に適用する補間パラメータを算出する。
【０１６１】
具体的には、前述したように、
ぼけ補正ありＲ信号：Ｒｄ、
ぼけ補正なしＲ信号：Ｒｌ、
ぼけ補正ありＢ信号：Ｂｄ、
ぼけ補正なしＢ信号：Ｂｌ、
これらの各信号値を算出する。
これらの信号値は、ＲＧＢＷ配列１８１のＧ画素位置をＲＧＢ配列１８２のＲ画素またはＢ画素として設定するためのＲ画素値またはＢ画素値算出に適用する補間パラメータ（ＲｏｎＧ補間パラメータ、ＢｏｎＧ補間パラメータ）である。
【０１６２】
Ｇ位置ＲＢ補間パラメータ算出部２１２は、まず、変換対象画素を中心画素とした処理単位の７×７画素領域を取得して、Ｗ信号とＲ信号の比率、Ｗ信号とＢ信号の比率を求める。
【０１６３】
図１４に示す平滑化フィルタ５６１を用いてＷ信号の低周波成分ｍＷを算出する。なお、本例では、処理単位の７×７画素領域中、中央の５×５画素領域５５３のみを利用した処理例としている。７×７画素の入力信号５５１の中央の５×５画素領域５５３に対して図１４に示す平滑化フィルタ５６１を適用して、低周波成分ｍＷを算出する。ここで変換対象となるＧ画素は、７×７画素の入力信号５５１の中心にある変換対象画素５５２である。
【０１６４】
平滑化フィルタ５６１は、変換対象画素対応位置５５２に近い位置のＷ画素ほどフィルタ係数が最も高く、周囲に離れるに従って係数を低く設定したフィルタである。係数として（２／１６〜１／１６）の各係数を設定している。この平滑化フィルタ５６１を適用して、低周波成分ｍＷを算出する。７×７画素の入力信号５５１の中央の５×５画素領域５５３中のＷ画素位置の画素値に、平滑化フィルタ５６１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号の低周波成分ｍＷとして算出する。
【０１６５】
なお、図１４に示す平滑化フィルタ５６１のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。図１４に示すフィルタ例の他、例えばローパス特性を持つ他の平滑化フィルタを用いることも可能である。なお、低周波成分ｍＷの算出に用いる入力信号５５１としては、ぼけ補正処理の行われていないＷ信号を利用することが望ましい。ただし、演算コスト削減のため、ぼけ補正処理部２０３の生成したぼけ補正処理後のぼけ補正Ｗ信号（Ｗｄ）を用いてもよい。
【０１６６】
なお、図１４に示す例ではＲ信号またはＢ信号の参照範囲を揃えるため５×５画素領域５５３を設定した平滑化処理を行っている。この処理により、Ｇ画素をＲ画素に変換する処理と、Ｇ画素をＢ画素に変換する処理において、図１４に示す１つの共通するフィルタ５６１を利用することで共通の演算部の利用が可能となり演算コストを抑えることができる。
【０１６７】
さらに、Ｇ位置ＲＢ補間パラメータ算出部２１２は、
Ｇ画素をＲ画素に変換する際のＲ信号推定に必要となるＲ信号の低周波成分ｍＲ、
Ｇ画素をＢ画素に変換する際のＢ信号推定に必要となるＢ信号の低周波成分ｍＢ、
これらを算出する。
【０１６８】
これらｍＲ、ｍＢの算出処理には、図１５に示す平滑化フィルタ５６２、平滑化フィルタ５６３を適用する。
Ｒ信号の低周波成分ｍＲの算出には、図１５に示す平滑化フィルタ５６２を用いる。フィルタ係数を示す数値を示している画素がＲ画素対応位置である。
Ｂ信号の低周波成分ｍＢの算出には、図１５に示す平滑化フィルタ５６３を用いる。フィルタ係数を示す数値を示している画素がＢ画素対応位置である。
【０１６９】
いずれの場合も、処理単位の７×７画素領域中、中央の５×５画素領域５５３のみを利用した処理例としている。７×７画素の入力信号５５１の中央の５×５画素領域５５３に対して図１５に示す平滑化フィルタ５６２、平滑化フィルタ５６３を適用して、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを算出する。ここで変換対象となるＧ画素は、７×７画素の入力信号５５１の中心にある変換対象画素５５２である。
【０１７０】
平滑化フィルタ５６２，５６３は、いずれも、変換対象画素対応位置５５２に近い位置のＲ画素、またはＢ画素位置の画素値を均等に取得する設定としたフィルタ係数設定が行なわれた構成である。係数として（１／４）を設定している。
【０１７１】
これらの平滑化フィルタ５６２，５６３を適用して、低周波成分ｍＲ，ｍＢを算出する。
ｍＲ算出処理に際しては、７×７画素の入力信号５５１の中央の５×５画素領域５５３中のＲ画素位置の画素値に、平滑化フィルタ５６２の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＲ信号の低周波成分ｍＲとして算出する。
ｍＢ算出処理に際しては、７×７画素の入力信号５５１の中央の５×５画素領域５５３中のＢ画素位置の画素値に、平滑化フィルタ５６２の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＢ信号の低周波成分ｍＢとして算出する。
【０１７２】
なお、図１５に示す平滑化フィルタ５６２，５６３のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。
【０１７３】
このようにして算出されたｍＷとｍＲまたはｍＢの比率が画像内の局所領域において保たれると仮定する。この仮定に従うと、局所領域におけるＷとＲ、ＷとＢの画素値比率の対応関係は図１６のグラフ（ａ），（ｂ）に示す対応関係となる。図１６のグラフ（ａ）は横軸がＷ画素値、縦軸がＲ画素値である。グラフ（ｂ）は横軸がＷ画素値、縦軸がＢ画素値である。画像の特定の狭い局所領域では、このＷ画素値とＲ画素値、およびＷ画素値とＢ画素値との比率は一定であるとすると、図１６（ａ），（ｂ）のグラフに示す直線のような比例関係にあると仮定できる。
【０１７４】
この仮定に従い、ぼけ補正処理部２０３から出力される変換対象画素位置のぼけ補正ホワイト（Ｗ）信号（＝Ｗｄ）を用いて、
ぼけ補正ありＲ信号：Ｒｄ、
を算出する。以下の式に従って算出する。
Ｒｄ＝（ｍＲ／ｍＷ）Ｗｄ
この信号［Ｒｄ］は、高周波成分を含むＲ信号である。
さらに、
ぼけ補正ありＢ信号：Ｂｄ、
を算出する。以下の式に従って算出する。
Ｂｄ＝（ｍＢ／ｍＷ）Ｗｄ
この信号［Ｂｄ］は、高周波成分を含むＢ信号である。
なお、ここでは、Ｗ画素値とＲ画素値またはＢ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＲ画素値またはＢ画素値の相関を利用した他の推定手法を用いても良い。
【０１７５】
前述したように、Ｇ位置ＲＢ補間パラメータ算出部２１２は、ＲＧＢＷ配列１８１のＧ画素位置に設定するＲ画素値およびＢ画素値の算出に適用する補間パラメータとして、
ぼけ補正ありＲ信号：Ｒｄ、
ぼけ補正なしＲ信号：Ｒｌ、
ぼけ補正ありＢ信号：Ｂｄ、
ぼけ補正なしＢ信号：Ｂｌ、
これらの各信号値を算出する。加重加算処理部２１５が変換対象画素のエッジ情報に応じて、Ｒ画素についてはＲｄ、Ｒｌのブレンド処理をして最終的なＲ画素値を決定する。Ｂ画素についてはＢｄ、Ｂｌのブレンド処理をして最終的なＲ画素値を決定する。
【０１７６】
ぼけ補正なしＲ信号Ｒｌ、およびぼけ補正なしＢ信号：Ｂｌの算出処理について説明する。これらの信号の算出に際しては、まず、図１７に示す平滑化フィルタ５６４を用いてノイズ信号を除去したＷ信号Ｗｎを算出する。７×７画素の入力信号５５１の変換対象画素５５２のＧ画素位置を中心とする５×５画素領域５５３中の変換対象画素５５２周囲の４つのＷ画素にのみフィルタ係数を設定した平滑化フィルタ５６４のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号のノイズ除去ホワイト（Ｗ）信号Ｗｎを算出する。平滑化フィルタ５６４のフィルタ係数は、変換対象画素５５２周囲Ｗ画素について（１／４）の設定としてある。このフィルタ係数は一例であり、その他の係数を利用した構成でもよい。
【０１７７】
このノイズ除去Ｗ信号［Ｗｎ］と前述のＷ信号とＲ信号の低周波成分ｍＷおよびｍＲを適用して、
ぼけ補正なしＲ信号：Ｒｌ、
を算出する。以下の式に従って算出する。
Ｒｌ＝（ｍＲ／ｍＷ）Ｗｎ
この信号［Ｒｌ］は、ぼけ補正信号Ｗｄを適用したものではなく、高周波成分を強調していないＲ信号に相当する。
【０１７８】
さらに、ノイズ除去Ｗ信号［Ｗｎ］と前述のＷ信号とＢ信号の低周波成分ｍＷおよびｍＢを適用して、
ぼけ補正なしＢ信号：Ｂｌ、
を算出する。以下の式に従って算出する。
Ｂｌ＝（ｍＢ／ｍＷ）Ｗｎ
この信号［Ｂｌ］は、ぼけ補正信号Ｗｄを適用したものではなく、高周波成分を強調していないＢ信号に相当する。
なお、ここでは、Ｗ画素値とＲ画素値またはＢ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＲ画素値またはＢ画素値の相関を利用した他の推定手法を用いても良い。
【０１７９】
加重加算処理部２１５は、変換対象画素のエッジ情報に応じて、Ｒｄ、Ｒｌのブレンド処理をして最終的なＲ画素値を決定する。具体的には、平坦部でなくテクスチャ度の高いエッジ部では、ぼけ補正ありＲ信号：Ｒｄの比率を高め、平坦部では、ぼけ補正なしＲ信号：Ｒｌの比率を高めたブレンド処理を実行して最終的なＲ画素値を決定する。この処理については後述する。
【０１８０】
さらに、加重加算処理部２１５は、変換対象画素のエッジ情報に応じて、Ｂｄ、Ｂｌのブレンド処理をして最終的なＢ画素値を決定する。具体的には、平坦部でなくテクスチャ度の高いエッジ部では、ぼけ補正ありＢ信号：Ｂｄの比率を高め、平坦部では、ぼけ補正なしＢ信号：Ｂｌの比率を高めたブレンド処理を実行して最終的なＢ画素値を決定する。この処理については後述する。
【０１８１】
次に、ＲＧＢＷ配列１８１のＲ画素位置をＲＧＢ配列１８２のＲ画素に変換（Ｒ画素値を補正）するための補間パラメータ算出部であるＲ位置Ｒ補間パラメータ算出部２１３の処理について説明する。
【０１８２】
ＲＧＢＷ配列１８１のＲ画素位置は、ＲＧＢ配列（ベイヤ配列）１８２のＲ画素位置に対応し、そのままのＲ信号を使用することができる。しかしながら、この情報は光学レンズの収差の影響により高周波信号が失われている場合がある。このような場合、Ｇ画素位置に設定するＲ信号、Ｂ信号とは特性が異なる場合が発生する可能性がある。
【０１８３】
このような特性の差異の発生を防止するため、Ｒ位置Ｒ補間パラメータ算出部２１３では、入力信号に含まれるＷ信号とＲ信号を用いて、Ｒ信号の補正のためのパラメータを算出する。具体的には、
ぼけ補正ありＲ信号：Ｒｄ、
ぼけ補正なしＲ信号：Ｒｌ、
これらの各信号値を算出する。
これらの信号値は、ＲＧＢＷ配列１８１のＲ画素位置をＲＧＢ配列１８２の補正されたＲ画素として設定するためのＲ画素値補正処理に適用する補間パラメータ（ＲｏｎＲ補間パラメータ）である。
【０１８４】
Ｒ位置Ｒ補間パラメータ算出部２１３は、先に、Ｇ位置ＲＢ補間パラメータ算出部２１２の処理として説明した図１４に示す平滑化フィルタ５６１を用いてＷ信号の低周波成分ｍＷを算出する。なお、この場合、７×７画素の入力信号５５１の中心画素はＲ画素である。処理単位の７×７画素領域中、中央の５×５画素領域５５３のみを利用した処理としている。７×７画素の入力信号５５１の中央の５×５画素領域５５３に対して図１４に示す平滑化フィルタ５６１を適用して、低周波成分ｍＷを算出する。変換（補正）対象となるＲ画素は、７×７画素の入力信号５５１の中心にある変換対象画素５５２である。
【０１８５】
なお、低周波成分ｍＷの算出に用いる入力信号５５１としては、ぼけ補正処理の行われていないＷ信号を利用することが望ましい。ただし、演算コスト削減のため、ぼけ補正処理部２０３の生成したぼけ補正処理後のぼけ補正Ｗ信号（Ｗｄ）を用いてもよい。
【０１８６】
さらに、Ｒ位置Ｒ補間パラメータ算出部２１３は、
Ｒ画素の補正Ｒ画素値を算出する際のＲ信号推定に必要となるＲ信号の低周波成分ｍＲを算出する。
Ｒ信号の低周波成分ｍＲの算出には、図１８に示す平滑化フィルタ５８１を用いる。フィルタ係数を示す数値を示している画素がＲ画素対応位置である。
【０１８７】
処理単位の７×７画素の入力信号５７１中、中央の５×５画素領域５７３のみを利用した処理例としている。７×７画素の入力信号５７１の中央の５×５画素領域５７３に対して図１８に示す平滑化フィルタ５８１を適用して、Ｒ信号の低周波成分ｍＲを算出する。ここで変換対象となるＲ画素は、７×７画素の入力信号５７１の中心にある変換対象画素５７２である。
【０１８８】
平滑化フィルタ５８１は、変換対象画素対応位置５７２に対応する位置のＲ画素の係数を高く、周囲のＲ画素位置の係数を低く設定している。係数として（４／８〜１／８）を設定している。
【０１８９】
この平滑化フィルタ５８１を適用して、低周波成分ｍＲを算出する。ｍＲ算出処理に際しては、７×７画素の入力信号５７１の中央の５×５画素領域５７３中のＲ画素位置の画素値に、平滑化フィルタ５８１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＲ信号の低周波成分ｍＲとして算出する。なお、図１８に示す平滑化フィルタ５８１のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。
【０１９０】
このようにして算出されたｍＷとｍＲの比率が画像内の局所領域において保たれると仮定する。この仮定に従うと、局所領域におけるＷとＲの画素値比率の対応関係は、先に説明した図１６のグラフ（ａ）に示す対応関係となる。画像の特定の狭い局所領域では、Ｗ画素値とＲ画素値との比率は一定であるとすると、図１６（ａ）のグラフに示す直線のような比例関係にあると仮定できる。この仮定に従い、ぼけ補正処理部２０３から出力される変換対象画素位置のぼけ補正ホワイト（Ｗ）信号（＝Ｗｄ）を用いて、
ぼけ補正ありＲ信号：Ｒｄ、
を算出する。以下の式に従って算出する。
Ｒｄ＝（ｍＲ／ｍＷ）Ｗｄ
この信号［Ｒｄ］は、高周波成分を含むＲ信号である。
なお、ここでは、Ｗ画素値とＲ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＲ画素値の相関を利用した他の推定手法を用いても良い。
【０１９１】
さらに、ぼけ補正なしＲ信号Ｒｌを算出する。先に説明した図１７に示す平滑化フィルタ５６４を用いてノイズ信号を除去したＷ信号Ｗｎを算出する。なお、この場合、７×７画素の入力信号５５１の変換対象画素５５２はＲ画素である。
【０１９２】
Ｒ画素からなる変換対象画素５５２位置を中心とする５×５画素領域５５３中の変換対象画素５５２周囲の４つのＷ画素にのみフィルタ係数を設定した平滑化フィルタ５６４のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号のノイズ除去ホワイト（Ｗ）信号Ｗｎを算出する。平滑化フィルタ５６４のフィルタ係数は、変換対象画素５５２周囲Ｗ画素について（１／４）の設定としてある。このフィルタ係数は一例であり、その他の係数を利用した構成でもよい。
【０１９３】
このノイズ除去Ｗ信号［Ｗｎ］と前述のＷ信号とＲ信号の低周波成分ｍＷおよびｍＲを適用して、
ぼけ補正なしＲ信号：Ｒｌ、
を算出する。以下の式に従って算出する。
Ｒｌ＝（ｍＲ／ｍＷ）Ｗｎ
この信号［Ｒｌ］は、ぼけ補正信号Ｗｄを適用したものではなく、高周波成分を強調していないＲ信号に相当する。
なお、ここでは、Ｗ画素値とＲ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＲ画素値の相関を利用した他の推定手法を用いても良い。
【０１９４】
加重加算処理部２１５は、変換対象画素のエッジ情報に応じて、Ｒｄ、Ｒｌのブレンド処理をして最終的なＲ画素値を決定する。具体的には、平坦部でなくテクスチャ度の高いエッジ部では、ぼけ補正ありＲ信号：Ｒｄの比率を高め、平坦部では、ぼけ補正なしＲ信号：Ｒｌの比率を高めたブレンド処理を実行して最終的なＲ画素値を決定する。この処理については後述する。
【０１９５】
次に、ＲＧＢＷ配列１８１のＢ画素位置をＲＧＢ配列１８２のＢ画素に変換（Ｂ画素値を補正）するための補間パラメータ算出部であるＢ位置Ｂ補間パラメータ算出部２１４の処理について説明する。
【０１９６】
ＲＧＢＷ配列１８１のＢ画素位置は、ＲＧＢ配列（ベイヤ配列）１８２のＢ画素位置に対応し、そのままのＢ信号を使用することができる。しかしながら、この情報は光学レンズの収差の影響により高周波信号が失われている場合がある。このような場合、Ｇ画素位置に設定するＲ信号、Ｂ信号とは特性が異なる場合が発生する可能性がある。
【０１９７】
このような特性の差異の発生を防止するため、Ｂ位置Ｂ補間パラメータ算出部２１４では、入力信号に含まれるＷ信号とＢ信号を用いて、Ｂ信号の補正のためのパラメータを算出する。具体的には、
ぼけ補正ありＢ号：Ｂｄ、
ぼけ補正なしＢ信号：Ｂｌ、
これらの各信号値を算出する。
これらの信号値は、ＲＧＢＷ配列１８１のＢ画素位置をＲＧＢ配列１８２の補正されたＢ画素として設定するためのＢ画素値補正処理に適用する補間パラメータ（ＢｏｎＢ補間パラメータ）である。
【０１９８】
Ｂ位置Ｂ補間パラメータ算出部２１４は、先に、Ｇ位置ＲＢ補間パラメータ算出部２１２の処理として説明した図１４に示す平滑化フィルタ５６１を用いてＷ信号の低周波成分ｍＷを算出する。なお、この場合、７×７画素の入力信号５５１の中心画素はＢ画素である。処理単位の７×７画素領域中、中央の５×５画素領域５５３のみを利用した処理としている。７×７画素の入力信号５５１の中央の５×５画素領域５５３に対して図１４に示す平滑化フィルタ５６１を適用して、低周波成分ｍＷを算出する。変換（補正）対象となるＢ画素は、７×７画素の入力信号５５１の中心にある変換対象画素５５２である。
【０１９９】
なお、低周波成分ｍＷの算出に用いる入力信号５５１としては、ぼけ補正処理の行われていないＷ信号を利用することが望ましい。ただし、演算コスト削減のため、ぼけ補正処理部２０３の生成したぼけ補正処理後のぼけ補正Ｗ信号（Ｗｄ）を用いてもよい。
【０２００】
さらに、Ｂ位置Ｂ補間パラメータ算出部２１３は、
Ｂ画素の補正Ｂ画素値を算出する際のＢ信号推定に必要となるＢ信号の低周波成分ｍＢを算出する。
Ｂ信号の低周波成分ｍＢの算出には、図１９に示す平滑化フィルタ５８２を用いる。フィルタ係数を示す数値を示している画素がＲ画素対応位置である。
【０２０１】
処理単位の７×７画素の入力信号５９１中、中央の５×５画素領域５９３のみを利用した処理例としている。７×７画素の入力信号５９１の中央の５×５画素領域５９３に対して図１９に示す平滑化フィルタ５８２を適用して、Ｂ信号の低周波成分ｍＢを算出する。ここで変換対象となるＢ画素は、７×７画素の入力信号５９１の中心にある変換対象画素５９２である。
【０２０２】
平滑化フィルタ５８２は、変換対象画素対応位置５９２に対応する位置のＢ画素の係数を高く、周囲のＢ画素位置の係数を低く設定している。係数として（４／８〜１／８）を設定している。
【０２０３】
この平滑化フィルタ５８２を適用して、低周波成分ｍＢを算出する。ｍＢ算出処理に際しては、７×７画素の入力信号５９１の中央の５×５画素領域５９３中のＢ画素位置の画素値に、平滑化フィルタ５８２の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＲ信号の低周波成分ｍＢとして算出する。なお、図１９に示す平滑化フィルタ５８２のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。
【０２０４】
このようにして算出されたｍＷとｍＢの比率が画像内の局所領域において保たれると仮定する。この仮定に従うと、局所領域におけるＷとＢの画素値比率の対応関係は、先に説明した図１６のグラフ（ｂ）に示す対応関係となる。画像の特定の狭い局所領域では、Ｗ画素値とＢ画素値との比率は一定であるとすると、図１６（ｂ）のグラフに示す直線のような比例関係にあると仮定できる。この仮定に従い、ぼけ補正処理部２０３から出力される変換対象画素位置のぼけ補正ホワイト（Ｗ）信号（＝Ｗｄ）を用いて、
ぼけ補正ありＢ信号：Ｂｄ、
を算出する。以下の式に従って算出する。
Ｂｄ＝（ｍＢ／ｍＷ）Ｗｄ
この信号［Ｂｄ］は、高周波成分を含むＢ信号である。
なお、ここでは、Ｗ画素値とＢ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＢ画素値の相関を利用した他の推定手法を用いても良い。
【０２０５】
さらに、ぼけ補正なしＢ信号Ｂｌを算出する。先に説明した図１７に示す平滑化フィルタ５６４を用いてノイズ信号を除去したＷ信号Ｗｎを算出する。なお、この場合、７×７画素の入力信号５５１の変換対象画素５５２はＢ画素である。
【０２０６】
Ｂ画素からなる変換対象画素５５２位置を中心とする５×５画素領域５５３中の変換対象画素５５２周囲の４つのＷ画素にのみフィルタ係数を設定した平滑化フィルタ５６４のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号のノイズ除去ホワイト（Ｗ）信号Ｗｎを算出する。平滑化フィルタ５６４のフィルタ係数は、変換対象画素５５２周囲Ｗ画素について（１／４）の設定としてある。このフィルタ係数は一例であり、その他の係数を利用した構成でもよい。
【０２０７】
このノイズ除去Ｗ信号［Ｗｎ］と前述のＷ信号とＢ信号の低周波成分ｍＷおよびｍＢを適用して、
ぼけ補正なしＢ信号：Ｂｌ、
を算出する。以下の式に従って算出する。
Ｂｌ＝（ｍＢ／ｍＷ）Ｗｎ
この信号［Ｂｌ］は、ぼけ補正信号Ｗｄを適用したものではなく、高周波成分を強調していないＢ信号に相当する。
なお、ここでは、Ｗ画素値とＢ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＢ画素値の相関を利用した他の推定手法を用いても良い。
【０２０８】
加重加算処理部２１５は、変換対象画素に対応するエッジ情報に応じて、Ｂｄ、Ｂｌのブレンド処理をして最終的なＢ画素値を決定する。具体的には、平坦部でなくテクスチャ度の高いエッジ部では、ぼけ補正ありＢ信号：Ｂｄの比率を高め、平坦部では、ぼけ補正なしＢ信号：Ｂｌの比率を高めたブレンド処理を実行して最終的なＢ画素値を決定する。この処理については後述する。
【０２０９】
以上のように、Ｗ位置Ｇ補間パラメータ算出部２１１、Ｇ位置ＲＢ補間パラメータ算出部２１２、Ｒ位置Ｒ補間パラメータ算出部２１３、Ｂ位置Ｂ補間パラメータ算出部２１４の各々は、
ぼけ補正ありＧ，Ｒ，Ｂ信号：Ｇｄ、Ｒｄ、Ｂｄ、
ぼけ補正なしＧ，Ｒ，Ｂ信号：Ｇｌ、Ｒｌ、Ｂｌ、
これらの信号を算出する。
【０２１０】
次に、加重加算部２１５の処理について説明する。
加重加算処理部２１５は、エッジ検出部２０２から入力するエッジ情報を適用して、
ぼけ補正あり信号：Ｇｄ，Ｒｄ，Ｂｄ、
ぼけ補正なし信号：Ｇｌ，Ｒｌ，Ｂｌ、
これらの各信号の加重平均値：Ｇｒ，Ｒｒ，Ｂｒを算出する。加重加算処理部２１５の算出したＧｒ，Ｒｒ，Ｂｒは、ＲＧＢ配列（ベイヤ配列）１８２を構成する各画素のＲＧＢ信号値に対応する。
【０２１１】
Ｗ位置Ｇ補間パラメータ算出部２１１、Ｇ位置ＲＢ補間パラメータ算出部２１２、Ｒ位置Ｒ補間パラメータ算出部２１３、Ｂ位置Ｂ補間パラメータ算出部２１４の各々において、算出したＧｄ，Ｒｄ，Ｂｄは、ぼけ補正処理部２０３が、ぼけ補正処理を行ったＷ信号として生成したぼけ補正Ｗ信号（Ｗｄ）を用いて算出されており、高周波信号成分を含むと同時にノイズも増幅された信号となっている。
一方、Ｇｌ，Ｒｌ，Ｂｌはぼけ補正処理を行っていないＷ信号から算出された信号であり、高周波信号成分は含まないがノイズも少ない信号となっている。
【０２１２】
加重加算処理部２１５は、変換対象画素のエッジ情報に応じて、
ぼけ補正あり信号：Ｇｄ，Ｒｄ，Ｂｄ、
ぼけ補正なし信号：Ｇｌ，Ｒｌ，Ｂｌ、
これらの信号のブレンド比率を決定して、ブレンド処理をして最終的なＧ，Ｒ，Ｂ画素値を決定する。具体的には、平坦部でなくテクスチャ度の高いエッジ部では、ぼけ補正あり信号：Ｇｄ，Ｒｄ，Ｂｄの比率を高め、平坦部では、ぼけ補正なし信号：Ｇｌ，Ｒｌ，Ｂｌ比率を高めたブレンド処理を実行して最終的なＧ，Ｒ，Ｂ画素値を決定する。
【０２１３】
エッジの近傍においては高周波成分の復元されたシャープな信号であることが望ましいが、平坦部においては、元々高周波成分が含まれていないため、ノイズの抑制された信号であることが望ましい。
【０２１４】
そのため、加重加算処理部２１５は、ぼけ補正の行われた信号Ｇｄ，Ｒｄ，Ｂｄとぼけ補正の行われていない信号Ｇｌ，Ｒｌ，Ｂｌを、以下の式に示す通り、エッジ検出部２０２で算出した処理対象画素のエッジ情報、すなわち平坦度（ｗｅｉｇｈｔＦｌａｔ）に応じて加重平均処理を実行して、ＲＧＢ配列１８２に設定する画素値Ｇｒ、Ｒｒ、ＢＲを算出する。
【０２１５】
Ｇｒ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｇｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｇｌ
Ｂｒ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｂｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｂｌ
Ｒｒ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｒｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｒｌ
この式の算出結果として得られるＧｒ、Ｂｒ、ＲｒをＲＧＢ配列１８２の信号として設定しＲＧＢ信号処理部２５０に出力する。この処理により、ノイズの増幅を抑えながら、高解像度の信号Ｇｒ，ＲｒＢｒを得ることができる。
【０２１６】
加重加算処理部２１５の生成したＧｒ，Ｒｒ，Ｂｒから構成されるＲＧＢ配列（ベイヤ配列）１８２は、図３、図４に示すようにＲＧＢ信号処理部２５０に提供される。ＲＧＢ信号処理部２５０は、一般的なカメラや画像処理装置が持つＲＧＢ配列（ベイヤ配列）信号に対する信号処理部と同様である。ＲＧＢ信号処理部２５０は、加重平均部２１５から出力されるＲＧＢ配列（ベイヤ配列）１８２に対する信号処理を実行してカラー画像１８３（図３参照）を生成する。ＲＧＢ信号処理部２５０は、具体的には、例えばホワイトバランス調整処理、デモザイク処理、シェーディング処理、ＲＧＢカラーマトリクス処理、γ補正処理などを実行してカラー画像１８３を生成する。
【０２１７】
なお、上述した実施例では、図１（ｂ）に示すＲＧＢＷ配列に対する処理例として説明したが、このカラー配列に限らず、色信号に比べて高いサンプリングレートを持つＷ画素を含む様々なカラー配列をて画素を含まない色信号配列への変換処理に適用可能である。
【０２１８】
［４．ＲＧＢＷ配列信号に対するデモザイク処理を行う実施例について］
上述した実施例は、ＲＧＢＷ配列信号を従来型のＲＧＢ配列へ変換するリモザイク処理を実行し、その後、ＲＧＢ信号処理部２５０で、従来と同様のＲＧＢ配列信号（ベイヤ配列）を用いたデモザイク処理などを行ってカラー画像を生成する実施例である。以下では、このようなＲＧＢＷ配列信号を従来型のＲＧＢ配列へ変換するリモザイク処理を実行することなく、ＲＧＢＷ信号に対して直接デモザイク処理を実行して各画素対応のＲＧＢ画素値を算出してカラー画像を生成する実施例について説明する。
【０２１９】
図２０は、本実施例に係る撮像装置６００の一構成例を示す図である。撮像装置６００は、光学レンズ１０５、撮像素子（イメージセンサ）１１０、信号処理部６２０、メモリ１３０、制御部１４０を有する。信号処理部６２０は、デモザイク処理を実行し、第１カラー画像７５０を生成するデータ変換処理部７００と、第１カラー画像７５０に対する画像補正処理などを行うＲＧＢ信号処理部７７０を有する。なお、画像処理装置の一態様が撮像装置であるが、例えばＰＣ等の画像処理装置は、図２０に示す撮像装置６００の光学レンズ１０５、撮像素子１１０を持たず、その他の構成要素から構成される。
【０２２０】
本実施例の撮像装置６００と、先に図３を参照して説明した撮像装置１００との差異は、信号処理部６２０の構成である。他の構成は同様の構成であるので説明を省略する。信号処理部６２０の詳細構成について図２１を参照して説明する。信号処理部６２０は、デモザイク処理を実行し、第１カラー画像７５０を生成するデータ変換処理部７００と、第１カラー画像７５０に対する画像補正処理などを行うＲＧＢ信号処理部７７０を有する。
【０２２１】
データ変換処理部７００は、図２１に示すように、ラインメモリ７０１、エッジ検出部７０２、ぼけ補正処理部７０３、色相関デモザイク処理部（データ変換部）７１０を有する。
色相関デモザイク処理部（データ変換部）７１０は、Ｗ位置ＲＧＢ補間パラメータ算出部７１１、Ｇ位置ＲＧＢ補間パラメータ算出部７１２、Ｒ位置ＲＧＢ補間パラメータ算出部７１３、Ｂ位置ＲＧＢ補間パラメータ算出部７１４、加重加算部７１５を有する。
【０２２２】
撮像素子１１０から出力された信号は一旦、ラインメモリ７０１に蓄えられる。ラインメモリ７０１は撮像素子の水平７ライン分のラインメモリを有する。ラインメモリ７０１からは７つの水平ライン分のデータを並列に順次出力する。出力先は、エッジ検出部７０２、ぼけ補正処理部７０３、色相関デモザイク処理部７１０である。これらの各処理部に対して、ＲＧＢＷ配列１８１の撮像データが７ライン単位で出力される。
【０２２３】
エッジ検出部７０２、ぼけ補正処理部７０３の処理は、先の実施例で説明した図４に示すエッジ検出部１０２、ぼけ補正処理部１０３の処理と同様の処理である。
エッジ検出部７０２は、ラインメモリ７０１からの出力信号に含まれる離散的なホワイト（Ｗ）信号を検証して、画像に含まれるエッジ情報、すなわちエッジ方向とエッジ強度を含むエッジ情報、例えば平坦度情報（ｗｅｉｇｈｔＦｌａｔ）を生成して色相関デモザイク処理部７１０に出力する。
【０２２４】
ぼけ補正処理部７０３は、ラインメモリ７０１からの出力信号に含まれる離散的なホワイト（Ｗ）信号を検証して、画像ぼけを削減する処理を行い、その処理結果として得られる全画素対応のぼけ補正ホワイト（Ｗ）信号（＝Ｗｄ）を算出して色相関デモザイク処理部７１０に出力する。
【０２２５】
色相関デモザイク処理部７１０は、ラインメモリ７０１からの出力信号中のＲＧＢＷ信号と、エッジ検出部７０２から出力されるエッジ情報、およびぼけ補正処理部７０３から出力される全画素対応のぼけ補正Ｗ信号（Ｗｄ）を入力する。
色相関リモザイク処理部７１０は、これらの情報を利用して、ＲＧＢＷのカラー配列のデモザイク処理、すなわち、各画素対応のＲＧＢ信号の生成処理を実行して第１カラー画像７５０を生成する。
【０２２６】
第１カラー画像７５０は、各画素のＲＧＢ各画素値が全て設定されたカラー画像である。この第１カラー画像７５０は、ＲＧＢ信号処理部７７０に提供され、例えばホワイトバランス調整処理、シェーディング処理、ＲＧＢカラーマトリクス処理、γ補正処理などを実行して第２カラー画像１８３を生成する。本実施例では、データ変換処理部７００がＲＧＢＷ画像のデモザイク処理を実行するので、ＲＧＢ信号処理部７７０ではデモザイク処理は行われない。
【０２２７】
データ変換処理部７００の色相関でモザイク処理部７１０は、
Ｗ位置ＲＧＢ補間パラメータ算出部７１１、
Ｇ位置ＲＧＢ補間パラメータ算出部７１２、
Ｒ位置ＲＧＢ補間パラメータ算出部７１３、
Ｂ位置ＲＧＢ補間パラメータ算出部７１４、
加重加算部７１５、
を有する。
【０２２８】
Ｗ位置ＲＧＢ補間パラメータ算出部７１１は、ＲＧＢＷ配列に含まれるＷ画素位置に設定するＲＧＢ画素値の算出処理に適用する補間パラメータを算出する。
Ｇ位置ＲＧＢ補間パラメータ算出部７１２は、ＲＧＢＷ配列に含まれるＧ画素位置に設定するＲＧＢ画素値の算出処理に適用する補間パラメータを算出する。
Ｒ位置ＲＧＢ補間パラメータ算出部７１３は、ＲＧＢＷ配列に含まれるＲ画素位置に設定するＲＧＢ画素値の算出処理に適用する補間パラメータを算出する。
Ｂ位置ＲＧＢ補間パラメータ算出部７１４は、ＲＧＢＷ配列に含まれるＢ画素位置に設定するＲＧＢ画素値の算出処理に適用する補間パラメータを算出する。
【０２２９】
これらの各処理部において算出する補間パラメータは、
ぼけ補正ありＲＧＢ信号：Ｒｄ、Ｇｄ、Ｂｄ、
ぼけ補正なしＲＧＢ信号：Ｒｌ、Ｇｌ、Ｂｌ、
これらの信号である。
これらの信号は、先の実施例で説明した信号と同様の性質を持つ信号である。
【０２３０】
Ｗ位置ＲＧＢ補間パラメータ算出部７１１の処理について、図２２、図２３を参照して説明する。Ｗ位置ＲＧＢ補間パラメータ算出部７１１は、ＲＧＢＷ配列に含まれるＷ画素位置に設定するＲＧＢ各画素値の算出処理に適用する補間パラメータを算出する。
【０２３１】
データ変換処理部７００の補間パラメータ算出部７１１〜７１４は、基本的に先に説明した実施例と同様、７×７の画素領域を処理単位として処理を実行する。Ｗ位置ＲＧＢ補間パラメータ算出部７１１の処理対象となるデータは、７×７の画素領域の中心画素がＷ画素となる場合であり、この中心画素のＷ画素位置に対応するＲＧＢ画素値を算出するために適用する補間パラメータとして以下のパラメータを算出する。
ぼけ補正ありＲＧＢ信号：Ｒｄ、Ｇｄ、Ｂｄ、
ぼけ補正なしＲＧＢ信号：Ｒｌ、Ｇｌ、Ｂｌ、
【０２３２】
これらの補間パラメータの算出式は、先の実施例で説明したと同様である。すなわち、ＲＧＢＷ配列において輝度の主成分であるＷ信号と、色成分であるＧ，Ｒ，Ｂ信号の比率が、それぞれ局所的には同様な比率で保存されるとの仮定に基づいて、補間パラメータを算出する。具体的には、図２２、図２３に示すように、
Ｒｄ＝（ｍＲ／ｍＷ）Ｗｄ
Ｒｌ＝（ｍＲ／ｍＷ）Ｗｎ
Ｇｄ＝（ｍＧ／ｍＷ）Ｗｄ
Ｇｌ＝（ｍＧ／ｍＷ）Ｗｎ
Ｂｄ＝（ｍＢ／ｍＷ）Ｗｄ
Ｂｌ＝（ｍＢ／ｍＷ）Ｗｎ
これらの算出式を用いて６つの補間パラメータ：Ｒｄ、Ｇｄ、Ｂｄ、Ｒｌ、Ｇｌ、Ｂｌを算出する。
なお、ここでは、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の相関を利用した他の推定手法を用いても良い。
【０２３３】
なお、ｍＷは、先に図１０を参照して説明したと同様のＷ信号の低周波成分である。
Ｗｎは、先に図１３を参照して説明したと同様のＷ信号のノイズ除去ホワイト（Ｗ）信号である。
また、演算コスト削減のため、ラインメモリ２０１から入力するＷ信号をそのまま利用する構成でも良い。
ｍＲは、Ｒ信号の低周波成分、
ｍＧは、Ｇ信号の低周波成分、
ｍＢは、Ｂ信号の低周波成分、
である。
【０２３４】
図２２、図２３には、これらの各値を算出するために適用するフィルタを示している。
すなわち、
ｍＷ算出フィルタ８０１
Ｗｎ算出フィルタ８０２
さらに、
ｍＧ算出フィルタ８１１，８１４、８２１，８２４、
ｍＲ算出フィルタ８１２，８１５、８２２，８２５、
ｍＢ算出フィルタ８１３，８１６、８２３，８２６、
これらの各フィルタを示している。
【０２３５】
なお、図に示す各フィルタのグレー部分がＷ画素対応位置であり、白部分がＲＧＢ画素対応位置である。
各フィルタ内に示す数値はフィルタ係数である。
ｍＷ／Ｗｎ算出フィルタのフィルタ係数記載部分はＷ画素対応位置である。
ｍＧ算出フィルタのフィルタ係数記載部分はＧ画素対応位置である。
ｍＲ算出フィルタのフィルタ係数記載部分はＲ画素対応位置である。
ｍＢ算出フィルタのフィルタ係数記載部分はＢ画素対応位置である。
【０２３６】
これらのフィルタを、処理対象画素Ｗを中心画素に設定した７×７画素領域の入力信号に対して適用する。各フィルタの適用によって、ｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの各値を算出する。なお、これらの値の算出に用いる入力信号としては、ぼけ補正処理の行われていないＷ信号を利用することが望ましい。ただし、演算コスト削減のため、ぼけ補正処理部７０３の生成したぼけ補正処理後のぼけ補正Ｗ信号（Ｗｄ）を用いてもよい。また、Ｗｎの算出には、図に示すように３×３のフィルタを適用しており、７×７画素領域の入力信号の中心画素を中心とした３×３画素のみを対象として利用してよい。
【０２３７】
図２２、図２３に示す各フィルタは、Ｗ位置ＲＧＢ補間パラメータ算出部７１１において適用するフィルタであり、ＲＧＢ画素値を求めるＷ画素が中心画素として設定された７×７画素領域の入力信号に対して適用するフィルタである。
【０２３８】
図２２、図２３の下段に示すｍＧ算出フィルタ、ｍＲ算出フィルタ、ｍＢ算出フィルタの各々は、入力した処理対象の７×７画素領域の画素配置によって適用するフィルタ構成が異なる。
図２２、図２３には、処理対象の７×７画素領域の中心画素Ｗの周囲画素の配置情況に応じたフィルタ構成を示している。すなわち、
（ａ）中心画素Ｗの左がＧ画素、右がＢ画素の場合
（ｂ）中心画素Ｗの左がＧ画素、右がＲ画素の場合
（ｃ）中心画素Ｗの右がＧ画素、上がＢ画素の場合
（ｄ）中心画素Ｗの右がＧ画素、上がＲ画素の場合
これらの４種類の処理対象データに応じて適用するフィルタを示している。
【０２３９】
Ｗ位置ＲＧＢ補間パラメータ算出部７１１は、中心画素がＷ画素となる７×７の画素領域を入力信号として、図２２、図２３に示す各フィルタを適用してｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの各値を算出する。７×７画素の入力信号の画素値に、各フィルタの対応画素位置のフィルタ係数を乗算して、各乗算結果を加算してｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの各値を算出する。
【０２４０】
各フィルタの適用によって算出されたｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの比率が画像内の局所領域において保たれると仮定する。この仮定に従い、６つの補間パラメータ：Ｒｄ、Ｇｄ、Ｂｄ、Ｒｌ、Ｇｌ、Ｂｌを下式に従って算出する。
Ｒｄ＝（ｍＲ／ｍＷ）Ｗｄ
Ｒｌ＝（ｍＲ／ｍＷ）Ｗｎ
Ｇｄ＝（ｍＧ／ｍＷ）Ｗｄ
Ｇｌ＝（ｍＧ／ｍＷ）Ｗｎ
Ｂｄ＝（ｍＢ／ｍＷ）Ｗｄ
Ｂｌ＝（ｍＢ／ｍＷ）Ｗｎ
なお、ここでは、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の相関を利用した他の推定手法を用いても良い。
【０２４１】
加重加算処理部７１５は、変換対象画素のエッジ情報に応じて、
ＲｄとＲｌのブレンド比率、
ＧｄとＧｌのブレンド比率、
ＢｄとＢｌのブレンド比率、
これらのブレンド比率を決定して、
ＲｄとＲｌのブレンド処理により最終的なＲ画素値を決定し、
ＧｄとＧｌのブレンド処理により最終的なＧ画素値を決定し、
ＢｄとＢｌのブレンド処理により最終的なＢ画素値を決定する。
具体的には、平坦部でなくテクスチャ度の高いエッジ部では、ぼけ補正ありＲＧＢ信号：Ｒｄ，Ｇｄ，Ｂｄの比率を高め、平坦部では、ぼけ補正なしＲＧＢ信号：Ｒｌ，Ｇｌ，Ｂｌの比率を高めたブレンド処理を実行して最終的なＲＧＢ画素値を決定する。
【０２４２】
加重加算処理部７１５は、エッジ検出部７０２で算出した処理対象画素のエッジ情報、すなわち平坦度（ｗｅｉｇｈｔＦｌａｔ）に応じて加重平均処理を実行して、ＲＧＢＷ配列１８１中のＷ画素位置のＲＧＢ各画素値を算出する。具体的には、以下の式に従ってＲＧＢ画素値を決定する。
Ｒ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｒｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｒｌ
Ｇ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｇｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｇｌ
Ｂ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｂｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｂｌ
この式の算出結果として得られるＲ、Ｇ、ＢをＲＧＢＷ配列１８１のＷ画素位置のＲＧＢ各画素値として決定する。
【０２４３】
次に、Ｇ位置ＲＧＢ補間パラメータ算出部７１２の処理について、図２４を参照して説明する。Ｇ位置ＲＧＢ補間パラメータ算出部７１２は、ＲＧＢＷ配列に含まれるＧ画素位置に設定するＲＧＢ画素値の算出処理に適用する補間パラメータを算出する。
【０２４４】
Ｇ位置ＲＧＢ補間パラメータ算出部７１２の処理対象となるデータは、７×７の画素領域の中心画素がＧ画素となる場合であり、この中心画素のＧ画素位置に対応するＲＧＢ画素値を算出するために適用する補間パラメータとして以下のパラメータを算出する。
ぼけ補正ありＲＧＢ信号：Ｒｄ、Ｇｄ、Ｂｄ、
ぼけ補正なしＲＧＢ信号：Ｒｌ、Ｇｌ、Ｂｌ、
これらの補間パラメータの算出式は、先の実施例で説明したと同様である。
【０２４５】
先の実施例で説明したと同様、ＲＧＢＷ配列において輝度の主成分であるＷ信号と、色成分であるＧ，Ｒ，Ｂ信号の比率が、それぞれ局所的には同様な比率で保存されるとの仮定に基づいて、補間パラメータを算出する。具体的には、図２４に示すように、
Ｒｄ＝（ｍＲ／ｍＷ）Ｗｄ
Ｒｌ＝（ｍＲ／ｍＷ）Ｗｎ
Ｇｄ＝（ｍＧ／ｍＷ）Ｗｄ
Ｇｌ＝（ｍＧ／ｍＷ）Ｗｎ
Ｂｄ＝（ｍＢ／ｍＷ）Ｗｄ
Ｂｌ＝（ｍＢ／ｍＷ）Ｗｎ
これらの算出式を用いて６つの補間パラメータ：Ｒｄ、Ｇｄ、Ｂｄ、Ｒｌ、Ｇｌ、Ｂｌを算出する。
なお、ここでは、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の相関を利用した他の推定手法を用いても良い。
【０２４６】
ｍＷは、Ｗ信号の低周波成分信号、
Ｗｎは、ノイズ除去Ｗ信号、
ｍＲは、Ｒ信号の低周波成分、
ｍＧは、Ｇ信号の低周波成分、
ｍＢは、Ｂ信号の低周波成分、
である。
【０２４７】
図２４には、これらの各値を算出するために適用するフィルタを示している。
すなわち、
ｍＷ算出フィルタ８３１
Ｗｎ算出フィルタ８３２
さらに、
ｍＧ算出フィルタ８４１，８４４、
ｍＲ算出フィルタ８４２，８４５、
ｍＢ算出フィルタ８４３，８４６、
これらのフィルタを示している。
グレー部分がＷ画素対応位置であり、白部分がＲＧＢ画素対応位置である。
各フィルタ内に示す数値はフィルタ係数である。
ｍＷ／Ｗｎ算出フィルタのフィルタ係数記載部分はＷ画素対応位置である。
ｍＧ算出フィルタのフィルタ係数記載部分はＧ画素対応位置である。
ｍＲ算出フィルタのフィルタ係数記載部分はＲ画素対応位置である。
ｍＢ算出フィルタのフィルタ係数記載部分はＢ画素対応位置である。
【０２４８】
これらのフィルタを、処理対象画素Ｇを中心画素に設定した７×７画素領域の入力信号に対して適用する。各フィルタの適用によって、ｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの各値を算出する。なお、これらの値の算出に用いる入力信号としては、ぼけ補正処理の行われていないＷ信号を利用することが望ましい。ただし、演算コスト削減のため、ぼけ補正処理部７０３の生成したぼけ補正処理後のぼけ補正Ｗ信号（Ｗｄ）を用いてもよい。また、Ｗｎの算出には、図に示すように３×３のフィルタを適用しており、７×７画素領域の入力信号の中心画素を中心とした３×３画素のみを対象として利用してよい。
【０２４９】
図２４に示す各フィルタは、Ｇ位置ＲＧＢ補間パラメータ算出部７１２において適用するフィルタであり、ＲＧＢ画素値を求めるＧ画素が中心画素として設定された７×７画素領域の入力信号に対して適用するフィルタである。
【０２５０】
図２４の下段に示すｍＧ算出フィルタ、ｍＲ算出フィルタ、ｍＢ算出フィルタの各々は、入力した処理対象の７×７画素領域の画素配置によって適用するフィルタ構成が異なる。
図２４には、処理対象の７×７画素領域の中心画素Ｗの周囲画素の配置情況に応じたフィルタ構成を示している。すなわち、
（ａ）中心画素Ｇの左上〜右下斜めラインにＲ画素がある場合
（ｂ）中心画素Ｇの左上〜右下斜めラインにＢ画素がある場合
これらの２種類の処理対象データに応じて適用するフィルタを示している。
【０２５１】
Ｇ位置ＲＧＢ補間パラメータ算出部７１２は、中心画素がＧ画素となる７×７の画素領域を入力信号として、図２４に示す各フィルタを適用してｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの各値を算出する。７×７画素の入力信号の画素値に、各フィルタの対応画素位置のフィルタ係数を乗算して、各乗算結果を加算してｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの各値を算出する。
【０２５２】
各フィルタの適用によって算出されたｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの比率が画像内の局所領域において保たれると仮定する。この仮定に従い、６つの補間パラメータ：Ｒｄ、Ｇｄ、Ｂｄ、Ｒｌ、Ｇｌ、Ｂｌを下式に従って算出する。
Ｒｄ＝（ｍＲ／ｍＷ）Ｗｄ
Ｒｌ＝（ｍＲ／ｍＷ）Ｗｎ
Ｇｄ＝（ｍＧ／ｍＷ）Ｗｄ
Ｇｌ＝（ｍＧ／ｍＷ）Ｗｎ
Ｂｄ＝（ｍＢ／ｍＷ）Ｗｄ
Ｂｌ＝（ｍＢ／ｍＷ）Ｗｎ
なお、ここでは、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の相関を利用した他の推定手法を用いても良い。
【０２５３】
加重加算処理部７１５は、変換対象画素のエッジ情報に応じて、
ＲｄとＲｌのブレンド比率、
ＧｄとＧｌのブレンド比率、
ＢｄとＢｌのブレンド比率、
これらのブレンド比率を決定して、
ＲｄとＲｌのブレンド処理により最終的なＲ画素値を決定し、
ＧｄとＧｌのブレンド処理により最終的なＧ画素値を決定し、
ＢｄとＢｌのブレンド処理により最終的なＢ画素値を決定する。
具体的には、平坦部でなくテクスチャ度の高いエッジ部では、ぼけ補正ありＲＧＢ信号：Ｒｄ，Ｇｄ，Ｂｄの比率を高め、平坦部では、ぼけ補正なしＲＧＢ信号：Ｒｌ，Ｇｌ，Ｂｌの比率を高めたブレンド処理を実行して最終的なＲＧＢ画素値を決定する。
【０２５４】
加重加算処理部７１５は、エッジ検出部７０２で算出した処理対象画素のエッジ情報、すなわち平坦度（ｗｅｉｇｈｔＦｌａｔ）に応じて加重平均処理を実行して、ＲＧＢＷ配列１８１中のＧ画素位置のＲＧＢ各画素値を算出する。具体的には、以下の式に従ってＲＧＢ画素値を決定する。
Ｒ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｒｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｒｌ
Ｇ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｇｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｇｌ
Ｂ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｂｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｂｌ
この式の算出結果として得られるＲ、Ｇ、ＢをＲＧＢＷ配列１８１のＧ画素位置のＲＧＢ各画素値として決定する。
【０２５５】
次に、Ｒ位置ＲＧＢ補間パラメータ算出部７１３の処理について、図２５を参照して説明する。Ｒ位置ＲＧＢ補間パラメータ算出部７１３は、ＲＧＢＷ配列に含まれるＲ画素位置に設定するＲＧＢ画素値の算出処理に適用する補間パラメータを算出する。
【０２５６】
Ｒ位置ＲＧＢ補間パラメータ算出部７１３の処理対象となるデータは、７×７の画素領域の中心画素がＲ画素となる場合であり、この中心画素のＲ画素位置に対応するＲＧＢ画素値を算出するために適用する補間パラメータとして以下のパラメータを算出する。
ぼけ補正ありＲＧＢ信号：Ｒｄ、Ｇｄ、Ｂｄ、
ぼけ補正なしＲＧＢ信号：Ｒｌ、Ｇｌ、Ｂｌ、
これらの補間パラメータの算出式は、先の実施例で説明したと同様である。
【０２５７】
先の実施例で説明したと同様、ＲＧＢＷ配列において輝度の主成分であるＷ信号と、色成分であるＧ，Ｒ，Ｂ信号の比率が、それぞれ局所的には同様な比率で保存されるとの仮定に基づいて、補間パラメータを算出する。具体的には、図２５に示すように、
Ｒｄ＝（ｍＲ／ｍＷ）Ｗｄ
Ｒｌ＝（ｍＲ／ｍＷ）Ｗｎ
Ｇｄ＝（ｍＧ／ｍＷ）Ｗｄ
Ｇｌ＝（ｍＧ／ｍＷ）Ｗｎ
Ｂｄ＝（ｍＢ／ｍＷ）Ｗｄ
Ｂｌ＝（ｍＢ／ｍＷ）Ｗｎ
これらの算出式を用いて６つの補間パラメータ：Ｒｄ、Ｇｄ、Ｂｄ、Ｒｌ、Ｇｌ、Ｂｌを算出する。
なお、ここでは、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の相関を利用した他の推定手法を用いても良い。
【０２５８】
ｍＷは、Ｗ信号の低周波成分信号、
Ｗｎは、ノイズ除去Ｗ信号、
ｍＲは、Ｒ信号の低周波成分、
ｍＧは、Ｇ信号の低周波成分、
ｍＢは、Ｂ信号の低周波成分、
である。
【０２５９】
図２５には、これらの各値を算出するために適用するフィルタを示している。
すなわち、
ｍＷ算出フィルタ８３１
Ｗｎ算出フィルタ８３２
さらに、
ｍＧ算出フィルタ８５１、
ｍＲ算出フィルタ８５２、
ｍＢ算出フィルタ８５３、
これらのフィルタを示している。
グレー部分がＷ画素対応位置であり、白部分がＲＧＢ画素対応位置である。
各フィルタ内に示す数値はフィルタ係数である。
ｍＧ算出フィルタのフィルタ係数記載部分はＧ画素対応位置である。
ｍＲ算出フィルタのフィルタ係数記載部分はＲ画素対応位置である。
ｍＢ算出フィルタのフィルタ係数記載部分はＢ画素対応位置である。
【０２６０】
これらのフィルタを、処理対象画素Ｒを中心画素に設定した７×７画素領域の入力信号に対して適用する。各フィルタの適用によって、ｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの各値を算出する。なお、これらの値の算出に用いる入力信号としては、ぼけ補正処理の行われていないＷ信号を利用することが望ましい。ただし、演算コスト削減のため、ぼけ補正処理部７０３の生成したぼけ補正処理後のぼけ補正Ｗ信号（Ｗｄ）を用いてもよい。また、Ｗｎの算出には、図に示すように３×３のフィルタを適用しており、７×７画素領域の入力信号の中心画素を中心とした３×３画素のみを対象として利用してよい。
【０２６１】
図２５に示す各フィルタは、Ｒ位置ＲＧＢ補間パラメータ算出部７１３において適用するフィルタであり、ＲＧＢ画素値を求めるＲ画素が中心画素として設定された７×７画素領域の入力信号に対して適用するフィルタである。
【０２６２】
Ｒ位置ＲＧＢ補間パラメータ算出部７１３は、中心画素がＲ画素となる７×７の画素領域を入力信号として、図２５に示す各フィルタを適用してｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの各値を算出する。７×７画素の入力信号の画素値に、各フィルタの対応画素位置のフィルタ係数を乗算して、各乗算結果を加算してｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの各値を算出する。
【０２６３】
各フィルタの適用によって算出されたｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの比率が画像内の局所領域において保たれると仮定する。この仮定に従い、６つの補間パラメータ：Ｒｄ、Ｇｄ、Ｂｄ、Ｒｌ、Ｇｌ、Ｂｌを下式に従って算出する。
Ｒｄ＝（ｍＲ／ｍＷ）Ｗｄ
Ｒｌ＝（ｍＲ／ｍＷ）Ｗｎ
Ｇｄ＝（ｍＧ／ｍＷ）Ｗｄ
Ｇｌ＝（ｍＧ／ｍＷ）Ｗｎ
Ｂｄ＝（ｍＢ／ｍＷ）Ｗｄ
Ｂｌ＝（ｍＢ／ｍＷ）Ｗｎ
なお、ここでは、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の相関を利用した他の推定手法を用いても良い。
【０２６４】
加重加算処理部７１５は、変換対象画素のエッジ情報に応じて、
ＲｄとＲｌのブレンド比率、
ＧｄとＧｌのブレンド比率、
ＢｄとＢｌのブレンド比率、
これらのブレンド比率を決定して、
ＲｄとＲｌのブレンド処理により最終的なＲ画素値を決定し、
ＧｄとＧｌのブレンド処理により最終的なＧ画素値を決定し、
ＢｄとＢｌのブレンド処理により最終的なＢ画素値を決定する。
具体的には、平坦部でなくテクスチャ度の高いエッジ部では、ぼけ補正ありＲＧＢ信号：Ｒｄ，Ｇｄ，Ｂｄの比率を高め、平坦部では、ぼけ補正なしＲＧＢ信号：Ｒｌ，Ｇｌ，Ｂｌの比率を高めたブレンド処理を実行して最終的なＲＧＢ画素値を決定する。
【０２６５】
加重加算処理部７１５は、エッジ検出部７０２で算出した処理対象画素のエッジ情報、すなわち平坦度（ｗｅｉｇｈｔＦｌａｔ）に応じて加重平均処理を実行して、ＲＧＢＷ配列１８１中のＲ画素位置のＲＧＢ各画素値を算出する。具体的には、以下の式に従ってＲＧＢ画素値を決定する。
Ｒ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｒｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｒｌ
Ｇ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｇｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｇｌ
Ｂ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｂｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｂｌ
この式の算出結果として得られるＲ、Ｇ、ＢをＲＧＢＷ配列１８１のＲ画素位置のＲＧＢ各画素値として決定する。
【０２６６】
次に、Ｂ位置ＲＧＢ補間パラメータ算出部７１４の処理について、図２６を参照して説明する。Ｂ位置ＲＧＢ補間パラメータ算出部７１４は、ＲＧＢＷ配列に含まれるＢ画素位置に設定するＲＧＢ画素値の算出処理に適用する補間パラメータを算出する。
【０２６７】
Ｂ位置ＲＧＢ補間パラメータ算出部７１４の処理対象となるデータは、７×７の画素領域の中心画素がＢ画素となる場合であり、この中心画素のＢ画素位置に対応するＲＧＢ画素値を算出するために適用する補間パラメータとして以下のパラメータを算出する。
ぼけ補正ありＲＧＢ信号：Ｒｄ、Ｇｄ、Ｂｄ、
ぼけ補正なしＲＧＢ信号：Ｒｌ、Ｇｌ、Ｂｌ、
これらの補間パラメータの算出式は、先の実施例で説明したと同様である。
【０２６８】
先の実施例で説明したと同様、ＲＧＢＷ配列において輝度の主成分であるＷ信号と、色成分であるＧ，Ｒ，Ｂ信号の比率が、それぞれ局所的には同様な比率で保存されるとの仮定に基づいて、補間パラメータを算出する。具体的には、図２６に示すように、
Ｒｄ＝（ｍＲ／ｍＷ）Ｗｄ
Ｒｌ＝（ｍＲ／ｍＷ）Ｗｎ
Ｇｄ＝（ｍＧ／ｍＷ）Ｗｄ
Ｇｌ＝（ｍＧ／ｍＷ）Ｗｎ
Ｂｄ＝（ｍＢ／ｍＷ）Ｗｄ
Ｂｌ＝（ｍＢ／ｍＷ）Ｗｎ
これらの算出式を用いて６つの補間パラメータ：Ｒｄ、Ｇｄ、Ｂｄ、Ｒｌ、Ｇｌ、Ｂｌを算出する。
なお、ここでは、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の相関を利用した他の推定手法を用いても良い。
【０２６９】
ｍＷは、Ｗ信号の低周波成分信号、
Ｗｎは、ノイズ除去Ｗ信号、
ｍＲは、Ｒ信号の低周波成分、
ｍＧは、Ｇ信号の低周波成分、
ｍＢは、Ｂ信号の低周波成分、
である。
【０２７０】
図２６には、これらの各値を算出するために適用するフィルタを示している。
すなわち、
ｍＷ算出フィルタ８３１
Ｗｎ算出フィルタ８３２
さらに、
ｍＧ算出フィルタ８６１、
ｍＲ算出フィルタ８６２、
ｍＢ算出フィルタ８６３、
これらのフィルタを示している。
グレー部分がＷ画素対応位置であり、白部分がＲＧＢ画素対応位置である。
各フィルタ内に示す数値はフィルタ係数である。
ｍＧ算出フィルタのフィルタ係数記載部分はＧ画素対応位置である。
ｍＲ算出フィルタのフィルタ係数記載部分はＲ画素対応位置である。
ｍＢ算出フィルタのフィルタ係数記載部分はＢ画素対応位置である。
【０２７１】
これらのフィルタを、処理対象画素Ｒを中心画素に設定した７×７画素領域の入力信号に対して適用する。各フィルタの適用によって、ｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの各値を算出する。なお、これらの値の算出に用いる入力信号としては、ぼけ補正処理の行われていないＷ信号を利用することが望ましい。ただし、演算コスト削減のため、ぼけ補正処理部７０３の生成したぼけ補正処理後のぼけ補正Ｗ信号（Ｗｄ）を用いてもよい。また、Ｗｎの算出には、図に示すように３×３のフィルタを適用しており、７×７画素領域の入力信号の中心画素を中心とした３×３画素のみを対象として利用してよい。
【０２７２】
図２６に示す各フィルタは、Ｂ位置ＲＧＢ補間パラメータ算出部７１４において適用するフィルタであり、ＲＧＢ画素値を求めるＢ画素が中心画素として設定された７×７画素領域の入力信号に対して適用するフィルタである。
【０２７３】
Ｂ位置ＲＧＢ補間パラメータ算出部７１４は、中心画素がＲ画素となる７×７の画素領域を入力信号として、図２６に示す各フィルタを適用してｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの各値を算出する。７×７画素の入力信号の画素値に、各フィルタの対応画素位置のフィルタ係数を乗算して、各乗算結果を加算してｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの各値を算出する。
【０２７４】
各フィルタの適用によって算出されたｍＷ、Ｗｎ、ｍＧ、ｍＲ、ｍＢの比率が画像内の局所領域において保たれると仮定する。この仮定に従い、６つの補間パラメータ：Ｒｄ、Ｇｄ、Ｂｄ、Ｒｌ、Ｇｌ、Ｂｌを下式に従って算出する。
Ｒｄ＝（ｍＲ／ｍＷ）Ｗｄ
Ｒｌ＝（ｍＲ／ｍＷ）Ｗｎ
Ｇｄ＝（ｍＧ／ｍＷ）Ｗｄ
Ｇｌ＝（ｍＧ／ｍＷ）Ｗｎ
Ｂｄ＝（ｍＢ／ｍＷ）Ｗｄ
Ｂｌ＝（ｍＢ／ｍＷ）Ｗｎ
なお、ここでは、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＧ画素値またはＲ画素値またはＢ画素値の相関を利用した他の推定手法を用いても良い。
【０２７５】
加重加算処理部７１５は、変換対象画素のエッジ情報に応じて、
ＲｄとＲｌのブレンド比率、
ＧｄとＧｌのブレンド比率、
ＢｄとＢｌのブレンド比率、
これらのブレンド比率を決定して、
ＲｄとＲｌのブレンド処理により最終的なＲ画素値を決定し、
ＧｄとＧｌのブレンド処理により最終的なＧ画素値を決定し、
ＢｄとＢｌのブレンド処理により最終的なＢ画素値を決定する。
具体的には、平坦部でなくテクスチャ度の高いエッジ部では、ぼけ補正ありＲＧＢ信号：Ｒｄ，Ｇｄ，Ｂｄの比率を高め、平坦部では、ぼけ補正なしＲＧＢ信号：Ｒｌ，Ｇｌ，Ｂｌの比率を高めたブレンド処理を実行して最終的なＲＧＢ画素値を決定する。
【０２７６】
加重加算処理部７１５は、エッジ検出部７０２で算出した処理対象画素のエッジ情報、すなわち平坦度（ｗｅｉｇｈｔＦｌａｔ）に応じて加重平均処理を実行して、ＲＧＢＷ配列１８１中のＢ画素位置のＲＧＢ各画素値を算出する。具体的には、以下の式に従ってＲＧＢ画素値を決定する。
Ｒ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｒｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｒｌ
Ｇ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｇｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｇｌ
Ｂ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｂｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｂｌ
この式の算出結果として得られるＲ、Ｇ、ＢをＲＧＢＷ配列１８１のＢ画素位置のＲＧＢ各画素値として決定する。
【０２７７】
このように、本実施例の色相関デモザイク処理部７１０は、ＲＧＢＷ配列のＲＧＢＷ各画素位置に対応するＲＧＢ信号を設定する。結果として、図２０、図２１に示す第１カラー画像７５０を生成してＲＧＢ信号処理部７７０に提供することができる。
【０２７８】
ＲＧＢ信号処理部７７０は、デモザイク処理を実行することなく、その他の画像処理、すなわち、ホワイトバランス調整処理、シェーディング処理、ＲＧＢカラーマトリクス処理、γ補正処理などを実行して最終的なカラー画像を生成する。
【０２７９】
本実施例の処理では、ＲＧＢＷ配列を構成する同一のＷ信号からＲＧＢ信号を生成するため、ＲＧＢ各チャネルに乗るノイズの特性に正の相関ができる。そのため、ノイズの色付きが抑制されるという効果がある。
また、一般の画像信号処理においては、色再現性向上のためカラーマトリクス演算が行われる。例えば、以下の行列（マトリクス）を適用したＲＧＢ信号変換処理などが行われる。
【０２８０】
【数９】
2011055038.tif 000011
【０２８１】
この処理はＲＧＢ間のノイズ成分に相関が無ければ、加算減算時の両方でノイズが増加する。一方、ＲＧＢ各チャネルに乗るノイズに正の相関がある場合には、カラーマトリクス演算における減算処理でノイズ成分も同様に減算されるため、ＳＮの劣化を抑えることができるという効果もある。
【０２８２】
本実施例において実行するＲＧＢＷ配列信号のデモザイク処理のメリットについて、図２７を参照してまとめて説明する。
図２７には、
（Ａ）カラーマトリクス演算前のノイズの影響
（Ｂ）カラーマトリクスの一例
（Ｃ）カラーマトリクス演算後の最終的な画素値におけるノイズの影響
これらを示している。
【０２８３】
図２７（Ａ）カラーマトリクス演算前のノイズの影響には、
ＲＧＢＷ配列を構成するＷ信号をノイズ成分Ｎとノイズを除去したＷ信号［Ｗｓｉｇ］から構成される信号、すなわち、
Ｗ＝Ｗｓｉｇ＋Ｎ
として示している。
本実施例の処理では、ＲＧＢＷ配列を構成する同一のＷ信号からＲＧＢ信号を生成する。
その結果、ＲＧＢ各チャネルに乗るノイズの特性は共通となり正の相関ができる。図２７（Ａ）に示すように、
Ｒ＝（ｍＲ／ｍＷ）Ｗ＝（ｍＲ／ｍＷ）（Ｗｓｉｇ＋Ｎ）
Ｇ＝（ｍＧ／ｍＷ）Ｗ＝（ｍＧ／ｍＷ）（Ｗｓｉｇ＋Ｎ）
Ｂ＝（ｍＢ／ｍＷ）Ｗ＝（ｍＢ／ｍＷ）（Ｗｓｉｇ＋Ｎ）
このように、ＲＧＢ各チャネルに乗るノイズの特性に正の相関ができ、ノイズ成分の色付きが抑えられる。
【０２８４】
色再現性向上のためのカラーマトリクス演算に適用するカラーマトリクスを図２７（Ｂ）に示すマトリクスとする。
図２７（Ｃ）にはこのカラーマトリクスによる演算結果を示している。
演算結果において残留するノイズは、
Ｒnoise＝（Ｎ／ｍＷ）（１．５８ｍＲ−０．５７ｍＧ−０．０１ｍＢ）
Ｇnoise＝（Ｎ／ｍＷ）（−０．３１ｍＲ＋１．４４ｍＧ−０．１３ｍＢ）
Ｂnoise＝（Ｎ／ｍＷ）（−０．１１ｍＲ−０．４８ｍＧ＋１．５９ｍＢ）
となる。
ノイズ成分が減算されるため、結果としてＳＮの劣化を抑えることができる。
【０２８５】
［５．本発明の処理の効果についてのまとめ］
最後に本発明を適用した処理の効果について、まとめて説明する。本発明の処理の効果としては例えば以下のような効果がある。
１．ホワイト（Ｗ）画素を用いた撮像素子の利用により、高感度化を実現できる。これによりノイズも抑制できる。
２．低コストで実現可能なレンズ収差により、色成分のサンプリングレートが低いことに起因する偽色の発生を抑制できる。
３．レンズ収差により、色相関が崩れることに起因する偽色の発生も抑制できる。
４．ぼけ補正信号処理で十分な効果が得られるよう、ナイキスト周波数以内の空間周波数領域において十分補正可能な信号レベルを有する光学レンズ設計とすることにより、レンズデータに基づくぼけ補正信号処理を通して、高い解像度特性が実現できる。
５．ぼけ補正処理を輝度信号の主成分であるホワイト（Ｗ）信号に対して適用してぼけ補正Ｗ信号（Ｗｄ）を生成し、このぼけ補正Ｗ信号（Ｗｄ）を適用して色成分を補間することにより、低コストですべてのチャネルにおいて高い解像度特性が得られる。
本発明の処理を適用することで、上述のような効果が得られる。
【０２８６】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２８７】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２８８】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２８９】
以上、説明したように、本発明の一実施例の構成によれば、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを適用したカラー画像生成処理において、偽色やぼけの少ない高品質なカラー画像の生成を実現することができる。具体的には、ＲＧＢＷ配列の撮像素子の出力信号を解析し、各画素対応のエッジ情報とぼけ補正信号を生成する。さらに、ぼけ補正信号から推定されるＲＧＢ対応のぼけ補正信号であるぼけ補正ありＲＧＢ信号と、ぼけ補正処理の非適用信号であるぼけ補正なしＲＧＢ信号を算出する。さらに、これらの各信号のブレンド処理によりＲＧＢ配列データまたはカラー画像を生成する。エッジ強度が大の画素位置ではぼけ補正ありＲＧＢ信号のブレンド比率を高くし、エッジ強度が小の画素位置ではぼけ補正なしＲＧＢ信号のブレンド比率を高く設定したブレンド処理を実行する。これらの処理により、偽色やぼけの少ない高品質なカラー画像の生成を実現することができる。
【符号の説明】
【０２９０】
１００  撮像装置
１０５  光学レンズ
１１０  撮像素子（イメージセンサ）
１２０  信号処理部
１３０  メモリ
１４０  制御部
１８１  ＲＧＢＷ配列
１８２  ＲＧＢ配列
１８３  カラー画像
２００  データ変換処理部
２０１  ラインメモリ
２０２  エッジ検出部
２０３  ぼけ補正処理部
２１０  色相関リモザイク処理部
２１１  Ｗ位置Ｇ補間パラメータ算出部
２１２  Ｇ位置ＲＢ補間パラメータ算出部
２１３  Ｒ位置Ｒ補間パラメータ算出部
２１４  Ｂ位置Ｂ補間パラメータ算出部
２１５  加重加算部
２５０  ＲＧＢ信号処理部
３０１  エッジ重心
３０２  画素領域
４０１  入力信号（処理対象データ）
４０２  補間対象画素
４１１，４１２  フィルタ
５０１  入力信号（処理対象データ）
５０２  補間対象画素
５１１  平滑化フィルタ
５１２  変換対象画素対応位置
５２１，５２２  平滑化フィルタ
５２３，５２４  変換対象画素対応位置
５３１  平滑化フィルタ
５５１  入力信号（処理対象データ）
５６１〜５６４  平滑化フィルタ
５７１  入力信号（処理対象データ）
５７２  変換対象画素
５７３  ５×５画素領域
５８１，５８２  平滑化フィルタ
５９１  入力信号（処理対象データ）
５９２  変換対象画素
５９３  ５×５画素領域
６００  撮像装置
６２０  信号処理部
７００  データ変換処理部
７０１  ラインメモリ
７０２  エッジ検出部
７０３  ぼけ補正処理部
７１０  色相関デモザイク処理部
７１１  Ｗ位置ＲＧＢ補間パラメータ算出部
７１２  Ｇ位置ＲＧＢ補間パラメータ算出部
７１３  Ｒ位置ＲＧＢ補間パラメータ算出部
７１４  Ｂ位置ＲＧＢ補間パラメータ算出部
７１５  加重加算部
７５０  第１カラー画像
７７０  ＲＧＢ信号処理部
８０１  ｍＷ算出フィルタ
８０２  Ｗｎ算出フィルタ
８１１，８１４，８２１，８２４  ｍＧ算出フィルタ
８１２，８１５，８２２，８２５  ｍＲ算出フィルタ
８１３，８１６，８２３，８２６  ｍＢ算出フィルタ
８３１  ｍＷ算出フィルタ
８３２  Ｗｎ算出フィルタ
８４１，８４４  ｍＧ算出フィルタ
８４２，８４５  ｍＲ算出フィルタ
８４３，８４６  ｍＢ算出フィルタ
８５１  ｍＧ算出フィルタ
８５２  ｍＲ算出フィルタ
８５３  ｍＢ算出フィルタ
８６１  ｍＧ算出フィルタ
８６２  ｍＲ算出フィルタ
８６３  ｍＢ算出フィルタ
【図１】
2011055038.tif 000012
【図２】
2011055038.tif 000013
【図３】
2011055038.tif 000014
【図４】
2011055038.tif 000015
【図７】
2011055038.tif 000016
【図８】
2011055038.tif 000017
【図１２】
2011055038.tif 000018
【図１６】
2011055038.tif 000019
【図２０】
2011055038.tif 000020
【図２１】
2011055038.tif 000021
【図２７】
2011055038.tif 000022
【図５】
2011055038.tif 000023
【図６】
2011055038.tif 000024
【図９】
2011055038.tif 000025
【図１０】
2011055038.tif 000026
【図１１】
2011055038.tif 000027
【図１３】
2011055038.tif 000028
【図１４】
2011055038.tif 000029
【図１５】
2011055038.tif 000030
【図１７】
2011055038.tif 000031
【図１８】
2011055038.tif 000032
【図１９】
2011055038.tif 000033
【図２２】
2011055038.tif 000034
【図２３】
2011055038.tif 000035
【図２４】
2011055038.tif 000036
【図２５】
2011055038.tif 000037
【図２６】
2011055038.tif 000038