(57)【要約】【課題】フィルタ処理の際に、斜めの縞状の被写体に対するブロック状の偽のパターンを低減することができる画像処理装置を提供することを課題とする。【解決手段】画像処理装置は、入力画像の垂直方向の色差信号を算出する第１の色差信号算出手段（３０５）と、前記入力画像の水平方向の色差信号を算出する第２の色差信号算出手段（３０６）と、前記垂直方向の色差信号に対してフィルタ処理を行う第１のフィルタ処理手段（３１０，３１１）と、前記水平方向の色差信号に対してフィルタ処理を行う第２のフィルタ処理手段（３１２，３１３）とを有し、前記第１のフィルタ処理手段と前記第２のフィルタ処理手段は、前記垂直方向の色差信号と前記水平方向の色差信号に基づいて、フィルタ処理の強度を変化させる。【選択図】図３
2018056653.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の垂直方向の色差信号を算出する第１の色差信号算出手段と、
前記入力画像の水平方向の色差信号を算出する第２の色差信号算出手段と、
前記垂直方向の色差信号に対してフィルタ処理を行う第１のフィルタ処理手段と、
前記水平方向の色差信号に対してフィルタ処理を行う第２のフィルタ処理手段とを有し、
前記第１のフィルタ処理手段と前記第２のフィルタ処理手段は、前記垂直方向の色差信号と前記水平方向の色差信号に基づいて、フィルタ処理の強度を変化させることを特徴とする画像処理装置。
【請求項２】
さらに、前記垂直方向の色差信号を基に垂直方向の色差の傾きを算出する第１の傾き算出手段と、
前記水平方向の色差信号を基に水平方向の色差の傾きを算出する第２の傾き算出手段とを有し、
前記第１のフィルタ処理手段と前記第２のフィルタ処理手段は、前記垂直方向の色差の傾きと前記水平方向の色差の傾きとの差分に基づいて、フィルタ処理の強度を変化させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１のフィルタ処理手段と前記第２のフィルタ処理手段は、前記差分が第１の閾値より小さい場合にはフィルタ処理を行わず、前記差分が第１の閾値以上である場合にはフィルタ処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
さらに、前記垂直方向の色差の傾きと前記水平方向の色差の傾きとの差分に基づいて、垂直方向と水平方向の相関値を算出する相関値算出手段を有し、
前記第１のフィルタ処理手段と前記第２のフィルタ処理手段は、前記相関値に基づいて、フィルタ処理の強度を変化させることを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記第１のフィルタ処理手段は、
前記垂直方向の色差信号に対して上方向のフィルタ処理を行うフィルタ処理手段と、
前記垂直方向の色差信号に対して下方向のフィルタ処理を行うフィルタ処理手段とを有し、
前記第２のフィルタ処理手段は、
前記水平方向の色差信号に対して左方向のフィルタ処理を行うフィルタ処理手段と、
前記水平方向の色差信号に対して右方向のフィルタ処理を行うフィルタ処理手段とを有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
さらに、前記第１のフィルタ処理手段によりフィルタ処理された色差信号と前記第２のフィルタ処理手段によりフィルタ処理された色差信号とを合成する合成手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
さらに、前記入力画像の着目画素が赤フィルタの画素又は青フィルタの画素である場合には、前記着目画素の信号に対して前記合成手段により合成された色差信号を加算することにより緑信号を出力する第１の加算手段を有することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
さらに、前記入力画像に対して垂直方向の補間処理により全画素の赤信号、緑信号及び青信号を出力する第１の補間手段と、
前記入力画像に対して水平方向の補間処理により全画素の赤信号、緑信号及び青信号を出力する第２の補間手段とを有し、
前記第１の色差算出手段は、前記第１の補間手段の出力信号に基づいて、前記入力画像の垂直方向の色差信号を算出し、
前記第２の色差算出手段は、前記第２の補間手段の出力信号に基づいて、前記入力画像の水平方向の色差信号を算出することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
さらに、前記入力画像と前記第１の加算手段により出力される緑信号とに基づいて、前記入力画像の赤信号を補間する赤補間手段と、
前記入力画像と前記第１の加算手段により出力される緑信号とに基づいて、前記入力画像の青信号を補間する青補間手段と、
前記第１の加算手段により出力される緑信号と前記赤補間手段により補間された赤信号と前記青補間手段により補間された青信号とを基に輝度信号を生成する輝度信号生成手段とを有することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記入力画像は、ベイヤ配列の画像であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
第１の色差信号算出手段により、入力画像の垂直方向の色差信号を算出する第１の色差信号算出ステップと、
第２の色差信号算出手段により、前記入力画像の水平方向の色差信号を算出する第２の色差信号算出ステップと、
第１のフィルタ処理手段により、前記垂直方向の色差信号に対してフィルタ処理を行う第１のフィルタ処理ステップと、
第２のフィルタ処理手段により、前記水平方向の色差信号に対してフィルタ処理を行う第２のフィルタ処理ステップとを有し、
前記第１のフィルタ処理ステップと前記第２のフィルタ処理ステップでは、前記垂直方向の色差信号と前記水平方向の色差信号に基づいて、フィルタ処理の強度を変化させることを特徴とする画像処理方法。
【請求項１２】
コンピュータを、請求項１乃至１０のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、輝度信号の主成分となるＧ信号の補間を行う際に、縦方向、又は横方向の相関を判別し、縦方向の相関がある場合には縦方向にＬＰＦ処理を行い、横方向の相関がある場合には横方向にＬＰＦ処理を行う技術が開示されている。そして、縦方向にも横方向にも相関がない場合には、２次元のＬＰＦ処理を行うことで、縦方向、横方向のエッジがぼけないようにする。
【０００３】
しかし、特許文献１の技術では、縦又は横方向の相関がない場合には２次元のＬＰＦ処理となるため、例えば斜め方向のエッジは、縦方向、横方向のエッジに比べてぼやけてしまう。
【０００４】
そこで、非特許文献１には、Ｒ又はＢ画素の位置のＧ信号の算出方法が開示されている。非特許文献１では、着目画素を含む上、下、左、右方向に、Ｇ画素と、着目画素と同色の画素との色差信号をそれぞれ算出し、各方向の色差信号を合成した色差信号を着目画素に加算することでＧ信号を算出する。このとき、非特許文献１では、各方向の色差信号を、該当する方向の色差信号の傾きに応じて合成することで、方向に因らず解像感の高い画像を生成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３８６２５０６号公報
【非特許文献】
【０００６】
【非特許文献１】I. Pekkucuksen，Y. Altunbasak，“Gradient based threshold free color filter array interpolation”，ＩＣＩＰ  ２０１０
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、非特許文献１では、上、下、左、右方向の色差信号を算出する際に、色差信号に対して各方向にフィルタ処理を行うため、縦方向、横方向に相関のない斜めの縞状の被写体にブロック状の偽のパターンが生じる場合がある。
【０００８】
本発明の目的は、フィルタ処理の際に、斜めの縞状の被写体に対するブロック状の偽のパターンを低減することができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、入力画像の垂直方向の色差信号を算出する第１の色差信号算出手段と、前記入力画像の水平方向の色差信号を算出する第２の色差信号算出手段と、前記垂直方向の色差信号に対してフィルタ処理を行う第１のフィルタ処理手段と、前記水平方向の色差信号に対してフィルタ処理を行う第２のフィルタ処理手段とを有し、前記第１のフィルタ処理手段と前記第２のフィルタ処理手段は、前記垂直方向の色差信号と前記水平方向の色差信号に基づいて、フィルタ処理の強度を変化させる。
【発明の効果】
【００１０】
本発明によれば、フィルタ処理の際に、斜めの縞状の被写体に対するブロック状の偽のパターンを低減することができる。
【図面の簡単な説明】
【００１１】
【図１】原色ベイヤ配列の１単位を示す図である。
【図２】本実施形態による画像処理装置の構成例を示すブロック図である。
【図３】Ｇ補間回路の構成例を示すブロック図である。
【図４】Ｇ補間回路の処理の流れの一例を示すフローチャートである。
【図５】ＨＶ相関値算出回路の入出力特性の一例を示す図である。
【発明を実施するための形態】
【００１２】
図１は、本発明の実施形態によるベイヤ配列の色フィルタを有する撮像素子を示す図である。撮像装置は、ＣＭＯＳイメージセンサ等の撮像素子を有する。撮像装置は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。撮像素子は、２次元行列状に配置された複数の画素を有し、複数の画素の各々は、色フィルタ（例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色のうちの一つの色フィルタ）を有する。図１は、原色ベイヤ配列の１単位の色フィルタを示す。撮像素子は、画素毎に、光電変換を行い、アナログデジタル変換を行い、デジタルのＲ信号（赤信号）、Ｇ１信号（緑信号）、Ｇ２信号（緑信号）、又はＢ信号（青信号）を出力する。Ｇ１信号及びＧ２信号は、Ｇ信号（緑信号）である。ベイヤ配列の色フィルタを有する撮像装置は、各画素においてＲ、Ｇ、Ｂのうちの一つの色信号しか得られないため、各画素においてＲＧＢすべての色信号を求める場合には、後段の図２の輝度信号生成部２００で補間処理を行う必要がある。
【００１３】
図２は、本実施形態による輝度信号生成部２００の構成例を示す図である。輝度信号生成部２００は、画像処理装置であり、図１の撮像素子からデジタルのＲ信号、Ｇ信号及びＢ信号を入力する。輝度信号生成部２００は、ＷＢ回路（ホワイトバランス回路）２０１と、Ｇ補間回路２０２と、Ｒ補間回路２０３と、Ｂ補間回路２０４と、ＡＰＣ回路２０５と、輝度信号生成回路２０６と、加算回路２０７とを有する。
【００１４】
ＷＢ回路２０１は、撮像素子からデジタルの画像信号（Ｒ信号、Ｇ信号及びＢ信号）を入力し、画像信号のホワイトバランスを補正する。Ｇ補間回路２０２は、ＷＢ回路２０１から出力される画像信号を入力し、図１のＲ画素及びＢ画素の位置のＧ信号を補間により算出し、全画素のＧ信号を出力する。Ｒ画素は赤フィルタが設けられた画素であり、Ｂ画素は青フィルタが設けられた画素であり、Ｇ画素は緑フィルタが設けられた画素である。Ｇ補間回路２０２の処理の詳細は後述する。
【００１５】
Ｒ補間回路２０３は、赤補間手段であり、ＷＢ回路２０１からの入力画像及びＧ補間回路２０２からのＧ信号を基に、図１の入力画像のＧ画素及びＢ画素の位置のＲ信号を補間により算出し、全画素のＲ信号を出力する。例えば、Ｒ補間回路２０３は、着目画素を含む上、下、左、右方向に、Ｒ画素と、着目画素と同色の画素との色差信号をそれぞれ算出し、各方向の色差信号を合成した色差信号を着目画素に加算することでＲ信号を算出する。なお、Ｒ補間回路２０３は、２次元のＬＰＦ（ローパスフィルタ）処理によりＲ信号を算出してもよい。
【００１６】
Ｂ補間回路２０４は、青補間手段であり、ＷＢ回路２０１からの入力画像及びＧ補間回路２０２からのＧ信号を基に、図１の入力画像のＲ画素及びＧ画素の位置のＢ信号を補間により算出し、全画素のＢ信号を出力する。例えば、Ｂ補間回路２０４は、着目画素を含む上、下、左、右方向に、Ｂ画素と、着目画素と同色の画素との色差信号をそれぞれ算出し、各方向の色差信号を合成した色差信号を着目画素に加算することでＢ信号を算出する。なお、Ｂ補間回路２０４は、２次元のＬＰＦ処理によりＢ信号を算出してもよい。
【００１７】
ＡＰＣ回路２０５は、Ｇ補間回路２０２から出力されるＧ信号のアパーチャ補正信号を生成する。加算回路２０７は、Ｇ補間回路２０２が出力するＧ信号とＡＰＣ回路２０４の出力信号とを加算し、全画素のＧ信号を出力する。輝度信号生成回路２０６は、輝度信号生成手段であり、加算回路２０７が出力するＧ信号と、Ｒ補間回路２０３が出力するＲ信号と、Ｂ補間回路２０４が出力するＢ信号とを基に、次次式（１）により、全画素の輝度信号Ｙを生成する。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ      ・・・（１）
【００１８】
図３は、図２のＧ補間回路２０２の構成例を示すブロック図である。Ｇ補間回路２０２は、Ｇ画素Ｖ補間回路３０１と、Ｇ画素Ｈ補間回路３０２と、Ｒ，Ｂ画素Ｖ補間回路３０３と、Ｒ，Ｂ画素Ｈ補間回路３０４と、Ｖ色差算出回路３０５と、Ｈ色差算出回路３０６とを有する。さらに、Ｇ補間回路２０２は、Ｖ色差傾き算出回路３０７と、Ｈ色差傾き算出回路３０８と、ＨＶ相関値算出回路３０９と、Ｎフィルタ回路３１０と、Ｓフィルタ回路３１１と、Ｗフィルタ回路３１２と、Ｅフィルタ回路３１３とを有する。さらに、Ｇ補間回路２０２は、Ｎ重み算出回路３１４と、Ｓ重み算出回路３１５と、Ｗ重み算出回路３１６と、Ｅ重み算出回路３１７と、合成回路３１８と、加算回路３１９とを有する。
【００１９】
図４は、Ｇ補間回路２０２の画像処理方法の流れを示すフローチャートである。ステップＳ４０１では、Ｇ画素Ｖ補間回路３０１は、ＷＢ回路２０１が出力するベイヤ配列の入力画像に対して、垂直方向に補間処理を行うことによりＧ信号を算出し、全画素のＧ信号を出力する。具体的には、Ｇ画素Ｖ補間回路３０１は、着目画素がＧ画素の場合には、そのままＧ信号として出力し、着目画素がＲ画素又はＢ画素の場合には、垂直方向にＧ信号の補間処理を行うことによりＧ信号を算出する。例えば、Ｇ画素Ｖ補間回路３０１は、画像における着目画素のＸ座標及びＹ座標を（ｊ，ｉ）としたとき、着目画素がＲ画素の場合、Ｇ信号Ｇｖi,jを次式（２）により算出する。また、Ｇ画素Ｖ補間回路３０１は、着目画素がＢ画素の場合も、着目画素がＲ画素の場合と同様の方法によりＧ信号を算出する。
Ｇｖi,j＝（Ｇi-1,j＋Ｇi+1,j）／２
＋（２×Ｒi,j−Ｒi-2,j＋Ｒi+2,j）／４      ・・・（２）
【００２０】
次に、ステップＳ４０２では、Ｇ画素Ｈ補間回路３０２は、ＷＢ回路２０１が出力する入力画像に対して、水平方向に補間処理を行うことによりＧ信号を算出し、全画素のＧ信号を出力する。具体的には、Ｇ画素Ｈ補間回路３０２は、着目画素がＧ画素の場合には、そのままＧ信号として出力し、着目画素がＲ画素又はＢ画素の場合には、水平方向にＧ信号の補間処理を行うことによりＧ信号を算出する。例えば、Ｇ画素Ｈ補間回路３０２は、着目画素がＲ画素の場合、Ｇ信号Ｇｈi,jを次式（３）により算出する。また、Ｇ画素Ｈ補間回路３０２は、着目画素がＢ画素の場合も、着目画素がＲ画素の場合と同様の方法によりＧ信号を算出する。
Ｇｈi,j＝（Ｇi,j-1＋Ｇi,j+1）／２
＋（２×Ｒi,j−Ｒi,j-2＋Ｒi,j+2）／４      ・・・（３）
【００２１】
次に、ステップＳ４０３では、Ｒ，Ｂ画素Ｖ補間回路３０３は、ＷＢ回路２０１が出力する入力画像に対して、垂直方向に補間処理を行うことによりＲ信号及びＢ信号を算出し、全画素のＲ信号及びＢ信号を出力する。具体的には、Ｒ，Ｂ画素Ｖ補間回路３０３は、着目画素がＲ画素又はＢ画素の場合には、そのままＲ信号又はＢ信号として出力する。Ｒ，Ｂ画素Ｖ補間回路３０３は、着目画素がＧ画素の場合に、着目画素の垂直方向がＲ画素の場合には、垂直方向に補間処理を行うことによりＲ信号を算出し、着目画素の垂直方向がＢ画素の場合には、垂直方向に補間処理を行うことによりＢ信号を算出する。例えば、Ｒ，Ｂ画素Ｖ補間回路３０３は、着目画素がＧ画素であり、着目画素の垂直方向がＲ画素の場合には、Ｒ信号Ｒｖi,jを次式（４）により算出する。また、Ｒ，Ｂ画素Ｖ補間回路３０３は、着目画素の垂直方向がＢ画素の場合も、着目画素の垂直方向がＲ画素の場合と同様の方法によりＢ信号を算出する。
Ｒｖi,j＝（Ｒi-1,j＋Ｒi+1,j）／２
＋（２×Ｇi,j−Ｇi-2,j＋Ｇi+2,j）／４      ・・・（４）
【００２２】
次に、ステップＳ４０４では、Ｒ，Ｂ画素Ｈ補間回路３０４は、ＷＢ回路２０１が出力する入力画像に対して、水平方向に補間処理を行うことによりＲ信号及びＢ信号を算出し、全画素のＲ信号及びＢ信号を出力する。具体的には、Ｒ，Ｂ画素Ｈ補間回路３０４は、着目画素がＲ画素又はＢ画素の場合には、そのままＲ信号又はＢ信号として出力する。Ｒ，Ｂ画素Ｈ補間回路３０４は、着目画素がＧ画素の場合に、着目画素の水平方向がＲ画素の場合には、水平方向に補間処理を行うことによりＲ信号を算出し、着目画素の水平方向がＢ画素の場合には、水平方向に補間処理を行うことによりＢ信号を算出する。例えば、Ｒ，Ｂ画素Ｈ補間回路３０４は、着目画素がＧ画素であり、着目画素の水平方向がＲ画素の場合には、Ｒ信号Ｒｈi,jを次式（５）により算出する。また、Ｒ，Ｂ画素Ｈ補間回路３０４は、着目画素の水平方向がＢ画素の場合も、着目画素の水平方向がＲ画素の場合と同様の方法によりＢ信号を算出する。
Ｒｈi,j＝（Ｒi,j-1＋Ｒi,j+1）／２
＋（２×Ｇi,j−Ｇi,j-2＋Ｇi,j+2）／４      ・・・（５）
【００２３】
なお、ステップＳ４０１〜Ｓ４０４において、Ｇ画素とＲ，Ｂ画素の垂直及び水平方向の補間方法として、式（２）〜（５）を用いたが、これに限定されず、例えば同色画素を各方向に線形補間して算出してもよい。
【００２４】
Ｇ画素Ｖ補間回路３０１とＲ，Ｂ画素Ｖ補間回路３０３は、第１の補間手段であり、入力画像に対して垂直方向の補間処理により全画素のＲ信号、Ｇ信号及びＢ信号を出力する。Ｇ画素Ｈ補間回路３０２とＲ，Ｂ画素Ｈ補間回路３０４は、第２の補間手段であり、入力画像に対して水平方向の補間処理により全画素のＲ信号、Ｇ信号及びＢ信号を出力する。
【００２５】
次に、ステップＳ４０５では、Ｖ色差算出回路３０５は、Ｇ画素Ｖ補間回路３０１から出力されたＧ信号から、Ｒ，Ｂ画素Ｖ補間回路３０３から出力されたＲ信号又はＢ信号を減算することにより、入力画像の垂直方向の色差信号を算出する。Ｖ色差算出回路３０５は、第１の色差信号算出手段である。Ｖ色差算出回路３０５は、着目画素（ｊ，ｉ）において、Ｇ画素Ｖ補間回路３０１が出力する信号がＧ信号Ｇｖi,jであり、Ｒ，Ｂ画素Ｖ補間回路３０３が出力する信号がＲ信号Ｒｖi,jの場合、垂直方向の色差信号Ｄｉｆｆ＿ｖを次式（６）により算出する。また、Ｖ色差算出回路３０５は、Ｒ，Ｂ画素Ｖ補間回路３０３が出力する信号がＢ信号の場合も、Ｒ，Ｂ画素Ｖ補間回路３０３が出力する信号がＲ信号の場合と同様の方法により、Ｇ信号とＢ信号の垂直色差信号を算出する。
Ｄｉｆｆ＿ｖi,j＝Ｇｖi,j−Ｒｖi,j      ・・・（６）
【００２６】
次に、ステップＳ４０６では、Ｈ色差算出回路３０６は、Ｇ画素Ｈ補間回路３０２から出力されたＧ信号から、Ｒ，Ｂ画素Ｈ補間回路３０４から出力されたＲ信号又はＢ信号を減算することにより、入力画像の水平方向の色差信号を算出する。Ｈ色差算出回路３０６は、第２の色差信号算出手段である。Ｈ色差算出回路３０６は、着目画素（ｊ，ｉ）において、Ｇ画素Ｈ補間回路３０２が出力する信号がＧ信号Ｇｈi,jであり、Ｒ，Ｂ画素Ｈ補間回路３０４が出力する信号がＲ信号Ｒｖi,jの場合、水平方向の色差信号Ｄｉｆｆ＿ｈを次式（７）により算出する。また、Ｈ色差算出回路３０６は、Ｒ，Ｂ画素Ｈ補間回路３０４が出力する信号がＢ信号の場合も、Ｒ，Ｂ画素Ｈ補間回路３０４が出力する信号がＲ信号の場合と同様の方法により、Ｇ信号とＢ信号の水平色差信号を算出する。
Ｄｉｆｆ＿ｈi,j＝Ｇｈi,j−Ｒｈi,j      ・・・（７）
【００２７】
次に、ステップＳ４０７では、Ｖ色差傾き算出回路３０７は、Ｖ色差算出回路３０５から出力された色差信号を基に、垂直方向の色差の傾きを算出する。Ｖ色差傾き算出回路３０７は、第１の傾き算出手段である。具体的には、Ｖ色差傾き算出回路３０７は、着目画素（ｊ，ｉ）において、Ｖ色差算出回路３０５から出力された色差信号Ｄｉｆｆ＿ｖを基に、垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを次式（８）により算出する。
Ｇｒａｄ＿ｖi,j＝｜Ｄｉｆｆ＿ｖi-1,j−Ｄｉｆｆ＿ｖi+1,j｜      ・・・（８）
【００２８】
次に、ステップＳ４０８では、Ｈ色差傾き算出回路３０８は、Ｈ色差算出回路３０６から出力された色差信号を基に、水平方向の色差の傾きを算出する。Ｈ色差傾き算出回路３０８は、第２の傾き算出手段である。具体的には、Ｈ色差傾き算出回路３０８は、着目画素（ｊ，ｉ）において、Ｈ色差算出回路３０６から出力された色差信号Ｄｉｆｆ＿ｈを基に、水平方向の色差の傾き信号Ｇｒａｄ＿ｈを次式（９）により算出する。
Ｇｒａｄ＿ｈi,j＝｜Ｄｉｆｆ＿ｈi,j-1−Ｄｉｆｆ＿ｈi,j+1｜      ・・・（９）
【００２９】
次に、ステップＳ４０９では、ＨＶ相関値算出回路３０９は、垂直方向の色差の傾き信号Ｇｒａｄ＿ｖと水平方向の色差の傾き信号Ｇｒａｄ＿ｈを基に、水平方向と垂直方向の相関値Ｒａｔｉｏ＿ＨＶを算出する。ＨＶ相関値算出回路３０９は、相関値算出手段である。具体的には、まず、ＨＶ相関値算出回路３０９は、Ｖ色差傾き算出回路３０７から入力される垂直方向の色差の傾き信号Ｇｒａｄ＿ｖと、Ｈ色差傾き算出回路３０８から入力される水平方向の色差の傾き信号Ｇｒａｄ＿ｈの差分の絶対値信号を算出する。ここで、着目画素（ｊ，ｉ）における上記の差分の絶対値信号をＤｉｆｆ＿Ｇｒａｄとする。ＨＶ相関値算出回路３０９は、垂直方向の色差の傾き信号Ｇｒａｄ＿ｖと水平方向の色差の傾き信号Ｇｒａｄ＿ｈとの差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄを次式（１０）により算出する。
Ｄｉｆｆ＿Ｇｒａｄi,j＝｜Ｇｒａｄ＿ｖi,j−Ｇｒａｄ＿ｈi,j｜      ・・・（１０）
【００３０】
例えば、水平方向の色エッジが存在する場合には、垂直方向では色差が変化し、水平方向では色差が変化しない。そのため、垂直方向の色差の傾きＧｒａｄ＿ｖi,jは大きな値となり、水平方向の色差の傾きＧｒａｄ＿ｈi,jは小さい値となり、結果的に差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄは大きな値となる。
【００３１】
同様に、垂直方向に色エッジが存在する場合は、垂直方向の色差の傾きＧｒａｄ＿ｖi,jは小さな値となり、水平方向の色差の傾きＧｒａｄ＿ｈi,jは大きな値となり、結果的に差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄは大きな値となる。
【００３２】
また、斜め方向の色エッジが存在する場合には、垂直方向の色差の変化と、水平方向の色差の変化が同程度となる。そのため、垂直方向の色差の傾きＧｒａｄ＿ｖi,jと、水平方向の色差の傾きＧｒａｄ＿ｈi,jも同程度の値となり、結果的に差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄは小さな値となる。
【００３３】
色エッジが存在しない場合には、垂直方向の色差も、水平方向の色差も変化しないため、垂直方向の色差の傾きＧｒａｄ＿ｖi,jと、水平方向の色差の傾きＧｒａｄ＿ｈi,jが小さい値となり、差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄも小さな値となる。
【００３４】
次に、ＨＶ相関値算出回路３０９は、差分の絶対値信号をＤｉｆｆ＿Ｇｒａｄに基づいて、画素毎にＨＶ相関値Ｒａｔｉｏ＿ＨＶを算出する。
【００３５】
図５は、ＨＶ相関値算出回路３０９が差分の絶対値信号Ｄｉｆｆ＿ＧｒａｄからＨＶ相関値Ｒａｔｉｏ＿ＨＶを算出する際の変換テーブルの一例を示す図である。図５において、横軸は差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄを示し、縦軸はＨＶ相関値Ｒａｔｉｏ＿ＨＶを示す。ＨＶ相関値算出回路３０９は、差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄが第１の閾値Ｔｈ１より小さい場合には、水平方向及び垂直方向の色エッジが存在しないと見なせるので、ＨＶ相関値Ｒａｔｉｏ＿ＨＶとして０．０を出力する。また、ＨＶ相関値算出回路３０９は、差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄが第２の閾値Ｔｈ２より大きい場合には、水平方向及び垂直方向の色エッジが存在するとみなせるので、ＨＶ相関値Ｒａｔｉｏ＿ＨＶとして１．０を出力する。ここで、第２の閾値Ｔｈ２は、第１の閾値Ｔｈ１より大きい。ＨＶ相関値算出回路３０９は、差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄが第１の閾値Ｔｈ１以上かつ第２の閾値Ｔｈ２以下である場合には、差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄの大きさに応じて線形的に０．０〜１．０の間のＨＶ相関値Ｒａｔｉｏ＿ＨＶを出力する。
【００３６】
次に、ステップＳ４１０では、Ｎフィルタ回路３１０は、Ｖ色差算出回路３０５から出力された色差信号に対して、ＨＶ相関値算出回路３０９から出力されたＨＶ相関値Ｒａｔｉｏ＿ＨＶに基づいて上方向のフィルタ処理を行う。具体的には、まず、Ｎフィルタ回路３１０は、Ｖ色差算出回路３０５から出力された色差信号Ｄｉｆｆ＿ｖを用いて、着目画素（ｊ，ｉ）における上方向のフィルタ処理の結果Ｆｉｌ＿ｎを次式（１１）により算出する。
【００３７】
【数１】
2018056653.tif 000003
【００３８】
次に、Ｎフィルタ回路３１０は、ＨＶ相関値Ｒａｔｉｏ＿ＨＶに基づいて、色差信号Ｄｉｆｆ＿ｎを次式（１２）により算出して出力する。
Ｄｉｆｆ＿ｎi,j＝Ｒａｔｉｏ＿ＨＶi,j×Ｆｉｌ＿ｎi,j
＋（１．０−Ｒａｔｉｏ＿ＨＶi,j）×Ｄｉｆｆ＿ｖi,j  ・・・（１２）
【００３９】
次に、ステップＳ４１１では、Ｓフィルタ回路３１１は、Ｖ色差算出回路３０５から出力された色差信号に対して、ＨＶ相関値算出回路３０９から出力されたＨＶ相関値に基づいて下方向のフィルタ処理を行う。具体的には、まず、Ｓフィルタ回路３１１は、Ｖ色差算出回路３０５から出力された色差信号Ｄｉｆｆ＿ｖを用いて、着目画素（ｊ，ｉ）における下方向のフィルタ処理の結果Ｆｉｌ＿ｓを次式（１３）により算出する。
【００４０】
【数２】
2018056653.tif 000004
【００４１】
次に、Ｓフィルタ回路３１１は、ＨＶ相関値Ｒａｔｉｏ＿ＨＶに基づいて、色差信号Ｄｉｆｆ＿ｓを次式（１４）により算出して出力する。
Ｄｉｆｆ＿ｓi,j＝Ｒａｔｉｏ＿ＨＶi,j×Ｆｉｌ＿ｓi,j
＋（１．０−Ｒａｔｉｏ＿ＨＶi,j）×Ｄｉｆｆ＿ｖi,j  ・・・（１４）
【００４２】
次に、ステップＳ４１２では、Ｗフィルタ回路３１２は、Ｈ色差算出回路３０６から出力された色差信号に対して、ＨＶ相関値算出回路３０９から出力されたＨＶ相関値に基づいて左方向のフィルタ処理を行う。具体的には、まず、Ｗフィルタ回路３１２は、Ｈ色差算出回路３０６から出力された色差信号Ｄｉｆｆ＿ｈを用いて、着目画素（ｊ，ｉ）における左方向のフィルタ処理の結果Ｆｉｌ＿ｗを次式（１５）により算出する。
【００４３】
【数３】
2018056653.tif 000005
【００４４】
次に、Ｗフィルタ回路３１２は、ＨＶ相関値Ｒａｔｉｏ＿ＨＶに基づいて、色差信号Ｄｉｆｆ＿Ｗを次式（１６）により算出して出力する。
Ｄｉｆｆ＿ｗi,j＝Ｒａｔｉｏ＿ＨＶi,j×Ｆｉｌ＿ｗi,j
＋（１．０−Ｒａｔｉｏ＿ＨＶi,j）×Ｄｉｆｆ＿ｈi,j  ・・・（１６）
【００４５】
次に、ステップＳ４１３では、Ｅフィルタ回路３１３は、Ｈ色差算出回路３０６から出力された色差信号に対して、ＨＶ相関値算出回路３０９から出力されたＨＶ相関値に基づいて右方向のフィルタ処理を行う。具体的には、まず、Ｅフィルタ回路３１３は、Ｈ色差算出回路３０６から出力された色差信号Ｄｉｆｆ＿ｈを用いて、着目画素（ｊ，ｉ）における右方向のフィルタ処理の結果Ｆｉｌ＿ｅを次式（１７）により算出する。
【００４６】
【数４】
2018056653.tif 000006
【００４７】
次に、Ｅフィルタ回路３１３は、ＨＶ相関値Ｒａｔｉｏ＿ＨＶに基づいて、色差信号Ｄｉｆｆ＿ｅを次式（１８）により算出して出力する。
Ｄｉｆｆ＿ｅi,j＝Ｒａｔｉｏ＿ＨＶi,j×Ｆｉｌ＿ｅi,j
＋（１．０−Ｒａｔｉｏ＿ＨＶi,j）×Ｄｉｆｆ＿ｈi,j  ・・・（１８）
【００４８】
次に、ステップＳ４１４では、Ｎ重み算出回路３１４は、Ｖ色差傾き算出回路３０７から出力された垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを基に、上方向の重みＷｎを次式（１９）により算出する。
【００４９】
【数５】
2018056653.tif 000007
【００５０】
次に、ステップＳ４１５では、Ｓ重み算出回路３１５は、Ｖ色差傾き算出回路３０７から出力された垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを基に、下方向の重みＷｓを次式（２０）により算出する。
【００５１】
【数６】
2018056653.tif 000008
【００５２】
次に、ステップＳ４１６では、Ｗ重み算出回路３１６は、Ｈ色差傾き算出回路３０８から出力された水平方向の色差の傾き信号Ｇｒａｄ＿ｈを基に、左方向の重みＷｗを次式（２１）により算出する。
【００５３】
【数７】
2018056653.tif 000009
【００５４】
次に、ステップＳ４１７では、Ｅ重み算出回路３１７は、Ｈ色差傾き算出回路３０８から出力された水平方向の色差の傾き信号Ｇｒａｄ＿ｈを基に、右方向の重みＷｅを次式（２２）により算出する。
【００５５】
【数８】
2018056653.tif 000010
【００５６】
次に、ステップＳ４１８では、合成回路３１８は、Ｎ重み算出回路３１４から入力される重みＷｎ、Ｓ重み算出回路３１５から入力される重みＷｓ、Ｗ重み算出回路３１６から入力される重みＷｗ、及びＥ重み算出回路３１７から入力される重みＷｅを入力する。また、合成回路３１８は、Ｎフィルタ回路３１０から入力される色差信号Ｄｉｆｆ＿ｎと、Ｓフィルタ回路３１１から入力される色差信号Ｄｉｆｆ＿ｓとを入力する。また、合成回路３１８は、Ｗフィルタ回路３１２から入力される色差信号Ｄｉｆｆ＿ｗと、Ｅフィルタ回路３１３から入力される色差信号Ｄｉｆｆ＿ｅとを入力する。合成回路３１８は、重みＷｎ、重みＷｓ、重みＷｗ及び重みＷｅに基づいて、色差信号Ｄｉｆｆ＿ｎと、色差信号Ｄｉｆｆ＿ｓと、色差信号Ｄｉｆｆ＿ｗと、色差信号Ｄｉｆｆ＿ｅとを合成し、色差信号Ｄｉｆｆ＿ｍｉｘを次式（２３）により算出する。合成回路３１８は、合成手段である。
Ｄｉｆｆ＿ｍｉｘi,j＝（Ｗｎi,j×Ｄｉｆｆ＿ｎi,j＋Ｗｓi,j×Ｄｉｆｆ＿ｓi,j
＋Ｗｗi,j×Ｄｉｆｆ＿ｗi,j＋Ｗｅi,j×Ｄｉｆｆ＿ｅi,j）／Ｗｔi,j
Ｗｔi,j＝Ｗｎi,j＋Ｗｓi,j＋Ｗｗi,j＋Ｗｅi,j
・・・（２３）
【００５７】
次に、ステップＳ４１９では、加算回路３１９は、Ｇ補間回路２０２に入力された入力画像の着目画素がＲ画素又はＢ画素の場合には、着目画素の信号に対して合成回路３１８で合成された色差信号Ｄｉｆｆ＿ｍｉｘを加算してＧ信号を算出して出力する。また、加算回路３１９は、着目画素がＧ画素の場合には、Ｇ補間回路２０２に入力された画像信号をそのまま出力する。加算回路３１９は、第１の加算手段である。加算回路３１９の出力信号は、Ｇ補間回路２０２の出力信号である。
【００５８】
以上のように、Ｎフィルタ回路３１０は上方向のフィルタ処理を行い、Ｓフィルタ回路３１１は下方向のフィルタ処理を行い、Ｗフィルタ回路３１２は左方向のフィルタ処理を行い、Ｅフィルタ回路３１３は右方向のフィルタ処理を行う。Ｎフィルタ回路３１０とＳフィルタ回路３１１は、第１のフィルタ処理手段であり、垂直方向の色差信号に対してフィルタ処理を行う。Ｗフィルタ回路３１２とＥフィルタ回路３１３は、第２のフィルタ処理手段であり、水平方向の色差信号に対してフィルタ処理を行う。ここで、斜め方向の色エッジが存在する場合には、水平方向及び垂直方向には相関がない。したがって、斜め方向の色エッジが存在する場合に、これらのフィルタ回路３１０〜３１３が、ＨＶ相関値算出回路３０９により算出されるＨＶ相関値Ｒａｔｉｏ＿ＨＶを用いずにフィルタ処理を行ってしまうと、フィルタ処理による折り返しが発生する。その結果、斜めの縞状の被写体に対するブロック状の偽のパターンが発生し、画質が低下してしまう。
【００５９】
本実施形態では、ＨＶ相関値算出回路３０９を設ける。ＨＶ相関値算出回路３０９は、差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄ及びＨＶ相関値Ｒａｔｉｏ＿ＨＶを算出し、斜め方向の色エッジの存在を検出することができる。水平方向の色エッジが存在する場合及び垂直方向に色エッジが存在する場合には、差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄ及びＨＶ相関値Ｒａｔｉｏ＿ＨＶが大きな値となり、フィルタ回路３１０〜３１３は強い強度でフィルタ処理を行う。フィルタ回路３１０〜３１３は、ＨＶ相関値Ｒａｔｉｏ＿ＨＶに基づいて、フィルタ処理の強度を変化させる。
【００６０】
図５に示すように、差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄが第１の閾値Ｔｈ１より小さい場合には、ＨＶ相関値Ｒａｔｉｏ＿ＨＶが０．０であり、フィルタ回路３１０〜３１３は、フィルタ処理を行わない。差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄが第１の閾値以上（第１の閾値Ｔｈ１以上）である場合には、ＨＶ相関値Ｒａｔｉｏ＿ＨＶが０．０より大きくなり、フィルタ回路３１０〜３１３は、フィルタ処理を行う。
【００６１】
斜め方向の色エッジが存在する場合及び色エッジが存在しない場合には、差分の絶対値信号Ｄｉｆｆ＿Ｇｒａｄ及びＨＶ相関値Ｒａｔｉｏ＿ＨＶが小さな値となり、フィルタ回路３１０〜３１３はフィルタ処理を行わない（フィルタ処理の強度を弱める）。このように、斜め方向の色エッジが存在する場合には、フィルタ回路３１０〜３１３はフィルタ処理を行わないか、又はフィルタ処理の強度を弱めるので、フィルタ処理による折り返しの発生を防止することができる。その結果、斜めの縞状の被写体に対するブロック状の偽のパターンの発生を低減し、画質を向上させることができる。
【００６２】
本実施形態によれば、ベイヤ配列の画像信号からＧ信号及び輝度信号を生成する際に、方向に因らず解像感の高い画像を生成し、かつ、斜めの縞状の被写体に対するブロック状の偽のパターンを低減した画像を得ることができる。
【００６３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６４】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６５】
３０５  Ｖ色差算出回路、３０６  Ｈ色差算出回路、３１０  Ｎフィルタ回路、３１１  Ｓフィルタ回路、３１２  Ｗフィルタ回路、３１３  Ｗフィルタ回路
【図１】
2018056653.tif 000011
【図２】
2018056653.tif 000012
【図３】
2018056653.tif 000013
【図４】
2018056653.tif 000014
【図５】
2018056653.tif 000015