(57)【要約】【課題】偽解像を低減し、かつ、解像感の高い画像信号を生成することができる信号処理装置、信号処理方法およびプログラムを提供することを課題とする。【解決手段】信号処理装置は、画像信号の第２の色信号に対応する着目画素に対して、着目画素の周囲の画素における第１の色信号を用いて、第１の色信号を補間する第１の補間手段（３０１）と、画像信号の第２の色信号に対応する着目画素に対して、着目画素における第２の色信号と色差信号を用いて、第１の色信号を補間する第２の補間手段（３０２）と、画像信号の複数の方向の色差信号のそれぞれの傾きを基に、第１の補間手段により補間された色信号と第２の補間手段により補間された色信号を合成する第１の合成手段（３０４）とを有する。【選択図】図３
2018195918.tif 000002
【特許請求の範囲】
【請求項１】
画像信号の第２の色信号に対応する着目画素に対して、前記着目画素の周囲の画素における第１の色信号を用いて、前記第１の色信号を補間する第１の補間手段と、
前記画像信号の前記第２の色信号に対応する着目画素に対して、前記着目画素における前記第２の色信号と色差信号を用いて、前記第１の色信号を補間する第２の補間手段と、
前記画像信号の複数の方向の色差信号のそれぞれの傾きを基に、前記第１の補間手段により補間された色信号と前記第２の補間手段により補間された色信号を合成する第１の合成手段と
を有することを特徴とする信号処理装置。
【請求項２】
前記第２の補間手段は、
前記画像信号に対して第１の方向にそれぞれの色信号を補間する第３の補間手段と、
前記画像信号に対して第２の方向にそれぞれの色信号を補間する第４の補間手段と、
前記第３の補間手段により補間された画像信号の前記第１の方向の色差信号を算出する第１の色差算出手段と、
前記第４の補間手段により補間された画像信号の前記第２の方向の色差信号を算出する第２の色差算出手段と、
前記第１の色差算出手段により算出された前記第１の方向の色差信号の傾きを算出する第１の傾き算出手段と、
前記第２の色差算出手段により算出された前記第２の方向の色差信号の傾きを算出する第２の傾き算出手段と、
前記第１の傾き算出手段により算出された前記第１の方向の色差信号の傾きと前記第２の傾き算出手段により算出された前記第２の方向の色差信号の傾きを基に、前記第１の色差算出手段により算出された前記第１の方向の色差信号に基づく信号と前記第２の色差算出手段により算出された前記第２の方向の色差信号に基づく信号を合成する第２の合成手段とを有することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記第２の補間手段は、前記第２の合成手段により合成された信号のうち前記着目画素に対応する信号と、前記着目画素における前記第２の色信号を加算する第１の加算手段を有することを特徴とする請求項２に記載の信号処理装置。
【請求項４】
前記第１の合成手段は、前記第１の傾き算出手段により算出された前記第１の方向の色差信号の傾きと前記第２の傾き算出手段により算出された前記第２の方向の色差信号の傾きを基に、前記第１の補間手段により補間された前記第１の色信号と前記第２の補間手段により補間された前記第１の色信号を合成することを特徴とする請求項３に記載の信号処理装置。
【請求項５】
前記第２の補間手段は、
前記第１の色差算出手段により算出された前記第１の方向の色差信号に対して、前記第１の方向のフィルタ処理を行う第１のフィルタ手段と、
前記第２の色差算出手段により算出された前記第２の方向の色差信号に対して、前記第２の方向のフィルタ処理を行う第２のフィルタ手段とを有し、
前記第２の合成手段は、前記第１のフィルタ手段によりフィルタ処理された色差信号と前記第２のフィルタ手段によりフィルタ処理された色差信号を合成することを特徴とする請求項２乃至４のいずれか１項に記載の信号処理装置。
【請求項６】
前記第１の合成手段は、前記第１の方向の色差信号の傾きと前記第２の方向の色差信号の傾きのうちの大きい方の傾きが第１の閾値より小さい場合には、前記第１の補間手段により補間された色信号を出力し、前記第１の方向の色差信号の傾きと前記第２の方向の色差信号の傾きのうちの大きい方の傾きが第２の閾値より大きい場合には、前記第２の補間手段により補間された色信号を出力することを特徴とする請求項１乃至５のいずれか１項に記載の信号処理装置。
【請求項７】
前記第１の補間手段は、
前記画像信号に対して前記第１の方向および第２の方向に補間を行う第５の補間手段と、
前記画像信号に対して前記第１の方向に補間を行う第６の補間手段と、
前記画像信号に対して前記第２の方向に補間を行う第７の補間手段とを有することを特徴とする請求項１乃至６のいずれか１項に記載の信号処理装置。
【請求項８】
前記第１の方向は垂直方向であり、前記第２の方向は水平方向であることを特徴とする請求項２乃至７のいずれか１項に記載の信号処理装置。
【請求項９】
第１の補間手段により、画像信号の第２の色信号に対応する着目画素に対して、前記着目画素の周囲の画素における第１の色信号を用いて、前記第１の色信号を補間する第１の補間ステップと、
第２の補間手段により、前記画像信号の前記第２の色信号に対応する着目画素に対して、前記着目画素における前記第２の色信号と色差信号を用いて、前記第１の色信号を補間する第２の補間ステップと、
第１の合成手段により、前記画像信号の複数の色差信号のそれぞれの傾きを基に、前記第１の補間ステップで補間された色信号と前記第２の補間ステップで補間された色信号を合成する第１の合成ステップと
を有することを特徴とする信号処理方法。
【請求項１０】
コンピュータを、請求項１乃至８のいずれか１項に記載の信号処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、信号処理方法およびプログラムに関する。
【背景技術】
【０００２】
特許文献１では、信号処理装置は、輝度信号の主成分となるＧ信号の補間を行う際に、縦方向、または横方向の相関を判別し、縦方向の相関がある場合には縦方向にＬＰＦ処理を行い、横方向の相関がある場合には横方向にＬＰＦ処理を行う。また、その信号処理装置は、縦方向にも横方向にも相関がない場合には２次元のＬＰＦ処理を行うことで、縦方向、横方向のエッジがぼけないようにする。しかしながら、特許文献１では、縦または横方向の相関がない場合には２次元のＬＰＦ処理を行うため、例えば斜め方向のエッジは、縦方向、横方向のエッジに比べてぼやけてしまう。
【０００３】
そこで、非特許文献１では、ＲまたはＢ画素の位置のＧ信号の算出方法として、着目画素を含む上、下、左、右方向に、Ｇ画素との着目画素と同色の画素との色差信号をそれぞれ算出する。そして、非特許文献１では、各方向の色差信号を合成した色差信号を着目画素に加算することにより、Ｇ信号を算出する。このとき、非特許文献１では、各方向の色差信号を、該当する方向の色差信号の傾きに応じて合成することにより、方向に因らず解像感の高い画像を生成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３８６２５０６号公報
【非特許文献】
【０００５】
【非特許文献１】“Gradient based threshold free color filter array interpolation”，I. Pekkucuksen，Y. Altunbasak，ＩＣＩＰ  ２０１０
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１では、水平方向および垂直方向のナイキスト周波数の近傍の帯域では、各方向の色差信号の傾きが小さい値となるため、水平方向か、垂直方向の何れの方向かを精度よく判定できず、偽解像が生じる場合がある。
【０００７】
本発明の目的は、偽解像を低減し、かつ、解像感の高い画像信号を生成することができる信号処理装置、信号処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００８】
本発明の信号処理装置は、画像信号の第２の色信号に対応する着目画素に対して、前記着目画素の周囲の画素における第１の色信号を用いて、前記第１の色信号を補間する第１の補間手段と、前記画像信号の前記第２の色信号に対応する着目画素に対して、前記着目画素における前記第２の色信号と色差信号を用いて、前記第１の色信号を補間する第２の補間手段と、前記画像信号の複数の色差信号のそれぞれの傾きを基に、前記第１の補間手段により補間された色信号と前記第２の補間手段により補間された色信号を合成する第１の合成手段とを有する。
【発明の効果】
【０００９】
偽解像を低減し、かつ、解像感の高い画像信号を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】原色ベイヤ配列の１単位を示す図である。
【図２】信号処理装置の構成例を示すブロック図である。
【図３】Ｇ補間回路の構成例を示すブロック図である。
【図４】第１のＧ補間回路の構成例を示すブロック図である。
【図５】第１のＧ補間回路の処理の流れの一例を示すフローチャートである。
【図６】第２のＧ補間回路の構成例を示すブロック図である。
【図７】第２のＧ補間回路の処理の流れの一例を示すフローチャートである。
【図８】合成係数算出回路の構成例を示すブロック図である。
【図９】係数算出回路の入出力特性の一例を示す図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施形態による撮像素子のベイヤ配列の１単位を示す図である。撮像素子は、図１のベイヤ配列の色フィルタを有し、光電変換により、Ｒ（赤）信号、Ｇ１（緑）信号、Ｇ２（緑）信号およびＢ（青）信号を出力する。撮像素子は、行列状に配置された複数の画素を有し、各画素には、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３色のうちの一つの色フィルタが設けられる。撮像素子は、例えば、ＣＭＯＳイメージセンサであり、撮像装置に用いられる。撮像装置は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。
【００１２】
ベイヤ配列を有する撮像素子は、各画素において、Ｒ、Ｇ、Ｂのうちの一つの色信号しか得られないため、各画素において、Ｒ、Ｇ、Ｂのすべての色信号を求める場合には、図２の信号処理装置２００で補間処理を行う必要がある。例えば、信号処理装置２００は、補間対象の色信号以外の色信号レベルをすべて０とし、各画素に２次元のローパスフィルタ（ＬＰＦ）の処理を行うことにより、補間値を得ることができる。しかしながら、単純に２次元のＬＰＦ処理を行うだけでは、補間された後の画像の周波数特性は高周波成分が失われたものとなり、画像がぼやけてしまう。以下、画像のぼやけを低減することができる信号処理装置２００を説明する。
【００１３】
図２は、本発明の実施形態による信号処理装置２００の構成例を示すブロック図である。以下、信号処理装置２００の信号処理方法を説明する。信号処理装置２００は、ＷＢ回路（ホワイトバランス回路）２０１と、Ｇ補間回路２０２と、Ｒ補間回路２０３と、Ｂ補間回路２０４と、ＡＰＣ回路２０５と、輝度信号生成回路２０６と、加算器２０７とを有する。撮像素子は、Ｒ信号、Ｇ１信号、Ｇ２信号およびＢ信号をアナログからデジタルに変換した画像信号を信号処理装置２００に出力する。ＷＢ回路２０１は、撮像素子からデジタルの画像信号を入力し、画像信号のホワイトバランスを補正し、その補正した画像信号を出力する。画像信号は、Ｒ信号、Ｇ１信号、Ｇ２信号およびＢ信号を含む。Ｒ画素は、Ｒ信号の画素である。Ｂ画素は、Ｂ信号の画素である。Ｇ画素は、Ｇ１信号またはＧ２信号の画素である。
【００１４】
Ｇ補間回路２０２は、ＷＢ回路２０１から出力された画像信号を入力し、撮像素子の各画素位置において、Ｒ画素とＢ画素の位置のＧ信号を補間により算出する。Ｇ補間回路２０２の処理の詳細は後述する。Ｒ補間回路２０３は、ＷＢ回路２０１の出力信号を入力し、撮像素子のＧ画素とＢ画素の位置のＲ信号を補間により算出する。また、Ｂ補間回路２０４は、ＷＢ回路２０１の出力信号を入力し、撮像素子のＲ画素とＧ画素の位置のＢ信号を補間により算出する。例えば、Ｒ補間回路２０３およびＢ補間回路２０４は、２次元のＬＰＦ処理により補間を行う。
【００１５】
ＡＰＣ回路２０５は、Ｇ補間回路２０２から出力されるＧ信号のアパーチャ補正信号を生成する。加算器２０７は、ＡＰＣ回路２０４から出力されるアパーチャ補正信号と、Ｇ補間回路２０２から出力されるＧ信号とを加算し、加算結果を出力する。輝度信号生成回路２０６は、加算器２０７、Ｒ補間回路２０３、およびＢ補間回路２０４からそれぞれ出力されるＧ信号、Ｒ信号、Ｂ信号を基に、式（１）により、輝度信号Ｙを生成する。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ  ・・・（１）
【００１６】
図３は、Ｇ補間回路２０２の構成例を示すブロック図である。Ｇ補間回路２０２は、第１のＧ補間回路３０１と、第２のＧ補間回路３０２と、合成係数算出回路３０３と、合成回路３０４とを有する。第１のＧ補間回路３０１は、画像信号のＲ画素またはＢ画素である着目画素におけるＧ信号を、着目画素の周囲の画素のＧ信号を用いて補間し、第１のＧ信号を出力する。第２のＧ補間回路３０２は、画像信号のＲ画素またはＢ画素である着目画素におけるＧ信号を、着目画素のＲまたはＢ信号と色差信号を用いて補間し、第２のＧ信号を出力する。合成回路３０４は、画像信号の垂直方向および水平方向の色差信号のそれぞれの傾きを基に、第１のＧ補間回路３０１により補間された第１のＧ信号と第２のＧ補間回路３０２により補間された第２のＧ信号を合成する。その詳細は、後述する。
【００１７】
図４は、第１のＧ補間回路３０１の構成例を示すブロック図である。第１のＧ補間回路３０１は、０挿入回路４０１と、ＨＶ補間回路４０２と、Ｈ補間回路４０３と、Ｖ補間回路４０４と、減算器４０５，４０６と、セレクタ４０７と、縦横判別回路４０８と、絶対値化回路４０９と、乗算器４１０と、加算器４１１とを有する。
【００１８】
図５は、第１のＧ補間回路３０１の処理の流れを示すフローチャートである。ステップＳ５００では、０挿入回路４０１は、入力された画像信号のうちのＲ画素とＢ画素の信号レベルを０にする。次に、ステップＳ５０１では、ＨＶ補間回路４０２は、０挿入回路４０１が出力する画像信号に対して、水平方向および垂直方向に補間処理を行うことにより、Ｇ信号を算出する。このとき、ＨＶ補間回路４０２は、水平方向および垂直方向の補間処理には、例えば（１，２，１）／２の係数のフィルタを用いる。ＨＶ補間回路４０２は、上記のフィルタを用いて補間処理を行うことにより、水平方向および垂直方向のナイキスト周波数の偽解像を抑制したＧ信号を生成することができる。
【００１９】
次に、ステップＳ５０２では、縦横判別回路４０８は、補間対象の画素信号が垂直方向に相関が大きいかあるいは水平方向の相関が大きいか、つまり、画像が縦縞模様であるかあるいは横縞模様であるかを判別する。具体的には、縦横判別回路４０８は、着目画素を中心とした水平方向の画素の信号レベルの差と、着目画素を中心とした垂直方向の画素の信号レベルの差との差分から縦縞か横縞かを判別する縦横判別信号を生成する。例えば、着目画素のＹ座標およびＸ座標を（ｉ，ｊ）としたとき、縦横判別回路４０８は、着目画素がＲ画素の場合の縦横判別信号ｄｉｆｆＨＶi,jを式（２）により算出する。
ｄｉｆｆＨＶi,j＝ｄｉｆｆＨi,j−ｄｉｆｆＶi,j
ｄｉｆｆＨi,j＝｜Ｇi,j-1−Ｇi,j+1｜＋｜２×Ｒi,j−Ｒi,j-2−Ｒi,j+2｜
ｄｉｆｆＶi,j＝｜Ｇi-1,j−Ｇi+1,j｜＋｜２×Ｒi,j−Ｒi-2,j−Ｒi+2,j｜
・・・（２）
【００２０】
ここで、縦横判別信号ｄｉｆｆＨＶは、水平方向の画素のレベル差ｄｉｆｆＨから垂直方向の画素のレベル差ｄｉｆｆＶを引いたものである。つまり、縦横判別信号ｄｉｆｆＨＶが負の場合は画像が横縞模様であり、縦横判別信号ｄｉｆｆＨＶが正の場合は画像が縦縞模様であることを表す。また、縦横判別回路４０８は、上記の縦横判別信号ｄｉｆｆＨＶをある閾値でクリップし、さらに正規化することで、縦横判別信号ｄｉｆｆＨＶの値の範囲を−１．０から１．０までの範囲にする。なお、縦横判別信号ｄｉｆｆＨＶを算出する式は、上記の式（１）に限定されるものではなく、例えば、隣接する画素の差分信号から算出してもよい。
【００２１】
縦横判別回路４０８は、上記の様に隣接する画素の差分信号を基に縦横判別信号ｄｉｆｆＨＶを生成することにより、水平方向および垂直方向のナイキスト周波数まで縦縞模様および横縞模様を判別することができる。ただし、有彩色被写体のように、Ｒ、Ｇ、Ｂ画素にレベル差がある場合には、色によるレベル差を縦縞または横縞と誤判別してしまうため、白黒被写体に限定する必要がある。
【００２２】
縦横判別回路４０８は、縦横判別信号ｄｉｆｆＨＶが負の場合、つまり画像が横縞模様である場合にはステップＳ５０３に処理を進め、縦横判別信号ｄｉｆｆＨＶが正の場合、つまり画像が縦縞模様である場合にはステップＳ５０４に処理を進める。
【００２３】
ステップＳ５０３では、まず、Ｈ補間回路４０３は、０挿入回路４０１が出力する画像信号に対して、水平方向に補間処理を行う。このとき、Ｈ補間回路４０３は、水平方向の補間処理には、例えば（１，４，６，４，１）／８の係数のフィルタを用いる。次に、減算器４０５は、Ｈ補間回路４０３の出力信号から、ＨＶ補間回路４０２の出力信号を減算する。セレクタ４０７は、減算器４０５の出力信号を選択する。その後、第１のＧ補間回路３０１は、ステップＳ５０５に処理を進める。
【００２４】
ステップＳ５０４では、まず、Ｖ補間回路４０４は、０挿入回路４０１が出力する画像信号に対して、垂直方向に補間処理を行う。このとき、Ｖ補間回路４０４は、垂直方向の補間処理には、例えば（１，４，６，４，１）／８の係数のフィルタを用いる。次に、減算器４０６は、Ｖ補間回路４０４の出力信号から、ＨＶ補間回路４０２の出力信号を減算する。セレクタ４０７は、減算器４０６の出力信号を選択する。その後、第１のＧ補間回路３０１は、ステップＳ５０５に処理を進める。
【００２５】
ステップＳ５０５では、まず、絶対値化回路４０９は、縦横判別回路４０８から出力された縦横判別信号ｄｉｆｆＨＶを絶対値化した信号を出力する。次に、乗算器４１０は、セレクタ４０７が選択した信号と絶対値回路４０９が出力した信号とを乗算する。
【００２６】
次に、ステップＳ５０６では、加算器４１１は、ＨＶ補間回路４０２の出力信号と乗算器４１０の出力信号とを加算し、第１のＧ信号を出力する。
【００２７】
上記の結果、縦横判別回路４０８が、水平方向または垂直方向のナイキスト周波数付近の周波数帯域において、縦縞または横縞を判別しにくい場合、つまり、縦横判別信号ｄｉｆｆＨＶが小さい場合には、乗算器４１０の出力値が小さくなる。その結果、加算器４１１の出力信号におけるＨＶ補間回路４０２の出力信号の割合が高くなることで、第１のＧ補間回路３０１は、水平方向および垂直方向のナイキスト周波数の偽解像が抑制されたＧ信号を出力することができる。
【００２８】
また、縦横判別回路４０８は、隣接する画素の差分信号を基に縦横判別信号ｄｉｆｆＨＶを生成する。これにより、第１のＧ補間回路３０１は、水平方向および垂直方向のナイキスト周波数まで縦縞横縞の判別が可能な場合には、ナイキスト周波数付近の周波数帯域についても縦縞または横縞の方向に応じて補間処理を行うことができる。
【００２９】
図６は、第２のＧ補間回路３０２の構成例を示すブロックである。第２のＧ補間回路３０２は、Ｇ画素Ｖ補間回路６０１と、Ｇ画素Ｈ補間回路６０２と、Ｒ，Ｂ画素Ｖ補間回路６０３と、Ｒ，Ｂ画素Ｈ補間回路６０４と、Ｖ色差算出回路６０５と、Ｈ色差算出回路６０６とを有する。さらに、第２のＧ補間回路３０２は、Ｖ色差傾き算出回路６０７と、Ｈ色差傾き算出回路６０８と、Ｎフィルタ回路６０９と、Ｓフィルタ回路６１０と、Ｗフィルタ回路６１１と、Ｅフィルタ回路６１２とを有する。さらに、第２のＧ補間回路３０２は、Ｎ重み算出回路６１３と、Ｓ重み算出回路６１４と、Ｗ重み算出回路６１５と、Ｅ重み算出回路６１６と、合成回路６１７と、加算器６１８とを有する。
【００３０】
図７は、第２のＧ補間回路３０２の処理の流れを示すフローチャートである。ステップＳ７０１では、Ｇ画素Ｖ補間回路６０１は、入力画像信号に対して、垂直方向に補間処理を行うことにより、Ｇ信号を生成する。具体的には、Ｇ画素Ｖ補間回路６０１は、着目画素がＧ画素の場合には、Ｇ画素の信号をそのままＧ信号として出力し、着目画素がＲ画素またはＢ画素の場合には、垂直方向に補間処理を行うことにより、Ｇ信号を生成する。例えば、画像における着目画素のＸ座標およびＹ座標を（ｊ，ｉ）としたとき、Ｇ画素Ｖ補間回路６０１は、着目画素がＲ画素の場合、Ｇ信号Ｇｖi,jを式（３）により生成する。
Ｇｖi,j＝（Ｇi-1,j＋Ｇi+1,j）／２＋（２×Ｒi,j−Ｒi-2,j−Ｒi+2,j）／４
・・・（３）
【００３１】
なお、Ｇ画素Ｖ補間回路６０１は、着目画素がＢ画素の場合も、上記と同様の方法で、Ｇ信号を生成する。
【００３２】
次に、ステップＳ７０２では、Ｇ画素Ｈ補間回路６０２は、入力画像信号に対して、水平方向に補間処理を行うことにより、Ｇ信号を生成する。具体的には、Ｇ画素Ｈ補間回路６０２は、着目画素がＧ画素の場合には、Ｇ画素の信号をそのままＧ信号として出力し、着目画素がＲ画素またはＢ画素の場合には、水平方向に補間処理を行うことにより、Ｇ信号を生成する。例えば、Ｇ画素Ｈ補間回路６０２は、着目画素がＲ画素の場合、Ｇ信号Ｇｈi,jを式（４）により生成する。
Ｇｈi,j＝（Ｇi,j-1＋Ｇi,j+1）／２＋（２×Ｒi,j−Ｒi,j-2−Ｒi,j+2）／４
・・・（４）
【００３３】
なお、Ｇ画素Ｈ補間回路６０２は、着目画素がＢ画素の場合も、上記と同様の方法で、Ｇ信号を生成する。
【００３４】
次に、ステップＳ７０３では、Ｒ，Ｂ画素Ｖ補間回路６０３は、入力画像信号に対して、垂直方向に補間処理を行うことにより、Ｒ信号またはＢ信号を生成する。具体的には、Ｒ，Ｂ画素Ｖ補間回路６０３は、着目画素がＲ画素またはＢ画素の場合には、Ｒ画素またはＢ画素の信号をそのままＲ信号またはＢ信号として出力する。Ｒ，Ｂ画素Ｖ補間回路６０３は、着目画素がＧ画素の場合に、着目画素の垂直方向がＲ画素の場合には、垂直方向に補間処理を行うことでＲ信号を生成し、同様に、着目画素の垂直方向がＢ画素の場合には、垂直方向に補間処理を行うことでＢ信号を生成する。例えば、着目画素がＧ画素で、着目画素の垂直方向がＲ画素の場合、Ｒ，Ｂ画素Ｖ補間回路６０３は、Ｒ信号Ｒｖi,jを式（５）により生成する。
Ｒｖi,j＝（Ｒi-1,j＋Ｒi+1,j）／２＋（２×Ｇi,j−Ｇi-2,j−Ｇi+2,j）／４
・・・（５）
【００３５】
なお、Ｒ，Ｂ画素Ｖ補間回路６０３は、着目画素の垂直方向がＢ画素の場合、上記と同様の方法で、Ｂ信号を生成する。
【００３６】
次に、ステップＳ７０４では、Ｒ，Ｂ画素Ｈ補間回路６０４は、入力画像信号に対して、水平方向に補間処理を行うことにより、Ｒ信号またはＢ信号を生成する。具体的には、Ｒ，Ｂ画素Ｈ補間回路６０４は、着目画素がＲ画素またはＢ画素の場合には、Ｒ画素またはＢ画素の信号をそのままＲ信号またはＢ信号として出力する。Ｒ，Ｂ画素Ｈ補間回路６０４は、着目画素がＧ画素の場合に、着目画素の水平方向がＲ画素の場合には、水平方向に補間処理を行うことでＲ信号を生成し、同様に、着目画素の水平方向がＢ画素の場合には、水平方向に補間処理を行うことでＢ信号を生成する。例えば、着目画素がＧ画素で、着目画素の水平方向がＲ画素の場合、Ｒ，Ｂ画素Ｈ補間回路６０４は、Ｒ信号Ｒｈi,jを式（６）により生成する。
Ｒｈi,j＝（Ｒi,j-1＋Ｒi,j+1）／２＋（２×Ｇi,j−Ｇi,j-2−Ｇi,j+2）／４
・・・（６）
【００３７】
なお、Ｒ，Ｂ画素Ｈ補間回路６０４は、着目画素の垂直方向がＢ画素の場合、上記と同様の方法で、Ｂ信号を生成する。また、ステップＳ７０１〜Ｓ７０４の補間方法として、式（３）〜（６）の方法をとったが、これに限定されず、例えば同色画素を各方向に線形補間してもよい。
【００３８】
次に、ステップＳ７０５では、Ｖ色差算出回路６０５は、Ｇ画素Ｖ補間回路６０１が出力したＧ信号から、Ｒ，Ｂ画素Ｖ補間回路６０３が出力したＲ信号またはＢ信号を減算し、垂直方向の色差信号を生成する。例えば、着目画素（ｊ，ｉ）において、Ｇ画素Ｖ補間回路６０１が出力した信号がＧ信号Ｇｖi,jであり、Ｒ，Ｂ画素Ｖ補間回路６０３が出力した信号がＲ信号Ｒｖi,jである。その場合、Ｖ色差算出回路６０５は、垂直方向の色差信号Ｄｉｆｆ＿ｖを式（７）により生成する。
Ｄｉｆｆ＿ｖi,j＝Ｇｖi,j−Ｒｖi,j      ・・・（７）
【００３９】
なお、Ｖ色差算出回路６０５は、Ｒ，Ｂ画素Ｖ補間回路６０３から出力される信号がＢ信号の場合も、上記と同様の方法で、色差信号を生成する。
【００４０】
次に、ステップＳ７０６では、Ｈ色差算出回路６０６は、Ｇ画素Ｈ補間回路６０２が出力したＧ信号から、Ｒ，Ｂ画素Ｈ補間回路６０４が出力したＲ信号またはＢ信号を減算し、水平方向の色差信号を生成する。例えば、着目画素（ｊ，ｉ）において、Ｇ画素Ｈ補間回路６０２が出力した信号がＧ信号Ｇｈi,jであり、Ｒ，Ｂ画素Ｈ補間回路６０４が出力した信号がＲ信号Ｒｖi,jである。その場合、Ｈ色差算出回路６０６は、水平方向の色差信号Ｄｉｆｆ＿ｈを式（８）により生成する。
Ｄｉｆｆ＿ｈi,j＝Ｇｈi,j−Ｒｈi,j      ・・・（８）
【００４１】
なお、Ｈ色差算出回路６０６は、Ｒ，Ｂ画素Ｈ補間回路６０４から出力される信号がＢ信号の場合も、上記と同様の方法で、色差信号を生成する。
【００４２】
次に、ステップＳ７０７では、Ｖ色差傾き算出回路６０７は、Ｖ色差算出回路６０５から出力された色差信号を基に、垂直方向の色差の傾きを算出する。具体的には、着目画素（ｊ，ｉ）において、Ｖ色差傾き算出回路６０７は、Ｖ色差算出回路６０５から出力された色差信号Ｄｉｆｆ＿ｖを基に、垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを式（９）により算出する。
Ｇｒａｄ＿ｖi,j＝｜Ｄｉｆｆ＿ｖi-1,j−Ｄｉｆｆ＿ｖi+1,j｜  ・・・（９）
【００４３】
なお、傾き信号Ｇｒａｄ＿ｖを算出する式は、上記の式（９）に限定されない。Ｖ色差傾き算出回路６０７は、例えば、着目画素と上下の隣接画素のそれぞれの差分に基づいて、傾き信号Ｇｒａｄ＿ｖを算出しても良い。Ｖ色差傾き算出回路６０７は、算出した垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを、Ｎ重み算出回路６１３、Ｓ重み算出回路６１４および合成係数算出回路３０３にそれぞれ出力する。
【００４４】
次に、ステップＳ７０８では、Ｈ色差傾き算出回路６０８は、Ｈ色差算出回路６０６から出力された色差信号を基に、水平方向の色差の傾きを算出する。具体的には、着目画素（ｊ，ｉ）において、Ｈ色差傾き算出回路６０８は、Ｈ色差算出回路６０６から出力された色差信号Ｄｉｆｆ＿ｈを基に、水平方向の色差の傾き信号Ｇｒａｄ＿ｈを式（１０）により算出する。
Ｇｒａｄ＿ｈi,j＝｜Ｄｉｆｆ＿ｈi,j-1−Ｄｉｆｆ＿ｈi,j+1｜  ・・・（１０）
【００４５】
なお、傾き信号Ｇｒａｄ＿ｈを算出する式は、上記の式（１０）に限定されない。Ｈ色差傾き算出回路６０８は、例えば、着目画素と左右の隣接画素のそれぞれの差分に基づいて、傾き信号Ｇｒａｄ＿ｈを算出しても良い。Ｈ色差傾き算出回路６０８は、算出した水平方向の色差の傾き信号Ｇｒａｄ＿ｈを、Ｗ重み算出回路６１５、Ｅ重み算出回路６１６および合成係数算出回路３０３にそれぞれ出力する。
【００４６】
次に、ステップＳ７０９では、Ｎフィルタ回路６０９は、Ｖ色差算出回路６０５から出力された色差信号に対して、上方向のフィルタ処理を行う。具体的には、Ｎフィルタ回路６０９は、Ｖ色差算出回路６０５から出力された色差信号Ｄｉｆｆ＿ｖを用いて、着目画素（ｊ，ｉ）における上方向のフィルタ処理の結果Ｄｉｆｆ＿ｎを式（１１）により算出する。
【００４７】
【数１】
2018195918.tif 000003
【００４８】
ステップＳ７１０では、Ｓフィルタ回路６１０は、Ｖ色差算出回路６０５から出力された色差信号に対して、下方向のフィルタ処理を行う。具体的には、Ｓフィルタ回路６１０は、Ｖ色差算出回路６０５から出力された色差信号Ｄｉｆｆ＿ｖを用いて、着目画素（ｊ，ｉ）における下方向のフィルタ処理の結果Ｄｉｆｆ＿ｓを式（１２）により算出する。
【００４９】
【数２】
2018195918.tif 000004
【００５０】
ステップＳ７１１では、Ｗフィルタ回路６１１は、Ｈ色差算出回路６０６から出力された色差信号に対して、左方向のフィルタ処理を行う。具体的には、Ｗフィルタ回路６１１は、Ｈ色差算出回路６０６から出力された色差信号Ｄｉｆｆ＿ｈを用いて、着目画素（ｊ，ｉ）における左方向のフィルタ処理の結果Ｄｉｆｆ＿ｗを式（１３）により算出する。
【００５１】
【数３】
2018195918.tif 000005
【００５２】
ステップＳ７１２では、Ｅフィルタ回路６１２は、Ｈ色差算出回路６０６から出力された色差信号に対して、右方向のフィルタ処理を行う。具体的には、Ｅフィルタ回路６１２は、Ｈ色差算出回路６０６から出力された色差信号Ｄｉｆｆ＿ｈを用いて、着目画素（ｊ，ｉ）における右方向のフィルタ処理の結果ＤＩＦＦ＿ｅを式（１４）により算出する。
【００５３】
【数４】
2018195918.tif 000006
【００５４】
ステップＳ７１３では、Ｎ重み算出回路６１３は、Ｖ色差傾き算出回路６０７から出力された垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを用いて、上方向の重みＷｎを式（１５）により算出する。
【００５５】
【数５】
2018195918.tif 000007
【００５６】
ステップＳ７１４では、Ｓ重み算出回路６１４は、Ｖ色差傾き算出回路６０７から出力された垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを用いて、下方向の重みＷｓを式（１６）により算出する。
【００５７】
【数６】
2018195918.tif 000008
【００５８】
ステップＳ７１５では、Ｗ重み算出回路６１５は、Ｈ色差傾き算出回路６０８から出力された水平方向の色差の傾き信号Ｇｒａｄ＿ｈを用いて、左方向の重みＷｗを式（１７）により算出する。
【００５９】
【数７】
2018195918.tif 000009
【００６０】
ステップＳ７１６では、Ｅ重み算出回路６１６は、Ｈ色差傾き算出回路６０８から出力された水平方向の色差の傾き信号Ｇｒａｄ＿ｈを用いて、右方向の重みＷｅを式（１８）により算出する。
【００６１】
【数８】
2018195918.tif 000010
【００６２】
ステップＳ７１７では、合成回路６１７は、重みＷｎ、Ｗｓ、ＷｗおよびＷｅを基に、色差信号Ｄｉｆｆ＿ｎ、Ｄｉｆｆ＿ｓ、Ｄｉｆｆ＿ｗおよびＤｉｆｆ＿ｅを合成し、色差信号Ｄｉｆｆ＿ｍｉｘを式（１９）により算出する。
【００６３】
【数９】
2018195918.tif 000011
【００６４】
ステップＳ７１８では、加算器６１８は、ＷＢ回路２０１が出力した画像信号に対して、着目画素がＲ画素またはＢ画素の場合には、着目画素に対応する合成回路６１７で合成された色差信号Ｄｉｆｆ＿ｍｉｘを加算し、第２のＧ信号を出力する。加算回路６１８の出力信号は、第２のＧ補間回路３０２の出力信号である。上記の結果、第２のＧ補間回路３０２は、Ｒ画素またはＢ画素の画素位置に対して、方向に因らず解像感の高いＧ信号を算出することができる。
【００６５】
図８は、図３の合成係数算出回路３０３の構成例を示すブロック図である。合成係数算出回路３０３は、最大値選択回路８０１と、係数算出回路８０２とを有する。最大値選択回路８０１は、第２のＧ補間回路３０２から垂直方向の色差の傾き信号Ｇｒａｄ＿ｖと水平方向の色差の傾き信号Ｇｒａｄ＿ｈを入力し、各画素毎に傾き信号Ｇｒａｄ＿ｖとＧｒａｄ＿ｈのうちの何れか大きい方を選択し、最大値ｍａｘとして出力する。
【００６６】
係数算出回路８０２は、最大値選択回路８０１から最大値ｍａｘを入力し、第１のＧ補間回路３０１から出力される第１のＧ信号と、第２のＧ補間回路３０２から出力される第２のＧ信号を合成する際の合成係数αを算出する。具体的には、まず、係数算出回路８０２は、最大値ｍａｘを所定の閾値と比較し、最大値ｍａｘが所定の閾値より小さいか否かを判定する。そして、係数算出回路８０２は、最大値ｍａｘが所定の閾値より小さい場合には、第１のＧ補間回路３０１から出力されるＧ信号を出力するように合成係数αを算出する。最大値ｍａｘが所定の閾値より小さい場合は、水平および垂直方向の色差の傾きＧｒａｄ＿ｖおよびＧｒａｄ＿ｈが何れも小さく、色差の傾きに基づいて方向を判断できない領域を意味する。
【００６７】
図９は、係数算出回路８０２の入出力特性の一例を示す図であり、最大値ｍａｘから合成係数αへの変換テーブルの一例を示す。係数算出回路８０２は、最大値選択回路８０１から出力される最大値ｍａｘを基に、第１のＧ補間回路３０１と第２のＧ補間回路３０２から出力されるＧ信号を合成する合成係数αを算出する。図９において、横軸は最大値ｍａｘを示し、縦軸は合成係数αを示す。係数算出回路８０２は、最大値ｍａｘが所定の閾値Ｔｈ１より小さく、色差の傾きに基づいて方向を判断できないと判定する場合には、合成係数αを１．０にする。また、係数算出回路８０２は、最大値ｍａｘが所定の閾値Ｔｈ２より大きく、色差の傾きに基づいて方向を判断できると判定する場合には、合成係数αを０．０にする。また、係数算出回路８０２は、最大値ｍａｘが閾値Ｔｈ１と閾値Ｔｈ２との間の場合には、最大値ｍａｘに応じて線形的に０．０から１．０の間をとる合成係数αを出力する。係数算出回路８０２から出力される合成係数αは、合成係数算出回路３０３の出力として、合成回路３０４へ出力される。
【００６８】
次に、図３の合成回路３０４について説明する。合成回路３０４は、合成係数算出回路３０３からの合成係数αに基づいて、第１のＧ補間回路３０１からの第１のＧ信号と第２のＧ補間回路３０２からの第２のＧ信号を合成し、最終的なＧ信号を出力する。合成回路３０４から出力されるＧ信号は、Ｇ補間回路２０２の出力信号である。合成回路３０４は、画像における着目画素のＸ座標およびＹ座標を（ｊ，ｉ）としたとき、最終的なＧ信号Ｇ＿ｓｉｇi,jを出力する。具体的には、合成回路３０４は、着目画素における第１のＧ信号Ｇ１_ｓｉｇi,j、第２のＧ信号Ｇ２＿ｓｉｇi,j、合成係数αi,jを用いて、最終的なＧ信号Ｇ＿ｓｉｇi,jを式（２０）により算出する。
Ｇ＿ｓｉｇi,j＝α×Ｇ１_ｓｉｇi,j＋（１．０−α）×Ｇ２＿ｓｉｇi,j
・・・（２０）
【００６９】
合成回路３０４は、合成係数αが０．０である場合、つまり、色差の傾きに基づいて方向を判断できる場合には、方向に因らず解像感の高い画像を生成できる第２のＧ信号Ｇ２＿ｓｉｇを最終的なＧ信号Ｇ＿ｓｉｇとして出力する。また、合成回路３０４は、合成係数αが１．０である場合、つまり、色差の傾きに基づいて方向を判断できない場合には、水平方向または垂直方向のナイキスト周波数の偽解像が抑制された第１のＧ信号Ｇ１＿ｓｉｇを最終的なＧ信号Ｇ＿ｓｉｇとして出力する。第１のＧ信号Ｇ１＿ｓｉｇは、例えば水平方向または垂直方向のナイキスト周波数のような周波数帯域で、水平方向または垂直方向のナイキスト周波数の偽解像が抑制された信号である。
【００７０】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７１】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７２】
３０１  第１のＧ補間回路、３０２  第２のＧ補間回路、３０４  合成回路
【図１】
2018195918.tif 000012
【図２】
2018195918.tif 000013
【図３】
2018195918.tif 000014
【図４】
2018195918.tif 000015
【図５】
2018195918.tif 000016
【図６】
2018195918.tif 000017
【図７】
2018195918.tif 000018
【図８】
2018195918.tif 000019
【図９】
2018195918.tif 000020