【手続補正書】
【提出日】平成21年3月13日(2009.3.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数種類の色フィルタが各画素部に離散的に配置された固体撮像素子から出力される色信号から、各画素における全ての色信号を、注目画素およびその近傍画素の色信号を用いたデータ補間処理により生成するデータ補間部を有する画像処理装置において、
該データ補間部は、
注目画素付近における斜め方向を含む複数の方向に対するエッジの方向性を定量化した方向性データを算出する方向性データ算出手段と、
該方向性データ算出手段で算出された、該複数の方向に対する方向性データを用いて注目画素付近におけるエッジの方向性を検出する方向性検出手段と、
該方向性検出手段で検出された一または複数のエッジの方向性に対応する色信号を算出する方向性色信号算出手段と、
該方向性色信号算出手段で算出された一つ以上の色信号を用いて注目画素の色信号を算出する注目画素色信号算出手段とを備え、
ベイヤ配列の斜め方向のデータ補間を行う際に、該斜め方向の画素に隣接する画素と当該画素に更に隣接する画素とを含む範囲の画素に注目し、画素の中心にとらわれず互いに隣接する２×２の４画素の間の交点における色信号を算出し、算出された色信号との色の相関によって前記注目画素の色信号を算出することにより、該斜め方向のエッジに対する色信号の相関性をも利用した補間処理を行う画像処理装置。
【請求項２】
複数種類の色フィルタが各画素部に離散的に配置された固体撮像素子から出力される色信号から、各画素における全ての色信号を、注目画素およびその近傍画素の色信号を用いたデータ補間処理により生成するデータ補間部を有する画像処理装置において、
該データ補間部は、
注目画素付近における斜め方向を含む複数の方向に対するエッジの方向性を定量化した方向性データを算出する方向性データ算出手段と、
該方向性データ算出手段で算出された、該複数の方向に対する方向性データを用いて注目画素付近におけるエッジの方向性を検出する方向性検出手段と、
該方向性検出手段で検出された一または複数のエッジの方向性に対応する色信号を算出する方向性色信号算出手段と、
該方向性色信号算出手段で算出された一つ以上の色信号を用いて注目画素の色信号を算出する注目画素色信号算出手段とを備え、
ベイヤ配列の斜め方向のデータ補間を行う際に、該注目画素および該斜め方向の一方の画素を含む２×２の４画素に注目し、画素の中心にとらわれず該４画素の交点における色信号を算出すると共に、該注目画素および該斜め方向の他方の画素を含む２×２の４画素に注目し、画素の中心にとらわれず当該４画素の交点における色信号を算出し、算出された各色信号との色の相関を用いて前記注目画素の色信号を算出することにより、該斜め方向のエッジに対する色信号の相関性をも利用した補間処理を行う画像処理装置。
【請求項３】
前記斜め方向を含む複数の方向は、注目画素付近における右斜め上方向および右斜め下方向の少なくとも一方を含む複数の方向である請求項１または２に記載の画像処理装置。
【請求項４】
前記方向性データ算出手段は、注目画素を通る右斜め上方向、水平方向、右斜め下方向および垂直方向の４方向に対して前記方向性データを算出する請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記方向性データ算出手段は、注目画素を中心として上方向、斜め右上方向、右方向、斜め右下方向、下方向、斜め左下方向、左方向および斜め左上方向の８方向に対して前記方向性データを算出する請求項１〜３のいずれかに記載の画像処理装置。
【請求項６】
前記方向性データ算出手段は、注目画素付近の複数の方向に対するエッジの方向性を定量化する際に、該エッジの有無に応じて変化する色信号の相関性の強度を表す項が方向性データ算出式に加えられている請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
エッジ部分に色信号の相関があるときに値が小さくなり、該エッジ部分に該色信号の相関がないときには値が大きくなるような項が前記方向性データ算出式に加えられている請求項６に記載の画像処理装置。
【請求項８】
前記方向性検出手段は、前記複数の方向に対する方向性データの最大値が所定の閾値よりも小さいか否かによって、注目画素付近にエッジがなく輝度勾配がなだらかな平坦部であるか否かを判定し、該平坦部の場合には「方向性なし」を検出し、該平坦部ではない場合には「方向性あり」を検出する請求項１または２に記載の画像処理装置。
【請求項９】
前記方向性検出手段は、前記「方向性あり」を検出した場合に、前記方向性データの値が最小値となる方向を注目画素付近におけるエッジ方向として検出する請求項８に記載の画像処理装置。
【請求項１０】
前記方向性検出手段は、前記「方向性あり」を検出した場合であっても、前記方向性データの値が最小値となる方向が複数存在する場合には、「方向性なし」を検出する請求項８に記載の画像処理装置。
【請求項１１】
前記方向性検出手段は、複数の方向に対する各方向性データから値の小さい順に一つ以上の方向を注目画素付近におけるエッジの方向性候補として検出する請求項１または２に記載の画像処理装置。
【請求項１２】
前記方向性色信号算出手段は、
注目画素近傍の任意の位置において前記エッジの方向における異なる２色の色信号の差を算出する色差算出手段と、
該色差算出手段で算出された色信号の差の相関性を用いて色信号を算出する色信号算出手段とを有する請求項１または２に記載の画像処理装置。
【請求項１３】
前記方向性色信号算出手段は、
注目画素近傍の任意の位置において前記エッジの方向における異なる２色の色信号の比を算出する色比算出手段と、
該色比算出手段で算出された色信号の比の相関性を用いて色信号を算出する色信号算出手段とを有する請求項１または２に記載の画像処理装置。
【請求項１４】
前記方向性色信号算出手段は、前記注目画素近傍の任意の位置として、該注目画素の位置、該注目画素の近傍画素の中央位置、および、該注目画素の近傍において互いに隣接する画素間の交点のいずれかを用いる請求項１２または１３に記載の画像処理装置。
【請求項１５】
前記方向性色信号算出手段は、前記方向性検出手段で検出された方向に対して、算出しようとする色成分の画素が存在しない場合に、該検出された方向以外の注目画素の近傍画素から、該算出しようとする色成分の画素を参照して前記エッジの方向性に対応する色信号を算出する請求項１、２および１２〜１４のいずれかに記載の画像処理装置。
【請求項１６】
前記方向性色信号算出手段は、前記検出された方向以外の注目画素の複数の近傍画素において前記算出しようとする色成分の平均値を用いる請求項１５に記載の画像処理装置。
【請求項１７】
前記注目画素色信号算出手段は、前記方向性検出手段で「方向性あり」と検出された画素に対して、前記方向性色信号算出手段で算出された色信号を注目画素における色信号として算出する請求項８または９に記載の画像処理装置。
【請求項１８】
前記注目画素色信号算出手段は、前記方向性検出手段で「方向性なし」と検出された画素に対して、バイリニア法を用いて注目画素における色信号を算出する請求項８または１０に記載の画像処理装置。
【請求項１９】
前記注目画素色信号算出手段は、前記方向性検出手段で検出された複数の方向性に対応する各色信号の平均色を注目画素における色信号として算出する平均色算出手段を有する請求項１または２に記載の画像処理装置。
【請求項２０】
前記注目画素色信号算出手段は、前記方向性検出手段で検出された複数の方向性に対応する各色信号の平均色を算出する平均色算出手段と、該平均色算出手段で算出された平均色と注目画素の色との相関性を利用して注目画素における色信号を算出する多重色相関色信号算出手段とを有する請求項１または２に記載の画像処理装置。
【請求項２１】
被写体を撮像可能とする固体撮像素子と、該固体撮像素子からの撮像データをアナログ／デジタル変換するアナログ／デジタル変換部と、該アナログ／デジタル変換部からのデジタル信号を信号処理する請求項１〜２０のいずれかに記載の画像処理装置とを有する撮影装置。
【請求項２２】
複数種類の色フィルタが各画素部に離散的に配置された固体撮像素子から出力される色信号から、各画素における全ての色信号を、注目画素およびその近傍画素の色信号を用いたデータ補間処理により生成する画像処理方法において、
注目画素付近における斜め方向を含む複数の方向に対するエッジの方向性を定量化した方向性データを算出する方向性データ算出ステップと、
該方向性データ算出ステップで算出された、該複数の方向に対する方向性データを用いて注目画素付近におけるエッジの方向性を検出する方向性検出ステップと、
該方向性検出ステップで検出された一または複数のエッジの方向性に対応する色信号を算出する方向性色信号算出ステップと、
該方向性色信号算出ステップで算出された一つ以上の色信号を用いて注目画素の色信号を算出する注目画素色信号算出ステップとを有し、
ベイヤ配列の斜め方向のデータ補間を行う際に、該斜め方向の画素に隣接する画素と当該画素に更に隣接する画素とを含む範囲の画素に注目し、画素の中心にとらわれず互いに隣接する２×２の４画素の間の交点における色信号を算出し、算出された色信号との色の相関によって前記注目画素の色信号を算出することにより、該斜め方向のエッジに対する色信号の相関性をも利用した補間処理を行う画像処理方法。
【請求項２３】
複数種類の色フィルタが各画素部に離散的に配置された固体撮像素子から出力される色信号から、各画素における全ての色信号を、注目画素およびその近傍画素の色信号を用いたデータ補間処理により生成する画像処理方法において、
注目画素付近における斜め方向を含む複数の方向に対するエッジの方向性を定量化した方向性データを算出する方向性データ算出ステップと、
該方向性データ算出ステップで算出された、該複数の方向に対する方向性データを用いて注目画素付近におけるエッジの方向性を検出する方向性検出ステップと、
該方向性検出ステップで検出された一または複数のエッジの方向性に対応する色信号を算出する方向性色信号算出ステップと、
該方向性色信号算出ステップで算出された一つ以上の色信号を用いて注目画素の色信号を算出する注目画素色信号算出ステップとを有し、
ベイヤ配列の斜め方向のデータ補間を行う際に、該注目画素および該斜め方向の一方の画素を含む２×２の４画素に注目し、画素の中心にとらわれず該４画素の交点における色信号を算出すると共に、該注目画素および該斜め方向の他方の画素を含む２×２の４画素に注目し、画素の中心にとらわれず当該４画素の交点における色信号を算出し、算出された各色信号との色の相関を用いて前記注目画素の色信号を算出することにより、該斜め方向のエッジに対する色信号の相関性をも利用した補間処理を行う画像処理方法。
【請求項２４】
前記方向性データ算出ステップは、注目画素を通る右斜め上方向、水平方向、右斜め下方向および垂直方向の４方向に対して前記方向性データを算出する請求項２２または２３に記載の画像処理方法。
【請求項２５】
前記方向性データ算出ステップは、注目画素を中心として上方向、斜め右上方向、右方向、斜め右下方向、下方向、斜め左下方向、左方向および斜め左上方向の８方向に対して前記方向性データを算出する請求項２２または２３に記載の画像処理方法。
【請求項２６】
前記方向性データ算出ステップは、注目画素付近の複数の方向に対するエッジの方向性を定量化する際に、該エッジの有無に応じて変化する色信号の相関性の強度を表す項が方向性データ算出式に加えられる請求項２２〜２５のいずれかに記載の画像処理方法。
【請求項２７】
エッジ部分に色信号の相関があるときに値が小さくなり、該エッジ部分に該色信号の相関がないときには値が大きくなるような項が前記方向性データ算出式に加えられる請求項２６に記載の画像処理方法。
【請求項２８】
前記方向性検出ステップは、複数の方向に対する方向性データの最大値が所定の閾値よりも小さいか否かによって、注目画素付近にエッジがなく輝度勾配がなだらかな平坦部であるか否かを判定し、該平坦部の場合には「方向性なし」を検出し、該平坦部ではない場合には「方向性あり」を検出する請求項２２または２３に記載の画像処理方法。
【請求項２９】
前記方向性検出ステップは、前記「方向性あり」を検出した場合に、前記方向性データの値が最小値となる方向を注目画素付近におけるエッジ方向として検出する請求項２８に記載の画像処理方法。
【請求項３０】
前記方向性検出ステップは、前記「方向性あり」を検出した場合であっても、前記方向性データの値が最小値となる方向が複数存在する場合には、「方向性なし」を検出する請求項２８に記載の画像処理方法。
【請求項３１】
前記方向性検出ステップは、複数の方向に対する方向性データから値の小さい順に一つ以上の方向を注目画素付近におけるエッジ方向の方向性候補として検出する請求項２２または２３に記載の画像処理方法。
【請求項３２】
前記方向性色信号算出ステップは、
注目画素の近傍の任意の位置において前記エッジの方向における異なる２色の色信号の差を算出する色差算出ステップと、
該色差算出ステップで算出された色信号の差の相関性を用いて色信号を算出する色信号算出ステップとを有する請求項２２または２３に記載の画像処理方法。
【請求項３３】
前記方向性色信号算出ステップは、
注目画素の近傍の任意の位置において前記エッジの方向における異なる２色の色信号の比を算出する色比算出ステップと、
該色比算出ステップで算出された色信号の比の相関性を用いて色信号を算出する色信号算出ステップとを有する請求項２２または２３に記載の画像処理方法。
【請求項３４】
前記方向性色信号算出ステップは、注目画素の近傍の任意の位置として、該注目画素の位置、該注目画素の近傍画素の中央位置、および、該注目画素の近傍において互いに隣接する画素間の交点のいずれかを用いる請求項３２または３３に記載の画像処理方法。
【請求項３５】
前記方向性色信号算出ステップは、前記方向性検出手段で検出された検出方向に対して、算出しようとする色成分の画素が存在しない場合に、該検出された方向以外の注目画素の複数の近傍画素から、該算出しようとする色成分の画素を参照して前記エッジの方向性に対応する色信号を算出する請求項２２、２３および３２〜３５のいずれかに記載の画像処理方法。
【請求項３６】
前記方向性色信号算出ステップは、前記検出された方向以外の注目画素の複数の近傍画素において前記算出しようとする色成分の平均値を用いる請求項３５に記載の画像処理方法。
【請求項３７】
前記注目画素色信号算出ステップは、前記方向性検出ステップで「方向性あり」と検出した画素に対して、前記方向性検出ステップで算出された色信号を注目画素における色信号として算出する請求項２８または２９に記載の画像処理方法。
【請求項３８】
前記注目画素色信号算出ステップは、前記方向性検出ステップで「方向性なし」と検出した画素に対して、バイリニア法を用いて注目画素における色信号を算出する請求項２８または３０に記載の画像処理方法。
【請求項３９】
前記注目画素色信号算出ステップは、前記方向性検出ステップで検出された複数の方向性に対応する各色信号の平均色を注目画素における色信号として算出する平均色算出ステップを有する請求項２２または２３に記載の画像処理方法。
【請求項４０】
前記注目画素色信号算出ステップは、前記方向性検出ステップで検出された複数の方向性に対応する各色信号の平均色を算出する平均色算出ステップと、該平均色算出ステップで算出した平均色と注目画素の色との相関性を利用して注目画素における色信号を算出する多重色相関色信号算出ステップとを有する請求項２２または２３に記載の画像処理方法。
【請求項４１】
請求項２２〜４０のいずれかに記載の画像処理方法の各処理ステップをコンピュータに実行させるための画像処理プログラム。
【請求項４２】
請求項４１に記載の画像処理プログラムが格納されたコンピュータ読み取り可能な可読記録媒体。