(57)【要約】【課題】色信号の補間処理に伴う偽信号の発生を低減させる。また、色信号の補間処理により生成した画像の斜め方向の解像感の向上を図る。【解決手段】本発明では、相関値算出部３００により、ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向に略直交する第２の方向に位置する複数の画素から得られる色信号の値から、第１の方向および第２の方向の相関の強さを表す相関値を算出する。次に相関値フィルタリング部３０２により、ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した相関値に対して２次元フィルタリングを行い相関値を補正する。そして補間方向判別部３０４により、補正された相関値に基づいて第１の方向と第２の方向のうちの相関の高い方向を判別する。補間信号生成部３０６は、補間方向判別部３０４によって判別された方向に位置する画素から得られる色信号を補間して、ＲまたはＢ画素位置におけるＧの色信号を算出する。【選択図】  図３
2006080897.tif 000002
【特許請求の範囲】
【請求項１】
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理装置において、
前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する第１の相関値算出部と、
ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する第２の相関値算出部と、
前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する補間方向判別部と、
前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する補間処理部と、
を有することを特徴とする信号処理装置。
【請求項２】
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理装置において、
前記Ｒ、ＢおよびＧ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する第１の相関値算出部と、
ＲまたはＢ画素位置を中心とする所定範囲のＲ、ＢまたはＧ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する第２の相関値算出部と、
前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する補間方向判別部と、
前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する補間処理部と、
を有することを特徴とする信号処理装置。
【請求項３】
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理装置において、
前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する第１の相関値算出部と、
前記Ｇ画素位置を中心として、前記第１、第２の方向と異なる第３の方向に位置する複数の画素および前記第３の方向と異なる第４の方向に位置する複数の画素から得られる色信号の値から、前記第３の方向および第４の方向の相関の強さを表す第２の相関値を算出する第２の相関値算出部と、
ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第３の相関値を算出する第３の相関値算出部と、
前記ＲまたはＢ画素位置を中心とする所定範囲のＧ画素位置ごとに算出した２次元範囲の前記第２の相関値に対して２次元のフィルタリング処理を行い前記第３の方向および第４の方向の相関の強さを表す第４の相関値を算出する第４の相関値算出部と、
前記第３の相関値及び第４の相関値に基づいて第１、第２、第３及び第４の方向のうちの最も相関の高い方向を判別する補間方向判別部と、
前記補間方向判別部によって判別された最も相関の高い方向に位置する画素から得られる色信号を補間し、又は最も相関の高い方向の画素の色信号と他の方向の画素の色信号とを重み付け補間して前記ＲまたはＢ画素位置におけるＧ画素の色信号を算出する補間処理部と、
を有することを特徴とする信号処理装置。
【請求項４】
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理方法において、
前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出するステップと、
ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出するステップと、
前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別するステップと、
前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出するステップと、
を有することを特徴とする信号処理方法。
【請求項５】
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理方法において、
前記Ｒ、ＢおよびＧ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出するステップと、
ＲまたはＢ画素位置を中心とする所定範囲のＲ、ＢまたはＧ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出するステップと、
前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別するステップと、
前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出するステップと、
を有することを特徴とする信号処理方法。
【請求項６】
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理方法において、
前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出するステップと、
前記Ｇ画素位置を中心として、前記第１、第２の方向と異なる第３の方向に位置する複数の画素および前記第３の方向と異なる第４の方向に位置する複数の画素から得られる色信号の値から、前記第３の方向および第４の方向の相関の強さを表す第２の相関値を算出するステップと、
ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第３の相関値を算出するステップと、
前記ＲまたはＢ画素位置を中心とする所定範囲のＧ画素位置ごとに算出した２次元範囲の前記第２の相関値に対して２次元のフィルタリング処理を行い前記第３の方向および第４の方向の相関の強さを表す第４の相関値を算出するステップと、
前記第３の相関値及び第４の相関値に基づいて第１、第２、第３及び第４の方向のうちの最も相関の高い方向を判別するステップと、
前記補間方向判別部によって判別された最も相関の高い方向に位置する画素から得られる色信号を補間し、又は最も相関の高い方向の画素の色信号と他の方向の画素の色信号とを重み付け補間して前記ＲまたはＢ画素位置におけるＧ画素の色信号を算出するステップと、
を有することを特徴とする信号処理方法。
【請求項７】
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子を信号出力源とする複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理プログラムにおいて、
前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する機能と、
ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する機能と、
前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する機能と、
前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する機能と、
をコンピュータに実現させることを特徴とする信号処理プログラム。
【請求項８】
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子を信号出力源とする複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理プログラムにおいて、
前記Ｒ、ＢおよびＧ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する機能と、
ＲまたはＢ画素位置を中心とする所定範囲のＲ、ＢまたはＧ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する機能と、
前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する機能と、
前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する機能と、
をコンピュータに実現させることを特徴とする信号処理プログラム。
【請求項９】
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子を信号出力源とする複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理プログラムにおいて、
前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する機能と、
前記Ｇ画素位置を中心として、前記第１、第２の方向と異なる第３の方向に位置する複数の画素および前記第３の方向と異なる第４の方向に位置する複数の画素から得られる色信号の値から、前記第３の方向および第４の方向の相関の強さを表す第２の相関値を算出する機能と、
ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第３の相関値を算出する機能と、
前記ＲまたはＢ画素位置を中心とする所定範囲のＧ画素位置ごとに算出した２次元範囲の前記第２の相関値に対して２次元のフィルタリング処理を行い前記第３の方向および第４の方向の相関の強さを表す第４の相関値を算出する機能と、
前記第３の相関値及び第４の相関値に基づいて第１、第２、第３及び第４の方向のうちの最も相関の高い方向を判別する機能と、
前記補間方向判別部によって判別された最も相関の高い方向に位置する画素から得られる色信号を補間し、又は最も相関の高い方向の画素の色信号と他の方向の画素の色信号とを重み付け補間して前記ＲまたはＢ画素位置におけるＧ画素の色信号を算出する機能と、
をコンピュータに実現させることを特徴とする信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカラー画像信号の信号処理装置、信号処理方法及び信号処理プログラムに係り、特に色信号の補間処理装置、補間処理方法及び補間処理プログラムに関する。
【背景技術】
【０００２】
撮像素子としてＣＣＤイメージセンサ等の固体撮像素子を用いたデジタルスチルカメラやデジタルビデオカメラでは、固体撮像素子の受光面前面にＲ（赤）、Ｇ（緑）、Ｂ（青）の３色を有するカラーフィルタがアレイ状に配列されたカラーフィルタが設けられているものがある。このようなデジタルスチルカメラやデジタルビデオカメラでは、Ｒ、Ｇ、Ｂの各色のカラーフィルタが、それぞれ固体撮像素子の各画素位置に対応するように設けられているため、各画素からは単一の色信号しか得られない。したがって、全ての画素位置に対してＲ、Ｇ、Ｂの３色の色信号を得るためには、各画素位置では周辺の画素から出力された色信号を補間する必要がある。
【０００３】
従来、このような補間を行う場合、それぞれの画素位置の周辺画素から得られた色信号から周辺画素間の相関値を算出し、算出した相関値に基づきそれぞれの画素位置に対する補間に用いる色信号を出力する画素の位置する方向を判別していた（特許文献１）。
【０００４】
しかしながら、撮像素子やその周辺回路等で発生するノイズの影響により、補間に用いる色信号を出力する画素の位置する方向を誤って判別してしまい、補間を行う事により偽信号が発生してしまう場合があった。
【０００５】
これに対し、特許文献２に記載の信号処理方法では、相関値をフィルタリングする事により、このような誤判別を低減していた。
【特許文献１】特開２００１−３３９７３５号公報
【特許文献２】特開平１１−２０５８０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１、２に記載の信号処理方法では、ＲまたはＢ画素位置におけるＧ信号の補間を行う際に、周辺のＧ画素から得られる色信号のみを用いて、補間に用いる色信号を出力する画素の位置する方向を判別していたため、赤色と青色の色境界等で誤判別が発生してしまうという問題があった。
【０００７】
また、上記特許文献１、２に記載の信号処理方法では、斜め方向に位置する画素間の相関について考慮されていなかったため、補間により生成した画像の斜め方向の解像感が低いという問題があった。
【０００８】
本発明はこのような事情に鑑みてなされたもので、補間に伴う偽信号の発生の低減及び補間により生成する画像の斜め方向の解像感向上を図る信号処理装置、信号処理方法及び信号処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、請求項１に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理装置において、前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する第１の相関値算出部と、ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する第２の相関値算出部と、前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する補間方向判別部と、前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する補間処理部と、を有することを特徴としている。
【００１０】
請求項１の発明によれば、相関値を２次元フィルタリングする事により、補間方向の判別精度を向上させる事が可能となり、補間処理に伴う偽信号の発生を低減する事ができる。
【００１１】
また前記目的を達成するために、請求項２に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理装置において、前記Ｒ、ＢおよびＧ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する第１の相関値算出部と、ＲまたはＢ画素位置を中心とする所定範囲のＲ、ＢまたはＧ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する第２の相関値算出部と、前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する補間方向判別部と、前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する補間処理部と、を有することを特徴としている。
【００１２】
請求項２の発明によれば、Ｒ，Ｂ，またはＧ画素位置ごとに算出した相関値を２次元フィルタリングする事により、補間方向の判別精度を向上させる事が可能となり、補間処理に伴う偽信号の発生を低減する事ができる。
【００１３】
また前記目的を達成するために、請求項３に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理装置において、前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する第１の相関値算出部と、前記Ｇ画素位置を中心として、前記第１、第２の方向と異なる第３の方向に位置する複数の画素および前記第３の方向と異なる第４の方向に位置する複数の画素から得られる色信号の値から、前記第３の方向および第４の方向の相関の強さを表す第２の相関値を算出する第２の相関値算出部と、ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第３の相関値を算出する第３の相関値算出部と、前記ＲまたはＢ画素位置を中心とする所定範囲のＧ画素位置ごとに算出した２次元範囲の前記第２の相関値に基づいて前記第３の方向および第４の方向の相関の強さを表す第４の相関値を算出する第４の相関値算出部と、前記第３の相関値及び第４の相関値に基づいて第１、第２、第３及び第４の方向のうちの最も相関の高い方向を判別する補間方向判別部と、前記補間方向判別部によって判別された最も相関の高い方向に位置する画素から得られる色信号を補間し、又は最も相関の高い方向の画素の色信号と他の方向の画素の色信号とを重み付け補間して前記ＲまたはＢ画素位置におけるＧ画素の色信号を算出する補間処理部と、を有することを特徴としている。
【００１４】
請求項３の発明によれば、相関値を算出する際に斜め方向の相関も考慮する事により、補間により生成した画像の斜め方向の解像感を向上させる事ができる。
【００１５】
前記目的を達成するために、請求項４に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理方法において、前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出するステップと、ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出するステップと、前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別するステップと、前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出するステップと、を有することを特徴としている。
【００１６】
請求項４の発明によれば、相関値を２次元フィルタリングする事により、補間方向の判別精度を向上させる事が可能となり、補間処理に伴う偽信号の発生を低減する事ができる。
【００１７】
前記目的を達成するために、請求項５に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理方法において、前記Ｒ、ＢおよびＧ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出するステップと、ＲまたはＢ画素位置を中心とする所定範囲のＲ、ＢまたはＧ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出するステップと、前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別するステップと、前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出するステップと、を有することを特徴としている。
【００１８】
請求項５の発明によれば、Ｒ，Ｂ，またはＧ画素位置ごとに算出した相関値を２次元フィルタリングする事により、補間方向の判別精度を向上させる事が可能となり、補間処理に伴う偽信号の発生を低減する事ができる。
【００１９】
前記目的を達成するために、請求項６に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理方法において、前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出するステップと、前記Ｇ画素位置を中心として、前記第１、第２の方向と異なる第３の方向に位置する複数の画素および前記第３の方向と異なる第４の方向に位置する複数の画素から得られる色信号の値から、前記第３の方向および第４の方向の相関の強さを表す第２の相関値を算出するステップと、ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第３の相関値を算出するステップと、前記ＲまたはＢ画素位置を中心とする所定範囲のＧ画素位置ごとに算出した２次元範囲の前記第２の相関値に対して２次元のフィルタリング処理を行い前記第３の方向および第４の方向の相関の強さを表す第４の相関値を算出するステップと、前記第３の相関値及び第４の相関値に基づいて第１、第２、第３及び第４の方向のうちの最も相関の高い方向を判別するステップと、前記補間方向判別部によって判別された最も相関の高い方向に位置する画素から得られる色信号を補間し、又は最も相関の高い方向の画素の色信号と他の方向の画素の色信号とを重み付け補間して前記ＲまたはＢ画素位置におけるＧ画素の色信号を算出するステップと、を有することを特徴としている。
【００２０】
請求項６の発明によれば、相関値を算出する際に斜め方向の相関も考慮する事により、補間により生成した画像の斜め方向の解像感を向上させる事ができる。
【００２１】
前記目的を達成するために、請求項７に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子を信号出力源とする複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理プログラムにおいて、前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する機能と、ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する機能と、前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する機能と、前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する機能と、をコンピュータに実現させることを特徴としている。
【００２２】
請求項７の発明によれば、相関値を２次元フィルタリングする事により、補間方向の判別精度を向上させる事が可能となり、補間処理に伴う偽信号の発生を低減する事ができる。
【００２３】
前記目的を達成するために、請求項８に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子を信号出力源とする複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理プログラムにおいて、前記Ｒ、ＢおよびＧ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する機能と、ＲまたはＢ画素位置を中心とする所定範囲のＲ、ＢまたはＧ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する機能と、前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する機能と、前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する機能と、をコンピュータに実現させることを特徴としている。
【００２４】
請求項８の発明によれば、Ｒ，Ｂ，またはＧ画素位置ごとに算出した相関値を２次元フィルタリングする事により、補間方向の判別精度を向上させる事が可能となり、補間処理に伴う偽信号の発生を低減する事ができる。
【００２５】
前記目的を達成するために、請求項９に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子を信号出力源とする複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理プログラムにおいて、前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する機能と、前記Ｇ画素位置を中心として、前記第１、第２の方向と異なる第３の方向に位置する複数の画素および前記第３の方向と異なる第４の方向に位置する複数の画素から得られる色信号の値から、前記第３の方向および第４の方向の相関の強さを表す第２の相関値を算出する機能と、ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第３の相関値を算出する機能と、前記ＲまたはＢ画素位置を中心とする所定範囲のＧ画素位置ごとに算出した２次元範囲の前記第２の相関値に対して２次元のフィルタリング処理を行い前記第３の方向および第４の方向の相関の強さを表す第４の相関値を算出する機能と、前記第３の相関値及び第４の相関値に基づいて第１、第２、第３及び第４の方向のうちの最も相関の高い方向を判別する機能と、前記補間方向判別部によって判別された最も相関の高い方向に位置する画素から得られる色信号を補間し、又は最も相関の高い方向の画素の色信号と他の方向の画素の色信号とを重み付け補間して前記ＲまたはＢ画素位置におけるＧ画素の色信号を算出する機能と、をコンピュータに実現させることを特徴としている。
【発明の効果】
【００２６】
本発明によれば、補間に伴う偽信号の発生を低減させる事ができる。また本発明によれば、補間により生成する画像の斜め方向の解像感を向上させる事ができる。
【発明を実施するための最良の形態】
【００２７】
以下添付図面に従って本発明に係る信号処理装置、信号処理方法および信号処理プログラムの好ましい実施の形態について詳説する。
【００２８】
（第１実施形態）
図１は本発明の第１実施形態に係る信号処理装置および信号処理方法が適用された電子カメラのブロック図である。このカメラ１０は、単板式のデジタルカメラであり、撮影レンズ１２及びメカシャッター兼用絞り機構１４を通過した光は、撮像デバイス１６の受光面の上に結像される。メカシャッターは、撮像デバイス１６から信号を読み出すときに光が撮像デバイス１６に入射してスミア等が発生するのを防止する。絞り機構は、撮像デバイス１６に入射する光の量を調節する。
【００２９】
本例では撮像デバイス１６としてＣＣＤを用いるが、ＣＣＤ型に限らず、ＣＭＯＳ型など他の方式によるデバイスを適用してもよい。撮像デバイス１６の受光面には多数の受光素子（フォトダイオード）が２次元的に配列されており、受光面の前面には、Ｒ，Ｇ，Ｂの３色のフィルタからなる図示しない色分解用のカラーフィルタが設けられている。本例では、図２に示すような、いわゆるベイヤ−配列のカラーフィルタが設けられている。図２に示す通り、ベイヤ−配列のカラーフィルタは、ＲまたはＢ画素位置に対して水平方向および垂直方向にＧ画素が隣接したフィルタ配列となっており、撮像デバイス１６各受光素子の位置（画素位置）に対応して、Ｒ，Ｇ，Ｂいずれか１色のフィルタが配列されている。撮像デバイス１６の受光面に結像された被写体像は、各受光素子によって入射光量に応じた量の信号電荷に変換される。こうして各受光素子に蓄積された信号電荷は、図示しない駆動回路から加えられるリードゲートパルスによってＣＣＤの転送路に読み出され、信号電荷に応じた電圧信号（画像信号）として順次出力される。
【００３０】
前述した通り、撮像デバイス１６の各画素位置に対応してＲ，Ｇ，Ｂいずれか１色のフィルタが配列されているため、撮像デバイスから出力される画像信号は、固体撮像素子の各画素位置に対していずれか１色の色信号しか含まれていない。
【００３１】
撮像デバイス１６は、図示しないタイミングジェネレータで生成したタイミング信号に基づいて駆動され、画像信号を出力する。撮像デバイス１６から出力された画像信号はアナログ信号処理部１８に送られる。アナログ信号処理部１８は、サンプリングホールド回路、色分離回路、ゲイン調整回路等を含む。このアナログ信号処理部１８に入力された画像信号は相関二重サンプリング（ＣＤＳ）処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。
【００３２】
アナログ信号処理部１８で生成された画像信号は、Ａ／Ｄ変換器２０においてデジタル信号に変換された後、バス（カメラ内部のメインバス）２２を介して一旦メモリ２４に格納される。なお、このメモリ２４の記憶領域の一部はＣＰＵ２６の演算作業用エリアとしても利用される。
【００３３】
メモリ２４に格納された画像信号は、バス２２を介してデジタル信号処理部２８に送られる。デジタル信号処理部２８は、補間処理部３０、輝度・色差信号生成（ＹＣ変換）処理部３２、データ圧縮・伸張処理部３４等を有する信号処理手段であり、ＣＰＵ２６からのコマンドに従ってメモリ２４を活用しながら画像信号を処理する。
【００３４】
デジタル信号処理部２８に入力された画像信号は、補間、ＹＣ変換等の所定の処理が施された後、ＪＰＥＧ形式その他の所定の圧縮フォーマットに従って圧縮され、メモリカードインターフェース部３６を介して画像データとしてメモリカード３８に記録される。なお、圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよく、使用される圧縮形式に対応した圧縮エンジンが用いられる。
【００３５】
画像データを記録する手段は、メモリカード３８で代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスクなど、種々の記録媒体を用いることができる。また、カメラ１０本体に着脱可能な記録媒体に限らず、カメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００３６】
なお、カメラ１０において、補間、ＹＣ変換、圧縮などの画像処理を施していない未加工の画像データ（ＣＣＤ−ＲＡＷデータ）をメモリカード３８に記録するモード（ＲＡＷデータ記録モード）を付加してもよい。
【００３７】
再生モード時には、メモリカード３８から画像データが読み出され、デジタル信号処理部２８において伸張処理された後、表示用の信号に変換され、画像表示部４０に出力される。画像表示部４０には、液晶ディスプレイや有機ＥＬディスプレイなどの表示装置を用いることができる。この画像表示部４０はユーザインターフェース用の表示画面としても利用される。
【００３８】
また、カメラ１０はパソコンその他の外部機器との間でデータの送受信を行うための通信接続、或いは外部オプション装置を接続するための通信／オプションインターフェース部４２を備えている。この通信／オプションインターフェース部４２には、例えば、ＵＳＢ、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈなど有線又は無線方式の各種インターフェースを適用できる。
【００３９】
ＣＰＵ２６は、所定のプログラムに従って本カメラシステムを統括制御する制御部であり、シャッタースイッチ４４及びその他の操作スイッチ等４６からの入力信号に基づいてカメラ１０内の各回路の動作を制御する。カメラ１０に対してユーザが各種の指示を入力するための操作スイッチには、例えば、カメラ１０の動作モードを選択するためモード選択スイッチ、メニューを表示させるメニュースイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目など所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチなどがある。
【００４０】
ＣＰＵ２６はシャッタースイッチ４４及び操作スイッチ等４６から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モードなど）に従い、撮像デバイス１６を制御するとともに、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、メモリカード３８の読み書き制御、画像表示部４０の表示制御、外部機器との通信制御などを行う。
【００４１】
ＲＯＭ４８にはＣＰＵ２６が処理するプログラム及び制御に必要な各種データ（欠陥画素の位置情報やキズ判定用の閾値、調整値データなど）が格納されている。不揮発性記憶手段としてのＲＯＭ４８は、書き換え不能なものであってもよいし、ＥＥＰＲＯＭのように書き換え可能なものであってもよい。
【００４２】
図３に示す通り、補間処理部３０は、相関値算出部３００、相関値フィルタリング部３０２、補間方向判別部３０４、補間信号生成部３０６を含んでいる。
【００４３】
次に、上記の如く構成された補間処理部３０の動作について説明する。前述した通り、撮像デバイス１６から出力される画像信号は、固体撮像素子の各画素位置に対してＲ，Ｇ，Ｂいずれか１色の色信号しか得られていないため、各画素位置に対して不足している他の２色の色信号を算出するために、後述する補間処理を行った後、輝度・色差信号生成処理部３２に画像信号を出力する。ここでは、ＲまたはＢ画素位置におけるＧ信号を算出する処理について説明する。
【００４４】
相関値算出部３００は、撮像デバイス１６におけるＲまたはＢ画素の周囲に隣接するＧ画素間の相関値を算出する。例えばＢ画素を中心として垂直方向と水平方向に隣接するＧ画素間の相関値を算出する場合、ＣＰＵ２６の制御により、メモリ２４に格納されている画像データから、図４に示すＢ画素データを中心とした３行３列のデータが相関値算出部３００に入力される。図４に示す通り、この３行３列のデータは、それぞれ対応する色の画素位置から得られた色信号からなる。相関値算出部３００は、図示しないバッファメモリを備えており、入力された３行３列のデータを一旦保持する。相関値算出部３００は、以下の式に従って、バッファメモリに保持された３行３列のデータから、Ｂ画素周囲に隣接する４つのＧ画素間の相関値ＣＢを算出する。
【００４５】
ＣＢ＝｜Ｇ１−Ｇ４｜−｜Ｇ２−Ｇ３｜
色信号の差分の絶対値が小さいほど相関が強いと考えられるため、ＣＢの値が負の場合はＧ１とＧ４が位置する方向の相関が強く、ＣＢの値が正の場合はＧ２とＧ３が位置する方向の相関が強いと考えられる。
【００４６】
Ｒ画素周囲に隣接する４つのＧ画素間の相関値ＣＲを算出する場合も、上記ＣＢの算出式と同様に、下記の式に従って相関値ＣＲを算出する。
【００４７】
ＣＲ＝｜Ｇ１−Ｇ４｜−｜Ｇ２−Ｇ３｜
相関値ＣＢ，ＣＲは、Ｇ信号の算出を行うＲまたはＢ画素位置を中心とする所定領域、例えば図５に示す５行５列の領域内のＲまたはＢ画素位置ごとに算出され、算出された相関値ＣＢ，ＣＲは、順次相関値フィルタリング部３０２に送られる。図５において、相関値ＣＢ、ＣＲが算出されていない画素位置は、固体撮像素子のＧ画素位置に対応する。
【００４８】
相関値フィルタリング部３０２は、図示しないバッファメモリを備えており、相関値算出部３００から送られてきた、５行５列の領域内のＲまたはＢ画素位置ごとに算出された相関値ＣＢ、ＣＲを、それぞれの画素位置と対応させて一旦保持する。そして、保持した相関値に対して２次元フィルタリングを行い相関値の補正を行う。
【００４９】
図６に本実施形態における２次元フィルタリングに用いる２次元フィルタの概念図を示す。図６（ａ）に示した２次元フィルタは、図５に示した５行５列の領域の相関値が算出されている位置に対応して、任意の係数Ａ１１〜Ａ５５が２次元状に配列されている。このような２次元フィルタを用いて、図５に示した５行５列の領域に配列された相関値に対して、下式のように各相関値と対応する位置の係数の積和を算出するような２次元フィルタリングを行う事により、補正された相関値が算出される。
【００５０】
（補正された相関値）＝ＣＢ１１・Ａ１１＋ＣＢ１３・Ａ１３＋……＋ＣＢ５５・Ａ５５
図６（ｂ）に２次元フィルタに用いる係数の一例を示す。図６（ｂ）に示した２次元フィルタは、中央の係数の値が最も大きく、中央からの距離に従って係数の値が小さくなっている。このような２次元フィルタは、例えば中央の相関値を、周辺の相関値を利用して補正するような２次元フィルタリングに用いられる。２次元フィルタリングはこのような演算に限定されるものではなく、例えば２次元の全ての係数を等しい値とした単純な加算平均や、その他の行列演算等を用いても良い。相関値フィルタリング部３０２によって補正された相関値は補間方向判別部３０４に送られる。
【００５１】
補間方向判別部３０４は相関値フィルタリング部３０２によって補正された相関値の正負を基に、相関が高い方向、すなわちＲまたはＢ画素位置におけるＧ信号の算出に用いるＧ信号を出力するＧ画素が位置する方向（補間方向）を判別し、ＲまたはＢ画素位置ごとに補間方向判別用フラグを生成する。補間方向判別用フラグの形式は特に限定されるものではなく、例えば、水平方向に位置するＧ画素からのＧ信号を補間するのであれば「０」、垂直方向に位置するＧ画素からのＧ信号を補間するのであれば「１」といったフラグを用いてもよい。生成された補間方向判別用フラグは、補間信号生成部３０６に送られる。
【００５２】
補間信号生成部３０６は、補間方向判別部３０４から送られてきた補間方向判別用のフラグの値に基づいて補間処理を行う。例えば図４のＢ画素位置において、フラグが「０」であれば、水平方向に位置するＧ画素からのＧ信号を補間するので、以下の式の通りＢ画素位置を中心とした水平方向に隣接する２つのＧ画素（Ｇ２とＧ３）からのＧ信号の加算平均により、Ｂ画素位置でのＧ信号ＧＢを生成する。
ＧＢ＝（Ｇ２＋Ｇ３）／２
また、同じ位置においてフラグが「１」であれば、垂直方向に位置するＧ画素からのＧ信号を補間するので、以下の式の通りＢ画素位置を中心とした垂直方向に隣接する２つのＧ画素（Ｇ１とＧ４）からのＧ信号の加算平均により、Ｂ画素位置でのＧ信号ＧＢを生成する。
ＧＢ＝（Ｇ１＋Ｇ４）／２
そして算出されたＧ信号ＧＢをＢ画素位置に補間する。なお、ここではＢ画素位置のＧ信号の補間について説明したが、Ｒ画素位置のＧ信号ＧＲも同様の処理により実現される。
【００５３】
図７は本実施例の信号処理フローチャートである。図７に示した通り、まず３行３列のデータがメモリ２４からＣＰＵ２６の制御によりデジタル信号処理部２８内の補間処理部３０に入力される（ステップＳ１１０）。補間処理部３０内の相関値算出部３００は、入力されたＲまたはＢ画素周囲のＧ画素間の相関値を算出する（ステップＳ１１２）。算出された相関値は順次相関値フィルタリング部３０２に送られ、所定領域内のＲおよびＢ画素位置に対する相関値の算出の終了後、相関値フィルタリング部３０２で２次元フィルタリングを行う（ステップＳ１１４）。２次元フィルタリングによって補正された相関値は補間方向判別部３０４に送られる。補間方向判別部３０４では、補正された相関値の正負を基に補間方向が水平方向であるか垂直方向であるかを判別し、補間方向判別用のフラグを生成する（ステップＳ１１６）。生成されたフラグは補間信号生成部３０６に送られる。補間信号生成部３０６では、前述した通りフラグの内容に応じてＲまたはＢ画素位置におけるＧ信号を生成する（ステップＳ１１８、ステップＳ１２０）。
【００５４】
ＲまたはＢ画素位置に対してＧ信号の算出が終了した後、図示しないＲおよびＢ信号補間処理部により、Ｂ画素およびＧ画素位置におけるＲ信号の算出とＲ画素およびＧ画素位置におけるＢ信号の算出が行われる。各画素位置においてＲ、Ｇ、Ｂ全ての色信号が算出された画像データは、輝度・色差信号生成処理部３２に送られ、ＹＣ変換が行われる。このＹＣ変換は画像データの所定領域ごとに行っても良い。
【００５５】
なお、本発明の信号処理方法はコンピュータプログラムによっても実現可能である。前述した通り、ＲＡＷデータ記録モードを備えたカメラ１０では、ＣＣＤ−ＲＡＷデータをメモリカード３８に記録する事が可能である。このようなＣＣＤ−ＲＡＷデータを再生表示する場合は、本発明の信号処理機能を有するコンピュータプログラムをインストールしたコンピュータ装置に、ＣＣＤ−ＲＡＷデータを記録したメモリカード３８を装填し、メモリカード３８から読み取られたＣＣＤ−ＲＡＷデータをコンピュータ装置のモニタ上に再生する。本実施形態の信号処理装置、信号処理方法および信号処理プログラムを用いる事により、Ｇ信号の補間方向判別の精度を向上させる事が可能となり、補間による偽信号の発生を低減する事ができる。
【００５６】
（第２実施形態）
図８は、本発明の信号処理装置の第２実施形態に係る補間処理部６０のブロック図である。第２実施形態に係る補間処理部６０も第１実施形態にかかる補間処理部３０と同様に、相関値算出部６００、相関値フィルタリング部６０２、補間方向判別部６０４、補間信号生成部６０６から構成されているが、相関値算出部６００、相関値フィルタリング部６０２における処理内容が第1実施形態のものとは異なっている。
【００５７】
次に、上記の如く構成された補間処理部６０の動作について説明する。ここでは、第１実施形態と同様に、ＲまたはＢ画素位置におけるＧ信号を算出する処理について説明する。
【００５８】
相関値算出部６００は、本実施形態では、第１実施形態とは異なり、撮像デバイス１６におけるＲ、Ｇ、Ｂいずれの画素位置に対しても相関値を算出する。図９（ａ）を用いて、Ｒ画素（Ｒ３３）を中心として垂直方向と水平方向に配置された複数の画素間の相関値を算出する場合を説明する。第１実施形態と同様に、相関値算出部６００は、メモリ２４に格納されている画像データから入力された図９（ａ）に示す５行５列のデータを、バッファメモリに一旦保持する。相関値算出部６００は、以下の式に従って、Ｒ３３画素を中心として垂直方向と水平方向に配置された複数の画素間の相関値ＣＲ３３を算出する。
【００５９】
ＣＲ３３＝（｜Ｇ２３−Ｇ４３｜−｜Ｇ３２−Ｇ３４｜）＋（｜Ｒ３３−（Ｒ１３＋Ｒ５３）／２｜−｜Ｒ３３−（Ｒ３１＋Ｒ３５）／２｜）
Ｂ画素を中心として垂直方向と水平方向に配置された複数の画素間の相関値を算出する場合も、上記ＣＲ３３の算出式と同様に、下記の式に従って相関値ＣＢ３３を算出する。
【００６０】
ＣＢ３３＝（｜Ｇ２３−Ｇ４３｜−｜Ｇ３２−Ｇ３４｜）＋（｜Ｂ３３−（Ｂ１３＋Ｂ５３）／２｜−｜Ｂ３３−（Ｂ３１＋Ｂ３５）／２｜）
前述したとおり、本実施形態ではＧ画素位置を中心として垂直方向と水平方向に配置された複数の画素間相関値も算出する。図９（ｂ）に示したＧ画素（Ｇ３３）を中心として垂直方向と水平方向に配置された複数の画素間の相関値ＣＧ３３を算出する場合は、以下の式に従って、相関値を算出する。
ＣＧ３３＝（｜Ｂ２３−Ｂ４３｜−｜Ｒ３２−Ｒ３４｜）＋（｜Ｇ３３−（Ｇ１３＋Ｇ５３）／２｜−｜Ｇ３３−（Ｇ３１＋Ｇ３５）／２｜）
以上のようにＲ、Ｇ、Ｂの画素位置に対して算出された相関値は、順次相関値フィルタリング部６０２に送られる。
【００６１】
相関値フィルタリング部６０２は、相関値算出部６００から送られてきた、５行５列の領域内のＲ、Ｇ、Ｂの画素位置に対して算出された相関値を、図１０のようにそれぞれの画素位置と対応させて一旦保持する。そして、保持した相関値に対して２次元フィルタリングを行い相関値の補正を行う。
【００６２】
図１１に本実施形態における２次元フィルタリングに用いる２次元フィルタの概念図を示す。本実施形態では、図１１（ａ）のように２次元フィルタのＲ，Ｇ，Ｂ全ての画素位置に対して係数Ａ１１〜Ａ５５が配列されており、例えば、図１１（ｂ）のような係数を用いて、第１の実施形態と同様に各相関値と対応する位置の係数の積和を算出する。このような２次元フィルタリングを行う事により、補正された相関値が算出される。
【００６３】
２次元フィルタリングはこのような演算に限定されるものではなく、例えば２次元の全ての係数を等しい値とした単純な加算平均や、その他の行列演算等を用いても良い。相関値フィルタリング部６０２によって補正された相関値は補間方向判別部６０４に送られる。
【００６４】
補間方向判別部６０４と補間信号生成部６０６の動作は、第１実施形態と同様であるので説明を省略する。
【００６５】
図１２は本実施形態の信号処理フローチャートである。図１２に示した通り、まず５行５列のデータがメモリ２４からＣＰＵ２６の制御によりデジタル信号処理部２８内の補間処理部６０に入力される（ステップＳ２１０）。補間処理部６０内の相関値算出部６００は、入力されたデータのＲ，Ｇ，Ｂ画素位置に対する相関値を算出する（ステップＳ２１２）。算出された相関値は順次相関値フィルタリング部６０２に送られ、所定領域内の相関値の算出の終了後、相関値フィルタリング部６０２で２次元フィルタリングを行う（ステップＳ２１４）。２次元フィルタリングによって補正された相関値は補間方向判別部６０４に送られる。補間方向判別部６０４および補間信号生成部６０６の処理は第1実施形態と同様であるので説明を省略する。
【００６６】
なお、第１実施形態と同様に、本実施形態に係る信号処理方法はコンピュータプログラムによっても実現可能である。第１実施形態と同様に、ＣＣＤ−ＲＡＷデータを再生表示する場合は、本発明の信号処理機能を有するコンピュータプログラムをインストールしたコンピュータ装置に、ＣＣＤ−ＲＡＷデータを記録したメモリカード３８を装填し、メモリカード３８から読み取られたＣＣＤ−ＲＡＷデータをコンピュータ装置のモニタ上に再生する。本実施形態の信号処理装置、信号処理方法および信号処理プログラムを用いる事により、Ｇ信号の補間方向判別の精度を向上させる事が可能となり、補間による偽信号の発生を低減する事ができる。
【００６７】
（第３実施形態）
図１３は、本発明の信号処理装置の第３実施形態に係る補間処理部９００のブロック図である。第３実施形態に係る補間処理部９０は水平垂直方向相関値算出部９００、斜め方向相関値算出部９０２、水平垂直方向相関値フィルタリング部９０４、斜め方向相関値フィルタリング部９０６、補間方向判別部９０８、補間信号生成部９１０から構成されている。
【００６８】
本実施形態は、第３の方向および第４の方向の相関値算出部である斜め方向相関値算出部と、斜め方向相関値フィルタリング部を備えている点が、第１、第２実施形態とは異なっている。
【００６９】
次に、上記の如く構成された補間処理部９０の動作について説明する。ここでは、第１、第２実施形態と同様に、ＲまたはＢ画素位置におけるＧ信号を算出する処理について説明する。
【００７０】
水平垂直相関値算出部９００は、第１実施形態における相関値算出部と同様に、図１４に示す３行３列のデータから、ＲまたはＢ画素の周囲に隣接するＧ画素間の相関値の算出を行う。算出された相関値は、水平垂直相関値９０４に順次送られる。相関値の算出方法は第１実施形態と同様であるのでここでは説明を省略する。
【００７１】
斜め方向相関値算出部９０２は、Ｇ画素に対して斜め方向に隣接するＧ画素間の相関を算出する。斜め方向相関地算出部９０２には、図１５に示すＧ画素を中心とする３行３列のデータが入力され、図示しないバッファメモリに入力された３行３列のデータを一旦保持する。斜め方向相関値算出部９０２は、以下の式に従って、バッファメモリに保持された３行３列のデータから、中央のＧ画素（Ｇ３）に対して斜め方向に隣接する４つのＧ画素間の相関値ＣＧ３を算出する。
【００７２】
ＣＧ３＝｜Ｇ１−Ｇ５｜−｜Ｇ２−Ｇ４｜
色信号の差分の絶対値が小さいほど相関が強いと考えられるため、ＣＧ３の値が負の場合はＧ１とＧ５が位置する方向の相関が強く、ＣＧ３の値が正の場合はＧ２とＧ４が位置する方向の相関が強いと考えられる。
【００７３】
以上のようにＧ画素位置に対して算出された相関値は、順次斜め方向相関値フィルタリング部９０６に送られる。
【００７４】
水平垂直相関値フィルタリング部９０４は、第１実施形態と同様に、相関値算出部９００から送られてきた、所定領域内のＲおよびＢ画素位置に対して算出された相関値を、バッファメモリに一旦保持する。図１６は５行５列の領域内のＲおよびＢ画素位置に対して算出された相関値を示している。そして、保持した相関値に対して、第１実施形態の相関値フィルタリング部と同様に２次元フィルタリングを行い相関値の補正を行う。２次元フィルタリング部の動作は第１実施形態における相関値フィルタリング部と同様であるので、詳細は説明を省略する。水平垂直相関値フィルタリング部９０４で補正された相関値は、補間方向判別部９０８に送られる。
【００７５】
斜め方向相関値フィルタリング部９０６は、斜め方向相関値算出部９０２から送られてきた、所定領域内のＧ画素位置に対して算出された相関値を、バッファメモリに一旦保持する。図１７は５行５列の領域内のＧ画素位置に対して算出された相関値を示している。そして、保持した相関値に対して２次元フィルタリングを行い相関値の補正を行う。
【００７６】
図１８に本実施形態における斜め方向相関値フィルタリング部で用いる２次元フィルタの概念図を示す。本実施形態では、図１８（ａ）のようにＧ画素位置に対して係数Ａ１２〜Ａ５４が配列されており、例えば、図１８（ｂ）のような係数を用いて、第１実施形態と同様に各相関値と対応する位置の係数の積和を算出する。このような２次元フィルタリングを行う事により、補正された相関値が算出される。
【００７７】
２次元フィルタリングはこのような演算に限定されるものではなく、例えば２次元の全ての係数を等しい値とした単純な加算平均や、その他の行列演算等を用いても良い。斜め方向相関値フィルタリング部９０６によって補正された相関値は補間方向判別部９０８に送られる。
【００７８】
補間方向判別部９０８は、水平垂直方向相関値フィルタリング部９０４、斜め方向相関値フィルタリング部９０６から送られてきた相関値の絶対値を比較し、補間方向を判別する。そして、判別した補間方向に基づいて、補間方向判別用のフラグを生成する。
【００７９】
補間方向判別用フラグの形式は特に限定されるものではなく、例えば、水平方向の補間であれば「０」、垂直方向の補間であれば「１」、後述する右上がり方向の補間であれば「２」、後述する右下がり方向の補間であれば「３」といったフラグを用いてもよい。生成された補間方向判別用フラグは、補間信号生成部９１０に送られる。
【００８０】
補間信号生成部９１０では、補間方向判別部９０８から送られてきた補間方向判別用のフラグの値に基づいて補間処理を行う。水平方向の補間、および垂直方向の補間については第1実施形態と同様の処理であるの説明を省略する。
【００８１】
次に斜め方向の補間の例として、図１９のＢ５画素位置のＧ信号（ＧＢ５）を右下がり方向の補間で算出する場合について説明する。まず、Ｂ５画素周囲の、Ｇ画素４画素から得られるＧ信号の平均値と、Ｒ画素４画素から得られるＲ信号の平均値の差を算出する。この差の値が小さいほどＧ画素とＲ画素の相関が強いと考えられるので、下式において、ａの値（ａ＝０〜１）を小さくする。
【００８２】
ＧＢ５＝｛（Ｒ１＋Ｒ９）／２＋（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８）／４−（Ｒ１＋Ｒ３＋Ｒ７＋Ｒ９）／４｝×（１−ａ）＋｛（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８）／４｝×ａ
ａの値が小さければ、ＧＢ５に対するＧ画素４画素から得られるＧ信号の平均値の割合が小さくなり、ａの値大きければ、ＧＢ５に対するＧ信号の平均値の割合が大きくなる。補間信号生成部９１０は、このようにして算出されたＧ信号をＧＢ５をＢ５画素位置に補間する。これにより、斜め方向の解像感を向上させる事ができる。
【００８３】
右上がり方向の補間についても同様の考え方で斜め方向の補間が実現できる。なお、ここではＢ画素位置のＧ信号の補間について説明したが、Ｒ画素位置のＧ信号の補間も同様の処理により実現される。
【００８４】
図２０は本実施形態の信号処理フローチャートである。図２０に示した通り、まず３行３列のデータがメモリ２４からＣＰＵ２６の制御によりデジタル信号処理部２８内の補間処理部９０に入力される（ステップＳ４１０）。補間処理部９０内の水平垂直相関値算出部９００、斜め方向相関値算出部は、入力されたデータのＲ，Ｇ，Ｂ画素位置に対する相関値を算出する（ステップＳ４１２）。算出された相関値は、順次水平垂直相関値フィルタリング部９０４または斜め方向相関値算出部９０６に送られ、所定領域内の相関値の算出の終了後、水平垂直相関値フィルタリング部９０４および水平垂直相関値フィルタリング部９０６で２次元フィルタリングを行う（ステップＳ４１４）。２次元フィルタリングによって補正された相関値は補間方向判別部９０８に送られる。補間方向判別部９０８では、水平垂直方向の補間を行うか、斜め方向の補間を行うのかを判別し、判別結果に応じたフラグを生成する（ステップＳ４１６〜ステップＳ４２０）。補間信号生成部９１０はフラグの内容に応じた補間処理を行う（ステップＳ４２２〜ステップＳ４２８）。
【００８５】
なお、第１、第２実施形態と同様に、本実施形態に係る信号処理方法はコンピュータプログラムによっても実現可能である。第１、第２実施形態と同様に、ＣＣＤ−ＲＡＷデータを再生表示する場合は、本発明の信号処理機能を有するコンピュータプログラムをインストールしたコンピュータ装置に、ＣＣＤ−ＲＡＷデータを記録したメモリカード３８を装填し、メモリカード３８から読み取られたＣＣＤ−ＲＡＷデータをコンピュータ装置のモニタ上に再生する。本実施形態の信号処理装置、信号処理方法および信号処理プログラムを用いる事により、Ｇ信号の補間方向判別の精度を向上させる事が可能となり、補間による偽信号の発生を低減する事ができる。さらに、信号処理された画像の斜め方向の解像感を向上させることが可能となる。
【００８６】
以上説明した第１〜第３実施形態では、ベイヤー配列のカラーフィルタを設けた撮像デバイスから出力された色信号の補間について説明したが、本発明はこれに限定されるものではない。ベイヤ−配列を斜め４５°方向に回転させた、いわゆるハニカム配列のカラーフィルタやＧストライプＲ／Ｂ完全市松配列のカラーフィルタを備えた撮像デバイスから出力された色信号の補間にも適用できる。
【図面の簡単な説明】
【００８７】
【図１】本発明の実施形態に係る信号処理装置及び信号処理方法が適用された電子カメラのブロック図
【図２】ベイヤー配列のカラーフィルタのフィルタ配列を示した図
【図３】本発明の第１実施形態に係る補間処理部のブロック図
【図４】相関値算出に用いられるデータの配列を示した図
【図５】算出された相関値を画素位置に対応させて配列した図
【図６】２次元フィルタの模式図
【図７】本発明の第１実施形態に係る信号処理装置の処理手順を示すフローチャート
【図８】本発明の第２実施形態に係る補間処理部のブロック図
【図９】相関値算出に用いられるデータの配列を示した図
【図１０】算出された相関値を画素位置に対応させて配列した図
【図１１】２次元フィルタの模式図
【図１２】本発明の第２実施形態に係る信号処理装置の処理手順を示すフローチャート
【図１３】本発明の第３実施形態に係る補間処理部のブロック図
【図１４】相関値算出に用いられるデータの配列を示した図
【図１５】相関値算出に用いられるデータの配列を示した図
【図１６】算出された相関値を画素位置に対応させて配列した図
【図１７】算出された相関値を画素位置に対応させて配列した図
【図１８】２次元フィルタの模式図
【図１９】斜め方向の補間に用いるデータの配列を示した図
【図２０】本発明の第２実施形態に係る信号処理装置の処理手順を示すフローチャート
【符号の説明】
【００８８】
１０…カメラ、１６…撮像デバイス、２０…Ａ／Ｄ変換器、２４…メモリ、２６…ＣＰＵ、２８…デジタル信号処理部、３０…補間処理部、３８…メモリカード
【図１】
2006080897.tif 000003
【図２】
2006080897.tif 000004
【図３】
2006080897.tif 000005
【図４】
2006080897.tif 000006
【図５】
2006080897.tif 000007
【図６】
2006080897.tif 000008
【図７】
2006080897.tif 000009
【図８】
2006080897.tif 000010
【図９】
2006080897.tif 000011
【図１０】
2006080897.tif 000012
【図１１】
2006080897.tif 000013
【図１２】
2006080897.tif 000014
【図１３】
2006080897.tif 000015
【図１４】
2006080897.tif 000016
【図１５】
2006080897.tif 000017
【図１６】
2006080897.tif 000018
【図１７】
2006080897.tif 000019
【図１８】
2006080897.tif 000020
【図１９】
2006080897.tif 000021
【図２０】
2006080897.tif 000022