(57)【特許請求の範囲】
【請求項１】
緑色（Ｇ）のフィルタを市松状に配列するとともに、赤色（Ｒ）のフィルタ及び青色（Ｂ）のフィルタをライン内では同一で、かつライン間では交互となるように配列されているフィルタを有する撮像素子と、前記撮像素子から出力される信号に基づいて、前記Ｂのフィルタまたは前記Ｒのフィルタに対応する補間対象画素において、Ｇの補間値を出力する補間回路を有する撮像装置であって、
前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として水平方向に対称な位置にある少なくとも一対の画素の信号値とに基づいて、水平方向の左右の相関性の強さを示す水平相関係数Ｋ＿ＬＲを出力する水平相関検出回路と、
前記水平相関係数Ｋ＿ＬＲと、前記補間対象画素の左右に隣接する画素の信号値とに基づいて、前記補間対象画素における水平方向の相関性を示す水平補間値ＶＡＬ＿Ｈを出力する水平補間回路と、
前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として垂直方向に対称な位置にある少なくとも一対の画素の信号値とに基づいて、垂直方向の上下の相関性の強さを示す垂直相関係数Ｋ＿ＵＤを出力する垂直相関検出回路と、
前記垂直相関係数Ｋ＿ＵＤと、前記補間対象画素の上下に隣接する画素の信号値とに基づいて、前記補間対象画素における垂直方向の相関性を示す垂直補間値ＶＡＬ＿Ｖを出力する垂直補間回路と、
前記補間対象画素の上下及び左右に隣接する画素の信号値に基づいて、前記補間対象画素における水平方向または垂直方向の相関性の強さを示すＨＶ相関係数Ｋ＿ＨＶを出力するＨＶ相関検出回路と、
前記水平補間値ＶＡＬ＿Ｈと前記垂直補間値ＶＡＬ＿Ｖとに基づいて、前記ＨＶ相関係数Ｋ＿ＨＶで加重平均することにより、前記補間対象画素における信号値を出力する加重平均回路と、
を備え、
前記水平相関検出回路が出力する前記水平相関係数Ｋ＿ＬＲは、前記補間対象画素と左方向に位置する少なくとも１画素以上の同色の画素との信号レベルの第１の差分と、前記補間対象画素と右方向に位置する少なくとも１画素以上の同色の画素との信号レベルの第２の差分について、前記第１の差分と前記第２の差分との差分が予め定められた水平相関閾値の範囲外の場合、前記第１の差分と前記第２の差分のうち差分の小さい方向に、前記補間対象画素と隣接する画素の信号値を前記水平補間値ＶＡＬ＿Ｈとするための係数であって、
前記垂直相関検出回路が出力する前記垂直相関係数Ｋ＿ＵＤは、前記補間対象画素と上方向に位置する少なくとも１画素以上の同色の画素との信号レベルの第３の差分と、前記補間対象画素と下方向に位置する少なくとも１画素以上の同色の画素との信号レベルの第４の差分について、前記第３の差分と前記第４の差分との差分が予め定められた垂直相関閾値の範囲外の場合、前記第３の差分と前記第４の差分のうち差分の小さい方向に、前記補間対象画素と隣接する画素の信号値を前記垂直補間値ＶＡＬ＿Ｖとするための係数である
ことを特徴とする撮像装置。
【請求項２】
前記水平相関検出回路が出力する前記水平相関係数Ｋ＿ＬＲは、前記第１の差分と前記第２の差分が前記水平相関閾値の範囲内の場合、前記第１の差分と前記第２の差分のうち、前記差分の小さい方向に重みを付ける係数であって、
前記水平補間回路が出力する前記水平補間値ＶＡＬ＿Ｈは、前記補間対象画素に隣接する左右の画素のうち、前記差分の小さい方向の画素の信号値に重みが付加されて算出されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記垂直相関検出回路が出力する前記垂直相関係数Ｋ＿ＵＤは、前記第３の差分と前記第４の差分の差分が前記垂直相関閾値の範囲内の場合、前記第３の差分と前記第４の差分のうち、前記差分の小さい方向に重みを付ける係数であって、
前記垂直補間回路が出力する前記垂直補間値ＶＡＬ＿Ｖは、前記補間対象画素に隣接する上下の画素うち、前記差分の小さい方向の画素の信号値に重みが付加されて算出されることを特徴とする請求項１または２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、緑色（Ｇ）のフィルタを市松状に配列するとともに、赤色（Ｒ）のフィルタ及び青色（Ｂ）のフィルタをライン内では同一で、かつライン間では交互となるように配列されているフィルタを有する撮像素子と、撮像素子から出力される信号に基づいて、ＢのフィルタまたはＲのフィルタに対応する補間対象画素において、Ｇの補間値を出力する補間回路を有する撮像装置に関する。
【背景技術】
【０００２】
一般的に、デジタルカメラやデジタルビデオカメラ等の撮像装置は、例えばＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）、ＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）等の撮像素子を有している。撮像素子は、撮影対象物（被写体）から発した光をレンズなどの光学系によって受光素子に結像させ、その像の光による明暗を電荷の量に光電変換し、それを順次読み出して電気信号に変換する。この受光素子の受光平面には、二次元的に複数の色フィルタを配置した、いわゆるベイヤー配列のカラーフィルタが設けられている。この色フィルタは、一般的には、Ｒ（赤）、Ｇ（緑）及びＢ（青）の三色が、図６に示す様に格子状に設けられている。図６に示す色フィルタにおいては、Ｇのフィルタを市松状に配列するとともに、Ｒのフィルタ及びＢのフィルタをライン内では同一で、かつライン間では交互となるように配列されている。撮像素子の出力信号からは、１画素につきＲＧＢのいずれか１色の信号しか得ることができない。従って、各画素について、ＲＧＢ全ての色の信号を得るために、周辺の画像信号を用いた補間処理が行われる。
【０００３】
この補間処理において、もっとも簡単な方法としては、補間対象の色毎に、二次元のローパスフィルター（ＬＰＦ）処理を行う方法がある。しかし、この方法のように一義的にＬＰＦ処理を行っただけでは、補間後の画像の空間周波数特性には高周波成分が含まれないため、ぼやけた画像になってしまう場合がある。
【０００４】
そこで、この問題を解決するために、補間画素周辺の画像特性、即ち相関性を判断し、この結果によってＬＰＦ処理を変化させる方法がある。例えば、補間画素周辺で水平方向の相関性が強いと判断された場合、横方向にのみＬＰＦ処理を行うとともに、垂直方向の相関性が強いと判断された場合、縦方向にのみＬＰＦ処理を行う。
【０００５】
また、横方向と縦方向の相関関係の度合いに基づいて、横方向のＬＰＦ処理結果と、縦方向のＬＰＦ処理結果とを重み付け加算して、補間する方法がある（特許文献１参照）。図７を参照して、特許文献１に記載の補間回路９００を説明する。補間回路９００は、水平補間回路９０１、垂直補間回路９０２、ＨＶ相関検出回路９０３及び加重平均回路９０４を備えている。
【０００６】
ここで、各画素の位置及び各画素における色信号の値は、Ｒ、Ｂ及びＧ等の色信号を示す記号と、「１１」、「２１」及び「３３」等の画素位置を示す記号との連結により表記される。図６に示すようなカラーフィルタを有する場合、撮像素子から出力された信号は、各画素の位置と対応づけて、図８のように表記される。また、図８に示される各信号に基づいて生成された補正信号の値は、ｒ、ｂ及びｇ等の色信号を示す記号と、「１１」、「２１」及び「３３」等の画素位置を示す記号との連結により表記される。例えば、Ｒ３３の画素位置に対応する緑の補正信号は、ｇ３３と表記される。ここでは、ｇ３３を算出する場合について説明する。
【０００７】
水平補間回路９０１は、補間対象画素Ｒ３３において、水平方向の相関性が強いときに好適な水平補間値ＶＡＬ＿Ｈを算出し、加重平均回路９０４に出力する。ＶＡＬ＿Ｈは、下記の（式９−１）によって算出される。
【０００８】
ＶＡＬ＿Ｈ＝（Ｇ３２＋Ｇ３４）／２
・・・（式９−１）
垂直補間回路９０２は、補間対象画素Ｒ３３において、垂直方向の相関性が強いときに好適な水平補間値ＶＡＬ＿Ｖを算出し、加重平均回路９０４に出力する。ＶＡＬ＿Ｖは、下記の（式９−２）によって算出される。
【０００９】
ＶＡＬ＿Ｖ＝（Ｇ２３＋Ｇ４３）／２
・・・（式９−２）
ＨＶ相関検出回路９０３は、（式９−３）により、水平軸における信号レベルの変化量Ｄｉｆ＿Ｈと、垂直軸における信号レベルの変化量Ｄｉｆ＿Ｖを算出する。これにより、補間対象画素の近傍において、水平軸及び垂直軸のそれぞれの相関性が判断される。
【００１０】
Ｄｉｆ＿Ｈ＝｜Ｇ３２−Ｇ３４｜
Ｄｉｆ＿Ｖ＝｜Ｇ２３−Ｇ４３｜
・・・（式９−３）
ここで、Ｄｉｆ＿Ｈ＜Ｄｉｆ＿Ｖなら垂直方向より水平方向の相関性が強いと判定される。一方、Ｄｉｆ＿Ｈ＞Ｄｉｆ＿Ｖなら水平方向より垂直方向の相関性が強いと判定される。
【００１１】
ＨＶ相関検出回路９０３は、更に、水平方向の相関性と垂直方向の相関性を示す係数であるＨＶ相関係数Ｋ＿ＨＶを算出する。ＨＶ相関係数Ｋ＿ＨＶは、下記の（式９−４）によって算出される。
【００１２】
Ｋ＿ＨＶ＝（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）／（２×Ｔｈ＿ＨＶ）＋０．５
・・・（式９−４）
ここで、
（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）＜−Ｔｈ＿ＨＶの場合は、Ｋ＿ＨＶ＝０
（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）＞Ｔｈ＿ＨＶの場合は、Ｋ＿ＨＶ＝１
このように算出することにより、Ｄｉｆ＿ＨとＤｉｆ＿Ｖとの差分に対するＨＶ相関係数Ｋ＿ＨＶの値は、図９のグラフで示される。
【００１３】
具体的には、ＨＶ相関係数Ｋ＿ＨＶは、水平方向の相関性が強いほどその値が小さい。また、予め設定されたＨＶ相関閾値−Ｔｈ＿ＨＶより（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）が小さい場合、ＨＶ相関係数Ｋ＿ＨＶは、０になる。
【００１４】
一方、ＨＶ相関係数Ｋ＿ＨＶは、垂直方向の相関性が強いほどその値が大きい。また、予め設定されたＨＶ相関閾値Ｔｈ＿ＨＶより（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）が大きい場合、ＨＶ相関係数Ｋ＿ＨＶは、１になる。ＨＶ相関係数Ｋ＿ＨＶは、加重平均回路９０４に入力される。
【００１５】
加重平均回路９０４は、水平補間回路９０１から出力されたＶＡＬ＿Ｈ、垂直補間回路９０２から出力されたＶＡＬ＿Ｖ及びＨＶ相関検出回路９０３から出力されたＨＶ相関係数Ｋ＿ＨＶから、Ｒ３３画素におけるＧ色の補間色ｇ３３の値を算出する。補間色ｇ３３は、下記の（式９−５）によって算出される。
【００１６】
ｇ３３＝（１−Ｋ＿ＨＶ）×ＶＡＬ＿Ｈ＋Ｋ＿ＨＶ×ＶＡＬ＿Ｖ
・・・（式９−５）
これにより、Ｒ３３画素の近傍において、水平方向の相関性が強ければ、水平方向にのみＬＰＦ処理された補間値（ＶＡＬ＿Ｈ）が、補間色ｇ３３の値として算出される。一方、垂直方向の相関性が強ければ、垂直方向にのみＬＰＦ処理された補間値（ＶＡＬ＿Ｖ）が、補間色ｇ３３の値として算出される。また、水平方向の相関性と垂直方向の相関性が中間的であれば、その度合いに応じた加重平均結果が、補間色ｇ３３の値として算出される。
【００１７】
このように、従来の補間方法においては、水平方向に隣接する左右２画素の平均値と、垂直方向に隣接する上下２画素の平均値に基づいて、対象画素の補間値を出力する。従来の補間方法においては、単純な二次元ＬＰＦ処理に比べて高周波成分を増加させることができる。
【００１８】
ここで図１０を参照して、従来の補間方法による補間例を説明する。従来の補間方法においては、上記（式９−１）に示したように、水平方向の相関性が強い場合に適した水平補間値は、水平方向に隣接する左右２画素（Ｇ３２及びＧ３４）の平均値ＶＡＬ＿Ｈである。このＶＡＬ＿Ｈは、図１０の点Ｐに相当する。一方、上記（式９−２）に示したように、垂直方向の相関性が強い場合に適した垂直補間値は、垂直方向に隣接する上下２画素（Ｇ２３とＧ４３）の平均値ＶＡＬ＿Ｖである。このＶＡＬ＿Ｖは、図１０の点Ｑに相当する。更に、水平方向及び垂直方向の相関性の度合いに応じ、水平補間値ＶＡＬ＿Ｈと垂直補間値ＶＡＬ＿Ｖの加重平均をｇ３３として出力している。
【００１９】
このように、図１０の点Ｐと点Ｑとの中点Ｓに補間値が固定されるような単純な二次元ＬＰＦ処理に比べると、従来の補間方法においては、点Ｐから点Ｑの値を取ることができるため、補間値の取りうる範囲が広くなる。これにより、補間画素と隣接画素との信号レベル差が大きくなるので、補間後の画像の高周波成分が増加し、実際の入力画像に近い信号を出力することが期待できる。
【特許文献１】特開２００１−３２０７２０号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、上述した特許文献１に記載の方法は、入力画像に高周波成分が多く含まれている場合には、補間後の画像の高周波成分は不十分で、画像の輪郭がぼやける問題があった。具体的には、入力画像にエッジのある被写体が含まれている場合、エッジ部分がぼやけてしまう可能性がある。一般的な自然画においては、上述した特許文献１に記載の補間方法では、上記の補間値の取りうる範囲に収まるのは、補間画素の５０％以下となる場合もある。
【００２１】
ここで、具体的な数値で説明する。図１１に、各画素の入力画素信号を示す。図１１における信号の色配列は、図８と同様である。図１１に示す例では、Ｒ３３画素を頂点として、右上に信号レベルの高い被写体が撮像されている状態を示している。上記（式９−１）及び（式９−２）により、水平補間値ＶＡＬ＿Ｈ及び垂直補間値ＶＡＬ＿Ｖは、以下の通りである。
【００２２】
ＶＡＬ＿Ｈ＝（Ｇ３２＋Ｇ３４）／２＝１００
ＶＡＬ＿Ｖ＝（Ｇ２３＋Ｇ４３）／２＝９９
次に、水平軸における信号レベルの変化量Ｄｉｆ＿Ｈ及び垂直軸における信号レベルの変化量Ｄｉｆ＿Ｖは、上記（式９−３）により、以下のように算出される。
【００２３】
Ｄｉｆ＿Ｈ＝｜Ｇ３２−Ｇ３４｜＝１００
Ｄｉｆ＿Ｖ＝｜Ｇ２３−Ｇ４３｜＝１０２
ここで、ＨＶ相関閾値Ｔｈ＿ＨＶが１００の場合、ＨＶ相関係数Ｋ＿ＨＶは、下記のように算出される。
【００２４】
Ｋ＿ＨＶ＝（ＤｉｆＨ−Ｄｉｆ＿Ｖ）／（２×Ｔｈ＿ＨＶ）＋０．５＝０．４９
これにより、Ｒ３３画素におけるＧ色の補間値ｇ３３は、上記（式９−５）により、下記のように算出される。
【００２５】
ｇ３３＝（１−Ｋ＿ＨＶ）×ＶＡＬ＿Ｈ＋Ｋ＿ＨＶ×ＶＡＬ＿Ｖ＝９９．５１
以上により、ｇ３３は、９９．５１であると算出される。
【００２６】
ここで、図１１に示した画像においては、右上の３×３＝９画素がフィルタの色（ＲＧＢ）に関わらず全て信号レベルが１５０であるから、画素位置Ｒ３３は、無彩色の明るい被写体が撮像されている可能性が高い。従って、Ｒ３３画素におけるＧ色の補間値ｇ３３も、信号レベルが１５０に近いことが望ましいと考えられるが、上記の従来の方法では、上記演算結果で示したように、補間値ｇ３３は９９．５１と算出されてしまう。
【００２７】
ここで、ＮＴＳＣ（National Television Standards Committee）方式のテレビジョンにおいて、輝度信号Ｙは、０．３０×Ｒ＋０．５９×Ｇ＋０．１１×Ｂで表される。このように、一般的には、Ｇ信号は、他の色に比べて、輝度に対して大きな比重（０．５９）を占める。従って特に上記の例の様に、補間対象画素の上及び右に隣接するＧ２３及びＧ３４の信号レベルが１５０であるのに対し、補間色ｇ３３が９９．５１になることから、補間後の画像は頂点が暗く、エッジが丸い画像となってしまう。従って、この補間後の画像は、高周波成分の少ないぼやけた画像になってしまう問題がある。
【００２８】
更に、上記の例の場合、Ｒ３３の信号レベルが１５０であるのに対し、ｇ３３の信号レベルが９９．５１であることから、この画素だけは無彩色とならず赤味がついてしまう問題がある。
【００２９】
このような補間回路を有する撮像装置によれば、適切に画素値が補間されず、適切な画像を出力することができない問題がある。
【００３０】
そこで本発明は、補間後の画像に高周波成分が多く含まれる補間回路を有する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００３１】
上記課題を解決するために、本発明の特徴に係る撮像装置（１０）は、緑色（Ｇ）のフィルタを市松状に配列するとともに、赤色（Ｒ）のフィルタ及び青色（Ｂ）のフィルタをライン内では同一で、かつライン間では交互となるように配列されているフィルタを有する撮像素子（２０２）と、撮像素子から出力される信号に基づいて、ＢのフィルタまたはＲのフィルタに対応する補間対象画素において、Ｇの補間値を出力する補間回路を有し、補間回路は、補間対象画素の信号値と、補間対象画素と同色の画素であって、補間対象画素を中心として水平方向に対称な位置にある少なくとも一対の画素の信号値とに基づいて、水平方向の左右の相関性の強さを示す水平相関係数Ｋ＿ＬＲを出力する水平相関検出回路（１０５）と、水平相関係数Ｋ＿ＬＲと、補間対象画素の左右に隣接する画素の信号値とに基づいて、補間対象画素における水平方向の相関性を示す水平補間値ＶＡＬ＿Ｈを出力する水平補間回路（１０１）と、補間対象画素の信号値と、補間対象画素と同色の画素であって、補間対象画素を中心として垂直方向に対称な位置にある少なくとも一対の画素の信号値とに基づいて、垂直方向の上下の相関性の強さを示す垂直相関係数Ｋ＿ＵＤを出力する垂直相関検出回路（１０６）と、垂直相関係数Ｋ＿ＵＤと、補間対象画素の上下に隣接する画素の信号値とに基づいて、補間対象画素における垂直方向の相関性を示す垂直補間値ＶＡＬ＿Ｖを出力する垂直補間回路（１０２）と、補間対象画素の上下及び左右に隣接する画素の信号値に基づいて、補間対象画素における水平方向または垂直方向の相関性の強さを示すＨＶ相関係数Ｋ＿ＨＶを出力するＨＶ相関検出回路（１０３）と、水平補間値ＶＡＬ＿Ｈと垂直補間値ＶＡＬ＿Ｖとに基づいて、ＨＶ相関係数Ｋ＿ＨＶで加重平均することにより、補間対象画素における信号値を出力する加重平均回路（１０４）と、を備える。水平相関検出回路が出力する前記水平相関係数Ｋ＿ＬＲは、補間対象画素と左方向に位置する少なくとも１画素以上の同色の画素との信号レベルの第１の差分と、前記補間対象画素と右方向に位置する少なくとも１画素以上の同色の画素との信号レベルの第２の差分について、前記第１の差分と前記第２の差分との差分が予め定められた水平相関閾値の範囲外の場合、前記第１の差分と前記第２の差分のうち差分の小さい方向に、前記補間対象画素と隣接する画素の信号値を前記水平補間値ＶＡＬ＿Ｈとするための係数である。垂直相関検出回路が出力する前記垂直相関係数Ｋ＿ＵＤは、補間対象画素と上方向に位置する少なくとも１画素以上の同色の画素との信号レベルの第３の差分と、前記補間対象画素と下方向に位置する少なくとも１画素以上の同色の画素との信号レベルの第４の差分について、前記第３の差分と前記第４の差分との差分が予め定められた垂直相関閾値の範囲外の場合、前記第３の差分と前記第４の差分のうち差分の小さい方向に、補間対象画素と隣接する画素の信号値を前記垂直補間値ＶＡＬ＿Ｖとするための係数である。
【００３２】
ここで、水平相関検出回路（１０５）が出力する水平相関係数Ｋ＿ＬＲは、第１の差分と第２の差分が水平相関閾値の範囲内の場合、第１の差分と第２の差分のうち、差分の小さい方向に重みを付ける係数である。この場合、水平補間回路（１０１）が出力する水平補間値ＶＡＬ＿Ｈは、補間対象画素に隣接する左右の画素のうち、差分の小さい方向の画素の信号値に重みが付加されて算出される。
【００３３】
また、垂直相関検出回路（１０６）が出力する垂直相関係数Ｋ＿ＵＤは、第３の差分と第４の差分の差分が垂直相関閾値の範囲内の場合、第３の差分と第４の差分のうち、差分の小さい方向に重みを付ける係数である。この場合、垂直補間回路（１０２）が出力する垂直補間値ＶＡＬ＿Ｖは、補間対象画素に隣接する上下の画素うち、差分の小さい方向の画素の信号値に重みが付加されて算出される。
【発明の効果】
【００３４】
本発明によれば、補間後の画像に高周波成分が多く含まれる補間回路を有する構成としたので、高精細な補間画像信号を得ることができる撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００３５】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。
【００３６】
（実施の形態）
図１及び図２を参照して、本発明の実施の形態に係る補間回路１と、この補間回路１を有する撮像装置１０を説明する。撮像装置１０は、静止画を出力してもよいし、動画を出力してもよい。
【００３７】
本発明の実施の形態に係る撮像装置１０は、図２に示すように、レンズ２０１、撮像素子２０２、信号処理手段２０３、切り換え手段２０４及び記憶手段２０５を備えている。
【００３８】
レンズ２０１は、撮影対象物から発した光を撮像素子２０２の受光素子に結像させる。
【００３９】
撮像素子２０２は、一般的にＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）、ＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）等である。撮像素子２０２は、レンズ２０１によって受光素子に結像された像の光による明暗を、電荷の量に光電変換し、それを順次読み出して電気信号に変換する。このとき、受光素子の受光平面には、二次元的に複数の色フィルタが配置されている。この色フィルタは、いわゆるベイヤー配列のカラーフィルタである。具体的には、この色フィルタは、Ｒ（赤）、Ｇ（緑）及びＢ（青）の三色が、図６に示す様に格子状に設けられている。図６に示す色フィルタにおいては、Ｇのフィルタを市松状に配列するとともに、Ｒのフィルタ及びＢのフィルタをライン内では同一でライン間では交互となるように配列されている。信号処理手段２０３は、撮像素子２０２から、１画素につきＲＧＢのいずれか１色の信号のみ得られる。
【００４０】
信号処理手段２０３は、撮像素子２０２から得られた信号について、ガンマ補正、輪郭強調、ノイズ除去の信号処理をする。この際、信号処理手段２０３の補間回路１は、撮像素子２０２から出力される信号に基づいて、ＢのフィルタまたはＲのフィルタに対応する補間対象画素において、Ｇの補間値を出力する。補間回路１によるＧの補間値の出力については、後に詳述する。
【００４１】
信号処理手段２０３によって、撮像素子２０２からの信号が処理されると、処理された信号は、切り換え手段２０４及び記憶手段２０５に入力される。
【００４２】
切り換え手段２０４は、信号処理手段２０３から出力された信号に基づいて画像を構成し、リアルタイムで表示装置等に出力する手段である。一方、記憶手段２０５は、信号処理手段２０３から出力された信号を蓄積するメモリである。記憶手段２０５に記憶された画像の信号データは、切り換え手段２０４によるコマンドにより、表示装置等に出力される。
【００４３】
図１に示すように、補間回路１は、水平補間回路１０１、垂直補間回路１０２、ＨＶ相関検出回路１０３、加重平均回路１０４、水平相関検出回路１０５及び垂直相関検出回路１０６を有している。以下、図８に示す補間対象画素Ｒ３３について、補間値ｇ３３を算出する場合について説明する。
【００４４】
水平補間回路１０１は、水平相関係数Ｋ＿ＬＲと、補間対象画素の左右に隣接する画素の信号値に基づいて、補間対象画素における水平方向の相関性を示す水平補間値ＶＡＬ＿Ｈを出力する。水平補間値ＶＡＬ＿Ｈは、補間対象画素であるＲ３３において、水平方向の相関性が強いときに、好適な水平補間値である。
【００４５】
水平補間回路１０１には、補間対象画素Ｒ３３の左に隣接する画素Ｇ３２の信号値と、補間対象画素素Ｒ３３の右に隣接する画素Ｇ３４の信号値と、水平相関検出回路１０５によって算出された水平相関係数Ｋ＿ＬＲが入力される。水平補間回路１０１によって算出された水平補間値ＶＡＬ＿Ｈは、加重平均回路１０４に出力される。
【００４６】
ここで、水平補間値ＶＡＬ＿Ｈは、下記の（式１−１）によって算出される。
【００４７】
ＶＡＬ＿Ｈ＝（１−Ｋ＿ＬＲ）×Ｇ３２＋Ｋ＿ＬＲ×Ｇ３４
・・・（式１−１）
上記（式１−１）から明らかな様に、水平相関係数Ｋ＿ＬＲが”０”から”１”と変化することに伴い、水平補間値ＶＡＬ＿Ｈは、”Ｇ３２”から”Ｇ３４”の範囲で変化する。具体的には、水平補間値ＶＡＬ＿Ｈは、式（１−２）に示すように、Ｇ３２及びＧ３４のうちの最小値から、Ｇ３２及びＧ３４のうちの最大値の値を取る。
【００４８】
（Ｇ３２、Ｇ３４）ｍｉｎ  ≦  ＶＡＬ＿Ｈ  ≦  （Ｇ３２、Ｇ３４）ｍａｘ
・・・（式１−２）
水平相関検出回路１０５は、補間対象画素と、補間対象画素と同色の画素であって、補間対象画素を中心として水平方向に対称な少なくとも一対の画素の信号値に基づいて、水平方向の左右の相関性の強さを示す水平相関係数Ｋ＿ＬＲを出力する。ここで、水平相関検出回路１０５が出力する水平相関係数Ｋ＿ＬＲは、補間対象画素と左方向に位置する同色の画素との信号レベルの差分と、補間対象画素と右方向に位置する同色の画素との信号レベルの差分とを算出して、差分の小さい方に重みを付ける係数である。これにより、水平補間回路１０１が出力する水平補間値ＶＡＬ＿Ｈは、補間対象画素に隣接する左右の画素のうち、差分の小さい方向の画素の信号値に重みが付加されて算出される。
【００４９】
水平相関検出回路１０５には、補間対象画素Ｒ３３の信号値と、補間対象画素Ｒ３３の左に隣接する画素Ｇ３２を挟んでＲ信号の画素Ｒ３１の信号値と、補間対象画素Ｒ３３の右に隣接する画素Ｇ３４を挟んでＲ信号の画素Ｒ３５の信号値が入力される。水平相関検出回路１０５によって算出された水平相関係数Ｋ＿ＬＲは、水平補間回路１０１に出力される。
【００５０】
ここで、水平相関係数Ｋ＿ＬＲは、下記の（式１−３）によって算出される。
【００５１】
Ｋ＿ＬＲ＝（｜Ｒ３１−Ｒ３３｜−｜Ｒ３３−Ｒ３５｜）／（２×Ｔｈ＿ＬＲ）＋０．５
・・・（式１−３）
但し、（｜Ｒ３１−Ｒ３３｜−｜Ｒ３３−Ｒ３５｜）＜−Ｔｈ＿ＬＲの場合、
Ｋ＿ＬＲ＝０
また、（｜Ｒ３１−Ｒ３３｜−｜Ｒ３３−Ｒ３５｜）＞Ｔｈ＿ＬＲの場合、
Ｋ＿ＬＲ＝１
上記（式１−３）において水平相関閾値Ｔｈ＿ＬＲは、予め定められる所定の閾値である。水平相関閾値Ｔｈ＿ＬＲは、被写体や撮影条件等に応じて任意に定められてもよい。
【００５２】
上記（式１−３）により算出することにより、｜Ｒ３１−Ｒ３３｜−｜Ｒ３３−Ｒ３５｜に対する水平相関係数Ｋ＿ＬＲの値は、図３のグラフで示される。
【００５３】
具体的には、｜Ｒ３１−Ｒ３３｜＜｜Ｒ３３−Ｒ３５｜の場合、補間対象画素Ｒ３３を中心に、右方向より左方向の相関性が強いと判断される。この場合、水平相関係数Ｋ＿ＬＲの値は小さくなる。ここで、｜Ｒ３１−Ｒ３３｜−｜Ｒ３３−Ｒ３５｜が、予め設定された水平相関閾値−Ｔｈ＿ＬＲより小さい場合、水平相関係数Ｋ＿ＬＲは、０になる。一方、｜Ｒ３１−Ｒ３３｜＞｜Ｒ３３−Ｒ３５｜の場合、補間対象画素Ｒ３３を中心に、左方向より右方向の相関性が強いと判断される。この場合、水平相関係数Ｋ＿ＬＲの値は大きくなる。ここで、｜Ｒ３１−Ｒ３３｜−｜Ｒ３３−Ｒ３５｜が、予め設定された水平相関閾値Ｔｈ＿ＬＲより大きい場合、水平相関係数Ｋ＿ＬＲは、１になる。
【００５４】
ここでは、補間対象画素と同じ色の左右の一対の画素を使って水平相関係数Ｋ＿ＬＲを算出したが、２対以上の画素を使用して算出してもよい。この場合、被写体や撮影条件等に応じて２対以上の画素から任意の画素対を選択的に使用して、水平相関係数Ｋ＿ＬＲを算出したり、あるいは、（式１−３）においてＲ３１の信号の代わりに、補間対象画素の左側にあるＲ３１を含む２個以上の画素の信号値の平均を代入し、逆に補間対象画素の右側にあるＲ３５を含む２個以上の画素の信号値の平均をＲ３５の信号値の代わりに代入して水平相関係数Ｋ＿ＬＲを算出してもよい。
【００５５】
垂直補間回路１０２は、垂直相関係数Ｋ＿ＵＤと、補間対象画素の上下に隣接する画素の信号値に基づいて、補間対象画素における垂直方向の相関性を示す垂直補間値ＶＡＬ＿Ｖを出力する。垂直補間値ＶＡＬ＿Ｖは、補間対象画素であるＲ３３において、垂直方向の相関性が強いときに、好適な垂直補間値である。水平補間回路１０１と垂直補間回路１０２は、参照する画素が、補間対象画素に対して水平方向の画素か或いは垂直方向の画素かである点は異なるが、同様の処理を行う。
【００５６】
垂直補間回路１０２には、補間対象画素Ｒ３３の上に隣接する画素Ｇ２３の信号値と、補間対象画素素Ｒ３３の下に隣接する画素Ｇ４３の信号値と、垂直相関検出回路１０６によって算出された垂直相関係数Ｋ＿ＵＤが入力される。垂直補間回路１０２によって算出された垂直補間値ＶＡＬ＿Ｖは、加重平均回路１０４に出力される。
【００５７】
ここで、垂直補間値ＶＡＬ＿Ｖは、下記の（式１−４）によって算出される。
【００５８】
ＶＡＬ＿Ｖ＝（１−Ｋ＿ＵＤ）×Ｇ２３＋Ｋ＿ＵＤ×Ｇ４３
・・・（式１−４）
上記（式１−４）から明らかな様に、垂直相関係数Ｋ＿ＵＤが”０”から”１”と変化することに伴い、垂直補間値ＶＡＬ＿Ｖは、”Ｇ２３”から”Ｇ４３”の範囲で変化する。具体的には、垂直補間値ＶＡＬ＿Ｖは、式（１−５）に示す様に、Ｇ２３及びＧ４３のうちの最小値から、Ｇ２３及びＧ４３のうちの最大値の値を取る。
【００５９】
（Ｇ２３、Ｇ４３）ｍｉｎ  ≦  ＶＡＬ＿Ｖ  ≦  （Ｇ２３、Ｇ４３）ｍａｘ
・・・（式１−５）
垂直相関検出回路１０６は、補間対象画素と、補間対象画素と同色の画素であって、補間対象画素を中心として垂直方向に対称な少なくとも一対の画素の信号値に基づいて、垂直方向の上下の相関性の強さを示す垂直相関係数Ｋ＿ＵＤを出力する。ここで、垂直相関検出回路１０６が出力する垂直相関係数Ｋ＿ＵＤは、補間対象画素と上方向に位置する同色の画素との信号レベルの差分と、補間対象画素と下方向に位置する同色の画素との信号レベルの差分とを算出して、差分の小さい方に重みを付ける係数である。これにより、垂直補間回路１０２が出力する垂直補間値ＶＡＬ＿Ｖは、補間対象画素に隣接する上下の画素うち、差分の小さい方向の画素の信号値に重みが付加されて算出される。
【００６０】
垂直相関検出回路１０６には、補間対象画素Ｒ３３の信号値と、補間対象画素Ｒ３３の上に隣接する画素Ｇ２３を挟んでＲ信号の画素Ｒ１３の信号値と、補間対象画素Ｒ３３の下に隣接する画素Ｇ４３を挟んでＲ信号の画素Ｒ５３の信号値が入力される。垂直相関検出回路１０６によって算出された垂直相関係数Ｋ＿ＵＤは、垂直補間回路１０２に出力される。
【００６１】
ここで、垂直相関係数Ｋ＿ＵＤは、下記の（式１−６）によって算出される。
【００６２】
Ｋ＿ＵＤ＝（｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜）／（２×Ｔｈ＿ＵＤ）＋０．５
・・・（式１−６）
但し、（｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜）＜−Ｔｈ＿ＵＤの場合、
Ｋ＿ＵＤ＝０
また、（｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜）＞Ｔｈ＿ＵＤの場合、
Ｋ＿ＵＤ＝１
上記（式１−６）において垂直相関閾値Ｔｈ＿ＵＤは、予め定められる所定の閾値であって、予め定められる。垂直相関閾値Ｔｈ＿ＵＤは、被写体や撮影条件等に応じて任意に定められてもよい。
【００６３】
上記（式１−６）により算出することにより、｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜に対する垂直相関係数Ｋ＿ＵＤの値は、図４のグラフで示される。
【００６４】
具体的には、｜Ｒ１３−Ｒ３３｜＜｜Ｒ３３−Ｒ５３｜の場合、補間対象画素Ｒ３３を中心に、下方向より上方向の相関性が強いと判断される。この場合、垂直相関係数Ｋ＿ＵＤの値は小さくなる。ここで、｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜が、予め設定された垂直相関閾値−Ｔｈ＿ＵＤより小さい場合、垂直相関係数Ｋ＿ＵＤは、０になる。一方、｜Ｒ１３−Ｒ３３｜＞｜Ｒ３３−Ｒ５３｜の場合、補間対象画素Ｒ３３を中心に、上方向より下方向の相関性が強いと判断される。この場合、垂直相関係数Ｋ＿ＵＤの値は大きくなる。ここで、｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜が、予め設定された垂直相関閾値Ｔｈ＿ＵＤより大きい場合、垂直相関係数Ｋ＿ＵＤは、１になる。
【００６５】
ここでは、補間対象画素と同じ色の上下の一対の画素を使って垂直相関係数Ｋ＿ＵＤを算出したが、２対以上の画素を使用して算出してもよい。この場合、被写体や撮影条件等に応じて２対以上の画素から任意の画素対を選択的に使用して、垂直相関係数Ｋ＿ＵＤを算出したり、あるいは、（式１−６）においてＲ１３の信号の代わりに、補間対象画素の上側にあるＲ１３を含む２個以上の画素の信号値の平均を代入し、逆に補間対象画素の下側にあるＲ５３を含む２個以上の画素の信号値の平均をＲ５３の信号値の代わりに代入して垂直相関係数Ｋ＿ＵＤを算出してもよい。
【００６６】
ＨＶ相関検出回路１０３は、補間対象画素の上下及び左右の画素の信号値に基づいて、補間対象画素における水平方向または垂直方向の相関性の強さを示すＨＶ相関係数Ｋ＿ＨＶを出力する。具体的には、ＨＶ相関検出回路１０３は、（式１−７）により、水平軸における信号レベルの変化量Ｄｉｆ＿Ｈと、垂直軸における信号レベルの変化量Ｄｉｆ＿Ｖを算出する。これにより、補間対象画素の近傍において、水平軸及び垂直軸のそれぞれの相関性が判断される。
【００６７】
Ｄｉｆ＿Ｈ＝｜Ｇ３２−Ｇ３４｜
Ｄｉｆ＿Ｖ＝｜Ｇ２３−Ｇ４３｜
・・・（式１−７）
ここで、Ｄｉｆ＿Ｈ＜Ｄｉｆ＿Ｖなら垂直方向より水平方向の相関性が強いと判定される。一方、Ｄｉｆ＿Ｈ＞Ｄｉｆ＿Ｖなら水平方向より垂直方向の相関性が強いと判定される。
【００６８】
ＨＶ相関検出回路１０３は、更に、水平方向の相関性と垂直方向の相関性を示す係数であるＨＶ相関係数Ｋ＿ＨＶを算出する。ＨＶ相関係数Ｋ＿ＨＶは、下記の（式１−８）によって算出される。
【００６９】
Ｋ＿ＨＶ＝（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）／（２×Ｔｈ＿ＨＶ）＋０．５
・・・（式１−８）
ここで、
（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）＜−Ｔｈ＿ＨＶの場合は、Ｋ＿ＨＶ＝０
（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）＞Ｔｈ＿ＨＶの場合は、Ｋ＿ＨＶ＝１
このように算出することにより、Ｄｉｆ＿ＨとＤｉｆ＿Ｖとの差分に対するＨＶ相関係数Ｋ＿ＨＶの値は、図９のグラフで示される。
【００７０】
具体的には、ＨＶ相関係数Ｋ＿ＨＶは、水平方向の相関性が強いほどその値が小さい。また、予め設定されたＨＶ相関閾値−Ｔｈ＿ＨＶより（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）が小さい場合、ＨＶ相関係数Ｋ＿ＨＶは、０になる。
【００７１】
一方、ＨＶ相関係数Ｋ＿ＨＶは、垂直方向の相関性が強いほどその値が大きい。また、予め設定されたＨＶ相関閾値Ｔｈ＿ＨＶより（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）が大きい場合、ＨＶ相関係数Ｋ＿ＨＶは、１になる。ＨＶ相関係数Ｋ＿ＨＶは、加重平均回路９０４に入力される。
【００７２】
加重平均回路１０４は、水平補間値ＶＡＬ＿Ｈと垂直補間値ＶＡＬ＿Ｖに基づいて、ＨＶ相関係数Ｋ＿ＨＶで加重平均することにより、補間対象画素における信号値を出力する。加重平均回路１０４は、水平補間回路１０１から出力されたＶＡＬ＿Ｈ、垂直補間回路１０２から出力されたＶＡＬ＿Ｖ及びＨＶ相関検出回路１０３から出力されたＨＶ相関係数Ｋ＿ＨＶから、Ｒ３３画素におけるＧ色の補間色ｇ３３の値を算出する。補間色ｇ３３は、下記の（式１−９）によって算出される。
【００７３】
ｇ３３＝（１−Ｋ＿ＨＶ）×ＶＡＬ＿Ｈ＋Ｋ＿ＨＶ×ＶＡＬ＿Ｖ
・・・（式１−９）
これにより、Ｒ３３画素の近傍において、水平方向の相関性が強ければ、水平方向にのみＬＰＦ処理された補間値（ＶＡＬ＿Ｈ）が、補間色ｇ３３の値として算出される。一方、垂直方向の相関性が強ければ、垂直方向にのみＬＰＦ処理された補間値（ＶＡＬ＿Ｖ）が、補間色ｇ３３の値として算出される。また、水平方向の相関性と垂直方向の相関性が中間的であれば、その度合いに応じた加重平均結果が、補間色ｇ３３の値として算出される。
【００７４】
ここで、水平補間値ＶＡＬ＿Ｈ及び垂直補間値ＶＡＬ＿Ｖは、本発明に特有な水平相関検出回路１０５及び垂直相関検出回路１０６によってそれぞれ出力された水平相関係数Ｋ＿ＬＲ及び垂直相関係数Ｋ＿ＵＤを考慮して算出されている。
【００７５】
このように、本発明の実施の形態によれば、補間対象画素において、水平方向では左右どちらの方向に相関性が強いか、また垂直方向では上下どちらの方向に相関性が強いか、を判断することができる。これにより周囲の信号との関係を考慮した補間値を算出することができる。
【００７６】
ここで図５を参照して、本発明の実施の形態に係る補間方法による補間例を説明する。図５は、従来の補間方法による補間例を説明した図１０に対応する図である。
【００７７】
図５においては、水平補間値ＶＡＬ＿Ｈは、二重矢印で示されている。水平補間値ＶＡＬ＿Ｈは、補間対象画素Ｇ３３の左右の相関性の度合いに応じて、Ｇ３２の信号値からＧ３４の信号値までの値をとる。また、垂直補間値ＶＡＬ＿Ｖは、一重矢印で示されている。垂直補間値ＶＡＬ＿Ｖは、補間対象画素Ｒ３３の上下の相関性の度合いに応じて、Ｇ２３の信号値からＧ４３の信号値までの値をとる。
【００７８】
また、Ｒ３３におけるＧ色の補間値ｇ３３は、補間対象画素Ｒ３３の水平垂直の相関性の度合いに応じて、水平補間値ＶＡＬ＿Ｈと垂直補間値ＶＡＬ＿Ｖの加重平均として算出される。従って、Ｇ色の補間値ｇ３３は、水平補間値ＶＡＬ＿Ｈの取りうる値の範囲と、垂直補間値ＶＡＬ＿Ｖの取りうる値の範囲との論理和の範囲である。これにより、補間対象画素と、補間対象画素に隣接する画素との信号レベル差が大きくなるように補間対象画素の補間値を出力することができる。従って、本発明の実施の形態によれば、高周波成分を含み、急峻な信号レベル差にも対応可能な補間後の画像信号を得ることができる。本実施の形態においては、加重平均回路１０４によって加重平均演算をすることで連続的に水平補間と垂直補間とを切り換えたが、ＨＶ相関閾値Ｔｈ＿ＨＶを０に近い小さな値にすることで、二値的な切り換えを行うことも可能であり、被写体や撮影条件等に応じて任意に定められてもよい。
【００７９】
ここで、具体的な数値で説明する。図１１に、各画素の入力画素信号を示す。図１１における信号の色配列は、図８と同様である。図１１に示す例では、Ｒ３３画素を頂点として、右上に信号レベルの高い被写体が撮像されている状態を示している。
【００８０】
まず、水平相関検出回路１０５によって、上記（式１−３）に従って水平相関係数Ｋ＿ＬＲが算出される。このとき、水平相関閾値Ｔｈ＿ＬＲを１００とすると、
Ｋ＿ＬＲ＝（｜Ｒ３１−Ｒ３３｜−｜Ｒ３３−Ｒ３５｜）／（２×Ｔｈ＿ＬＲ）＋０．５
＝（｜５０−１５０｜−｜１５０−１５０｜）／（２×１００）＋０．５
＝１．０
・・・（式２−１）
この結果、水平補間回路１０１により、（式１−１）に従って水平補間値ＶＡＬ＿Ｈが算出される。
【００８１】
ＶＡＬ＿Ｈ＝（１−Ｋ＿ＬＲ）×Ｇ３２＋Ｋ＿ＬＲ×Ｇ３４
＝（１−１）×５０＋１×１５０
＝１５０
・・・（式２−２）
同様に、垂直相関検出回路１０６５によって、上記（式１−６）に従って垂直相関係数Ｋ＿ＵＤが算出される。このとき、垂直相関閾値Ｔｈ＿ＵＤを１００とすると、
Ｋ＿ＵＤ＝（｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜）／（２×Ｔｈ＿ＵＤ）＋０．５
＝（｜１５０−１５０｜−｜１５０−４６｜）／（２×１００）＋０．５
＝（−１０４）／（２×１００）＋０．５
ここで、｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜＝−１０４となり、−Ｔｈ＿ＵＤ＝−１００より小さくなることから、（式１−６）の条件式に従い、
Ｋ＿ＵＤ＝０
・・・（式２−３）
この結果、垂直補間回路１０２により、（式１−４）に従って垂直補間値ＶＡＬ＿Ｖが算出される。
【００８２】
ＶＡＬ＿Ｖ＝（１−Ｋ＿ＵＤ）×Ｇ２３＋Ｋ＿ＵＤ×Ｇ４３
＝（１−０）×１５０＋０×４８
＝１５０
・・・（式２−４）
上記（式２−２）及び（式２−４）によって水平補間値ＶＡＬ＿Ｈ及び垂直補間値ＶＡＬ＿Ｖが算出されると、ＨＶ相関検出回路１０３によって、上記（式１−７）に従って水平軸及び垂直軸のそれぞれの相関性が判断される。
【００８３】
Ｄｉｆ＿Ｈ＝｜Ｇ３２−Ｇ３４｜
＝｜５０−１５０｜
＝１００
Ｄｉｆ＿Ｖ＝｜Ｇ２３−Ｇ４３｜
＝｜１５０−４８｜
＝１０２
・・・（式２−５）
従って、図１１に示す例の場合、補間対象画素において、垂直方向より水平方向の相関性がやや強いと判定される。このとき、水平相関閾値Ｔｈ＿ＬＲを１００とすると、ＨＶ相関係数Ｋ＿ＨＶは、
Ｋ＿ＨＶ＝（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）／（２×Ｔｈ＿ＨＶ）＋０．５
＝（１００−１０２）／（２×１００）＋０．５
＝０．４９
・・・（式２−６）
これにより、Ｒ３３画素におけるＧ色の補間値ｇ３３は、上記（式１−９）により、下記の様に算出される。
【００８４】
ｇ３３＝（１−Ｋ＿ＨＶ）×ＶＡＬ＿Ｈ＋Ｋ＿ＨＶ×ＶＡＬ＿Ｖ
＝（１−０．４９）×１５０＋０．４９×１５０
＝１５０
・・・（式２−７）
図１１に示す例の場合、補間対象画素であるＲ３３を頂点として、右上に信号レベルの高い被写体が撮像されている状態を示しており、Ｒ３３のＧ色の補間値ｇ３３も信号レベルが１５０に近いことが望ましいと考えられる。従来の方法によれば、ｇ３３は９９．５１となりエッジが丸い画像が生成されるところ、本発明の実施の形態に係る補間回路１によれば、信号レベル１５０を算出することができる。
【００８５】
このように、本発明の実施の形態に係る撮像装置によれば、ＲまたはＢの色フィルタに対応する補間対象画素について、適切なＧ色の補間値を出力することができる。具体的には、撮像装置に係る補間回路は、補間対象画素の信号値と補間対象画素の水平方向及び垂直方向の同色の画素の信号値と比較することにより、水平方向において左右どちらの方向に相関性が強いか、また、垂直方向において上下どちらの方向に相関性が強いかを判断して、その結果を反映した補間値を出力することができる。これにより、被写体のエッジがシャープになり高周波成分を有する画像を出力することができる。更に、適切な補間値を出力することにより、他の色との信号値のバランスを崩すことなく、被写体の色を再現することができる。
【００８６】
（その他の実施の形態）
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【図面の簡単な説明】
【００８７】
【図１】本発明の実施の形態に係る撮像装置の補間回路の回路ブロック図ある。
【図２】本発明の実施の形態に係る撮像装置を説明する図である。
【図３】本発明の実施の形態に係る補間回路において、水平相関係数の値を説明する図である。
【図４】本発明の実施の形態に係る補間回路において、垂直相関係数の値を説明する図である。
【図５】本発明の実施の形態に係る補間回路において、補間対象画素の補間値を説明する図である。
【図６】一般的な撮像装置の色フィルタを説明する図である。
【図７】従来の撮像装置の補間回路の回路ブロック図ある。
【図８】一般的な撮像装置の色フィルタの画素及び信号値を説明する図である。
【図９】本発明の実施の形態に係る補間回路、および従来の補間回路において、垂直相関係数の値を説明する図である。
【図１０】従来の補間回路において、補間対象画素の補間値を説明する図である。
【図１１】各画素の信号値の一例を説明する図である。
【符号の説明】
【００８８】
１、９００  補間回路
１０  撮像装置
１０１、９０１  水平補間回路
１０２、９０２  垂直補間回路
１０３、９０３  ＨＶ相関検出回路
１０４、９０４  加重平均回路
１０５  水平相関検出回路
１０６  垂直相関検出回路
２０１  レンズ
２０２  撮像素子
２０３  信号処理手段
２０４  切り換え手段
２０５  記憶手段
【図１】
0005034789.tif 000002
【図２】
0005034789.tif 000003
【図３】
0005034789.tif 000004
【図４】
0005034789.tif 000005
【図５】
0005034789.tif 000006
【図６】
0005034789.tif 000007
【図７】
0005034789.tif 000008
【図８】
0005034789.tif 000009
【図９】
0005034789.tif 000010
【図１０】
0005034789.tif 000011
【図１１】
0005034789.tif 000012