(57)【特許請求の範囲】
【請求項１】
被写体を撮像して輝度信号を出力する第１撮像素子と、
被写体を撮像してＲ信号とＧ信号とＢ信号との各色信号をベイヤ配列に従って出力する前記第１撮像素子と同じ画素数の第２撮像素子と、
前記輝度信号に基づいて各画素における相関性の高い方向を表す相関方向指数を算出する相関方向指数算出部と、
補間値を求める対象の着目画素に対して、前記相関方向指数に基づいて相関性の高い方向に位置する相関方向画素を求め、前記相関方向画素の色信号によって前記着目画素における色信号の補間値を求める信号補間部と、
前記信号補間部で求められた色信号の補間値と前記輝度信号と前記第２撮像素子から出力された色信号とを用いて、求められていない色信号の補間値を算出する補間値算出部とを備え、
前記信号補間部は、
前記着目画素が前記Ｂ信号を出力するＢ画素と前記Ｒ信号を出力するＲ画素との場合には、前記相関方向画素のＧ信号の平均値を補間値として求めるＧ信号補間部と、
前記着目画素が前記Ｇ信号を出力するＧ画素の場合であって、かつ、前記相関方向画素が前記Ｒ画素のときには前記相関方向画素のＲ信号の平均値を補間値として求めるＲ信号補間部と、
前記着目画素が前記Ｇ信号を出力するＧ画素の場合であって、かつ、前記相関方向画素が前記Ｂ画素のときには前記相関方向画素のＢ信号の平均値を補間値として求めるＢ信号補間部と
を備えていることを特徴とする撮像装置。
【請求項２】
前記補間値算出部は、
前記Ｂ画素において前記Ｇ信号の補間値と前記輝度信号と前記Ｂ信号とを用いてＲ信号の補間値を算出し、前記Ｇ画素において前記Ｂ信号の補間値と前記輝度信号と前記Ｇ信号とを用いてＲ信号の補間値を算出するＲ補間値算出部と、
前記Ｒ画素において前記Ｇ信号の補間値と前記輝度信号と前記Ｒ信号とを用いてＢ信号の補間値を算出し、前記Ｇ画素において前記Ｒ信号の補間値と前記輝度信号と前記Ｇ信号とを用いてＢ信号の補間値を算出するＢ補間値算出部と
を備えていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
第１撮像素子によって被写体を撮像して輝度信号を出力するステップと、
前記第１撮像素子と同じ画素数の第２撮像素子によって被写体を撮像してＲ信号とＧ信号とＢ信号との各色信号をベイヤ配列に従って出力するステップと、
前記輝度信号に基づいて各画素における相関性の高い方向を表す相関方向指数を算出する相関方向指数算出ステップと、
補間値を求める対象の着目画素に対して、前記相関方向指数に基づいて相関性の高い方向に位置する相関方向画素を求め、前記相関方向画素の色信号によって前記着目画素における色信号の補間値を求める信号補間ステップと、
前記信号補間ステップで求められた色信号の補間値と前記輝度信号と前記第２撮像素子から出力された色信号とを用いて、求められていない色信号の補間値を算出する補間値算出ステップと
を含み、
前記信号補間ステップは、
前記着目画素が前記Ｂ信号を出力するＢ画素と前記Ｒ信号を出力するＲ画素との場合には、前記相関方向画素のＧ信号の平均値を補間値として求めるＧ信号補間ステップと、
前記着目画素が前記Ｇ信号を出力するＧ画素の場合であって、かつ、前記相関方向画素が前記Ｒ画素のときには前記相関方向画素のＲ信号の平均値を補間値として求めるＲ信号補間ステップと、
前記着目画素が前記Ｇ信号を出力するＧ画素の場合であって、かつ、前記相関方向画素が前記Ｂ画素のときには前記相関方向画素のＢ信号の平均値を補間値として求めるＢ信号補間ステップと
を含むことを特徴とする撮像装置の補間処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２板式撮像装置において高周波成分を多く含んだ画像であっても偽色の発生を防止する撮像装置及び撮像装置の補間処理方法に関する。
【背景技術】
【０００２】
カラー撮像装置には、入射光（被写体像）を色分離光学系（プリズム）を用いてＲＧＢの３色に分離し、３枚の白黒撮像素子に結像して各画素の３原色信号を得る３板式撮像装置や、各画素上にオンチップカラーフィルター（以下、ＯＣＦと称する）を形成した１枚のカラー撮像素子に入射光を結像し、信号処理（補間演算）によって各画素の３原色信号を得る単板式撮像装置がある。さらに、入射光を分離光学系（ビームスプリッター）を用いて分離し、白黒撮像素子１枚とカラー撮像素子１枚の各々に結像して２枚の撮像素子の出力信号を信号処理することによって各画素の３原色信号を得る２板式撮像装置がある。
【０００３】
３板式撮像装置は、プリズムを用いるために装置が大きく、且つ撮像素子を３枚用いるために高価になるが、補間演算によらずに各画素の３原色信号を得ることができるので、例えば格子縞のように細かい繰り返しパターンを有する空間周波数の高い被写体像であっても正確に被写体像の各色信号を得ることができる。一方、単板式撮像装置は、プリズムが不要で撮像素子を１枚しか用いないので装置が小型で安価になるが、補間演算を行うために被写体像の空間周波数が高い場合には偽色を生じることがある。
【０００４】
そこで、３板式撮像装置より小型安価であり、単板式撮像装置よりも高画質な画像を得ることのできる２板式撮像装置が提案されており、例えば特許文献１に開示された２板式ＣＣＤカメラがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−１２１３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献１に開示された従来の２板式ＣＣＤカメラでは、各画素における相関性の高い方向の如何に関わらず着目画素近傍のＲ信号のみからＲ信号の補間値を算出し、同様にＢ信号のみからＢ信号の補間値を算出しているので、空間周波数の高い画像、例えばカラー撮像素子のＲあるいはＢのカラーフィルターの配列ピッチよりも狭いピッチの縞模様で表されるような画像では、適切な色復調を行うことができずに偽色が生じてしまうという問題点があった。例えば配列ピッチの狭い白黒の縞模様の画像はシアン色あるいは黄色の縞模様として出力されてしまうという問題があった。
【０００７】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、高周波成分が多く含まれた画像であっても偽色のない良好な補間画像を得ることのできる撮像装置及び撮像装置の補間処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記した目的を達成するために、本発明に係る撮像装置は、被写体を撮像して輝度信号を出力する第１撮像素子と、被写体を撮像してＲ信号とＧ信号とＢ信号との各色信号をベイヤ配列に従って出力する前記第１撮像素子と同じ画素数の第２撮像素子と、前記輝度信号に基づいて各画素における相関性の高い方向を表す相関方向指数を算出する相関方向指数算出部と、補間値を求める対象の着目画素に対して、前記相関方向指数に基づいて相関性の高い方向に位置する相関方向画素を求め、前記相関方向画素の色信号によって前記着目画素における色信号の補間値を求める信号補間部と、前記信号補間部で求められた色信号の補間値と前記輝度信号と前記第２撮像素子から出力された色信号とを用いて、求められていない色信号の補間値を算出する補間値算出部とを備えていることを特徴とする。
【０００９】
また、本発明に係る撮像装置の信号補間部は、前記着目画素が前記Ｂ信号を出力するＢ画素と前記Ｒ信号を出力するＲ画素との場合には、前記相関方向画素のＧ信号の平均値を補間値として求めるＧ信号補間部と、前記着目画素が前記Ｇ信号を出力するＧ画素の場合であって、かつ、前記相関方向画素が前記Ｒ画素のときには前記相関方向画素のＲ信号の平均値を補間値として求めるＲ信号補間部と、前記着目画素が前記Ｇ信号を出力するＧ画素の場合であって、かつ、前記相関方向画素が前記Ｂ画素のときには前記相関方向画素のＢ信号の平均値を補間値として求めるＢ信号補間部とを備えていることを特徴とする。
【００１０】
さらに、本発明に係る撮像装置の補間値算出部は、前記Ｂ画素においては前記Ｇ信号の補間値と前記輝度信号と前記Ｂ信号とを用いてＲ信号の補間値を算出し、前記Ｇ画素においては前記Ｂ信号の補間値と前記輝度信号と前記Ｇ信号とを用いてＲ信号の補間値を算出するＲ補間値算出部と、前記Ｒ画素においては前記Ｇ信号の補間値と前記輝度信号と前記Ｒ信号とを用いてＢ信号の補間値を算出し、前記Ｇ画素においては前記Ｒ信号の補間値と前記輝度信号と前記Ｇ信号とを用いてＢ信号の補間値を算出するＢ補間値算出部とを備えていることを特徴とする。
【００１１】
また、本発明に係る撮像装置の補間処理方法は、第１撮像素子によって被写体を撮像して輝度信号を出力するステップと、前記第１撮像素子と同じ画素数の第２撮像素子によって被写体を撮像してＲ信号とＧ信号とＢ信号との各色信号をベイヤ配列に従って出力するステップと、前記輝度信号に基づいて各画素における相関性の高い方向を表す相関方向指数を算出する相関方向指数算出ステップと、補間値を求める対象の着目画素に対して、前記相関方向指数に基づいて相関性の高い方向に位置する相関方向画素を求め、前記相関方向画素の色信号によって前記着目画素における色信号の補間値を求める信号補間ステップと、前記信号補間ステップで求められた色信号の補間値と前記輝度信号と前記第２撮像素子から出力された色信号とを用いて、求められていない色信号の補間値を算出する補間値算出ステップとを含むことを特徴とする。
【発明の効果】
【００１２】
本発明に係る撮像装置及び撮像装置の補間処理方法によれば、輝度信号に基づいて各画素における相関性の高い方向を求め、この相関性の高い方向にある画素の色信号を用いて補間値を求めるので、高周波成分が多く含まれた画像であっても偽色のない良好な補間画像を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明を適用した一実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本発明を適用した一実施形態に係る撮像装置による補間処理の処理手順を示すフローチャートである。
【図３】本発明を適用した一実施形態に係る撮像装置による補間処理を説明するための図である。
【図４】本発明を適用した一実施形態に係る撮像装置による補間処理を説明するための図である。
【図５】本発明を適用した一実施形態に係る撮像装置による補間処理を説明するための図である。
【図６】本発明を適用した一実施形態に係る撮像装置による補間処理を説明するための図である。
【図７】本発明を適用した一実施形態に係る撮像装置による補間処理を説明するための図である。
【図８】本発明を適用した一実施形態に係る撮像装置による補間処理を説明するための図である。
【図９】本発明を適用した一実施形態に係る撮像装置による補間処理を説明するための図である。
【図１０】本発明を適用した一実施形態に係る撮像装置による補間処理を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、本発明を適用した一実施形態について図面を参照して説明する。
【００１５】
［撮像装置の構成］
図１は本実施形態に係る撮像装置の構成を示すブロック図である。図１に示すように、本実施形態に係る撮像装置１は、被写体からの光が入射するレンズ２と、レンズ２を介して入射した被写体像を２方向に分離する分離光学系３と、被写体を撮像して輝度信号を出力する白黒撮像素子４と、被写体を撮像してＲ信号とＧ信号とＢ信号との各色信号をベイヤ配列に従って出力する白黒撮像素子４と同じ画素数のカラー撮像素子５と、補間処理を行って各画素の３原色信号Ｐを生成する補間処理部６とを備えている。
【００１６】
本実施形態に係る撮像装置１は、レンズ２を介して入射した被写体像を分離光学系３によって２方向に分離し、白黒撮像素子４とカラー撮像素子５に結像させる。ここで、白黒撮像素子４は人間の視感度特性にほぼ等しい特性を持っており、カラー撮像素子５は画素上にベイヤー配列のＯＣＦ（オンチップカラーフィルター）が形成されている。白黒撮像素子４の出力ＳＤ１及びカラー撮像素子５の出力ＳＤ２は、補間処理部６に入力されて補間演算によって各画素の３原色信号Ｐが生成される。
【００１７】
ここで、照明条件（色温度）によってＲＧＢのバランス（いわゆるホワイトバランス）が変化するので、無彩色の被写体に対してはＲ＝Ｇ＝Ｂとなるようにカラー撮像素子５の各色の利得は調整され、白黒撮像素子４については無彩色の被写体に対してはＹ＝Ｒ＝Ｇ＝Ｂとなるように利得が調整される。
【００１８】
［補間処理部の構成］
図１に示すように、本実施形態に係る補間処理部６は、輝度信号に基づいて各画素における相関性の高い方向を表す相関方向指数を算出する相関方向指数算出部１１と、補間値を求める対象の着目画素に対して、相関方向指数に基づいて相関性の高い方向に位置する相関方向画素を求め、この相関方向画素の色信号によって着目画素における色信号の補間値を求める信号補間部１２と、信号補間部１２で求められた色信号の補間値と輝度信号とカラー撮像素子５から出力された色信号とを用いて、求められていない色信号の補間値を算出する補間値算出部１３とを備えている。
【００１９】
また、信号補間部１２は、着目画素がＢ信号を出力するＢ画素とＲ信号を出力するＲ画素の場合には、相関方向画素のＧ信号の平均値を補間値として求めるＧ信号補間部２１と、着目画素がＧ信号を出力するＧ画素の場合で、かつ、相関方向画素がＲ画素のときには相関方向画素のＲ信号の平均値を補間値として求めるＲ信号補間部２３と、着目画素がＧ信号を出力するＧ画素の場合で、かつ、相関方向画素がＢ画素のときには相関方向画素のＢ信号の平均値を補間値として求めるＢ信号補間部２２とを備えている。
【００２０】
さらに、補間値算出部１３は、Ｂ画素においてＧ信号の補間値と輝度信号とＢ信号とを用いてＲ信号の補間値を算出し、Ｇ画素においてＢ信号の補間値と輝度信号とＧ信号とを用いてＲ信号の補間値を算出するＲ補間値算出部３１と、Ｒ画素においてＧ信号の補間値と輝度信号とＲ信号とを用いてＢ信号の補間値を算出し、Ｇ画素においてＲ信号の補間値と輝度信号とＧ信号とを用いてＢ信号の補間値を算出するＢ補間値算出部３２とを備えている。
【００２１】
［補間処理の手順］
次に、本実施形態に係る撮像装置１による補間処理の手順を図２のフローチャートを参照して説明する。ここでは撮像素子の画素ピッチと等しい周期の白黒の縦縞パターンの被写体を撮影した場合を一例として説明する。理解を容易にするために、白黒撮像素子４とカラー撮像素子５の画素配列は図３（ａ）に示すように同じ座標軸上に１つの模式図として示し、本実施形態の具体的な数値例を図３（ｂ）に示す。また、水平方向ｘ=ｉ及び垂直方向ｙ=ｊの座標を添え字(i,j)で示す。
【００２２】
図２に示すように、ステップＳ１０１では、座標(i,j)の位置にある画素の白黒撮像素子４の輝度信号出力Ｙ(i,j)をもとにして、各画素における相関性の高い方向を表す相関方向指数Ｄ(i,j)を算出する。具体的な算出方法は、補間値を求める対象となっている着目画素の輝度信号をＹ(i,j)としたときに、上下に隣接する２画素の輝度信号Ｙ(i,j-1)とＹ(i,j+1)の平均値Ｙa_v(i,j)と、左右に隣接する２画素Ｙ(i-1,j)とＹ(i+1,j)の平均値Ｙa_h(i,j)とを算出し、これらの平均値と着目画素の輝度信号Ｙ(i,j)との差分が小さい方向を相関性の高い方向とし、垂直方向の相関性が高い場合には相関方向指数Ｄ(i,j)＝１、水平方向の相関性が高い場合には相関方向指数Ｄ(i,j)＝０と定義すれば、次式によって算出することができる。
【００２３】
Ｄ(i,j)＝０・・・（|Ｙa_v(i,j)−Ｙ(i,j)|＞|Ｙa_h(i,j)−Ｙ(i,j)|の時）
＝１・・・（|Ｙa_v(i,j)−Ｙ(i,j)|＝|Ｙa_h(i,j)−Ｙ(i,j)|の時）
＝１・・・（|Ｙa_v(i,j)−Ｙ(i,j)|＜|Ｙa_h(i,j)−Ｙ(i,j)|の時）    ・・・・（１）
ここで、|Ｙa_v(i,j)−Ｙ(i,j)|＝|Ｙa_h(i,j)−Ｙ(i,j)|のときには水平方向、垂直方向ともに相関性の程度が同等なので、本実施形態では垂直方向を優先するものとした。ただし、これに限定されるわけではない。
【００２４】
次に、ステップＳ１０２では、カラー撮像素子５においてＢのＯＣＦが形成されているｘ＝奇数、ｙ＝偶数の座標（以下、Ｂ画素あるいは座標(o,e)と称す）におけるＧ信号の補間値ｇ(o,e)を次式によって算出する。具体的な算出方法は、着目画素の相関方向指数がＤ(i,j)＝１のとき、すなわち垂直方向の相関が強い場合には上下に隣接する２画素のＧ信号Ｇ(i,j-1)とＧ(i,j+1)の平均値をＧ信号の補間値ｇ(i,j)として算出し、着目画素の相関方向指数がＤ(i,j)＝０のとき、すなわち水平方向の相関が強い場合には左右に隣接する２画素のＧ信号Ｇ(i-1,j)とＧ(i+1,j)の平均値をＧ信号の補間値ｇ(i,j)として算出する。
【００２５】
ｇ(i,j)＝(Ｇ(i,j-1)＋Ｇ(i,j+1))／2  ・・・（Ｄ(i,j)＝１のとき）
ｇ(i,j)＝(Ｇ(i-1,j)＋Ｇ(i+1,j))／2  ・・・（Ｄ(i,j)＝０のとき）    ・・・（２）
次に、ステップＳ１０３では、カラー撮像素子５においてＲのＯＣＦが形成されているｘ＝偶数、ｙ＝奇数の座標（以下、Ｒ画素あるいは座標(e,o)と称す）におけるＧ信号の補間値ｇ(e,o)を算出する。具体的な算出方法は、ステップＳ１０２と同様に相関方向画素のＧ信号の平均値をＧ信号の補間値ｇ(i,j)として算出する。ステップＳ１０２及びＳ１０３による具体的な算出結果を図４（ａ）、（ｂ）に示す。
【００２６】
次に、ステップＳ１０４では、カラー撮像素子５においてＢのＯＣＦが形成されている座標(o,e)におけるＲ信号の補間値ｒ(o,e)を算出する。具体的な算出方法は、着目画素の白黒撮像素子４の出力Ｙ(i,j)と、カラー撮像素子５の出力Ｂ(i,j)と、ステップＳ１０２で算出したＧ信号の補間値ｇ(i,j)とを用いて、次式によって算出する。
【００２７】
ｒ(i,j)＝(Ｙ(i,j)−0.6×ｇ(i,j)−0.1×Ｂ(i,j))／0.3    ・・・・（３）
これによって座標(o,e)における画素の３原色は全て算出されるので、座標(o,e)における画素の色復調は完成する。この算出結果を図５（ａ）、（ｂ）に示す。
【００２８】
次に、ステップＳ１０５では、カラー撮像素子５においてＲのＯＣＦが形成されている座標(e,o)におけるＢ信号の補間値ｂ(e,o)を算出する。具体的な算出方法は、ステップＳ１０４と同様であり、Ｂ(i,j)の代わりにＲ(i,j)を用いて次式によって算出する。
【００２９】
ｂ(i,j)＝(Ｙ(i,j)−0.6×ｇ(i,j)−0.3×Ｒ(i,j))／0.1    ・・・・（４）
これによって座標(e,o)における画素の３原色は全て算出されるので、座標(e,o)における画素の色復調は完成する。この算出結果を図６（ａ）、（ｂ）に示す。
【００３０】
次に、ステップＳ１０６では、カラー撮像素子５においてＧのＯＣＦが形成されている座標(e,e)の相関方向を相関方向指数D(e,e)を用いて判定する。ここで相関方向が縦である場合には、ステップＳ１０７ａに移行して座標(e,e)におけるＲ信号の補間値ｒ(e,e)を算出する。具体的な算出方法は、着目画素の上下に隣接する２画素のＲ信号Ｒ(i,j-1)とＲ(i,j+1)の平均値をＲ信号の補間値ｒ(e,e)として算出する。この計算式を次式に示し、算出結果を図７（ａ）、（ｂ）に示す。
【００３１】
ｒ(i,j)＝(Ｒ(i,j-1)＋Ｒ(i,j+1))／2                ・・・・（５）
引き続きステップＳ１０８ａでは、座標(e,e)におけるＢ信号の補間値ｂ(e,e)を算出する。具体的な算出方法は、着目画素の白黒撮像素子４の輝度信号Ｙ(i,j)と、カラー撮像素子５のＧ信号Ｇ(i,j)と、ステップＳ１０７ａで算出したＲ信号の補間値ｒ(i,j)とを用いて、次式によって算出する。
【００３２】
ｂ(i,j)＝(Ｙ(i,j)−0.6×Ｇ(i,j)−0.3×ｒ(i,j))／0.1    ・・・・（６）
これによって座標(e,e)における画素の３原色は全て算出されるので、座標(e,e)における画素の色復調は完成する。この算出結果を図８（ａ）、（ｂ）に示す。
【００３３】
一方、ステップＳ１０６において相関方向が横であった場合には、ステップＳ１０７ｂに移行して座標(e,e)におけるＢ信号の補間値ｂ(e,e)を算出し、ステップＳ１０８ｂにおいてＲ信号の補間値ｒ(e,e)を算出する。具体的な算出方法は、相関方向が縦であった場合のステップＳ１０７ａ、１０８ａと同様であり、Ｂ信号の補間値ｂの算出式とＲ信号の補間値ｒの算出式はそれぞれ以下のようになる。
【００３４】
ｂ(i,j)＝(Ｂ(i-1,j)＋Ｂ(i+1,j))／2                  ・・・・（７）
ｒ(i,j)＝(Ｙ(i,j)−0.6×Ｇ(i,j)−0.1×ｂ(i,j))／0.3      ・・・・（８）
次に、ステップＳ１０９に移行して、カラー撮像素子５においてＧのＯＣＦが形成されている座標(o,o)における相関方向を相関方向指数Ｄ(o,o)を用いて判定する。ここで、相関方向が縦である場合には、ステップＳ１１０ａに移行して座標(o,o)におけるＢ信号の補間値ｂ(o,o)を算出する。具体的な算出方法は、着目画素の上下に隣接している２画素のＢ信号Ｂ(i,j-1)とＢ(i,j+1)の平均値をＢ信号の補間値ｂ(o,o)として算出する。この計算式を次式に示し、算出結果を図９（ａ）、（ｂ）に示す。
【００３５】
ｂ(i,j)＝(Ｂ(i,j-1)＋Ｂ(i,j+1))／2      ・・・・（９）
引き続きステップＳ１１１ａでは、座標(o,o)におけるＲ信号の補間値ｒ(o,o)を算出する。具体的な算出方法は、着目画素の白黒撮像素子４の輝度信号Ｙ(i,j)と、カラー撮像素子５のＧ信号Ｇ(i,j)と、ステップＳ１１０ａで算出したＢ信号の補間値ｂ(i,j)とを用いて、次式によって算出する。
【００３６】
ｒ(i,j)＝(Ｙ(i,j)−0.6×Ｇ(i,j)−0.1×ｂ(i,j))／0.3      ・・・・（１０）
これによって座標(o,o)における画素の３原色は全て算出されるので、座標(o,o)における画素の色復調は完成する。この算出結果を図１０（ａ）、（ｂ）に示す。
【００３７】
一方、ステップＳ１０９において相関方向が横であった場合には、ステップＳ１１０ｂに移行して座標(o,o)におけるＲ信号の補間値ｒ(o,o)を算出し、ステップＳ１１１ｂにおいてＢ信号の補間値ｂ(o,o)を算出する。具体的な算出方法は、相関方向が縦であった場合のステップＳ１１０ａ、１１１ａと同様であり、Ｒ信号の補間値ｒの算出式とＢ信号の補間値ｂの算出式はそれぞれ以下のようになる。
【００３８】
ｒ(i,j)＝(Ｒ(i-1,j)＋Ｒ(i+1,j))／2                  ・・・・（１１）
ｂ(i,j)＝(Ｙ(i,j)−0.6×Ｇ(i,j)−0.3×ｒ(i,j))／0.1      ・・・・（１２）
これによって座標(o,o)における画素の３原色は全て算出されるので、座標(o,o)における画素の色復調は完成する。
【００３９】
こうして全ての座標に対する３原色信号が算出されると、本実施形態に係る撮像装置による補間処理は終了する。この結果、本実施形態に係る撮像装置によれば、従来の補間処理方法では偽色が発生してしまう高周波成分を含んだ縦縞模様に対しても、図１０（ｂ）に示すように、補間処理結果に偽色はなく入力画像を正しく再現できていることが分かる。
【００４０】
尚、上述した実施形態では、ステップＳ１０１において全ての座標の相関方向指数を算出しているが、相関方向指数を算出するタイミングについてはこれに限定されるわけではなく、相関方向指数を参照する各ステップ（Ｓ１０２、Ｓ１０３、Ｓ１０６、Ｓ１０９）においてそれぞれ算出してもよい。また、ステップＳ１０２、Ｓ１０３においてＧ信号の補間値を全座標について算出した後に、ステップＳ１０４で座標(o,e)の色復調を完成させ、更にその後にステップＳ１０５で座標(e,o)の色復調を完成させているが、処理の順序はこれに限定されるわけではなく、まずステップＳ１０３→Ｓ１０５の順序で座標(e,o)の色復調を完成させ、次にステップＳ１０２→Ｓ１０４の順序で座標(o,e)の色復調を完成させてもよい。あるいはステップＳ１０６→Ｓ１０７→Ｓ１０８を最初に処理することで座標(e,e)の色復調を最初に完成させてもよいし、ステップＳ１０９→Ｓ１１０→Ｓ１１１を最初に処理することで座標(o,o)の色復調を最初に完成させてもよい。本発明は、このように処理の順序を入れ換えたとしても、その概念及び効果に変わりはない。もちろん、ハードウェアによって並列同時処理を行っても同様である。
【００４１】
また、上述した実施形態では、ステップＳ１０１における相関方向指数の算出方法として、着目画素を狭持する隣接２画素の平均値と着目画素との差分を用いて算出したが、算出方法はこれに限定されるわけではなく、更に多くの隣接画素に適当なフィルター処理を施した値を用いて算出するなど、既存の任意の方法を用いることができる。
【００４２】
さらに、上述した実施形態では、ステップＳ１０２、Ｓ１０３、Ｓ１０７、Ｓ１１０における特定方向の補間値算出方法を、着目画素を狭持する隣接２画素の平均値としているが、算出方法はこれに限定されるわけではなく、更に多くの隣接画素に適当なフィルター処理を施した値を用いることもできる。
【００４３】
なお、本発明は、ハードウェアにより図１の補間処理部を構成する場合に限定されるものではなく、図２の手順を実行するコンピュータプログラムによるソフトウェアによって補間処理を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【００４４】
［実施形態の効果］
以上詳細に説明したように、本発明を適用した一実施形態に係る撮像装置及び撮像装置の補間処理方法によれば、輝度信号に基づいて各画素における相関性の高い方向を求め、この相関性の高い方向にある画素の色信号を用いて補間値を求めるので、高周波成分が多く含まれた画像であっても偽色のない良好な補間画像を得ることができる。
【００４５】
また、本発明を適用した一実施形態に係る撮像装置によれば、着目画素がＢ画素とＲ画素の場合には相関方向画素のＧ信号の平均値を補間値として求めるＧ信号補間部２１と、着目画素がＧ画素の場合には相関方向画素に応じてＲ信号及びＢ信号の平均値を補間値として求めるＲ信号補間部２３及びＢ信号補間部２２とを備えているので、相関性の高い方向にある画素の色信号を用いて補間値を求めることができる。
【００４６】
さらに、本発明を適用した一実施形態に係る撮像装置によれば、Ｇ信号の補間値と輝度信号とＢ信号とを用いてＲ信号の補間値を算出する、あるいはＢ信号の補間値と輝度信号とＧ信号とを用いてＲ信号の補間値を算出するＲ補間値算出部３１と、Ｇ信号の補間値と輝度信号とＲ信号とを用いてＢ信号の補間値を算出する、あるいはＲ信号の補間値と輝度信号とＧ信号とを用いてＢ信号の補間値を算出するＢ補間値算出部３２とを備えているので、相関性の高い方向にある画素の色信号を用いて求められた補間値を用いて補間値を算出することができる。
【００４７】
なお、上述の実施形態は本発明の一例である。したがって、本発明は、上述の実施形態に限定されるわけではなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。
【符号の説明】
【００４８】
１  撮像装置
２  レンズ
３  分離光学系
４  白黒撮像素子
５  カラー撮像素子
６  補間処理部
１１  相関方向指数算出部
１２  信号補間部
１３  補間値算出部
２１  Ｇ信号補間部
２２  Ｒ信号補間部
２３  Ｂ信号補間部
３１  Ｒ補間値算出部
３２  Ｂ補間値算出部
【図１】
0005673186.tif 000002
【図２】
0005673186.tif 000003
【図３】
0005673186.tif 000004
【図４】
0005673186.tif 000005
【図５】
0005673186.tif 000006
【図６】
0005673186.tif 000007
【図７】
0005673186.tif 000008
【図８】
0005673186.tif 000009
【図９】
0005673186.tif 000010
【図１０】
0005673186.tif 000011