(57)【特許請求の範囲】
【請求項１】
斜め方向に半画素ずらして配置された２枚の撮像素子を備えた撮像装置において、
第１および第２の撮像素子により読み出された色信号より各撮像素子に対して撮像素子の画素数分の解像度の色信号を復元生成する色信号復元手段と、
前記色信号復元手段からの出力である上記第１および第２の撮像素子からの信号より復元された各信号により各撮像素子の画素数の水平垂直方向各２倍の解像度の信号の画素を得る手段と、
前記得られた水平垂直方向各２倍の解像度の信号において画素信号が得られていない所定画素位置におけるエッジ成分を周辺画素から判定する第１のエッジ判定手段を備えるとともに、
前記第１のエッジ判定手段からの信号に基づき、水平垂直方向各２倍の解像度の信号での前記所定画素位置の信号を算出する手段を
有することを特徴とする撮像装置。
【請求項２】
前記第１のエッジ判定手段が、画素信号が得られていない所定画素位置における左右の隣接画素のあらかじめ定めたおいた一つの色信号の差の絶対値を算出して水平方向のエッジ成分を検出する手段と、
上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する手段と、
前記水平方向のエッジ成分を検出する手段と垂直方向エッジ成分を検出する手段からの出力に基づき、前記所定画素位置における水平または垂直方向のエッジ成分を判定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記第１のエッジ判定手段におけるエッジ成分の判定が、上記水平方向のエッジ成分を検出する手段からの出力または上記垂直方向のエッジ成分を検出する手段からの出力が予め定めた値より大きい場合は、上記画素信号が得られていない所定画素位置の周辺画素にエッジ成分を検出したとし、さらに、水平方向のエッジ成分を検出する手段からの出力が上記垂直方向のエッジ成分を検出する手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ成分を検出する手段の出力が上記垂直方向エッジ成分を検出する手段出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ成分を検出する手段および垂直方向エッジ成分を検出する手段の出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定することを特徴とする請求項１または請求項２記載の撮像装置。
【請求項４】
上記水平垂直方向各２倍の解像度の信号での画素信号が得られていない所定画素位置の信号を算出する手段が、画素信号が得られていない所定画素位置における信号それぞれに対し、上下の画素の平均値より信号を算出する垂直方向算出手段と、左右の画素の平均値より信号を算出する水平方向算出手段と、上下左右の隣接画素の平均値より信号を算出する平均値算出手段とを備え、上記第１のエッジ判定手段の出力に基づき、上記水平方向算出手段の出力または垂直方向算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素位置での信号を得て、撮像素子における画素数の水平垂直方向各２倍の解像度の各信号を得ることを特徴とする請求項１記載の撮像装置。
【請求項５】
上記水平垂直方向各２倍の解像度の信号での画素信号が得られていない所定画素位置の信号を算出する手段が、画素信号が得られていない所定画素位置において上記第１のエッジ判定手段の出力がエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向算出手段の出力を選択することを特徴とする請求項４に記載の撮像装置。
【請求項６】
上記斜め方向に半画素ずらして配置された２枚の撮像素子それぞれにおいて、各撮像素子が、垂直２行水平２列の上下４画素において、第１の色信号に対する分光感度特性を持つ第１の色フィルタと第２の色信号に対する分光感度特性を持つ第２の色フィルタとが垂直１行目に配列され、垂直２行目には上記垂直１行目の第１の色フィルタが配列された画素位置と同一の列に第３の色信号に対する分光感度特性を持つ第３の色フィルタが配列され、第２の色フィルタと同一の列に第１の色信号に対する分光感度特性を持つ第１の色フィルタが配列されており、上記上下４画素の色フィルタが順次垂直および水平方向に繰り返し配列された撮像素子であり、各撮像素子からの色信号に対して撮像素子の画素数分の解像度の色信号を復元生成する上記色信号復元手段が、上記第１の色フィルタによる第１の色信号の画素信号が得られていない所定画素位置での周辺画素信号に基づき、画素信号が得られていない所定画素位置におけるエッジ成分を判定する第２のエッジ判定手段と、
前記第２のエッジ判定手段の出力に基づき、上記第１、第２、第３の色フィルタにより読み出された第１、第２および第３の色信号により第１の色信号における上記画素信号が得られていない所定画素位置での信号を算出する第１の算出手段と、上記第２のエッジ判定手段の出力に基づき、上記第１の算出手段の出力と色フィルタからの第２および第３の色信号により第２および第３の色信号を算出する第２の算出手段とを備え、上記撮像素子における画素数の第１、第２、第３の色信号を得るとともに、上記第１のエッジ判定手段が、上記第１の色信号による上記水平垂直方向各２倍の解像度の信号の画素を得る手段から出力される信号に対し、画素信号が得られていない所定画素位置における周辺画素のエッジ成分を判定することを特徴とする請求項１または請求項２記載の撮像装置。
【請求項７】
上記色復元手段における第２のエッジ判定手段が、
第１の色信号の画素信号が得られていない所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、
第１の色信号の画素信号が得られていない所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、
前記水平方向エッジ検出手段と垂直方向エッジ検出手段からの出力に基づき、前記画素信号が得られていない所定画素位置における水平または垂直方向のエッジ成分を判定する判定手段を備えるとともに、前記判定手段が、上記水平方向エッジ検出手段からの出力または上記垂直方向エッジ検出手段からの出力が予め定めた値より大きい場合は、上記画素信号が得られていない所定画素位置の周辺画素にエッジ成分を検出したとし、さらに、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定することを特徴とする請求項１または請求項６記載の撮像装置。
【請求項８】
上記色復元手段における第１の色信号での所定位置に対する信号を算出する第１の算出手段が、第２の色信号Ｂのある所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し水平方向のローパスフィルタを介した値Ａｈｌｐｆ（ｌ、ｍ）、Ｂｈｌｐｆ（ｌ、ｍ）を算出し、前記水平方向ローパスフィルタからの出力信号であるＡｈｌｐｆ（ｌ、ｍ）とＢｈｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する水平方向信号算出手段と、上記所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し垂直方向のローパスフィルタを介した値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ（ｌ、ｍ）を算出し、前記垂直方向ローパスフィルタからの出力信号であるＡｖｌｐｆ（ｌ、ｍ）とＢｖｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌｐｆ（ｌ、ｍ）／Ｂｖｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する垂直方向信号算出手段と、第１の色信号Ａにおける上記所定画素ｌ行ｍ列の位置での上下左右の隣接画素の平均値よりｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を算出する平均値算出手段とを備え、上記第２のエッジ判定手段の出力に基づき、上記水平方向信号算出手段の出力または垂直方向信号算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素ｌ行ｍ列における第１の色信号Ａの画素値Ａ（ｌ、ｍ）を得て、撮像素子における画素数の第１の色信号を得ることを特徴とする請求項１、請求項６および請求項７のいずれかに記載の撮像装置。
【請求項９】
前記色復元手段における第１の算出手段が、上記第２のエッジ判定手段の出力が所定画素ｌ行ｍ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第１の色信号を得ることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
上記色復元手段における第２の算出手段が、所定画素ｌ行ｍ列の位置において、上記第１の算出手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ１ｈｌｐｆ（ｌ、ｍ）と垂直方向ローパスフィルタを介した値Ａ１ｖｌｐｆ（ｌ、ｍ）を算出し、第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ１ｈｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対し垂直方向のローパスフィルタを介した値Ｃ１ｖｌｐｆ（ｌ、ｍ）（または、第２の色信号Ｂに対し垂直方向のローパスフィルタを介した値Ｂ１ｖｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対し水平方向のローパスフィルタを介した値Ｃ１ｈｌｐｆ（ｌ、ｍ））とを算出し、Ａ１ｈｌｐｆ（ｌ、ｍ）とＢ１ｈｌｐｆ（ｌ、ｍ）との比（またはＣ１ｈｌｐｆ（ｌ、ｍ）との比）と、Ａ１ｖｌｐｆ（ｌ、ｍ）とＣ１ｖｌｐｆ（ｌ、ｍ）との比（または、Ｂ１ｖｌｐｆ（ｌ、ｍ）との比）と、上記第１の算出手段からの出力Ａにおける所定画素ｌ行ｍ列での画素値Ａ（ｌ、ｍ）から、ｌ行ｍ列の第２の色信号Ｂと第３の色信号Ｃにおける画素値Ｂ（ｌ、ｍ）とＣ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝（または、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝）により算出する信号算出手段を備えるとともに、上記ｌ行ｍ列の位置とは異なる所定画素ｘ行ｙ列の位置において、上記第１の算出手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ２ｈｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｈｌｐｆ（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する水平方向信号算出手段と、上記第１の算出手段からの出力Ａに対し垂直方向のローパスフィルタを介した値Ａ２ｖｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｖｌｐｆ（ｘ、ｙ）とＢ２ｖｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｖｌｐｆ（ｘ、ｙ）／Ａ２ｖｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する垂直方向信号算出手段と、上記信号算出手段からの出力における第２、第３の色信号での所定画素ｘ行ｙ列の位置において、斜めに隣接する画素の平均値を算出する平均値算出手段とを備え、上記第２のエッジ判定手段の出力に基づき、前記水平方向信号算出手段、垂直方向信号算出手段、平均値算出手段からのそれぞれの出力から選択して、上記所定画素ｘ行ｙ列での第２、第３の色信号を得て、撮像素子における画素数の第２、第３の色信号を得ることを特徴とする請求項１、請求項６〜請求項８のいずれかに記載の撮像装置。
【請求項１１】
上記色復元手段における第２の算出手段が、上記第２のエッジ判定手段の出力が所定画素ｘ行ｙ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第２、第３の色信号を得ることを特徴とする請求項１０に記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、電子スチルカメラのような撮像装置における高画質化、小型化に関する。
【０００２】
【従来の技術】
従来、電子スチルカメラのような撮像装置においては、小型化のために１枚の撮像素子（以下、単板撮像素子と呼ぶ）を用いている。図１８は従来の撮像装置における撮像素子の色フィルタ配列の一例を示す図である。図において、ＲはＲの光を通過させる分光特性を持った色フィルタを有した撮像素子であり、同様にＢ、Ｇのついてもそれぞれの色フィルタを有した撮像素子である。図１８に示されるように、ｎラインにはＧ、Ｒが２画素毎に配列され、ｎ＋１ラインではＢ、Ｇが２画素毎に配列されている。したがって、Ｒ、Ｂ信号は上下４画素毎（図中の斜線部）に、Ｇ信号は２画素毎に得られることとなり、撮像素子の画素数の各信号を得て、さらに水平垂直方向各２倍の画素数の解像度への変換を行う場合、得られている画素信号より補間等の演算処理を行い撮像素子数のＲ、Ｇ、Ｂ信号を生成し、この得られたＲ、Ｇ、Ｂ信号のそれぞれを用いて高解像度化を行うこととなる。
【０００３】
図１９は上記図１８に示された原色の色フィルタを用いた単板撮像素子において、撮像素子からの信号よりＲ、Ｇ、Ｂ信号を生成し、さらに水平垂直方向各２倍の解像度の信号を得るための従来の撮像装置の構成の一例を示すブロック図である。図において、１０１は撮像素子、１０２はＡ／Ｄコンバータ、１０３はフレームメモリ、１０４はフレームメモリ１０３における信号をＲ、Ｇ、Ｂそれぞれの信号に分離して、各信号の補間生成を行い撮像素子の画素数の信号を復元する色復元手段、１０５は色復元手段１０４からの信号を水平垂直方向にそれぞれ２倍の解像度（４倍の画素数の画像）の信号に変換する解像度変換手段であり、上記撮像素子１０１は、図１８に示すような、画素Ｒ、Ｇ、Ｂの色フィルタから構成される。
【０００４】
次に、動作を説明する。撮像素子１０１から各画素信号Ｒ、Ｇ、Ｂを読み出し、その出力はＡ／Ｄコンバータ１０２によりＡ／Ｄ変換され、フレームメモリ１０３に各画素信号を取り込む。色復元手段１０４は、前記フレームメモリ１０３に取り込まれた信号から、各信号を分離し、各Ｒ、Ｇ、Ｂ信号において得られていない画素の信号を隣接画素の信号より補間生成し、撮像素子すべての画素数のＲＧＢ信号を算出し出力する。
【０００５】
ここで、図２０は従来の撮像装置における色復元手段１０４の構成の一例を示したブロック図であり、その動作を説明する。図において、１１１はフレームメモリ１０３における信号よりＲ、Ｇ、Ｂ信号をそれぞれ分離する分離手段、１１２は分離された各信号における得られていない画素信号を隣接画素の信号より補間生成し、撮像素子すべての画素数のＲＧＢ信号を算出し出力する補間手段である。フレームメモリ１０３における信号は分離手段１１１において各Ｒ、Ｇ、Ｂ信号に分離され、それぞれを補間手段１１２へと出力する。分離手段１１１により分離されたＲ、Ｇ、Ｂ信号は図２１（ａ）、（ｂ）、（ｃ）に示されるようになり、図中Ｇ、Ｒ、Ｂで示された画素が撮像素子１０１より得られた各信号であり、一方、空白の画素が得られていない画素信号である。
【０００６】
補間手段１１２においての補間方法は、Ｇ信号（図２１（ａ））については、垂直ｎライン、水平ｍ番目の画素位置の信号ｇ（以下、画素位置（ｎ，ｍ）と記す。）を補間するために、上下方向の隣接画素の差分（｜Ｇ（ｎ−１，ｍ）−Ｇ（ｎ＋１，ｍ）｜）と左右方向の隣接画素の差分（｜Ｇ（ｎ，ｍ−１）−Ｇ（ｎ，ｍ＋１）｜）を求め、この差分が少ない方向の画素信号により補間する。例えば、左右方向の隣接画素の差分が少ない場合は、ｇ（ｎ，ｍ）＝（Ｇ（ｎ，ｍ−１）＋Ｇ（ｎ，ｍ＋１））／２として算出し、上下方向の隣接画素の差分が少ない場合は、ｇ（ｎ，ｍ）＝（Ｇ（ｎ−１，ｍ）＋Ｇ（ｎ＋１，ｍ））／２として算出する。
【０００７】
ＲおよびＢ信号（図２１（ｂ）および（ｃ））については、まず水平方向の画素の補間を行い、次に垂直方向で補間を行う。例えば図２１（ｂ）のＲについては、垂直ｎ−１ライン、ｎ＋１ラインでの補間を行い、画素位置（ｎ−１，ｍ）（ｎ＋１，ｍ）の信号を、
ｒ（ｎ−１，ｍ）＝（Ｒ（ｎ−１，ｍ−１）＋Ｒ（ｎ−１，ｍ＋１））／２
ｒ（ｎ＋１，ｍ）＝（Ｒ（ｎ＋１，ｍ−１）＋Ｒ（ｎ＋１，ｍ＋１））／２
のように算出し、つぎにｎラインの画素を上下（ｎ−１およびｎ＋１ライン）の画素の補間により各水平画素位置ｍ−１、ｍ、ｍ＋１の信号を求める。Ｂについても同様な方法で得られる。
【０００８】
以上の補間方法により、補間手段１１２の出力において、撮像素子すべての画素数のＲ、Ｇ、Ｂ信号を算出することができる。
【０００９】
次に、単板撮像素子からの信号を撮像素子の画素数の解像度へ復元した信号から水平垂直方向各２倍の解像度への向上を行うため、上記補間手段１１２からの出力であるＲ、Ｇ、Ｂ信号を解像度変換手段１０５へと入力する。
【００１０】
解像度変換手段１０５では入力されたＲ、Ｇ、Ｂ信号をそれぞれ水平垂直方向に、それぞれ２倍の解像度の信号（４倍の画素数の画像）にする。例えば、撮像素子の画素数が垂直Ｎライン水平Ｍ画素のＮ×Ｍ画素の場合、色復元手段１０４からは復元されたＮ×Ｍ画素のＲ、Ｇ、Ｂ信号が出力されており、解像度変換手段１０５では垂直２Ｎライン水平２Ｍ画素の２Ｎ×２Ｍ画素の解像度の信号として出力する。解像度を変換する（高解像度化）方法は、色復元手段１０４の出力において画素位置（ｎ，ｍ）の信号を２Ｎ×２Ｍ画素の信号での画素位置（２ｎ、２ｍ）とし、この画素に隣接する（２ｎ、２ｍ＋１）、（２ｎ＋１、２ｍ）、（２ｎ＋１、２ｍ＋１）の画素も同一の値とする。図２２に各信号での例を示し、図２２（ａ）では、色復元手段１０４の出力において画素位置（ｎ、ｍ）の信号Ｒ１を水平垂直方向各２倍の解像度の信号での画素（２ｎ、２ｍ）、（２ｎ、２ｍ＋１）、（２ｎ＋１、２ｍ）、（２ｎ＋１、２ｍ＋１）の値としていることを示す。なお、他の画素位置および信号についても同様にして行う。従って、２Ｎ×２Ｍ画素の信号の上下左右４画素を、色復元手段１０４からのＮ×Ｍ画素の信号での画素位置（ｎ，ｍ）の値とすることにより、２Ｎ×２Ｍ画素のＲ、Ｇ、Ｂ各信号を得られる。
【００１１】
なお、上記の説明では解像度変換手段１０５での高解像度化の方法を上下左右４画素に同一値を入れて水平垂直方向各２倍の画素にする場合としているが、色復元手段１０４からのＮ×Ｍ画素の信号での水平および垂直方向の隣接画素による補間により生成する場合も考えられる。
【００１２】
また、図２３は特開平６−１７８３０７号公報に示された上下２画素を混合して読み出す画素混合方式の単板撮像素子による従来の撮像装置における色復元手段の他の構成の例を示すブロック図であり、上記の従来例と同様、撮像素子からの信号を水平走査３ラインから補間生成するよう構成する場合のブロック図を示したものである。同図において、１１３は撮像素子、１１４はフレームメモリ、１１５は信号選択回路、１１６は色補間回路、１１７はＲＧＢマトリクスであり、信号選択回路１１５からＲＧＢマトリクス１１７により色復元手段を構成することとなる。撮像素子１１３は、図２３に示すように、４つの画素Ａ，Ｂ，Ｃ，Ｄ（以下、各画素信号に付けられた番号は画素位置を示す）から構成され、画素混合読み出しにより色信号が生成できるようにＡ、Ｂの画素が１ライン毎に交互に配列される。
【００１３】
次に、図２３における動作を説明する。撮像素子１１３から画素混合読み出しせずそのまま各画素信号を読み出しＡ／Ｄ変換した後（図示せず）、フレームメモリ１１４に各画素信号を取り込む。前記フレームメモリ１１４に取り込まれた信号から、信号選択回路１１５により隣接した垂直３ラインの信号を選択し、色補間回路１１６へと送る。色補間回路１１６では、上記垂直３ラインの信号から各色信号Ａ、Ｂ、Ｃ、Ｄを補間生成した後、ＲＧＢマトリクス回路１１７によりＲＧＢ信号として出力される。
【００１４】
ここで、上記色補間回路１１６では各色信号を補間生成するのであるが、この補間方法について説明する。例えば、ｎ２ラインの色信号補間生成では、信号選択回路１１５により垂直３ラインｎ１，ｎ２，ｎ３の信号が選択されて色補間回路１１７へと送られており、ｎ２ラインにおいて得られている色信号はＣ、Ｄ画素であり、Ａ，Ｂの画素はない。従って、Ａ，Ｂの画素については垂直方向でのｎ１、ｎ３ラインの信号より補間するのであるが、ｎ１、ｎ３ラインではＡ，Ｂの画素位置が異なるので、水平方向の補間係数を変えることとなる。いま、補間後の色信号のｎ２ラインの３番目の画素（ｎ２，３）に対し、補間前の水平５画素より各色信号Ａ′、Ｂ′、Ｃ′、Ｄ′を補間生成するとすると、例えば、Ｃ′、Ｄ′については、水平方向のみ中心に重みをつけて補間生成し、
Ｃ23′＝（Ｃ21／２＋ Ｃ23＋Ｃ25／２）／２
Ｄ23′＝（Ｄ22＋Ｄ24）／２
とする。一方、 Ａ′、Ｂ′に対しては、
Ａ23′＝（Ａ11／４＋Ａ13／２＋Ａ15／４ ）／２＋（Ａ31／４＋Ａ33／２＋Ａ35／４）／２
Ｂ23′＝（Ｂ12／２＋ Ｂ14／２）／２＋（Ｂ32／２＋Ｂ34／２）／２
なる式から水平画素に重みをつけ補間することができる。
【００１５】
次に、ｎ３ラインの色信号の補間生成では、Ａ、Ｂの画素はｎ３ラインから補間生成し、Ｃ、Ｄ画素についてはｎ２、ｎ４ラインから補間生成する。つまり、画素位置（３、３）において、例えば、
Ａ33′＝（Ａ32＋Ａ34）／２
Ｂ33′＝（Ｂ31／２＋Ｂ33＋Ｂ35／２）／２
Ｃ33′＝（Ｃ21／４＋Ｃ23／２＋Ｃ25／４）／２＋（Ｃ41／４＋Ｃ43／２＋Ｃ45／４）／２
Ｄ33′＝（Ｄ22／２＋Ｄ24／２）／２＋（Ｄ42／２＋Ｄ44／２）／２
となる。
【００１６】
以下、Ａ，Ｂの画素配置がライン毎で入れ替わることを考慮し、ｎ４ラインでは、画素位置（４、３）に対し、
Ａ43′＝（Ａ31／４＋Ａ33／２＋Ａ35／４）／２＋（Ａ51／４＋Ａ53／２＋Ａ55／４）／２
Ｂ43′＝（Ｂ32／２＋Ｂ34／２）／２＋（Ｂ52／２＋Ｂ54／２）／２
Ｃ43′＝（Ｃ41／２＋Ｃ43＋Ｃ45／２）／２
Ｄ43′＝（Ｄ42＋Ｄ44）／２
ｎ５ラインでは、画素位置（５、３）に対し、
Ａ53′＝（Ａ52＋Ａ54）／２
Ｂ53′＝（Ｂ52＋Ｂ54）／２
Ｃ53′＝（Ｃ41／４＋Ｃ43／２＋Ｃ45／４）／２＋（Ｃ61／４＋Ｃ62／２＋Ｃ65／４）／２
Ｄ53′＝（Ｄ42／２＋Ｄ44／２）／２＋（Ｄ62／２＋Ｄ64／２）／２
となる。以後、上記ｎ２、ｎ３，ｎ４、ｎ５ラインでの補間方法を順次繰り返すことにより、色信号Ａ′、Ｂ′、Ｃ′、Ｄ′を生成することとなる。
【００１７】
そして、上記補間生成されたＡ、Ｂ、Ｃ、Ｄ信号はＲＧＢマトリクス回路１１７によりＲＧＢ信号として出力され、上記図１９の解像度変換手段に送られて水平垂直方向各２倍の解像度の信号に変換されることとなる。なお、上記では、４つの色信号をＡ，Ｂ，Ｃ，Ｄとして説明しているが、これは、例えば、Ｍｇ（マゼンダ）、Ｇ（グリーン）、Ｃｙ（シアン）、Ｙｅ（イエロー）の４色が考えられ、また、色補間回路１１７での補間係数については色信号を補間生成できる係数であればよい。
【００１８】
【発明が解決しようとする課題】
従来の撮像装置は、単板撮像素子において、撮像素子の画素数の信号を復元した後水平垂直方向にそれぞれ２倍の解像度に高解像度化する際、上下左右４画素に同一の値を入れて４倍の画素の信号にするように、または、隣接画素との補間により４倍の画素の信号にするよう構成されており、水平垂直方向各２倍の解像度の画像におけるエッジ等局所的な領域での信号の変化を考慮しておらず、そのため、偽色、偽輪郭が生じるという問題点があり、また、全ての信号における水平垂直の両方向の解像度の向上について考慮していないという問題点があった。
【００１９】
この発明は上記のような問題点を解消するためになされたもので、斜め方向に半画素ずらして配置された２枚の撮像素子を備え、第１および第２の撮像素子により読み出された色信号より各撮像素子に対して撮像素子の画素数分の解像度の色信号を復元生成する色信号復元手段と、前記色信号復元手段からの出力である上記第１および第２の撮像素子からの信号より復元された各信号により各撮像素子の画素数の水平垂直方向各２倍の解像度の信号の画素を得る手段と、前記得られた水平垂直方向各２倍の解像度の信号での画素信号が得られていない所定画素位置における周辺画素のエッジ成分を判定する第１のエッジ判定手段を備えるとともに、前記第１のエッジ判定手段からの信号に基づき、水平垂直方向各２倍の解像度の信号での前記所定画素位置の信号を算出することにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる撮像装置を得ることを目的とする。
【００２０】
【課題を解決するための手段】
この発明に係る撮像装置は、斜め方向に半画素ずらして配置された２枚の撮像素子を備えた撮像装置において、第１および第２の撮像素子により読み出された色信号より各撮像素子に対して撮像素子の画素数分の解像度の色信号を復元生成する色信号復元手段と、前記色信号復元手段からの出力である上記第１および第２の撮像素子からの信号より復元された各信号により各撮像素子の画素数の水平垂直方向各２倍の解像度の信号の画素を得る手段と、前記得られた水平垂直方向各２倍の解像度の信号において画素信号が得られていない所定画素位置におけるエッジ成分を周辺画素から判定する第１のエッジ判定手段を備えるとともに、前記第１のエッジ判定手段からの信号に基づき、水平垂直方向各２倍の解像度の信号での前記所定画素位置の信号を算出する手段を有するものである。
【００２１】
また、この発明に係る撮像装置は、前記第１のエッジ判定手段が、画素信号が得られていない所定画素位置における左右の隣接画素のあらかじめ定めたおいた一つの色信号の差の絶対値を算出して水平方向のエッジ成分を検出する手段と、上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する手段と、前記水平方向のエッジ成分を検出する手段と垂直方向エッジ成分を検出する手段からの出力に基づき、前記所定画素位置における水平または垂直方向のエッジ成分を判定するものである。
【００２２】
また、この発明に係る撮像装置は、前記第１のエッジ判定手段におけるエッジ成分の判定が、上記水平方向のエッジ成分を検出する手段からの出力または上記垂直方向のエッジ成分を検出する手段からの出力が予め定めた値より大きい場合は、上記画素信号が得られていない所定画素位置の周辺画素にエッジ成分を検出したとし、さらに、水平方向のエッジ成分を検出する手段からの出力が上記垂直方向のエッジ成分を検出する手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ成分を検出する手段の出力が上記垂直方向エッジ成分を検出する手段出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ成分を検出する手段および垂直方向エッジ成分を検出する手段の出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定するものである。
【００２３】
また、この発明に係る撮像装置は、上記水平垂直方向各２倍の解像度の信号での画素信号が得られていない所定画素位置の信号を算出する手段が、画素信号が得られていない所定画素位置における信号それぞれに対し、上下の画素の平均値より信号を算出する垂直方向算出手段と、左右の画素の平均値より信号を算出する水平方向算出手段と、上下左右の隣接画素の平均値より信号を算出する平均値算出手段とを備え、上記第１のエッジ判定手段の出力に基づき、上記水平方向算出手段の出力または垂直方向算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素位置での信号を得て、撮像素子における画素数の水平垂直方向各２倍の解像度の各信号を得るものである。
【００２４】
また、この発明に係る撮像装置は、上記水平垂直方向各２倍の解像度の信号での画素信号が得られていない所定画素位置の信号を算出する手段が、画素信号が得られていない所定画素位置において上記第１のエッジ判定手段の出力がエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向算出手段の出力を選択するものである。
【００２５】
また、この発明に係る撮像装置は、上記斜め方向に半画素ずらして配置された２枚の撮像素子それぞれにおいて、各撮像素子が、垂直２行水平２列の上下４画素において、第１の色信号に対する分光感度特性を持つ第１の色フィルタと第２の色信号に対する分光感度特性を持つ第２の色フィルタとが垂直１行目に配列され、垂直２行目には上記垂直１行目の第１の色フィルタが配列された画素位置と同一の列に第３の色信号に対する分光感度特性を持つ第３の色フィルタが配列され、第２の色フィルタと同一の列に第１の色信号に対する分光感度特性を持つ第１の色フィルタが配列されており、上記上下４画素の色フィルタが順次垂直および水平方向に繰り返し配列された撮像素子であり、各撮像素子からの色信号に対して撮像素子の画素数分の解像度の色信号を復元生成する上記色信号復元手段が、上記第１の色フィルタによる第１の色信号の画素信号が得られていない所定画素位置での周辺画素信号に基づき、画素信号が得られていない所定画素位置におけるエッジ成分を判定する第２のエッジ判定手段と、前記第２のエッジ判定手段の出力に基づき、上記第１、第２、第３の色フィルタにより読み出された第１、第２および第３の色信号により第１の色信号における上記画素信号が得られていない所定画素位置での信号を算出する第１の算出手段と、上記第２のエッジ判定手段の出力に基づき、上記第１の算出手段の出力と色フィルタからの第２および第３の色信号により第２および第３の色信号を算出する第２の算出手段とを備え、上記撮像素子における画素数の第１、第２、第３の色信号を得るとともに、上記第１のエッジ判定手段が、上記第１の色信号による上記水平垂直方向各２倍の解像度の信号の画素を得る手段から出力される信号に対し、画素信号が得られていない所定画素位置における周辺画素のエッジ成分を判定するものである。
【００２６】
また、この発明に係る撮像装置は、上記色復元手段における第２のエッジ判定手段が、
第１の色信号の画素信号が得られていない所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、第１の色信号の画素信号が得られていない所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、前記水平方向エッジ検出手段と垂直方向エッジ検出手段からの出力に基づき、前記画素信号が得られていない所定画素位置における水平または垂直方向のエッジ成分を判定する判定手段を備えるとともに、前記判定手段が、上記水平方向エッジ検出手段からの出力または上記垂直方向エッジ検出手段からの出力が予め定めた値より大きい場合は、上記画素信号が得られていない所定画素位置の周辺画素にエッジ成分を検出したとし、さらに、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定するものである。
【００２７】
また、この発明に係る撮像装置は、上記色復元手段における第１の色信号での所定位置に対する信号を算出する第１の算出手段が、第２の色信号Ｂのある所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し水平方向のローパスフィルタを介した値Ａｈｌｐｆ（ｌ、ｍ）、Ｂｈｌｐｆ（ｌ、ｍ）を算出し、前記水平方向ローパスフィルタからの出力信号であるＡｈｌｐｆ（ｌ、ｍ）とＢｈｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する水平方向信号算出手段と、上記所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し垂直方向のローパスフィルタを介した値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ（ｌ、ｍ）を算出し、前記垂直方向ローパスフィルタからの出力信号であるＡｖｌｐｆ（ｌ、ｍ）とＢｖｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌｐｆ（ｌ、ｍ）／Ｂｖｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する垂直方向信号算出手段と、第１の色信号Ａにおける上記所定画素ｌ行ｍ列の位置での上下左右の隣接画素の平均値よりｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を算出する平均値算出手段とを備え、上記第２のエッジ判定手段の出力に基づき、上記水平方向信号算出手段の出力または垂直方向信号算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素ｌ行ｍ列における第１の色信号Ａの画素値Ａ（ｌ、ｍ）を得て、撮像素子における画素数の第１の色信号を得るものである。
【００２８】
また、この発明に係る撮像装置は、前記色復元手段における第１の算出手段が、上記第２のエッジ判定手段の出力が所定画素ｌ行ｍ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第１の色信号を得るものである。
【００２９】
また、この発明に係る撮像装置は、上記色復元手段における第２の算出手段が、所定画素ｌ行ｍ列の位置において、上記第１の算出手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ１ｈｌｐｆ（ｌ、ｍ）と垂直方向ローパスフィルタを介した値Ａ１ｖｌｐｆ（ｌ、ｍ）を算出し、第２の色信号Ｂに対して水平方向のローパスフィルタを介した値Ｂ１ｈｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対し垂直方向のローパスフィルタを介した値Ｃ１ｖｌｐｆ（ｌ、ｍ）（または、第２の色信号Ｂに対して垂直方向のローパスフィルタを介した値Ｂ１ｖｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対して水平方向のローパスフィルタを介した値Ｃ１ｈｌｐｆ（ｌ、ｍ））とを算出し、Ａ１ｈｌｐｆ（ｌ、ｍ）とＢ１ｈｌｐｆ（ｌ、ｍ）との比（または、Ｃ１ｈｌｐｆ（ｌ、ｍ）との比）と、Ａ１ｖｌｐｆ（ｌ、ｍ）とＣ１ｖｌｐｆ（ｌ、ｍ）との比（または、Ｂ１ｖｌｐｆ（ｌ、ｍ）との比）と、上記第１の算出手段からの出力Ａにおける所定画素ｌ行ｍ列での画素値Ａ（ｌ、ｍ）から、ｌ行ｍ列の第２の色信号Ｂと第３の色信号Ｃにおける画素値Ｂ（ｌ、ｍ）とＣ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝（または、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、Ｃ  （ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝）により算出する信号算出手段を備えるとともに、上記ｌ行ｍ列の位置とは異なる所定画素ｘ行ｙ列の位置において、上記第１の算出手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ２ｈｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｈｌｐｆ（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する水平方向信号算出手段と、上記第１の算出手段からの出力Ａに対し垂直方向のローパスフィルタを介した値Ａ２ｖｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｖｌｐｆ（ｘ、ｙ）とＢ２ｖｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｖｌｐｆ（ｘ、ｙ）／Ａ２ｖｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する垂直方向信号算出手段と、上記信号算出手段からの出力における第２、第３の色信号での所定画素ｘ行ｙ列の位置において、斜めに隣接する画素の平均値を算出する平均値算出手段とを備え、上記第２のエッジ判定手段の出力に基づき、前記水平方向信号算出手段、垂直方向���号算出手段、平均値算出手段からのそれぞれの出力から選択して、上記所定画素ｘ行ｙ列での第２、第３の色信号を得て、撮像素子における画素数の第２、第３の色信号を得るものである。
【００３０】
さらに、この発明に係る撮像装置は、上記色復元手段における第２の算出手段が、上記第２のエッジ判定手段の出力が所定画素ｘ行ｙ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第２、第３の色信号を得るものである。
【００３１】
【発明の実施の形態】
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１はこの発明の一実施形態による撮像装置の構成の一例を示すブロック図である。図において、１は画素を斜め方向に半画素ずらした撮像素子２枚分の信号を取り込む撮像素子、２はＡ／Ｄコンバータ、３、４はフレームメモリ、５、６は撮像素子１での１枚分の撮像素子での総画素数のＲ、Ｇ、Ｂ信号を得るよう色信号の復元を行う第１および第２の色復元手段、７は上記第１および第２の色復元手段５、６からの信号を多重して水平垂直方向各２倍の画素数の信号を得る多重手段である。８は上記多重手段７の出力であるＧ信号における画素信号が得られていない所定画素位置でのエッジ成分を判定するエッジ判定手段、９は上記多重手段７からの各信号における所定画素位置での上下左右隣接画素の平均値を算出する平均値演算手段、１０は多重手段７からの各信号における所定画素位置での左右隣接画素の平均値を演算する水平方向演算手段、１１は多重手段７からの各信号における所定画素位置での上下画素の平均値を演算する垂直方向演算手段、１２は選択手段であり、上記エッジ判定手段８からの出力と画素位置に基づき、平均値演算手段９、水平方向演算手段１０、垂直方向演算手段１１および多重手段７のそれぞれの出力より信号を切り換えて選択し、撮像素子での画素数の水平垂直方向各２倍の画素数の解像度となるＲ、Ｇ、Ｂ信号を出力する。
【００３２】
ここで、高解像度化のため、上記撮像素子１においては、画素を斜め方向に半画素ずらした２枚の撮像素子を配置して信号を取り込む。図２はこの発明の実施の形態１による画素を斜め方向に半画素ずらした２枚の撮像素子の配置の一例を示す図であり、データＤ１と、データＤ１に対し斜め左下方向へ半画素ずらしたデータＤ２によりそれぞれ信号を取り込む。図３ははこの発明の実施の形態１による各撮像素子の色フィルタの配列の一例を示す図であり、前記２枚のデータＤ１、データＤ２による各撮像素子での色フィルタ配列を示している。色フィルタは原色を用い、各光電変換素子を独立に呼び出す方式の撮像素子を示している。図３において、Ｇは垂直方向２ｉ（ｉ＝０、１、２、…）、水平方向２ｊ（ｊ＝０、１、２、…）の画素位置（以下、画素位置（２ｉ，２ｊ）のように記す。）と、画素位置（２ｉ＋１、２ｊ＋１）にあり、Ｇ信号を通過させる分光特性を持った第１の色フィルタ、Ｒは画素位置（２ｉ、２ｊ＋１）にあり、Ｒ信号を通過させる分光特性を持った第２の色フィルタ、Ｂは画素位置（２ｉ＋１、２ｊ）にあり、Ｂ信号を通過させる分光特性を持った第３の色フィルタである。図３に示されるように、Ｒ、Ｂ信号は上下４画素毎（図中の斜線部）に、Ｇ信号は２画素毎に得られることとなり、この上下４画素が垂直水平方向に繰り返し配列されている。
【００３３】
次に動作について説明する。撮像素子１において、図２のように画素を斜め方向に半画素ずらした２枚の撮像素子からデータＤ１、データＤ２となる各画素信号Ｒ、Ｇ、Ｂを読み出し、その出力はそれぞれＡ／Ｄコンバータ２によりＡ／Ｄ変換され、第１および第２のフレームメモリ３および４に入力される。ここで、第１のフレームメモリ３には図２におけるデータＤ１による図３のように配列された撮像素子の信号が入力され、第２のフレームメモリ４には図２におけるデータＤ２による図３のように配列された撮像素子の信号が入力されている。第１の色復元手段５では、第１のフレームメモリ３に入力されたデータＤ１の信号から各Ｒ、Ｇ、Ｂ信号を分離して得られていない画素信号を復元し、撮像素子の画素数の各Ｒ、Ｇ、Ｂ信号Ｒ１、Ｇ１、Ｂ１を出力し、第２の色復元手段６では、第２のフレームメモリ４に入力されたデータＤ２の信号から各Ｒ、Ｇ、Ｂ信号を分離して得られていない画素信号を復元し、撮像素子の画素数の各Ｒ、Ｇ、Ｂ信号Ｒ２、Ｇ２、Ｂ２を出力して、それぞれの出力は多重手段７へと送る。
【００３４】
ここで、上記第１および第２の色復元手段５および６における動作を図４に示す色復元手段の構成に基づき説明する。図４はこの発明の実施の形態１による撮像装置における色復元手段の構成の一例を示すブロック図であり、図において、２０はフレームメモリにおける信号をＲ、Ｇ、Ｂ信号に分離する分離手段、２１はＧ信号での画素信号が得られていない所定画素位置でのエッジ成分を判定する第１のエッジ判定手段、２２は分離手段２０からの各Ｒ、Ｇ、Ｂ信号と上記第１のエッジ判定手段２１からの出力に基づきＧ信号の復元を行うＧ成分復元手段、２３はＲ、Ｂ信号の復元を行う第１のＲＢ成分復元手段、２４は前記Ｇ成分復元手段２２からのＧ信号での画素信号が得られていない所定画素位置でのエッジ成分を判定する第２のエッジ判定手段、２５は第２のエッジ判定手段２４の出力に応じてＲおよびＢ信号の復元を行う第２のＲＢ成分復元手段である。
【００３５】
フレームメモリ３または４における図３に示された配列の撮像素子による信号は、分離手段２０においてそれぞれＲ、Ｇ、Ｂ信号に分離され、Ｇ信号は第１のエッジ判定手段２１とＧ成分復元手段２２へと送られ、Ｒ、Ｂ信号はＧ成分復元手段２２および第１のＲＢ復元手段２３へと送られる。第１のエッジ判定手段２１ではＧ信号における画素信号が得られていない所定画素位置でのエッジ成分を判定して判定結果をＧ成分復元手段２２へと送り、Ｇ成分復元手段２２では上記第１のエッジ判定手段２１からの判定結果の基づき、撮像素子での総画素数のＧ信号を得るようＧ成分の画素信号の復元を行う。図５はこの発明の実施の形態１による撮像装置における色復元手段における第１のエッジ判定手段２１とＧ成分復元手段２２の動作を説明するためのフローチャートであり、第１のエッジ判定手段２１とＧ成分復元手段２２での処理動作を図５に従って説明する。
【００３６】
いま、撮像素子１におけるＧ信号は図３に示すように画素位置（２ｉ、２ｊ）と（２ｉ＋１、２ｊ＋１）で得られており、撮像素子の画素数のＧ信号を得るために、画素位置（２ｉ、２ｊ＋１）と（２ｉ＋１、２ｊ）の画素での信号を求めることとなる。よって、図５より、Ｇ成分復元手段２２において画素位置（２ｉ、２ｊ）と（２ｉ＋１、２ｊ＋１）での画素はＧ信号をそのまま出力し、画素位置（２ｉ、２ｊ＋１）と（２ｉ＋１、２ｊ）では、まず第１のエッジ判定手段２１において、左右および上下の画素の差分つまりエッジ成分を検出する。つまり、上記画素位置での左右の画素の差の絶対値ΔＨ、上下の画素の差の絶対値ΔＶ算出する。例えば、画素位置（２ｉ、２ｊ＋１）においては、水平方向差分ΔＨは、
ΔＨ＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜              （１）
垂直方向差分ΔＶは、
ΔＶ＝｜Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、２ｊ＋１）｜  （２）
となる。以下、この画素の差の絶対値をエッジ成分と呼ぶ。
【００３７】
そして、上記水平方向でのエッジ成分ΔＨおよび垂直方向エッジ成分ΔＶにより、水平垂直方向での周辺画素での信号レベルの変化を判定し、その判定結果を示す信号ｅｄ１を第１のエッジ判定手段２１より出力する。第１のエッジ判定手段２１での判定は、ΔＨとΔＶの両方が予め定めた値ｔｈ以下の場合は、周辺画素での信号レベルの変化がないと判定し、Ｇ成分復元手段２２において、周波数の変化を考慮する必要がなく、上下左右の４画素の平均値を算出しＧ信号とする。例えば、この場合での画素位置（２ｉ、２ｊ＋１）におけるＧ信号は、ｇ（２ｉ、２ｊ＋１）＝｛Ｇ（２ｉ−１、２ｊ＋１）＋Ｇ（２ｉ＋１、２ｊ＋１）＋Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ＋２）｝／４となる。
【００３８】
一方、ΔＨまたはΔＶが予め定めた値ｔｈより大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨ＞ΔＶの場合は垂直方向に相関が高いと判定し、ΔＨ≦ΔＶの場合は水平方向に相関が高いと判定する。そして、ΔＨ＞ΔＶで垂直方向に相関が高いと判定される場合は、Ｇ成分復元手段２２において、Ｒ、Ｇ、Ｂ信号での垂直方向の画素信号より演算し、垂直方向に相関を持つＧ信号を出力する。つまり、Ｒ信号が得られている画素である処理画素位置（２ｉ、２ｊ＋１）においては、Ｇ信号の垂直方向のローパスフィルタを介した値Ｇｖｌｐｆ、Ｒ信号の垂直方向のローパスフィルタを介した値Ｒｖｌｐｆを例えば、
0003926023.tif 000002
として算出し、このＧｖｌｐｆとＲｖｌｐｆの比と画素位置（２ｉ、２ｊ＋１）でのＲ信号より、垂直方向に相関をもつＧ信号ｇ（２ｉ、２ｊ＋１）を次式
0003926023.tif 000003
により算出する。
【００３９】
また、Ｂ信号が得られる画素位置である処理画素位置（２ｉ＋１、２ｊ）でも同様に、Ｇ信号の垂直方向のローパスフィルタを介した値Ｇｖｌｐｆ、Ｂ信号の垂直方向のローパスフィルタを介した値Ｂｖｌｐｆを例えば、
0003926023.tif 000004
として算出し、このＧｖｌｐｆとＢｖｌｐｆの比と画素位置（２ｉ＋１、２ｊ）でのＢ信号より、垂直方向に相関をもつＧ信号ｇ（２ｉ＋１、２ｊ）を次式
0003926023.tif 000005
により算出する。
【００４０】
また、ΔＨ≦ΔＶで水平方向に相関が高いと判定される場合には、Ｇ成分復元手段２２において、水平方向の画素信号より演算し、水平方向に相関を持つＧ信号を出力する。処理画素位置（２ｉ、２ｊ＋１）においては、Ｇ信号の水平方向のローパスフィルタを介した値Ｇｈｌｐｆ、Ｒ信号の水平方向のローパスフィルタを介した値Ｒｈｌｐｆを例えば、
0003926023.tif 000006
として算出し、このＧｈｌｐｆとＲｈｌｐｆの比と画素位置（２ｉ、２ｊ＋１）でのＲ信号より、垂直方向に相関をもつＧ信号ｇ（２ｉ、２ｊ＋１）を次式
0003926023.tif 000007
により算出する。
【００４１】
また、Ｂ信号が得られる画素位置である処理画素位置（２ｉ＋１、２ｊ）でも同様に、処理画素位置（２ｉ＋１、２ｊ）でのＧ信号の水平方向のローパスフィルタを介した値Ｇｈｌｐｆ、Ｂ信号の水平方向のローパスフィルタを介した値Ｂｈｌｐｆを例えば、
0003926023.tif 000008
として算出し、このＧｈｌｐｆとＢｈｌｐｆの比と画素位置（２ｉ＋１、２ｊ）でのＢ信号より、垂直方向に相関をもつＧ信号ｇ（２ｉ＋１、２ｊ）を次式
0003926023.tif 000009
により算出する。
【００４２】
なお、上記式（５）、（８）、（１１）、（１４）による算出方式は、局所的領域での色の変化が少ないことを前提としており、つまり、局所的な領域での各色信号の比はほぼ等しいことにより、水平方向または垂直方向における局所的な領域での各色信号の比はＲ、Ｇ、Ｂの水平方向または垂直方向のローパスフィルタを介した値の比で与えられる。また、上記式（５）〜（１４）は各水平方向ローパスフィルタおよび垂直方向ローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数でもよい。
【００４３】
したがって、Ｇ成分復元手段２２からは画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）それぞれの画素でのＧ信号が出力され、つまり、撮像素子の画素数分の解像度のＧ信号を得られる。このＧ成分復元手段２２からの出力は次に、第１のＲＢ成分復元手段２３と第２のエッジ判定手段２４へと送られる。
【００４４】
次に、第１のＲＢ成分復元手段２３では、Ｒ、Ｂ信号の画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）でのＲ、Ｂ信号の生成を行い、その出力を第２のＲＢ復元手段２５へと送り、第２のエッジ判定手段２４においては、上記Ｇ成分復元手段２２から出力されたＧ信号により画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）の画素での左右および上下の画素の差分つまりエッジ成分を検出する。第２のＲＢ成分復元手段２５では、第２のエッジ判定手段２４の出力に基づき、Ｒ信号での画素位置（２ｉ＋１、２ｊ）、Ｂ信号での画素位置（２ｉ、２ｊ＋１）でのそれぞれの画素を復元生成する。図６は前記第１のＲＢ成分復元手段２３、第２のエッジ判定手段２４および第２のＲＢ成分復元手段２５における動作を示すフローチャートであり、第１および第２のＲＢ成分復元手段２３、２５と第２のエッジ判定手段２４での処理動作を図６に従って説明する。
【００４５】
いま、図３に示すように、撮像素子におけるＲ信号は画素位置（２ｉ、２ｊ＋１）で得られ、Ｂ信号は（２ｉ＋１、２ｊ）で得られており、撮像素子の画素数のＲ、Ｂ信号を得るために、Ｒについては画素位置（２ｉ、２ｊ）、（２ｉ＋ｌ、２ｊ）と（２ｉ＋１、２ｊ＋１）の画素での信号を求めることとなり、Ｂについては画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）と（２ｉ＋１、２ｊ＋１）の画素での信号を求めることとなる。図７（ａ）、（ｂ）はＲ、Ｂ信号の算出を説明するための各画素のＲ、Ｂを示す図であり、図中ＲおよびＢが撮像素子により得られている画素信号を示している。図６により、第１および第２のＲＢ成分復元手段２３、２５において、Ｒ信号での画素位置（２ｉ、２ｊ＋１）、Ｂ信号での画素信号（２ｉ＋１、２ｊ）における画素はそのままの信号を出力する。次に、画素位置（２ｉ、２ｊ）と（２ｉ＋１、２ｊ＋１）の場合、Ｒ、Ｂ信号ともに左右または上下のどちらかの方向の画素が得られており、また、Ｇ信号はＧ成分復元手段２２により全画素復元されている。よって、第１のＲＢ成分復元手段２３には分離手段２０からのＲ、Ｂ信号とＧ成分復元手段２２からの全画素の信号が復元されたＧ信号が入力され、上下または左右方向の画素より演算して上記画素（２ｉ、２ｊ）と（２ｉ＋１、２ｊ＋１）のＲ、Ｂ信号を得る。つまり、図７でのｒ１およびｂ１（画素位置（２ｉ、２ｊ））、ｒ２およびｂ２（画素位置（２ｉ＋１、２ｊ＋１））での画素を、Ｇ、ＲおよびＢ信号における処理画素の上下または左右方向の画素により算出する。
【００４６】
Ｒ信号でのｒ１で示す画素位置（２ｉ、２ｊ）の場合は、画素位置（２ｉ、２ｊ）においてＧ、Ｒ信号に対して水平方向のローパスフィルタを介した値Ｇ１ｈｌｐｆ、Ｒ１ｈｌｐｆを例えば、
0003926023.tif 000010
により算出し、このＧ１ｈｌｐｆとＲ１ｈｌｐｆの比と画素Ｇ（２ｉ、２ｊ）により、画素位置（２ｉ、２ｊ）でのＲ信号ｒ（２ｉ、２ｊ）を次式により算出する。
ｒ（２ｉ、２ｊ）＝ Ｇ（２ｉ、２ｊ）×（Ｒ１ｈｌｐｆ／Ｇ１ｈｌｐｆ）
＝Ｇ（２ｉ、２ｊ）×（Ｒ（２ｉ、２ｊ−１）＋Ｒ（２ｉ、２ｊ＋１））
（ｇ（２ｉ、２ｊ−１）＋ｇ（２ｉ、２ｊ＋１））    （１７）
【００４７】
同様に、Ｂ信号におけるｂ１の位置については、画素位置（２ｉ、２ｊ）において、Ｇ、Ｂ信号に対して垂直方向のローパスフィルタを介した値Ｇ１ｖｌｐｆ、Ｂ１ｖｌｐｆを例えば、
0003926023.tif 000011
により算出し、このＧ１ｖｌｐｆとＢ１ｖｌｐｆの比と画素Ｇ（２ｉ、２ｊ）により、画素位置（２ｉ、２ｊ）でのＢ信号ｂ（２ｉ、２ｊ）を次式により算出する。
ｂ（２ｉ、２ｊ）＝ Ｇ（２ｉ、２ｊ）×（Ｂ１ｖｌｐｆ／Ｇ１ｖｌｐｆ）
＝Ｇ（２ｉ、２ｊ）×（Ｂ（２ｉ−１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ））
／（ｇ（２ｉ−１、２ｊ）＋ｇ（２ｉ＋１、２ｊ））    （２０）
【００４８】
また、ｒ２で示す画素位置（２ｉ＋１、２ｊ＋１）の場合についても同様に、画素位置（２ｉ＋１、２ｊ＋１）において、Ｇ、Ｒ信号に対して垂直方向のローパスフィルタを介した値Ｇ１ｖｌｐｆ、Ｒ１ｖｌｐｆを例えば、
0003926023.tif 000012
により算出し、このＧ１ｖｌｐｆとＲ１ｖｌｐｆの比と画素Ｇ（２ｉ＋１、２ｊ＋１）により、画素位置（２ｉ＋１、２ｊ＋１）でのＲ信号ｒ（２ｉ＋１、２ｊ＋１）を次式により算出する。
ｒ（２ｉ＋１、２ｊ＋１）＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｒ１ｖｌｐｆ／Ｇ１ｖｌｐｆ）
＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｒ（２ｉ、２ｊ＋１）＋Ｒ（２ｉ＋２、２ｊ＋１））
／（ｇ（２ｉ、２ｊ＋１）＋ｇ（２ｉ＋２、２ｊ＋１））  （２３）
【００４９】
同様に、Ｂ信号でのｂ２で示す画素位置（２ｉ＋１、２ｊ＋１）において、Ｇ、Ｂ信号に対して水平方向のローパスフィルタを介した値Ｇ１ｈｌｐｆ、Ｂ１ｈｌｐｆを例えば、
0003926023.tif 000013
により算出し、このＧ１ｈｌｐｆとＢ１ｈｌｐｆの比と画素Ｇ（２ｉ＋１、２ｊ＋１）により、画素位置（２ｉ＋１、２ｊ＋１）でのＢ信号ｂ（２ｉ＋１、２ｊ＋１）を次式により算出する。
ｂ（２ｉ＋１、２ｊ＋１）＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｂ１ｈｌｐｆ／Ｇ１ｈｌｐｆ）
＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｂ（２ｉ＋１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ＋２））
／（ｇ（２ｉ＋１、２ｊ）＋ｇ（２ｉ＋１、２ｊ＋２））  （２６）
【００５０】
なお、上記式（１７）、（２０）、（２３）、（２６）は上記Ｇでの復元方法と同様局所的領域での色信号の変化が少ないことを前提としており、つまり、各信号の比は局所的な領域ではほぼ等しいということによる。また、式（１５）〜（２６）におけるＧ１ｈｌｐｆ、Ｇ１ｖｌｐｆ、Ｒ１ｈｌｐｆ、Ｒ１ｖｌｐｆ、Ｂ１ｈｌｐｆ、Ｂ１ｖｌｐｆの算出式は、水平および垂直方向のローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数であってもよい。
【００５１】
次に、残りのＲ信号における画素位置（２ｉ＋１、２ｊ）とＢにおける画素位置（２ｉ、２ｊ＋１）での信号（図７でのｒ３およびｂ３）については、まず、第２のエッジ判定手段２４において、Ｇ信号における前記画素での左右および上下の画素の差分つまりエッジ成分を検出する。つまり、Ｇ成分復元手段２２からのＧ信号に対し、上記画素位置での左右の画素の差の絶対値ΔＨ、上下の画素の差の絶対値ΔＶ算出する。例えば、画素位置（２ｉ＋１、２ｊ）においては、水平方向差分ΔＨは、
ΔＨ＝｜Ｇ（２ｉ＋１、２ｊ−１）−Ｇ（２ｉ＋１、２ｊ＋１）｜
垂直方向差分ΔＶは、
ΔＶ＝｜ Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ＋２、２ｊ）｜
となる。
【００５２】
そして、上記水平方向でのエッジ成分ΔＨおよび垂直方向エッジ成分ΔＶにより、水平垂直方向での周辺画素での信号レベルの変化を判定し、その判定結果を示す信号を第２のＲＢ成分復元手段２５へと出力するのであるが、ここで、Ｒ信号における画素位置（２ｉ＋１、２ｊ）に対しては画素位置（２ｉ＋１、２ｊ）でのエッジ成分を判定した結果ｅｄｒを送り、Ｂ信号における画素位置（２ｉ、２ｊ＋１）に対しては画素位置（２ｉ、２ｊ＋１）でのエッジ成分を判定した結果ｅｄｂを送ることになる。判定結果ｅｄｒおよびｅｄｂにおいて、ΔＨとΔＶの両方が予め定めた値ｔｈ以下の場合は周辺画素での信号レベルの変化がないと判定し、第２のＲＢ成分復元手段２５において、周波数の変化を考慮する必要がなく、斜め方向に隣接する４画素の平均値を算出しＲまたはＢ信号とする。つまり、Ｒ信号での画素位置（２ｉ＋１、２ｊ）（図７（ａ）でのｒ３）についてはｒ（２ｉ＋１、２ｊ）＝（ Ｒ（２ｉ、２ｊ−１）＋Ｒ（２ｉ、２ｊ＋１）
＋Ｒ（２ｉ＋２、２ｊ−１）＋Ｒ（２ｉ＋２、２ｊ＋１）｝／４
Ｂ信号での画素位置（２ｉ、２ｊ＋１）（図７（ｂ）でのｂ３）については
ｂ（２ｉ、２ｊ＋１）＝｛ Ｂ（２ｉ−１、２ｊ）＋Ｂ（２ｉ−１、２ｊ＋２）
＋Ｂ（２ｉ＋１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ＋２）｝／４
として算出する。
【００５３】
一方、ΔＨまたはΔＶが予め定めた値ｔｈより大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨ＞ΔＶの場合は垂直方向に相関が高いと判定し、ΔＨ≦ΔＶの場合は水平方向に相関が高いと判定する。そして、ΔＨ＞ΔＶで垂直方向に相関が高いと判定される場合は、第２のＲＢ成分復元手段２５において、Ｒ、Ｇ、Ｂ信号での上下方向の画素より演算し、垂直方向に相関を持つ信号を出力する。Ｒ信号でのｒ３で示す画素位置（２ｉ＋１，２ｊ）においては、垂直方向のローパスフィルタを介した値Ｒ２ｖｌｐｆ、Ｇ２ｖｌｐｆを例えば、
Ｒ２ｖｌｐｆ＝（ｒ（２ｉ、２ｊ）＋ｒ（２ｉ＋２、２ｊ））／２  （２７）
Ｇ２ｖｌｐｆ＝（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ＋２、２ｊ））／２  （２８）
により算出し、このＲ２ｖｌｐｆとＧ２ｖｌｐｆの比と画素ｇ（２ｉ＋１、２ｊ）により、次式の演算で垂直方向に相関を持つＲの画素値ｒ（２ｉ＋１，２ｊ）を算出する。
ｒ（２ｉ＋１、２ｊ）＝ｇ（２ｉ＋１、２ｊ）×（Ｒ２ｖｌｐｆ／Ｇ２ｖｌｐｆ）
＝ｇ（２ｉ＋１、２ｊ）×（ ｒ（２ｉ、２ｊ）＋ｒ（２ｉ＋２、２ｊ））
／（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ＋２、２ｊ））      （２９）
【００５４】
また、Ｂ信号でのｂ３で示す画素位置においても同様に、画素位置（２ｉ，２ｊ＋１）において、垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ、Ｇ３ｖｌｐｆを例えば、
0003926023.tif 000014
により算出し、このＢ２ｖｌｐｆとＧ３ｖｌｐｆの比と画素ｇ（２ｉ、２ｊ＋１）により、次式の演算で垂直方向に相関を持つ画素値ｂ（２ｉ，２ｊ＋１）を算出する。
ｂ（２ｉ、２ｊ＋１）＝ｇ（２ｉ、２ｊ＋１）×（Ｂ２ｖｌｐｆ／Ｇ３ｖｌｐｆ）
＝ｇ（２ｉ、２ｊ＋１）×（ｂ（２ｉ−１、２ｊ＋１）＋ｂ（２ｉ＋１、２ｊ＋１））／（ Ｇ（２ｉ−１、２ｊ＋１）＋Ｇ（２ｉ＋１、２ｊ＋１））（３２）
【００５５】
また、ΔＨ≦ΔＶで水平方向に相関が高いと判定される場合には、第２のＲＢ成分復元手段２５において、Ｒ、Ｇ、Ｂ信号での左右方向の画素信号より演算し、水平方向に相関を持つ信号を出力する。Ｒ信号でのｒ３で示す画素位置（２ｉ＋１，２ｊ）においては、水平方向のローパスフィルタを介した値Ｒ２ｈｌｐｆ、Ｇ２ｈｌｐｆを例えば、
0003926023.tif 000015
により算出し、このＲ２ｈｌｐｆとＧ２ｈｌｐｆの比と画素ｇ（２ｉ＋１、２ｊ）により、次式の演算で水平方向に相関を持つＲの画素値ｒ（２ｉ＋１，２ｊ）を算出する。
ｒ（２ｉ＋１、２ｊ）＝ｇ（２ｉ＋１、２ｊ）×（Ｒ２ｈｌｐｆ／Ｇ２ｈｌｐｆ）
＝ｇ（２ｉ＋１、２ｊ）×（ｒ（２ｉ＋１、２ｊ−１）＋ｒ（２ｉ＋１、２ｊ＋１））／（ Ｇ（２ｉ＋１、２ｊ−１）＋Ｇ（２ｉ＋１、２ｊ＋１））（３５）
【００５６】
Ｂ信号でのｂ３で示す画素位置においても同様に、画素位置（２ｉ，２ｊ＋１）において、水平方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ、Ｇ３ｈｌｐｆを例えば、
Ｂ２ｈｌｐｆ＝（ｂ（２ｉ、２ｊ）＋ｂ（２ｉ、２ｊ＋２））／２  （３６）
Ｇ３ｈｌｐｆ＝（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ＋２））／２  （３７）
により算出し、このＢ２ｈｌｐｆとＧ３ｈｌｐｆの比と画素ｇ（２ｉ、２ｊ＋１）により、次式の演算で水平方向に相関を持つ画素値ｂ（２ｉ，２ｊ＋１）を算出する。
ｂ（２ｉ、２ｊ＋１）＝ｇ（２ｉ、２ｊ＋１）×（Ｂ２ｈｌｐｆ／Ｇ３ｈｌｐｆ）
＝ｇ（２ｉ、２ｊ＋１）×（ｂ（２ｉ、２ｊ）＋ｂ（２ｉ、２ｊ＋２））
／（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ＋２））  （３８）
【００５７】
なお、上記式（２９）、（３２）、（３５）、（３８）は上記Ｇでの復元方法と同様局所的領域での色信号の変化が少ないことを前提としており、つまり、各信号の比は局所的な領域ではほぼ等しいということによる。また、式（２７）〜（３８）におけるＧ２ｈｌｐｆ、Ｇ２ｖｌｐｆ、Ｇ３ｈｌｐｆ、Ｇ３ｖｌｐｆ、Ｒ２ｈｌｐｆ、Ｒ２ｖｌｐｆ、Ｂ２ｈｌｐｆ、Ｂ２ｖｌｐｆの算出式は、水平および垂直方向のローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数であってもよい。
【００５８】
以上より、第２のＲＢ成分復元手段２５からは画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）それぞれの画素でのＲおよびＢ信号が出力され、つまり、撮像素子の画素数分の解像度のＲ、Ｂ信号を得られるとになる。Ｇ信号は上記Ｇ成分復元手段２２においてすでに撮像素子の画素数分の解像度の信号を得ており、したがって、Ｇ成分を用い水平垂直方向のエッジ成分を判定して局所的な領域での空間周波数の変化を判定し、その判定結果に基づき各色信号の生成を切り換えるともに、エッジ成分が所定値を越える場合の信号の算出において、局所的な領域での色信号の比により算出を行い、エッジ成分が所定値以下では周辺画素の平均値で求めることで、第１および第２の色復元手段５および６の出力において撮像素子の画素数分の解像度のＲ、Ｇ、Ｂ信号が得られる。
【００５９】
次に、上述の方法により第１の色復元手段５において復元された撮像素子の画素数分の信号Ｒ１、Ｇ１、Ｂ１は多重手段７へと送られ、第２の色復元手段６において復元された撮像素子の画素数分の信号Ｒ２、Ｇ２、Ｂ２も多重手段７へと送られる。多重手段７においては、第１の色復元手段５からのＲ１、Ｇ１、Ｂ１信号と第２の色復元手段６からのＲ２、Ｇ２、Ｂ２信号により、水平垂直方向各２倍の解像度の信号になるようそれぞれの信号を合成多重する。つまり、各信号は図２に示す斜め方向に半画素ずらしたデータＤ１とＤ２により復元された信号であるので、上記Ｒ１、Ｇ１、Ｂ１とＲ２、Ｇ２、Ｂ２は各撮像素子での画素数の水平垂直方向各２倍の解像度の信号において、図８に示されるような配置となる。つまり、水平垂直方向各２倍の解像度の各信号において、垂直２ｘ行水平２ｙ＋１列の画素位置（２ｘ、２ｙ＋１）（ｘ、ｙは整数）にＲ１、Ｇ１、Ｂ１が位置し、画素位置（２ｘ＋１、２ｙ）にＲ２、Ｇ２、Ｂ２が位置しており、図８においてＤ１はＲ１またはＧ１またはＢ１の位置を示し、Ｄ２はＲ２またはＧ２またはＢ２の位置を示している。したがって、多重手段７からは図９から図１１に示されるような配置となる画素数が水平垂直方向各２倍の解像度の信号が出力されることとなる。
【００６０】
次に、多重手段７の出力であるＲ、Ｇ、Ｂ各信号（図９〜図１１）は、平均値演算手段９、水平方向演算手段１０、垂直方向演算手段１１に送られ、Ｇ信号はエッジ判定手段８へも入力される。ここで、図９〜図１１おいて示されるように、各信号において画素位置（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋１）の画素は得られておらず、したがって、これらの画素での信号を上記平均値演算手段９、水平方向演算手段１０、垂直方向演算手段１１で算出することとなる。そして、平均値演算手段９、水平方向演算手段１０、垂直方向演算手段１１による出力は選択手段１２へと送られ、エッジ判定手段８ではＧ信号における画素位置（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋１）での周辺画素のエッジ成分を判定し、判定結果を選択手段１２へと出力する。
【００６１】
図１２はこの発明の実施の形態１による撮像装置における高解像度化の動作を説明するためのフローチャートであり、前記エッジ判定手段８、平均値演算手段９、水平方向演算手段１０、垂直方向演算手段１１および選択手段１２での動作を示すものである。この図１２に従い説明する。
【００６２】
図９〜図１１で示す各画素信号が得られている画素位置（２ｘ、２ｙ＋１）、（２ｘ＋１、２ｙ）については選択手段１２においてそのままの信号を出力する。画素位置（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋１）については、まずエッジ判定手段８において、Ｇ信号の上記画素位置での左右および上下の画素より水平および垂直方向の差分（つまりエッジ成分）を検出する。つまり、多重手段７からのＧ信号に対し、上記画素位置での左右の画素の差の絶対値ΔＨｇ、上下の画素の差の絶対値ΔＶｇ算出する。例えば、画素位置（２ｘ、２ｙ）においては、水平方向差分ΔＨｇは、
ΔＨｇ＝｜Ｇ（２ｘ、２ｙ−１）−Ｇ（２ｘ、２ｙ＋１）｜
垂直方向差分ΔＶｇは、
ΔＶｇ＝｜Ｇ（２ｘ−１、２ｙ）−Ｇ（２ｘ＋１、２ｙ）｜
となる。
【００６３】
そして、上記水平方向差分ΔＨｇおよび垂直方向差分ΔＶｇにより、水平垂直方向での周辺画素でのエッジを判定し、その判定結果を示す信号ｅｄを選択手段１２へと出力する。判定結果ｅｄにおいて、ΔＨｇとΔＶｇの両方が予め定めた値ｔｈｇ以下の場合は周辺画素での信号レベルの変化がないと判定し、選択手段１２において平均値演算手段９からの信号を選択する。平均値演算手段９では、各信号において画素位置（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋１）での上下左右の４画素の平均値を演算しており、例えば画素位置（２ｘ、２ｙ）の場合は次式によりＲ、Ｇ、Ｂ各信号の値Ｒａ、Ｇａ、Ｂａを演算して、選択手段１２へと出力している。
Ｒａ（２ｘ、２ｙ）＝｛Ｒ（２ｘ−１、２ｙ）＋Ｒ（２ｘ＋１、２ｙ）＋Ｒ（２ｘ、２ｙ−１）＋Ｒ（２ｘ、２ｙ＋１）｝／４
Ｇａ（２ｘ、２ｙ）＝｛Ｇ（２ｘ−１、２ｙ）＋Ｇ（２ｘ＋１、２ｙ）＋Ｇ（２ｘ、２ｙ−１）＋Ｇ（２ｘ、２ｙ＋１）｝／４
Ｂａ（２ｘ、２ｙ）＝｛Ｂ（２ｘ−１、２ｙ）＋Ｂ（２ｘ＋１、２ｙ）＋Ｂ（２ｘ、２ｙ−１）＋Ｂ（２ｘ、２ｙ＋１）｝／４
【００６４】
一方、ΔＨｇまたはΔＶｇが予め定めた値ｔｈｇより大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨｇ＞ΔＶｇの場合は水平方向にエッジ成分があり、垂直方向に相関が高いと判定し、ΔＨｇ≦ΔＶｇの場合は垂直方向にエッジ成分があり、水平方向に相関が高いと判定する。そして、ΔＨｇ＞ΔＶｇで垂直方向に相関が高いと判定される場合は、選択手段１２において垂直方向演算手段１１からの信号を選択する。垂直方向演算手段１１では各信号において画素位置（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋１）での上下方向の画素の平均値を演算し、垂直方向に相関を持つ信号を出力する。例えば、画素位置  （２ｘ、２ｙ）の場合は次式によりＲ、Ｇ、Ｂ各信号の値Ｒｖ、Ｇｖ、Ｂｖを演算して、選択手段１２へと出力している。
Ｒｖ（２ｘ、２ｙ）＝｛Ｒ（２ｘ−１、２ｙ）＋Ｒ（２ｘ＋１、２ｙ）｝／２
Ｇｖ（２ｘ、２ｙ）＝｛Ｇ（２ｘ−１、２ｙ）＋Ｇ（２ｘ＋１、２ｙ）｝／２
Ｂｖ（２ｘ、２ｙ）＝｛Ｂ（２ｘ−１、２ｙ）＋Ｂ（２ｘ＋１、２ｙ）｝／２
【００６５】
また、ΔＨｇ≦ΔＶｇで水平方向に相関が高いと判定される場合には、選択手段１２において水平方向演算手段１０からの信号を選択する。水平方向演算手段１０では各信号において画素位置（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋１）での左右方向の画素の平均値を演算し、水平方向に相関を持つ信号を出力する。例えば、画素位置（２ｘ、２ｙ）の場合は次式によりＲ、Ｇ、Ｂ各信号の値Ｒｈ、Ｇｈ、Ｂｈを演算して、選択手段１２へと出力している。
Ｒｈ（２ｘ、２ｙ）＝｛Ｒ（２ｘ、２ｙ−１）＋Ｒ（２ｘ、２ｙ＋１）｝／２
Ｇｈ（２ｘ、２ｙ）＝｛Ｇ（２ｘ、２ｙ−１）＋Ｇ（２ｘ、２ｙ＋１）｝／２
Ｂｈ（２ｘ、２ｙ）＝｛Ｂ（２ｘ、２ｙ−１）＋Ｂ（２ｘ、２ｙ＋１）｝／２
【００６６】
以上より、選択手段１２からは画素位置（２ｘ、２ｙ）、（２ｘ、２ｙ＋１）、（２ｘ＋１、２ｙ）、（２ｘ＋１、２ｙ＋１）それぞれの画素でのＲ、Ｇ、Ｂ信号が出力され、つまり、撮像素子の画素数の水平垂直方向各２倍の解像度のＲ、Ｇ、Ｂ信号を得られることになり、したがって、Ｇ信号を用い水平垂直方向のエッジ成分を判定し、その判定結果に基づき各色信号の生成を切り換えるともに、エッジ成分が所定値を越える場合の信号の算出において、エッジ成分が少ない方向での画素より算出を行い、エッジ成分が所定値以下では周辺画素の平均値で求めることで、水平垂直方向各２倍の解像度の画像における偽色、偽輪郭が軽減され、また、全ての信号における水平垂直の両方向の解像度が向上することになる。
【００６７】
図１３はこの発明の実施の形態１による撮像装置と従来の装置により処理したシミュレーション画像での垂直方向の解像度での偽色レベルを示す図であり、詳しくは、発明者らによる画像シミュレーションにおいて、ゾーンプレートを上述図１の構成により処理した場合の垂直方向で発生する偽色レベル（ｃｏｌｏｒ−ａｌｉａｓ  ｌｅｖｅｌ、縦軸）と解像度（横軸）との関係を示している。上記従来技術による処理後の偽色レベルを破線で示し、図１による実施の形態１による処理後の偽色レベルを実線で示している。従来の技術による処理では多くの偽色が発生しているが、実施の形態１による処理では偽色の発生が抑圧されている。各処理でこの垂直方向の偽色信号のレベルを積分して比較すると、約２１．５ｄＢの抑圧効果がある。
【００６８】
なお、上記実施の形態１において、第１の色復元手段５および第２の色復元手段６における色復元手段の構成を図４に示す構成の場合について説明したが、他の周辺画素からの補間による復元方法であっても、斜めに半画素ずらした２枚の撮像素子により得た信号よりそれぞれ撮像素子の画素数分のＲ、Ｇ、Ｂ信号を復元して、この画素ずらしによる２枚分の復元画像より上述図１による方法で水平垂直方向各２倍の解像度の画像を得るのであれば、上記実施の形態１と同様の効果を奏する。
【００６９】
また、上記実施の形態１では、撮像素子１における画素ずらしによる２枚の撮像素子の色フィルタの配列を図３に示す原色の色フィルタであり、各光電変換素子を独立に呼び出す方式の撮像素子として説明しているが、撮像素子は画素混合方式の撮像素子であってもよく、色フィルタの分光特性はＲ、Ｇ、Ｂに限るものではなく、また、色フィルタの配列も他の場合でもよく、斜めに半画素ずらした２枚の撮像素子により得たデータより撮像素子の画素数の信号を復元してＲＧＢの色信号を再生でき、この画素ずらしによる２枚分の復元した信号より上述図１による方法で水平垂直方向各２倍の解像度の信号を得られるのであれば、上記と同様の効果を奏する。
【００７０】
例えば、図１４に示すように、画素位置（２ｉ，２ｊ）と画素位置（２ｉ＋１、２ｊ＋１）（ｉ＝０、１、２、…、ｊ＝０、１、２、…）に第１の色信号Ａを通過させる分光特性を持った第１の色フィルタを、画素位置（２ｉ、２ｊ＋１）に第２の色信号Ｂを通過させる分光特性を持った第２の色フィルタを、画素位置（２ｉ＋１、２ｊ）に第３の色信号Ｃを通過させる分光特性を持った第３の色フィルタを配列し、色復元手段５、６において撮像素子の画素数分の各色信号Ａ、Ｂ、Ｃを復元した後ＲＧＢの色信号を再生できればよい。また、図１５に示されるように、画素位置（２ｉ，２ｊ＋１）と画素位置（２ｉ＋１、２ｊ）（ｉ＝０、１、２、…、ｊ＝０、１、２、…）に第１の色フィルタを、画素位置（２ｉ、２ｊ）に第２の色フィルタを、画素位置（２ｉ＋１、２ｊ＋１）に第３の色フィルタを配列した場合（図１５中の斜線部分）でも同様の効果を奏する。
【００７１】
また、上記実施の形態１では、撮像素子１における画素ずらしによる２枚の撮像素子の配置を図２に示すように配置して説明しているが、斜め方向に半画素ずらすのであれば図１６のような配置であっても上記実施の形態１により高解像度の画像を得られ、同様の効果を奏する。
【００７２】
なお、上記実施の形態１では、ハードウェアにより図１、図４の構成の処理を行う場合について説明しているが、撮像装置におけるソフトウェアにより同様の処理を行うことができることは言うまでもなく、上記実施の形態１と同様の効果を奏する。
【００７３】
実施の形態２．
実施の形態１の図４で示した色復元手段５または６において、第１のエッジ判定手段２１においてＧ信号における画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）での上下左右でのエッジ成分を判定し、第２のエッジ判定手段２４においては、Ｒ信号の復元に対してＧ信号における画素位置（２ｉ＋１、２ｊ）でのエッジ成分を、Ｂ信号の復元に対してＧ信号における画素位置（２ｉ、２ｊ＋１）でのエッジ成分を判定するよう構成したが、どちらも画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）での左右および上下の画素のエッジ成分を検出しており、これらの画素位置での上下左右の画素信号は撮像素子より得られた信号であるため、同一のエッジ成分を求めることとなる。よって、図１７に示すように、色復元手段５または６の構成を、１つのＧ成分エッジ判定手段によりＧ信号における画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）でのエッジ成分を判定するような構成とすることもできる。
【００７４】
図１７において、２０、２２〜２３および２５は上記実施の形態１での撮像装置における色復元手段５および６におけるものと同一のものであり、４１はＧ成分エッジ判定手段である。
【００７５】
次に動作を説明する。フレームメモリ３または４からの信号を分離手段２０により各Ｒ、Ｇ、Ｂ信号に分離し、Ｇ成分復元手段２２、第１のＲＢ復元手段２３および第２のＲＢ復元手段２５で撮像素子の画素数の各信号を生成し復元する動作は上記実施の形態１と同一であるのでその詳細な説明は省略する。
【００７６】
Ｇ成分エッジ判定手段４１には分離手段２０におけるＧ信号が入力され、画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）（図３中のＲおよびＢで示す画素位置）での左右および上下の画素の差分つまりエッジ成分を検出する。つまり、上記画素位置での左右の画素の差の絶対値ΔＨ２、上下の画素の差の絶対値ΔＶ２を算出する。例えば、画素位置（２ｉ、２ｊ＋１）においては、
ΔＨ２＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜
ΔＶ２＝｜Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、２ｊ＋１）｜
として算出する。
【００７７】
そして、上記水平方向でのエッジ成分ΔＨ２および垂直方向エッジ成分ΔＶ２により、水平垂直方向での周辺画素での信号レベルの変化を判定し、入力されるＧ信号の各画素位置に応じて、その判定結果を示す信号ｅｄ１をＧ成分復元手段２２へ、ｅｄｒ、ｅｄｂを第２のＲＢ成分復元手段２５へと出力する。各判定信号は、ΔＨ２とΔＶ２の両方が予め定めた値以下の場合は、周辺画素での信号レベルの変化がないと判定する。一方、ΔＨ２またはΔＶ２が予め定めた値より大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨ２＞ΔＶ２の場合は垂直方向に相関が高いと判定し、ΔＨ２≦ΔＶ２の場合は水平方向に相関が高いと判定する。ここで、Ｇ成分復元手段２２においては、画素位置  （２ｉ、２ｊ＋１）と（２ｉ＋１、２ｊ）での画素を復元するため、両画素位置において上記エッジ判定結果ｅｄ１を出力することになる。
【００７８】
一方、第２のＲＢ成分復元手段２５においては、Ｒ信号の画素位置（２ｉ＋１，２ｊ）の復元を行い、Ｂ信号の画素位置（２ｉ、２ｊ＋１）の復元を行う。よって、画素位置（２ｉ＋１、２ｊ）において上記エッジ成分を判定した結果をｅｄｒとして、第２のＲＢ成分復元手段２５におけるＲ信号での処理画素位置にタイミングを合わせて出力する。また、画素位置（２ｉ、２ｊ＋１）において上記エッジ成分を判定した結果をｅｄｂとして、第２のＲＢ成分復元手段２５におけるＢ信号での処理画素位置にタイミングを合わせて出力する。
【００７９】
よって、Ｇ成分エッジ判定手段４１において、上記Ｇ成分復元手段２２および第２のＲＢ成分復元手段２５におけるＧ、Ｒ、Ｂ信号を復元する画素位置に対応するＧ信号でのエッジ成分の判定結果を出力されることとなる。
【００８０】
なお、上記実施の形態２では、画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）にＧ信号が、画素位置（２ｉ、２ｊ＋１）にＲ信号が、画素位置（２ｉ＋１、２ｊ＋１）にＢ信号が撮像素子より得られる場合について説明したが、上記実施の形態１同様、画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）にＧ信号が、画素位置（２ｉ、２ｊ）にＲ信号が、画素位置（２ｉ＋１、２ｊ＋１）にＢ信号が配列されていてもよく、また、色信号はＲＧＢに限ることはない。
【００８１】
また、上記実施の形態１と同様、実施の形態２においても、図１７の構成の処理を撮像装置におけるソフトウェアにより同様の処理を行うことができることは言うまでもなく、上記実施の形態２と同様の効果を奏する。
【００８２】
【発明の効果】
以上のように、この発明による撮像装置によれば、斜め方向に半画素ずらして配置された２枚の撮像素子を備えた撮像装置において、第１および第２の撮像素子により読み出された色信号より各撮像素子に対して撮像素子の画素数分の解像度の色信号を復元生成する色信号復元手段と、前記色信号復元手段からの出力である上記第１および第２の撮像素子からの信号より復元された各信号により各撮像素子の画素数の水平垂直方向各２倍の解像度の信号の画素を得る手段と、前記得られた水平垂直方向各２倍の解像度の信号において画素信号が得られていない所定画素位置におけるエッジ成分を周辺画素から判定する第１のエッジ判定手段を備えるとともに、前記第１のエッジ判定手段からの信号に基づき、水平垂直方向各２倍の解像度の色信号での前記所定画素位置の信号を算出する手段を有することにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００８３】
また、この発明による撮像装置によれば、前記第１のエッジ判定手段が、画素信号が得られていない所定画素位置における左右の隣接画素のあらかじめ定めたおいた一つの色信号の差の絶対値を算出して水平方向のエッジ成分を検出する手段と、上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する手段と、前記水平方向のエッジ成分を検出する手段と垂直方向エッジ成分を検出する手段からの出力に基づき、前記所定画素位置における水平または垂直方向のエッジ成分を判定することにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００８４】
また、この発明による撮像装置よれば、前記第１のエッジ判定手段におけるエッジ成分の判定が、上記水平方向のエッジ成分を検出する手段からの出力または上記垂直方向のエッジ成分を検出する手段からの出力が予め定めた値より大きい場合は、上記画素信号が得られていない所定画素位置の周辺画素にエッジ成分を検出したとし、さらに、水平方向のエッジ成分を検出する手段からの出力が上記垂直方向のエッジ成分を検出する手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ成分を検出する手段の出力が上記垂直方向エッジ成分を検出する手段出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ成分を検出する手段および垂直方向エッジ成分を検出する手段の出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定することにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００８５】
また、この発明による撮像装置よれば、上記水平垂直方向各２倍の解像度の信号での画素信号が得られていない所定画素位置の信号を算出する手段が、画素信号が得られていない所定画素位置における色信号それぞれに対し、上下の画素の平均値より信号を算出する垂直方向算出手段と、左右の画素の平均値より信号を算出する水平方向算出手段と、上下左右の隣接画素の平均値より信号を算出する平均値算出手段とを備え、上記第１のエッジ判定手段の出力に基づき、上記水平方向算出手段の出力または垂直方向算出手段出力、または平均値算出手段からの出力より選択し、上記所定画素位置での信号を得て、撮像素子における画素数の水平垂直方向各２倍の解像度の各色信号を得ることにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００８６】
また、この発明による撮像装置によれば、上記水平垂直方向各２倍の解像度の信号での画素信号が得られていない所定画素位置の信号を算出する手段が、画素信号が得られていない所定画素位置において上記第１のエッジ判定手段の出力がエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向算出手段の出力を選択することにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００８７】
また、この発明による撮像装置によれば、上記斜め方向に半画素ずらして配置された２枚の撮像素子それぞれにおいて、各撮像素子が、垂直２行水平２列の上下４画素において、第１の色信号に対する分光感度特性を持つ第１の色フィルタと第２の色信号に対する分光感度特性を持つ第２の色フィルタとが垂直１行目に配列され、垂直２行目には上記垂直１行目の第１の色フィルタが配列された画素位置と同一の列に第３の色信号に対する分光感度特性を持つ第３の色フィルタが配列され、第２の色フィルタと同一の列に第１の色信号に対する分光感度特性を持つ第１の色フィルタが配列されており、上記上下４画素の色フィルタが順次垂直および水平方向に繰り返し配列された撮像素子であり、各撮像素子からの色信号に対して撮像素子の画素数分の解像度の色信号を復元生成する上記色信号復元手段が、上記第１の色フィルタによる第１の色信号の画素信号が得られていない所定画素位置での周辺画素信号に基づき、画素信号が得られていない所定画素位置におけるエッジ成分を判定する第２のエッジ判定手段と、前記第２のエッジ判定手段の出力に基づき、上記第１、第２、第３の色フィルタにより読み出された第１、第２および第３の色信号により第１の色信号における上記画素信号が得られていない所定画素位置での信号を算出する第１の算出手段と、上記第２のエッジ判定手段の出力に基づき、上記第１の算出手段の出力と色フィルタからの第２および第３の色信号により第２および第３の色信号を算出する第２の算出手段とを備え、上記撮像素子における画素数の第１、第２、第３の色信号を得るとともに、上記第１のエッジ判定手段が、上記水平垂直方向各２倍の解像度の信号の画素を得る手段からの出力である第１の色信号に対し、画素信号が得られていない所定画素位置における周辺画素のエッジ成分を判定することにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００８８】
また、この発明による撮像装置によれば、上記色復元手段における第２のエッジ判定手段が、第１の色信号の画素信号が得られていない所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、第１の色信号の画素信号が得られていない所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、前記水平方向エッジ検出手段と垂直方向エッジ検出手段からの出力に基づき、前記画素信号が得られていない所定画素位置における水平または垂直方向のエッジ成分を判定する判定手段を備えるとともに、前記判定手段が、上記水平方向エッジ検出手段からの出力または上記垂直方向エッジ検出手段からの出力が予め定めた値より大きい場合は、上記画素信号が得られていない所定画素位置の周辺画素にエッジ成分を検出したとし、さらに、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定することにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００８９】
また、この発明による撮像装置よれば、上記色復元手段における第１の色信号での所定位置に対する信号を算出する第１の算出手段が、第２の色信号Ｂのある所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し水平方向のローパスフィルタを介した値Ａｈｌｐｆ（ｌ、ｍ）、Ｂｈｌｐｆ（ｌ、ｍ）を算出し、前記水平方向ローパスフィルタからの出力信号であるＡｈｌｐｆ（ｌ、ｍ）とＢｈｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する水平方向信号算出手段と、上記所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し垂直方向のローパスフィルタを介した値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ（ｌ、ｍ）を算出し、前記垂直方向ローパスフィルタからの出力信号であるＡｖｌｐｆ（ｌ、ｍ）とＢｖｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌｐｆ（ｌ、ｍ）／Ｂｖｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する垂直方向信号算出手段と、第１の色信号Ａにおける上記所定画素ｌ行ｍ列の位置での上下左右の隣接画素の平均値よりｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を算出する平均値算出手段とを備え、上記第２のエッジ判定手段の出力に基づき、上記水平方向信号算出手段の出力または垂直方向信号算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素ｌ行ｍ列における第１の色信号Ａの画素値Ａ（ｌ、ｍ）を得て、撮像素子における画素数の第１の色信号を得ることにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００９０】
また、この発明による撮像装置によれば、前記色復元手段における第１の算出手段が、上記第２のエッジ判定手段の出力が所定画素ｌ行ｍ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第１の色信号を得ることにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００９１】
また、この発明による撮像装置よれば、上記色復元手段における第２の算出手段が、所定画素ｌ行ｍ列の位置において、上記第１の算出手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ１ｈｌｐｆ（ｌ、ｍ）と垂直方向ローパスフィルタを介した値Ａ１ｖｌｐｆ（ｌ、ｍ）を算出し、第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ１ｈｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対して垂直方向のローパスフィルタを介した値Ｃ１ｖｌｐｆ（ｌ、ｍ）（または、第２の色信号Ｂに対して垂直方向のローパスフィルタを介した値Ｂ１ｖｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対して水平方向のローパスフィルタを介した値Ｃ１ｈｌｐｆ（ｌ、ｍ））とを算出し、Ａ１ｈｌｐｆ（ｌ、ｍ）とＢ１ｈｌｐｆ（ｌ、ｍ）との比（またはＣ１ｈｌｐｆ（ｌ、ｍ）との比）と、Ａ１ｖｌｐｆ（ｌ、ｍ）とＣ１ｖｌｐｆ（ｌ、ｍ）との比（または、Ｂ１ｖｌｐｆ（ｌ、ｍ）との比）と、上記第１の算出手段からの出力Ａにおける所定画素ｌ行ｍ列での画素値Ａ（ｌ、ｍ）から、ｌ行ｍ列の第２の色信号Ｂと第３の色信号Ｃにおける画素値Ｂ（ｌ、ｍ）とＣ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝（または、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝）により算出する信号算出手段を備えるとともに、上記ｌ行ｍ列の位置とは異なる所定画素ｘ行ｙ列の位置において、上記第１の算出手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ２ｈｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｈｌｐｆ（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐｆ（ｘ、ｙｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する水平方向信号算出手段と、上記第１の算出手段からの出力Ａに対し垂直方向のローパスフィルタを介した値Ａ２ｖｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｖｌｐｆ（ｘ、ｙ）とＢ２ｖｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｖｌｐｆ（ｘ、ｙ）／Ａ２ｖｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する垂直方向信号算出手段と、上記信号算出手段からの出力における第２、第３の色信号での所定画素ｘ行ｙ列の位置において、斜めに隣接する画素の平均値を算出する平均値算出手段とを備え、上記第２のエッジ判定手段の出力に基づき、前記水平方向信号算出手段、垂直方向信号算出手段、平均値算出手段からのそれぞれの出力から選択して、上記所定画素ｘ行ｙ列での第２、第３の色信号を得て、撮像素子における画素数の第２、第３の色信号を得ることにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００９２】
さらに、この発明による撮像装置よれば、上記色復元手段における第２の算出手段が、上記第２のエッジ判定手段の出力が所定画素ｘ行ｙ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第２、第３の色信号を得ることにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【図面の簡単な説明】
【図１】  この発明の実施の形態１による撮像装置の構成の一例を示すブロック図である。
【図２】  この発明の実施の形態１による斜め方向に半画素ずらした２枚の撮像素子の配置の一例を示す図である。
【図３】  この発明の実施の形態１による各撮像素子の色フィルタの配列の一例を示す図である。
【図４】  この発明の実施の形態１による撮像装置における色復元手段の構成の一例を示すブロック図である。
【図５】  この発明の実施の形態１による撮像装置における色復元手段における第１のエッジ判定手段とＧ成分復元の動作を説明するためのフローチャートである。
【図６】  この発明の実施の形態１による撮像装置における色復元手段におけるＲ、Ｂ成分復元の動作を説明するためのフローチャートである。
【図７】  この発明の実施の形態１による撮像装置におけるＲ、Ｂ信号の復元の動作を説明するためのＲ信号およびＢ信号の画素を示す図である。
【図８】  この発明の実施の形態１による撮像装置における多重手段１２の動作を説明するための水平垂直方向各２倍の解像度の信号の画素を示す図である。
【図９】  この発明の実施の形態１による撮像装置における多重手段１２における水平垂直方向各２倍の解像度のＲ信号の画素を示す図である。
【図１０】  この発明の実施の形態１による撮像装置における多重手段１２における水平垂直方向各２倍の解像度のＧ信号の画素を示す図である。
【図１１】  この発明の実施の形態１による撮像装置における多重手段１２における水平垂直方向各２倍の解像度のＢ信号の画素を示す図である。
【図１２】  この発明の実施の形態１による撮像装置における高解像度化の動作を説明するためのフローチャートを示す図である。
【図１３】  この発明の実施の形態１による撮像装置と従来の装置により処理したシミュレーション画像での垂直方向の解像度での偽色レベルを示す図である。
【図１４】  この発明の実施の形態１による撮像素子の他の色フィルタ配列の例を示す図である。
【図１５】  この発明の実施の形態１による撮像素子の他の色フィルタ配列の例を示す図である。
【図１６】  この発明の実施の形態１による斜め方向に半画素ずらした２枚の撮像素子の配置の他の例を示す図である。
【図１７】  この発明の実施の形態２による撮像装置における色復元手段の構成の一例を示すブロック図である。
【図１８】  従来の撮像装置における撮像素子の色フィルタ配列の一例を示す図である。
【図１９】  従来の撮像装置の構成の一例を示すブロック図である。
【図２０】  従来の撮像装置における色復元手段の構成の一例を示すブロック図である。
【図２１】  従来の撮像装置の高解像度化の動作を説明するための各信号の画素を示す図である。
【図２２】  従来の撮像装置の高解像度化の方法を説明するための各信号の画素を示す図である。
【図２３】  従来の撮像装置における色復元手段の他の構成の例を示すブロック図である。
【符号の説明】
１  撮像素子、２  Ａ／Ｄコンバータ、３、４  フレームメモリ、５、６  色復元手段、７  多重手段、８  エッジ判定手段、９  平均値演算手段、１０  水平方向演算手段、１１  垂直方向演算手段、１２  選択手段、２０  分離手段、２１  第１のエッジ判定手段、２２  Ｇ成分復元手段、２３  第１のＲＢ成分復元手段、２４  第２のエッジ判定手段、２５  第２のＲＢ成分復元手段。
【図１】
0003926023.tif 000016
【図２】
0003926023.tif 000017
【図３】
0003926023.tif 000018
【図４】
0003926023.tif 000019
【図５】
0003926023.tif 000020
【図６】
0003926023.tif 000021
【図７】
0003926023.tif 000022
【図８】
0003926023.tif 000023
【図９】
0003926023.tif 000024
【図１０】
0003926023.tif 000025
【図１１】
0003926023.tif 000026
【図１２】
0003926023.tif 000027
【図１３】
0003926023.tif 000028
【図１４】
0003926023.tif 000029
【図１５】
0003926023.tif 000030
【図１６】
0003926023.tif 000031
【図１７】
0003926023.tif 000032
【図１８】
0003926023.tif 000033
【図１９】
0003926023.tif 000034
【図２０】
0003926023.tif 000035
【図２１】
0003926023.tif 000036
【図２２】
0003926023.tif 000037
【図２３】
0003926023.tif 000038