(57)【特許請求の範囲】
【請求項１】
被撮像物からの反射光を撮像光学系により２次元的に配列された複数の画素で構成された撮像素子に導き、この撮像素子により光電変換して画像信号を生成する撮像装置において、前記撮像光学系は、
前記被撮像物からの反射光を前記撮像素子の画素配列の水平方向に対して第一の偏光方向を有した直線偏光光線に変換して出射する直線偏光変換手段と、
印加される電圧のオンまたはオフに対応して、前記直線偏光変換手段からの直線偏光光線を前記第一の偏光方向を有した第一の偏光光線または前記第一の偏光方向と直交する第二の偏光方向を有した第二の偏光光線に切り替えて出射する偏光方向切り替え手段と、
前記偏光方向切り替え手段と前記撮像素子の間に配置され、前記偏光方向切り替え手段からの前記第一の偏光光線に対して前記第二の偏光光線を前記撮像素子の画素配列の水平方向および垂直方向にそれぞれ画素間距離の１／２だけずらせて出射する偏光光線ずらし手段とを備え、
前記撮像素子は、水平方向および垂直方向に２次元的に配列された複数の画素内の垂直２行水平２列の上下４画素を単位領域として、第１の色信号に対する分光感度特性を持つ第１の色フィルタが１行１列目および２行２列目に配置され、第２の色信号に対する分光感度特性を持つ第２の色フィルタが１行２列目、第３の色信号に対する分光感度特性を持つ第３の色フィルタが２行１列目に配列されており、前記上下４画素の色フィルタが順次垂直および水平方向に繰り返し配列されており、
さらに、
前記第１の色フィルタによる第１の色信号の所定画素位置での周辺画素信号に基づき、所定画素位置における水平方向および垂直方向の相関を判定する第１の相関判定手段と、
前記第１の相関判定手段の判定結果に基づき、前記第１、第２、第３の色フィルタにより読み出された第１、第２および第３の色信号により第２および第３の色信号位置における第１の色信号を適応的に算出する第１の算出手段と、
前記第１の相関判定手段の判定結果に基づき、前記第１の算出手段の出力と、前記第１、第２、第３の色フィルタにより読み出された第１、第２、第３の色信号により、第１の色信号位置における第２および第３の色信号を適応的に算出する第２の算出手段と、
前記第１の相関判定手段の判定結果に基づき、前記第１の算出手段の出力と、前記第２の算出手段の出力と、前記第１、第２、第３の色フィルタにより読み出された第１、第２、第３の色信号により、第２の色信号位置における第３の色信号を適応的に算出する第３の算出手段と、
前記第１の相関判定手段の判定結果に基づき、前記第１、第２、第３の色フィルタにより読み出された第１、第２および第３の色信号により第３の色信号位置における第２の色信号を適応的に算出する第４の算出手段とを備え、
第１の偏光方向のとき得られる第１の画像信号と、第２の偏光方向のときに得られる第２の画像信号とにおいて、前記第１乃至第４の算出手段により算出された色信号を用いて信号が欠落した画素位置における第１、第２、第３の色信号を補間する
ことを特徴とする撮像装置。
【請求項２】
偏光方向切り替え手段は液晶板であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
液晶板に加える電圧は、撮像素子が撮像を終えると同時に無印加とすることを特徴とする請求項２に記載の撮像装置。
【請求項４】
第１の相関判定手段は、
第１の色信号の所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、
第１の色信号の所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、
前記水平方向エッジ検出手段と垂直方向エッジ検出手段の出力の大きさを比較することにより、前記所定画素における水平および垂直方向のいずれの方向の相関が高いかを判定すると共に、前記水平方向エッジ検出手段および垂直方向エッジ検出手段の出力がともに予め定めた値より小さい場合には水平方向および垂直方向とも相関が高いと判定する判定手段とを備えたことを特徴とする請求項１に記載の撮像装置。
【請求項５】
第１の偏光方向のとき得られる撮像素子上の第１の画像信号と、第２の偏光方向のときに得られ、前記第１の画像信号とは水平および垂直方向共に画素間距離の１／２ずれた第２の画像信号とから第３の画像信号を生成する撮像装置であって、
第１の画像信号における（ｉ，ｊ）の位置（ｉ，ｊは自然数）の第１から第３の色信号を、第３の画像信号において（２ｉ−１，２ｊ−１）の位置の第１から第３の色信号とし、かつ、第２の画像信号における（ｉ，ｊ）の位置の第１から第３の色信号を、第３の画像信号において（２ｉ，２ｊ）の位置の第１から第３の色信号とする画像信号生成手段と、
第３の画像信号における（２ｉ−１，２ｊ）または（２ｉ，２ｊ−１）の所定画素位置において、周辺画素信号に基づき、前記所定画素位置における相関を判定する第２の相関判定手段と、
前記第２の相関判定手段の判定結果に基づき、前記所定画素位置における第１から第３の色信号を適応的に算出する第５の算出手段とを備え、
前記第３の画像信号における全画素の第１から第３の色信号を得ることを特徴とする請求項１または４に記載の撮像装置。
【請求項６】
第２の相関判定手段は、
第３の画像信号における（２ｉ−１，２ｊ）または（２ｉ，２ｊ−１）の所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、
前記所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、
前記水平方向エッジ検出手段と垂直方向エッジ検出手段の出力の大きさを比較することにより、前記所定画素における水平および垂直方向のいずれの方向の相関が高いかを判定すると共に、前記水平方向エッジ検出手段および垂直方向エッジ検出手段の出力がともに予め定めた値より小さい場合には水平方向および垂直方向とも相関が高いと判定する判定手段とを備えたことを特徴とする請求項５に記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像素子を一枚だけ用いてカラー画像信号を得るディジタルスチルカメラやディジタルカメラなどの単板カラー撮像装置において、画素ずらしを行うことにより高精細な画像信号を得る撮像画像信号の高解像度化技術に関する。
【０００２】
【従来の技術】
ＣＣＤ等の複数の画素を二次元に配列した撮像素子を用いた画像入力装置においては、画像信号と撮像素子との相対位置を微小に変化させ変化させた毎に画像信号を入力後各画像信号を合成し、見かけ上の画素数を増加させて解像度を向上させるものが知られている。
このような方法による解像度の向上に当たっては従来の技術ではプリズムによってＲＧＢそれぞれの色の光線に分割して３つの撮像素子上に結像する３板方式などが良く知られている。
一方、１枚の撮像素子上に複数の色フィルタが配置されている撮像素子を２枚用いた撮像方式では、図２８に示すように、撮像光学系３からの像をハーフミラーなどの光学素子２０を介して２枚の撮像素子５ａ，５ｂ上に結像する。
それぞれの撮像素子５ａ，５ｂは、空間的に結像する画像信号が１／２画素ずれて撮像するように配置されている。
【０００３】
また、１枚の撮像素子のみで画素ずらしを行う場合には、例えば特開平７−２３６０８６号公報に記載されるように、撮像光学系と撮像素子との間に平板透明部材を平行に配置し、前記透明部材上に配置される直線上にない３点の傾斜手段の１点を支持部とし他の２点を該透明部材を作動させる作動部として用い撮影光学系からの入射光を変位させることで撮像素子上の画像信号を微小変位させるものがある。
【０００４】
図２９は、特開平７−２３６０８６号公報に示された従来の光学的に画素数を増加させる画像入力装置のブロック図を、図３０は前記撮像部の機構を示す図である。
図２９および図３０において、３は画像を結像させるためのレンズ系、５は画像を光電変換するための二次元に配列されたＣＣＤ等の撮像素子、２１はレンズ系３と撮像素子５の間にほぼ平行に配置され、レンズ系３から撮像素子５への入射光の入射角度に微小変位をもたらす透明平板部材、２２はレンズ系３および透明平板部材２１を支持するベースユニット、３４ａ、３４ｂ、３４ｃは透明平板部材２１をベースユニット２２に固定すると共に２点を選択的に作動させて透明平板ユニットを傾斜させる圧縮ばねである。
【０００５】
また、３５ａ、３５ｂ、３５ｃ、は対応する圧縮ばね３４を各々押さえるばね押さえ板、３８ａ、３８ｂ（図示せず）はベースユニット２２と圧縮ばね３４ａ、３４ｂを貫通するねじと共に設けられ駆動により透明平板部材２１の近傍部位を光軸方向に変位させ透明平板部材２１に傾斜をもたらすモータ、３６ａ、３６ｂは透明平板部材２１および圧縮ばね３４ａ、３４ｂ、ばね押さえ板３５ａ、３５ｂを含む第一および第二作動部である。
また、３７は透明平板部材２１および圧縮ばね３４ｃ、ばね押さえ板３５ｃを含む支持部であり、第一の作動部３６ａのばね押さえ板３５ａおよび第二の作動部３６ｂのばね押さえ板３５ｂの作動時に透明平板部材２１を支持する。
これらは図示しない匡体に一体的に固定されると共に、図２９に示されるように後段には光電変換された画像信号信号を処理するための色信号分離回路２５、プロセス回路２６等からなる所定の画像信号処理回路および画像信号合成メモリ３０、画像バッファメモリ２９等が接続されている。
【０００６】
次に、動作について説明する。
まず、第一の作動部３６ａのばね押さえ板３５ａおよび第二の作動部３６ｂのばね押さえ板３５ｂのいずれも作動させない状態で撮像を行い、後段の画像バッファメモリ２９に画像信号を記憶する。
次に、２つのばね押さえ板のうちひとつ３５ａを作動させると他のばね押さえ板３５ｂと支持部を結ぶ線を回転軸として透明平板部材２１が回転する。
したがって、透明平板部材２１を透過した画像はかかる透明平板部材２１の傾斜によって移動されて撮像素子５上に結像し、画像バッファメモリ２９にわずかにずれた画像信号を記憶する。
【０００７】
更に、同じ１つのばね押さえ板３５ａを作動させれば同一方向に順次画像が移動し、順次画像が撮像素子５に結像され記憶される。
また、ばね押さえ板３５ｂを駆動させると、ばね押さえ板３５ａと支持部３７を結ぶ線を回転軸として透明平板部材２１が傾斜し、前述とは異なる方向に画像の移動が行われる。
これら２方向の移動を適宜組み合わせることにより、任意の位置への２次元の画素ずらしを実施の後、画像バッファメモリ２９に蓄積された複数の撮影画像を画素ずらしの実施方向を考慮して各対応画素毎に内挿することで光学的に画素数を増加させた画像信号が画像合成メモリ３０に得られる。
【０００８】
次に、従来の画素ずらしによって得られた画像信号から高精細画像を生成する従来の信号処理方式について説明する。
図３１に示す信号配列は単板撮像蔵置においてもっともよく使われているベイヤー配列をした撮像素子であり、図中○印で示された信号は撮像素子の配置上その画素位置にてサンプリングされる色信号である。
図３２は、図３１に示す撮像素子を斜め１／２画素右下にずらして撮像した画像信号の色信号と先の色信号とを重ねて表示した図である。
図中実線で示したＲ１，Ｇ１，Ｂ１が先の画像の色信号であり、ハッチでしめされたＲ２，Ｇ２，Ｂ３は画素ずらしによってえられた色信号である。
【０００９】
図３２に示した画素ずらしをした２枚の画像信号から、解像度を向上するための色信号配列は図３３に示すようになる。
図３３に示した画像信号の画素数は図３１と比較して水平垂直とも２倍になっているため４倍の画素数がある。
しかし、図３３に示すように実際に画素ずらしすることによって得られた色信号はＲ１，Ｒ２，Ｇ１，Ｇ２，Ｂ１，Ｂ２であるため、図中空白の色信号を前後左右の画素から内挿する必要がある。
【００１０】
例えば、今Ｇの信号だけ着目すると、図３４に示す位置にだけ撮像によって得られたＧ信号Ｇ１，Ｇ２が存在する。
従来の技術では前後左右の信号の平均値からＧ１’，Ｇ２’を補間し、次に図３５に示すように補間して得られたＧ信号からさらに内挿することにより全画素分のＧ信号を得ることができる。
【００１１】
また、Ｂ信号に着目すると、図３６に示すように左右のＢ１信号からＢ１’信号を内挿し、さらに補間したＢ１’信号からＢ１”信号を内挿する。Ｂ２信号についても同様である。
次に、図３7に示すように補間したＢ１’，Ｂ１”，Ｂ２’，Ｂ２”から残りの画素の内挿を行う。Ｒ信号においてもＢ信号と同様の方法にて全画素分の信号を補間することが出来る。上記の方法によって全画素における画素分だけのＲ，Ｇ，Ｂ信号を得ることが出来る。
【００１２】
【発明が解決しようとする課題】
しかしながら、図２８に示したような従来技術では複数の撮像素子を必要とし、撮像素子にかかるコストもさることながら、互いの撮像素子を空間的に１／２画素ずらして配置する必要があり、小型撮像素子が全盛のいま、撮像素子を構成する１つ１つの画素が非常に微細であるため撮像素子を１／２画素ずらして配置するのははなはだ困難であり、組立に特殊な技術や、計測器を必要とした。
【００１３】
また、特開平７−２３６０８６号公報に示される発明では、透明平板部材を２つのモータにより機械的に駆動制御するため精度の高い画素ずらし量を実現することが困難であった。
特に、近年では画素ピッチが数ミクロン程度であり、機械的にその数分の一の精度を得る為には、複雑な制御系が必要となる。また、機械的な振動を用いて制御するため振動や繰り返し寿命などを十分に考慮した設計を必要とした。
【００１４】
さらにまた、上記方法により撮像した画像信号から高解像度画像を生成する従来の信号処理では、単なる線形補間であるため画素ずらしを行うことによって得られる画素数分だけの解像度を得ることが出来ない。
これはまず、単板撮像素子における図３０における画像信号が各画素上に１色の色フィルタを配置しているため画素数分だけのＲ，Ｇ，Ｂ信号が得られず、画素数分だけの解像度が得られていないことが第１の原因であり、次に２枚の画像信号から高解像度画像を得る際に線形補間では十分な解像度の向上が見込めないということに問題があった。
【００１５】
さらにまた、上記方法により信号が欠落している画素の補間を行った場合、補間するための画像信号の信号配列が図３３に示すように、それぞれの信号が均等に配列しておらず、斜め方向に変調された信号配列となっており、このまま信号の補間を行うと偽色が目立ってしまうという問題点があった。
また、この問題を解決するためには図３8に示すように１枚の画像信号におけるＧ信号をＧ１とすると、画素ずらしを行った画像信号を４枚Ｇ２，Ｇ３，Ｇ４撮像しそれぞれの画像信号から高精細画像を生成しなければいけないため、撮像時間もかかり、高精細画像を生成するためにそれらの画像信号を一時記憶保持しておくメモリの量も大きくなるという問題があった。
【００１６】
本発明はこのような課題を解決するためになされたものであり、撮像光学系を機械的に振動させる機械的な画素ずらし機構を不要とし、さらに１枚の撮像素子のみにより水平・垂直方向ともに１／２画素ずつずれた２つの画像信号信号を切り替えて出力できる信頼性の高い撮像装置を得ることを目的とする。
また、撮像素子より出力される１／２画素ずつずれた２つの画像信号のそれぞれにおいて、信号が欠落している画素位置に対して適応的に最適な色信号を補間することにより、水平・垂直方向ともに１／２画素ずつずれた高解像度な２つの画像信号を生成できる撮像装置を得ることを目的とする。
また、水平・垂直方向ともに１／２画素ずつずれた高解像度な上記２つの画像信号を用いることにより、高精細な画像を得ることのできる撮像装置を得ることを目的とする。
【００１７】
【課題を解決するための手段】
この発明に係る撮像装置は、被撮像物からの反射光を撮像光学系により２次元的に配列された複数の画素で構成された撮像素子に導き、この撮像素子により光電変換して画像信号を生成する撮像装置において、前記撮像光学系は、被撮像物からの反射光を前記撮像素子の画素配列の水平方向に対して第一の偏光方向を有した直線偏光光線に変換して出射する直線偏光変換手段と、印加される電圧のオンまたはオフに対応して、前記直線偏光変換手段からの直線偏光光線を前記第一の偏光方向を有した第一の偏光光線または前記第一の偏光方向と直交する第二の偏光方向を有した第二の偏光光線に切り替えて出射する偏光方向切り替え手段と、偏光方向切り替え手段と撮像素子の間に配置され、偏光方向切り替え手段からの前記第一の偏光光線に対して前記第二の偏光光線を前記撮像素子の画素配列の水平方向および垂直方向にそれぞれ画素間距離の１／２だけずらせて出射する偏光光線ずらし手段とを備えたものである。
【００１８】
また、この発明に係る撮像装置の偏光方向切り替え手段は、液晶板であることを特徴とするものである。
【００１９】
また、この発明に係る撮像装置の偏光方向切り替え手段である液晶板に加える電圧は、撮像素子が撮像を終えると同時に無印加とするようにしたものである。
【００２０】
また、この発明に係る撮像装置の撮像素子は、水平方向および垂直方向に２次元的に配列された複数の画素内の垂直２行水平２列の上下４画素を単位領域として、第１の色信号に対する分光感度特性を持つ第１の色フィルタが１行１列目および２行２列目に配置され、第２の色信号に対する分光感度特性を持つ第２の色フィルタが１行２列目、第３の色信号に対する分光感度特性を持つ第３の色フィルタが２行１列目に配列されており、前記上下４画素の色フィルタが順次垂直および水平方向に繰り返し配列されていると共に、前記第１の色フィルタによる第１の色信号の所定画素位置での周辺画素信号に基づき、所定画素位置における水平方向および垂直方向の相関を判定する第１の相関判定手段と、前記第１の相関判定手段の判定結果に基づき、前記第１、第２、第３の色フィルタにより読み出された第１、第２および第３の色信号により第２および第３の色信号位置における第１の色信号を適応的に算出する第１の算出手段と、前記第１の相関判定手段の判定結果に基づき、前記第１の算出手段の出力と、前記第１、第２、第３の色フィルタにより読み出された第１、第２、第３の色信号により、第１の色信号位置における第２および第３の色信号を適応的に算出する第２の算出手段と、前記第１の相関判定手段の判定結果に基づき、前記第１の算出手段の出力と、前記第２の算出手段の出力と、前記第１、第２、第３の色フィルタにより読み出された第１、第２、第３の色信号により、第２の色信号位置における第３の色信号を適応的に算出する第３の算出手段と、前記第１の相関判定手段の判定結果に基づき、前記第１、第２、第３の色フィルタにより読み出された第１、第２および第３の色信号により第３の色信号位置における第２の色信号を適応的に算出する第４の算出手段とを備え、第１の偏光方向のとき得られる第１の画像信号と、第２の偏光方向のときに得られる第２の画像信号とにおいて、前記第１乃至第４の算出手段により算出された色信号を用いて信号が欠落した画素位置における第１、第２、第３の色信号を補間するようにしたものである。
【００２１】
また、この発明に係る撮像装置の第１の相関判定手段は、第１の色信号の所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、第１の色信号の所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、前記水平方向エッジ検出手段と垂直方向エッジ検出手段の出力の大きさを比較することにより、前記所定画素における水平および垂直方向のいずれの方向の相関が高いかを判定すると共に、前記水平方向エッジ検出手段および垂直方向エッジ検出手段の出力がともに予め定めた値より小さい場合には水平方向および垂直方向とも相関が高いと判定する判定手段とを備えたものである。
【００２２】
また、この発明に係る撮像装置は、第１の偏光方向のとき得られる撮像素子上の第１の画像信号と、第２の偏光方向のときに得られ、前記第１の画像信号とは水平および垂直方向共に画素間距離の１／２ずれた第２の画像信号とから第３の画像信号を生成する撮像装置であって、第１の画像信号における（ｉ，ｊ）の位置（ｉ，ｊは自然数）の第１から第３の色信号を、第３の画像信号において（２ｉ−１，２ｊ−１）の位置の第１から第３の色信号とし、かつ、第２の画像信号における（ｉ，ｊ）の位置の第１から第３の色信号を、第３の画像信号において（２ｉ，２ｊ）の位置の第１から第３の色信号とする画像信号生成手段と、第３の画像信号における（２ｉ−１，２ｊ）または（２ｉ，２ｊ−１）の所定画素位置において、周辺画素信号に基づき、前記所定画素位置における相関を判定する第２の相関判定手段と、前記第２の相関判定手段の判定結果に基づき、前記所定画素位置における第１から第３の色信号を適応的に算出する第５の算出手段とを備え、前記第３の画像信号における全画素の第１から第３の色信号を得るようにしたものである。
【００２３】
また、この発明に係る撮像装置の第２の相関判定手段は、第３の画像信号における（２ｉ−１，２ｊ）または（２ｉ，２ｊ−１）の所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、前記所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、前記水平方向エッジ検出手段と垂直方向エッジ検出手段の出力の大きさを比較することにより、前記所定画素における水平および垂直方向のいずれの方向の相関が高いかを判定すると共に、前記水平方向エッジ検出手段および垂直方向エッジ検出手段の出力がともに予め定めた値より小さい場合には水平方向および垂直方向とも相関が高いと判定する判定手段とを備えたものである。
【００２４】
【発明の実施の形態】
本発明の一実施の形態を図面に基づいて説明する。尚、図において従来と同一符号は従来のものと同一あるいは相当のものを表す。
実施の形態１．
図１は本発明の実施の形態１による撮像装置の全体構成を示す図であり、図２は図１における撮像光学系の動作を説明するための拡大図である。
図１および図２において、１は入射光を直線偏光とする偏光板、２は液晶板、３はレンズ系、４は入射光の偏光方向によって屈折率が異なる複屈折板、５は複数の画素から構成されている撮像素子、６は前記偏光板１から複屈折板４までを総称した撮像光学系、７は液晶板に駆動電圧を加える駆動電圧発生回路、８は撮像素子５を駆動するためのタイミングパルスを発生させる駆動回路、９は撮像素子５から得られた映像信号を信号処理する信号処理回路である。
【００２５】
上記のように構成された撮像装置において、その動作を説明する。撮像光学系６および撮像素子５の拡大図を図２に示す。
図２において、Ａ−Ａは偏光板１の入射側、Ｂ−Ｂは偏光板１の出射側、Ｃ−Ｃは液晶板の出射側、Ｄ−Ｄは複屈折板４の出射側の垂直方向の位置を示している。
図３〜図６には、図２に示した前記Ａ−ＡからＤ−Ｄまでの各位置における光の偏光方向を示す。
【００２６】
被写体を撮像する場合、撮像光学系６に入射される光（即ち、被撮像物からの反射光）は無偏光であるため、図３のように垂直方向の偏光成分と水平方向の偏光成分とで示すことができる。
偏光板１は入射された光から直線偏光した光を出射する。また、その方位角は図４に示すように撮像素子５の水平方向の画素配列を基準角とすると、基準角に対して４５°の角度となるように、偏光板１の偏光方向の偏光軸を傾けて配置する。すなわち、偏光板１は直線偏光変換手段としての機能を有している。
【００２７】
液晶板２は内部に液晶相を有し、２枚の電極基板で液晶を挟んだ板であり、外部から電圧すなわち電解が加わることにより、内部の液晶の分子配列変化に伴う電気光学効果を引き起こす。
本実施の形態に用いられる液晶板２は、印加されている電圧（駆動電圧）をオンあるいはオフすることにより、入射される直線偏光の光の偏光方向を変化させる物である。
上記液晶板２を実現させるための一例として、前記電気光学効果の内、代表的な電解効果型である、ねじれネマチック（ＴＮ）型液晶による旋光効果などが挙げられる。その動作を図７および図８に示す。
【００２８】
ＴＮモードを示すネマチック液晶は正の誘電異方性をもち、素子の分子配列を図７、８に示す。
図７，８において、１０は液晶分子である。基板に電圧が印加されたときは図７に示すように分子長軸方向が両基板面で直行しているように配列するため、偏光板１を介して入射された直線偏光はそのまま出射される。
電圧が無印加の時は素子内の液晶分子の配列は連続的に９０°ねじれており、光学的には９０°旋光効果を起こすため、偏光板１から入射された直線偏光は９０°ねじれて、出射光は入射光に対して９０°偏光方向が異なるようになる。
すなわち、液晶板２は、偏光方向切り替え手段の機能を有している。
【００２９】
液晶板２から出射された光の偏光を図５に示す。
図５においてｃ１は前記液晶板２において電圧が印加された状態であり、電圧無印加時には図５中ｃ２のように基準角度に対して１３５°の方位角を有した直線偏光となる。
今、Ｃ１の直線偏光を第１の偏光方向、ｃ２の直線偏光を第２の偏光方向とする。
液晶板２から出射された光は次に複屈折板４に入射される。
【００３０】
複屈折板４は屈折率が偏光方向によって均一でない、いわゆる複屈折を有する材質であり、撮像装置では被写体の空間周波数が撮像素子５の画素ピッチから求められるサンプリング周波数を超えている場合、追い返しノイズ（エイリアジングノイズ）として画像に現れるため、光学的ローパスフィルタとして水晶板などが良く用いられている。
水晶板すなわち複屈折板４は入射する光を常光線と異常光線とに分離し、その分離の距離間は複屈折板４の厚みによって調整することが可能である。
【００３１】
第１の偏光方向の入射光を常光線、第２の偏光方向の入射光を異常光線とするように複屈折板４を設けると、図２に示すように異常光線は点線で示されるように、その光軸は常光線と異とし、それぞれの偏光方向を有する入射光は図６中ｄ１，ｄ２に示すように撮像素子５上異なった位置に結像する。
また、前記複屈折板４の厚みは通常前記光学的ローパスフィルタ（ＬＰＦ）として用いる場合には、水平方向に常光線と以上光線とを分離する方向に水晶を切り欠いたものと、垂直方向に常光線と以上光線とを分離する方向に水晶を切り欠いたものとを複数枚重ねることで複屈折板を構成しているが、本撮像装置の撮像光学系では撮像素子の水平方向の画素ピッチＷｘ、垂直方向の画素ピッチＷｙとに対して、（Ｗｘ↑２＋Ｗｙ↑２）↑（１／２）だけ常光線と以上光線とを分離する厚さの複屈折板４をその分離する方向が撮像素子に対して斜め４５度方向に設置する。
【００３２】
第１の偏光方向が４５度であり、第２の偏光方向が１３５度であることから、前記のように設けられた複屈折板４を介した光線は、図６に示すように水平方向の撮像素子の画素ピッチＷｘの半分であるＷｘ／２、垂直方向の撮像素子の画素ピッチＷｙの半分であるＷｙ／２だけ異常光線が常光線に対して異なって、撮像素子５の上に結像される。このように偏光板の偏光軸を撮像素子に対して４５度傾け、複屈折板の分離方向を４５度にすることで、一枚の水晶などの材質から構成した複屈折板４にて一度に水平方向に１／２画素および垂直方向に１／２画素、画素ずらしをすることができる。
すなわち、複屈折板４は、水晶板２からの互いに直交する第１および第２の偏光方向を有した偏光光線を水平方向に１／２画素および垂直方向に１／２画素、画素ずらしをすることができる偏光光線ずらし手段の機能を有している。
【００３３】
よって、前記第１の偏光方向の時に撮像素子５上に結像した像を撮像した第１の画像信号と、第２の偏光方向の時に撮像した第２の画像信号の２枚の画像信号は互いに水平垂直とも１／２画素分、相対的にずれている。
上記のことより、撮像装置は駆動回路８により撮像素子５を駆動させる際に駆動電圧発生回路７に信号を出力し、駆動電圧発生回路７は液晶板３へ駆動電圧を出力する。液晶板２は電圧が加わることにより図７に示す液晶分子配列となり、第１の偏光方向の入射光は撮像素子５上に結像される。撮像素子５は駆動回路８からの駆動信号により撮像を行い第１の画像信号を得る。
【００３４】
次に、第１の画像信号を撮像した後、駆動回路８は駆動電圧発生回路７へ信号を出力し、駆動電圧出力回路７は液晶板２へ印加電圧を０とする。液晶板２の液晶分子配列は図８に示したようになり、第２の偏光方向の入射光は撮像素子５上に結像される。撮像素子５は駆動回路８からの駆動信号により撮像を行い第２の画像信号を得る。
液晶板２への印加電圧パルスは図９に示した。駆動回路８は図９における状態１（即ち、液晶板２に電圧が印加されている状態）の間中に第１の画像信号の撮像を終了させ、同図状態２（即ち、液晶板２に電圧が印加されていない状態）の間中に第２の画像信号の撮像を終了させる。
上記のように動作させることにより第１の画像信号、および第１の画像信号から水平垂直とも１／２画素ずれた第２の画像信号を得ることができる。
【００３５】
また、１／２画素ずらす方向としては図１０の（ａ）〜（ｄ）に示す４通りがあり得るが、水晶板４の配置する方向、たとえば、先に挙げた場合に対して上下逆さまに配置する等によって図７に示した分離方法を実現することができるが、いずれの分離方向でも水平垂直とも１／２画素ずれた画像信号を得ることはできる。
【００３６】
ただし、第１の画像信号を液晶板２に電圧無印加時に撮像し、第２の画像信号を液晶板に電圧印加時に撮像する場合、すなわち図６に対してｄ２時の画像信号を第１の画像信号とし、ｄ１時の画像信号を第２の画像信号とするとき、駆動電圧発生回路７から出力される液晶駆動電圧は図１１に示すようになるが、状態２のときに液晶に加える電圧は第２の画像信号の撮像を終了すると同時に０Ｖにする。
これは、液晶板２に長い時間、電界が加わり続けると内部の液晶分子が電気分極するためである。
【００３７】
よって、駆動電圧発生回路７は第２の画像信号を撮像する際、液晶板２に何らかの電圧が加わる場合が、液晶の電気分極を避け、寿命を延ばすために、撮像を終了すると同時に液晶板２へは電圧を無印加とする。
さらにまた、入射する直線偏光の偏光方向を変化させる液晶板２として、ＴＮ型液晶を一例として挙げたが、光電効果により旋光効果を有する液晶板２であれば、同様の効果を有することができる。
【００３８】
他の例として、強誘電性液晶（ＦＬＣ）を用いた場合について説明する。ＦＬＣの動作原理図を図１２、図１３に示す。
ＦＬＣは図１２、図１３に示すように液晶分子は基板と平行且つ一定方向に向いた配列となる。電界を印加すると液晶分子の自発分極との相互作用により液晶分子の自発分極が電界と同じ方向となるように分子の方向もスイッチされる。印加電圧の極性を反転させると、自発分極の反転に伴い液晶分子方向も変化する。これにより、＋の電界を印加した場合と−の電界を印加した場合とでＴＮの場合と同様に旋光効果を得ることができる。
【００３９】
ただし、強誘電性液晶（ＦＬＣ）の場合は＋の電界と−の電界とを液晶に印加するため、その駆動信号は＋の電圧と−の電圧となる。駆動回路８から出力される駆動信号を図１４に示す。
また、図１に示した撮像光学系６ではレンズ系３を液晶板２と複屈折板４との間に配置しているが、レンズ系３は撮像光学系６内のいずれの位置に配置しても良い。
【００４０】
実施の形態２．
前述の実施の形態１にて説明した撮像装置により、撮像素子上に互いに水平垂直方向に１／２画素ずれた少なくとも２枚の画像信号を得ることができる。
それぞれの画像信号は水平方向むおよび垂直方向にそれぞれ１／２画素ずつずれているため、この２つの画像信号を合成した場合に得られる画像信号の位置は図１５に示すようになる。
図１５において、実線は第１の偏光方向のときの撮像素子５の画素配列、黒丸は信号のサンプリングポイントを示し、破線は第２の偏光方向の時の撮像素子５の画素配列、白丸は信号のサンプリングポイントを示す。
互いに撮像素子上に結像された像の位置が１／２画素ずれているためサンプリングポイントが増えたと等価になる。
よって、原理的には図１５に示した信号位置から、空いている信号位置（即ち、信号が欠落している画素位置）の信号を補間することで４倍の画素数を得ることができる。
【００４１】
本実施の形態２は、図１５に示したような第１の偏光方向に対応する画像信号あるいは第２の偏光方向に対応する画像信号において、信号が欠落している画素位置に対して最適な色信号を補間することにより、それぞれの高解像度な第１の画像信号と第２の画像信号を生成できる撮像装置を実現するものである。
尚、後述する実施の形態３は、実施の形態２により得られた第１の画像信号と第２の画像信号を合成することによって、高精細な第３の画像信号を生成するものである。
また、これらの信号処理は図１において示した信号処理手段９によって行う。信号処理手段９は回路構成は、例えば図１６に示すように構成することで実現できる。
図１６において、１１は前段信号処理回路、１２はＡ／Ｄコンバータ、１３は画像信号処理を行う画像処理回路、１４は画像メモリである。撮像素子５からの出力信号を前段信号処理回路１１によって、ＣＤＳや利得調整などを行う。
次に、Ａ／Ｄコンバータ１２によってディジタル信号に変換され、画像処理回路１３へ入力される。
【００４２】
図１６に示した信号処理回路９内の画像処理回路１３において、１５は、第１の偏光方向に対応する画像信号あるいは第２の偏光方向に対応する画像信号の画素信号に対して水平方向および垂直方向の相関を判定する第１の相関判定手段、１６ａは第１の相関判定手段１５の判定結果に基づき、撮像素子１に形成された第１、第２、第３の色フィルタ（即ち、Ｇ、Ｒ、Ｂの３色のいずれかの色に対応する分光感度特性を有する色フィルタ）により読み出された第１、第２および第３の色信号により第２および第３の色信号位置における第１の色信号を算出する第１の算出手段、１６ｂは第１の算出手段１６ａの出力と、前記第１、第２、第３の色フィルタにより読み出された第１、第２、第３の色信号により、第１の色信号位置における第２および第３の色信号を算出する第２の算出手段である。
【００４３】
また、１６ｃは第１の相関判定手段１５の判定結果に基づき、前記第１の算出手段１６ａの出力と、前記第２の算出手段１６ｂの出力と、前記第１、第２、第３の色フィルタにより読み出された第１、第２、第３の色信号により、第２の色信号位置における第３の色信号を算出する第３の算出手段、１６ｄは第１の相関判定手段１５の判定結果に基づき、第３の色信号位置における第２の色信号を算出する第４の算出手段である。
また、１７および１８は、実施の形態３において実施の形態２で生成された第１および第２の画像信号から第３の画像信号を生成するために用いられる第５の算出手段および第１の相関判定手段である。
上述した画像処理回路１３はＩＣなどのハードウェアによって構成することもできるし、高速のマイクロコンピュータによるソフトウェアによって構成することも可能である。
【００４４】
以下、本実施の形態２について、信号処理回路９における具体的な信号処理に基づいて説明する。
ところで、図１において示した撮像素子５は複数の色フィルタを各画素の上に配列して、一枚の撮像素子５から各色信号を得るように構成されている。
例えば、代表的なベイヤー配列である撮像素子の色フィルタ配列を図１７に示す。
ＲはＲの色フィルタが配置されており、その画素からはＲ信号を得ることができる。
ＧはＧの色フィルタが配置されており、その画素からはＧ信号を得ることができる。
ＢはＢの色フィルタが配置されており、その画素からはＢ信号を得ることができる。
Ｇの色フィルタはモザイク上に配列されており、ＲおよびＢの色フィルタは２ラインおきに配置されている。
【００４５】
前記撮像素子５から得られた第１の画像信号および第２の画像信号を単純に重ねた場合、図１８に示すように各色信号がまばらに配列された形となるため、まず、第１の画像信号及び第２の画像信号の各画像信号において、それぞれの色信号の補間を行う。
第１の画像信号における補間方法と第２の画像信号における補間方法は同様であるため、以下に第１の画像信号の補間を例にして説明する。
【００４６】
撮像によって得られた第１および第２の画像信号の色信号の配列は図１７に示した配列となっており、図１９に示すようにＲ，Ｇ，Ｂ信号の各信号とも欠如している位置の信号を補間して生成する必要がある。
図１９において、撮像素子５の配列上得られるＲ信号、Ｇ信号、Ｂ信号の元信号をＲ，Ｇ，Ｂとし、補間して生成する信号をｒ，ｇ，ｂと記載する。
【００４７】
図１６に示した第１の相関判定手段１５は、補間すべき画素位置における周辺画素の水平または垂直方向のエッジ成分を検出し比較することで、水平及び垂直方向の相関のいずれの相関が大きいかを判定する。
また、第１の算出手段１６ａは、得られた第１の画像信号に対して第１の相関判定手段１５の判定結果に基づいて適応的にＲ信号位置およびＢ信号位置におけるＧ信号を算出する。
第２の算出手段１６ｂは、得られた第１の画像信号に対して第１の相関判定手段１５の判定結果に基づいて適応的にＧ信号位置におけるＲ信号及びＢ信号を算出する。
第３の算出手段１６ｃは、得られた第１の画像信号に対して第１の相関判定手段１５の判定結果に基づいて適応的にＲ信号位置におけるＢ信号を算出する。
第４の算出手段１６ｄは得られた第１の画像信号に対して第１の相関判定手段１５の判定結果に基づいて適応的にＢ信号位置におけるＲ信号を算出する。
Ａ／Ｄコンバータ１２から出力された信号はそれぞれの回路へ出力され、画像メモリ１４は第１の画像信号及び第２の画像信号を記憶保持し、それぞれの回路での算出に必要な画素信号を出力し、また、その結果を画像信号として記憶保持することで、各算出手段１６における算出結果から画像信号の各一の信号の補間を行う。
【００４８】
まず、第１の算出手段１６ａにおける補間信号の算出について説明する。
昭和６３年画像電子学会全国大会予稿ｎｏ．１６，ｖｏｌ．２０，ｐｐ．７１５ー７１７「色信号の相関を利用した単色画像からのフルカラー画像の表示方式」にて小寺らにより、画像の中の局所的な部分においては３色の信号間に究めて強い相関が存在することが報告されている。
そのため、局所的な領域では３種類の色信号は相関を持ち、各色信号の変化は相似形に近いことが仮定できる。
３種の色信号の変化そのものは画像中での輝度信号の変化となり、３種の色信号それぞれの差が変化することが画像上での色信号の変化となるため、各色信号の変化が相似形に近いことから各色信号の変化の差は小さい。即ち、画像中輝度信号の変化に比べて色信号の変化が少ないといえる。
【００４９】
色の相関を用いた補間について図２０に示す。今、Ｒ／Ｇラインに着目すると、図２０において、ＧＬＰＦはＧ信号の低周波数成分であり、ＲＬＰＦはＲ信号の低周波数成分である。
輝度の変化に対して色の変化は少ないためＧＬＰＦの変位量とＲＬＰＦの変位量の差は輝度信号の変位差に比べれば充分小さいといえる。
よって、ｘ３の位置にあるＧ信号Ｇ３は式（１）で表すことができ、Ｇ３信号は式（２）から算出することができる。
Ｇ３：Ｒ３  ＝  ＧＬＰＦ：ＲＬＰＦ                （１）
Ｇ３＝Ｒ３×ＧＬＰＦ／ＲＬＰＦ                    （２）
図２０では水平方向に着目して説明したが、垂直方向においても同様のことがいえる。
【００５０】
図２１に画像信号における相関方向の関係を示す。画像信号中、水平方向の周波数が高い領域は水平方向の相関が少なく、垂直方向の相関が大きい。
また、垂直方向に周波数が高い領域では垂直方向に相関が少なく、水平方向に相関が大きい。水平方向に相関の少ないときは垂直方向の信号の相関を利用して信号を補間し、垂直方向に相関の少ないときは水平方向の信号の相関を利用して信号を補間することによって信号の相関を有効に用いることができる。
この算出方法を用いれば例えば白黒画像のようにＲ，Ｇ，Ｂ信号の変化が同一である場合は、見かけ上のサンプリング周波数が倍になることから、相関の高い画像ほど解像度を向上することができる。
【００５１】
図２２に、（i,j）の位置にあるＲ信号画素におけるG信号の生成を図示する。第１の相関判定手段１５はＲ画素の位置（i,j）における周辺画素を画像メモリ１４から読み出し、エッジを算出し、相関方向を検出する。
すなわち、水平及び垂直方向のＧ信号のエッジを差分ΔＧＨ，ΔＧＶとして、次式（３），（４）から算出し、
ΔＧＨ ＝ | G(i-1,j)-G(i+1,j) |                        （３）
ΔＧＶ ＝ | G(i,j-1)-G(i,j+1) |                        （４）
その算出結果ΔＧＨ、ΔＧＶを比較判定する。
【００５２】
前記第１の相関判定手段１５によりΔＧＨ＞ΔＧＶと判定した場合、水平方向に比較して垂直方向の方が相関が高いと判断し、第１の算出手段１６ａは次式（５）により、Ｒ信号の位置におけるＧ信号ｇを算出する。
ｇ（i,j）＝ R(i,j) × GVLPF/RVLPF                      （５）
ここで、ＧＶＬＰＦ，ＲＶＬＰＦはＧ信号およびＲ信号の垂直方向の低周波数成分であり、第１の算出手段１６ａ内にて算出する。
以下、低周波数成分は各算出手段内にて算出する。前記低周波数成分は各算出手段がＬＰＦなどを具備することにより容易に算出することが可能である。
【００５３】
また、前記第１の相関判定手段１５によりΔＧＨ≦ΔＧＶと判定した場合、垂直方向に比較して水平方向の方が相関が高いと判断し、第１の算出手段１６ａは次式（６）により、Ｒ信号の位置におけるＧ信号ｇを算出する。
g(i,j) = R(i,j) × GHLPF/RHLPF                        （６）
ここで、ＧＨＬＰＦ，ＲＶＬＰＦはＧ信号およびＲ信号の水平方向の低周波数成分である。
【００５４】
さらに、前記第１の相関判定手段１５によりΔＧＨおよびΔＧＶの両方とも予め定めておいた値th1より小さいとき、水平垂直とも相関が高いと判断し、第１の算出手段１６ａは次式（７）により、Ｒ信号の位置におけるＧ信号ｇを算出する。
g(i,j) = { G(i-1,j)+G(i+1,j) + G(i,j-1)+ G(i,j+1)}/4   （７）
【００５５】
また、第１の算出手段１６ａはＢ信号画素におけるＧ信号の生成も同様であり、図１７に示したようにＢ信号の上下左右の画素もＧ信号である。よって前記第１の相関判定手段１５によりΔＧＨ＞ΔＧＶと判定した場合、水平方向に比較して垂直方向の方が相関が高いと判断し、第１の算出手段は次式により、Ｂ信号の位置におけるＧ信号ｇを算出する。
g(i,j) = B(i,j) ×  GVLPF/BVLPF                        （８）
ここで、ＧＶＬＰＦ，ＢＶＬＰＦはＧ信号およびＢ信号の垂直方向の低周波数成分である。
【００５６】
また、前記第１の相関判定手段１５によりΔＧＨ≦ΔＧＶと判定した場合、垂直方向に比較して水平方向の方が相関が高いと判断し、第１の算出手段は次式（９）により、Ｂ信号の位置（i,j）におけるＧ信号ｇを算出する。
g(i,j) = B(i,j) ×  GHLPF/BHLPF                        （９）
ここで、ＧＨＬＰＦ，ＢＶＬＰＦはＧ信号およびＢ信号の水平方向の低周波数成分である。
【００５７】
さらに、前記第１の相関判定手段１５によりΔＧＨおよびΔＧＶの両方とも予め定めておいた値ｔｈ１より小さいとき、水平垂直ともに相関が高いと判断し、第１の算出手段１６ａは次式（１０）により、Ｂ信号の位置におけるＧ信号ｇを算出する。
g(i,j) = { G(i-1,j)+ G(i+1,j) + G(i,j-1)+ G(i,j+1)}/4   （１０）
【００５８】
いま、Ｇ信号を第１の信号、Ｒ信号を第２の信号、Ｂ信号を第３の信号とし、上述した第１の算出手段１６ａの動作を要約して説明すれば次のようになる。
すなわち、第１の算出手段１６ａは、第２の信号Ｂのある所定画素ｉ行ｊ列Ｂ(i,j)の位置（i,jは自然数）において、第１の信号Ａ、第２の信号Ｂのそれぞれに対し、水平方向のローパスフィルタを介した値ＡｈLPF(i,j)、ＢｈLPF(i,j)を算出し、前記水平方向ローパスフィルタからの出力信号におけるＡｈLPF(i,j)とＢｈLPF(i,j)との比に前記画素位置の画素値Ｂ(i,j)を乗じた、
Ａ(i,j)＝Ｂ(i,j)×｛ＡｈLPF(i,j)／ＢｈLPF(i,j)｝
から前記ｉ行ｊ列の位置における第１の信号Ａ(i,j)を算出し、
第３の信号Ｃのある所定画素ｉ行ｊ列Ｃ(i,j)の位置において、第１の信号Ａ、第３の信号Ｃのそれぞれに対し、水平方向のローパスフィルタを介した値ＡｈLPF(i,j)、ＣｈLPF(i,j)を算出し、前記水平方向ローパスフィルタからの出力信号におけるＡｈLPF(i,j)とＣｈLPF(i,j)との比に前記画素位置の画素値Ｃ(i,j)を乗じた、
Ａ(i,j)＝Ｃ(i,j)×｛ＡｈLPF(i,j)／ＣｈLPF(i,j)｝
から前記ｉ行ｊ列の位置における第１の信号Ａ(i,j)を算出する第１の水平方向算出手段と、
前記Ｂ(i,j)の位置において、第１の信号Ａ、第２の信号Ｂのそれぞれに対し、垂直方向のローパスフィルタを介した値ＡｖLPF(i,j)、ＢｖLPF(i,j)を算出し、前記垂直方向ローパスフィルタからの出力信号における ＡｖLPF(i,j)とＢｖLPF(i,j)との比に前記画素位置の画素値Ｂ(i,j)を乗じた、
Ａ(i,j)＝Ｂ(i,j)×｛ＡｖLPF(i,j)／ＢｖLPF(i,j)｝
から前記ｉ行ｊ列の位置における第１の信号Ａ(i,j)を算出し、
前記Ｃ(i,j)の位置において、第１の信号Ａ、第３の信号Ｃのそれぞれに対し、垂直方向のローパスフィルタを介した値ＡｖLPF(i,j)、ＣｖLPF(i,j)を算出し、前記垂直方向ローパスフィルタからの出力信号における ＡｖLPF(i,j)とＣｖLPF(i,j)との比に前記画素位置の画素値Ｂ(i,j)を乗じた、
Ａ(i,j)＝Ｃ(i,j)×｛ＡｖLPF(i,j)／ＣｖLPF(i,j)｝
から前記ｉ行ｊ列の位置における第１の信号Ａ(i,j)を算出する第１の垂直方向算出手段と、
第１の色信号Ａにおける前記所定画素ｉ行ｊ列の位置での上下左右の隣接画素の平均値よりｉ行ｊ列の第１の信号Ａにおける画素値Ａ(i,j)を算出する第１の平均値算出手段とを備え、
水平方向エッジ検出手段と垂直方向エッジ検出手段との出力結果を比較し、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は、第１の水平方向算出手段からＡ(i,j)を算出し、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は第１の垂直方向算出手段からＡ(i,j)を算出し、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合には第１の平均値算出手段からＡ(i,j)を算出する。
【００５９】
このように第１の算出手段１６ａによって算出された結果は、画像メモリ１４へ出力され、画像メモリ１４はＲ信号およびＢ信号の位置におけるＧ信号ｇを記憶保持していく。
【００６０】
次に、第２の算出手段１６ｂについて説明する。第２の算出手段１６ｂはＧ信号画素の位置におけるＲおよびＢ信号を補間する。Ｇ画素を中心とした色信号配列を図２３（ａ）に示す。色信号の配列はＧ信号を中心に左右にＲ信号、上下にＢ信号が配列された形となっている。また、前記第１の算出手段によって算出されたＲ信号及びＢ信号位置における補間されたｇ信号を同図（ｂ）に示す。
【００６１】
第２の算出手段１６ｂは、Ｇ信号位置（i,j）におけるＲ信号ｒを次式（１１）により算出し、Ｇ信号位置（i,j）におけるＢ信号ｂを式（１２）により算出する。算出に必要な位置の信号は画像メモリ１４から読み出す。
r(i,j)    = G(i,j)・{ R(i-1,j)+R(i+1,j)} / { g(i-1,j) + g(i+1,j)}    （１１）
b(i,j)    = G(i,j)・{ B(i,j-1) + B(i,j+1) } / { g(i,j-1) + g(i,j+1) }（１２）
【００６２】
いま、Ｇ信号を第１の信号、Ｒ信号を第２の信号、Ｂ信号を第３の信号とし、上述した第２の算出手段１６ｂの動作を要約して説明すれば次のようになる。  すなわち、第２の算出手段１６ｂは、第１の信号Ａのある所定画素ｉ行ｊ列Ａ(i,j)の位置（i,jは自然数）において、左右の画素が第２の信号Ｂであるとき、前記第１の算出手段により算出されたＡ(i,j)の位置の左右の信号Ａ(i-1,j)およびＡ(i+1,j)の加算値と、同画素位置における第２の信号Ｂ(i-1,j)およびＢ(i+1,j)の加算値との比に、所定画素Ａ(i,j)を乗じた、
Ｂ(i,j)＝Ａ(i,j)×｛（Ｂ(i-1,j)＋Ｂ(i+1,j)）／（Ａ(i-1,j)＋Ａ(i+1,j)）｝
から前記ｉ行ｊ列の位置における第２の信号Ｂ（ｉ，ｊ）を算出し、
第１の信号Ａのある所定画素ｉ行ｊ列Ａ(i,j)の位置において、上下の画素である第３の信号Ｃは、前記第１の算出手段により算出されたＡ(i,j)の位置の上下の信号Ａ(i,j-1)およびＡ(i,j+1)の加算値と、同画素位置における第２の信号Ｃ(i,j-1)およびＣ(i,j+1)の加算値との比に、所定画素Ａ(i,j)を乗じた、
Ｃ(i,j)＝Ａ(i,j)×｛（Ｃ(i,j-1)＋Ｃ(i,j+1)）／（Ａ(i,j-1)＋Ａ(i,j+1)）｝
から前記ｉ行ｊ列の位置における第３の信号Ｃ(i,j)を算出する。
【００６３】
さらに、第３の算出手段１６ｃについて説明する。第３の算出手段１６ｃはＲ信号位置におけるＢ信号を補間する。図２４にR画素を中心とした色信号配列を示す。
図２４（ａ）は前記第１の算出手段において算出した、Ｒ信号の画素位置におけるＧ信号ｇを示している。
同図（ｂ）は前記第２の算出手段１６ｂにおいて算出したＧ信号の画素位置におけるＲ信号ｒを示している。同図（ｃ）は前記第２の算出手段１６ｂにおいてＧ信号の画素位置におけるＢ信号ｂを示している。
前記第１の相関判定手段１５は、Ｒ(i,j)画素の位置における水平及び垂直方向のエッジを検出し判定する。
相関方向の判定方法は先に説明したとおりである。
【００６４】
前記第１の相関判定手段１５によりΔＧＨ＞ΔＧＶと判定した場合、水平方向に比較して垂直方向の方が相関が高いと判断し、第３の算出手段１６ｃは次式（１３）により、Ｒ信号の位置におけるＢ信号ｂを算出する。算出に必要な位置の信号は画像メモリ１４から読み出す。
b(i,j)     = g(i,j)×{b(i,j-1)+b(i,j+1)} / {G(i,j-1)+G(i,j+1)}      （１３）
【００６５】
また、前記第１の相関判定手段１５によりΔＧＨ≦ΔＧＶと判定した場合、垂直方向に比較して水平方向の方が相関が高いと判断し、第３の算出手段１６ｃは次式（１４）により、Ｒ信号の位置におけるＢ信号ｂを算出する。
b(i,j)     = g(i,j)×{b(i-1,j)+b(i+1,j)} / {G(i-1,j)+G(i+1,j)}      （１４）
【００６６】
さらに、前記第１の相関判定手段１５によりΔＧＨおよびΔＧＶの両方とも予め定めておいた値ｔｈ２より小さいとき、水平垂直とも相関が高いと判断し、第３の算出手段１６ｃは次式（１５）により、Ｒ信号の位置におけるＢ信号ｂを算出する。
b(i,j)     = { B(i-1,j-1)+ B(i+1,j-1)+ B(i+1,j-1)+ B(i+1,j+1)}/4    （１５）
【００６７】
いま、Ｇ信号を第１の信号、Ｒ信号を第２の信号、Ｂ信号を第３の信号とし、上述した第３の算出手段１６ｃの動作を要約して説明すれば次のようになる。
すなわち、第３の算出手段１６ｃは、第２の信号Ｂのある所定画素ｉ行ｊ列Ｂ(i,j)の位置（i,jは自然数）において、左右の第１の信号Ａ(i-1,j)およびＡ(i+1,j)の加算値と、同画素位置における第２の算出手段により算出された第３の信号Ｃ(i-1,j)およびＣ(i+1,j)の加算値との比に、ｉ行ｊ列Ｂ(i,j)の位置における第１の算出手段から算出されたＡ(i,j)を乗じた、
Ｃ(i,j)＝Ａ(i,j)×｛（Ｃ(i-1,j)＋Ｃ(i+1,j)）／（Ａ(i-1,j)＋Ａ(i+1,j)）｝
から前記ｉ行ｊ列の位置における第３の信号Ｃ(i,j)を算出する第２の水平方向算出手段と、
同Ｂ(i,j)の位置において、上下の第１の信号Ａ(i,j-1)およびＡ(i,j+1)の加算値と、同画素位置における第２の算出手段により算出された第３の信号Ｃ(i,j-1)およびＣ(i,j+1)の加算値との比に、 ｉ行ｊ列Ｂ(i,j)の位置における第１の算出手段から算出されたＡ(i,j)を乗じた、
Ｃ(i,j)＝Ａ(i,j)×｛（Ｃ(i,j-1)＋Ｃ(i,j+1)）／（Ａ(i,j-1)＋Ａ(i,j+1)）｝
から前記ｉ行ｊ列の位置における第３の信号Ｃ(i,j)を算出する第２の垂直方向算出手段と、
第２の色信号Ｂにおける前記所定画素ｉ行ｊ列の位置での斜め方向に上下左右の隣接画素の平均値よりｉ行ｊ列の第３の信号Ｃにおける画素値Ｃ(i,j)を算出する第２の平均値算出手段とを備え、
水平方向エッジ検出手段と、垂直方向エッジ検出手段と出力結果を比較し、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は、第２の水平方向算出手段からＣ(i,j)を算出し、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は第２の垂直方向算出手段からＣ(i,j)を算出し、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合には第２の平均値算出手段からＣ(i,j)を算出する。
【００６８】
第４の算出手段１６ｄにおいても同様である。第４の算出手段１６ｄはB信号の画素位置(i,j)におけるR信号r(i,j)を算出する。
前記第１の相関判定手段１５によりΔＧＨ＞ΔＧＶと判定した場合、水平方向に比較して垂直方向の方が相関が高いと判断し、第４の算出手段１６ｄは次式（１６）により、Ｂ信号の位置におけるＲ信号ｒを算出する。
r(i,j)     = g(i,j)×{r(i,j-1)+r(i,j+1)} / {G(i,j-1)+G(i,j+1)}      （１６）
【００６９】
また、前記第１の相関判定手段１５によりΔＧＨ≦ΔＧＶと判定した場合、垂直方向に比較して水平方向の方が相関が高いと判断し、第４の算出手段１６ｄは次式（１７）により、Ｂ信号の位置におけるＲ信号ｒを算出する。
r(i,j)     = g(i,j)×{r(i-1,j)+r(i+1,j)} / {G(i-1,j)+G(i+1,j)}      （１７）
【００７０】
さらに、前記第１の相関判定手段１５によりΔGHおよびΔGVの両方とも予め定めておいた値th3より小さいとき、水平垂直とも相関が高いと判断して、第４の算出手段１６ｄは次式（１８）により、Ｂ信号の位置におけるＲ信号ｒを算出する。
r(i,j)     = { R(i-1,j-1)+ R(i+1,j-1)+ R(i+1,j-1)+ R(i+1,j+1)}/4    （１８）
【００７１】
いま、Ｇ信号を第１の信号、Ｒ信号を第２の信号、Ｂ信号を第３の信号とし、上述した第４の算出手段１６ｄの動作を要約して説明すれば次のようになる。
すなわち、第４の算出手段１６ｄは、第３の信号Ｃのある所定画素ｉ行ｊ列Ｃ(i,j)の位置（i,jは自然数）において、左右の第１の信号Ａ(i-1,j)およびＡ(i+1,j)の加算値と、同画素位置における第２の算出手段により算出された第２の信号Ｂ(i-1,j)およびＢ(i+1,j)の加算値との比に、ｉ行ｊ列Ｃ(i,j)の位置における第１の算出手段から算出されたＡ(i,j)を乗じた、
Ｂ(i,j)＝Ａ(i,j)×｛（Ｂ(i-1,j)＋Ｂ(i+1,j)）／（Ａ(i-1,j)＋Ａ(i+1,j)）｝
から前記ｉ行ｊ列の位置における第２の信号Ｂ(i,j)を算出する第３の水平方向算出手段と、
同Ｃ(i,j)の位置において、上下の第１の信号Ａ(i,j-1)およびＡ(i,j+1)の加算値と、同画素位置における第２の算出手段により算出された第２の信号Ｂ(i,j-1)およびＢ(i,j+1)の加算値との比に、 ｉ行ｊ列Ｃ(i,j)の位置における第１の算出手段から算出されたＡ(i,j)を乗じた、
Ｂ(i,j)＝Ａ(i,j)×｛（Ｂ(i,j-1)＋Ｂ(i,j+1)）／（Ａ(i,j-1)＋Ａ(i,j+1)）｝
から前記ｉ行ｊ列の位置における第２の信号Ｂ(i,j)を算出する第３の垂直方向算出手段と、
第３の色信号Ｃにおける前記所定画素ｉ行ｊ列の位置での斜め方向に上下左右の隣接画素の平均値よりｉ行ｊ列の第２の信号Ｂにおける画素値Ｂ(i,j)を算出する第３の平均値算出手段とを備え、水平方向エッジ検出手段と、垂直方向エッジ検出手段と出力結果を比較し、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は、第３の水平方向算出手段からＢ(i,j)を算出し、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は第３の垂直方向算出手段からＢ(i,j)を算出し、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合には第３の平均値算出手段からＢ(i,j)を算出する。
【００７２】
前記第１の算出手段１６ａから第４の算出手段１６ｄによる算出結果により、第１の画像信号の各画素におけるＲ，Ｇ，Ｂ信号を得ることができる。
それぞれの算出結果は、各補間信号として画像メモリ１４へ記憶保持されていく。
また、第２の画像信号においても同様の方法によって各Ｒ，Ｇ，Ｂ信号を補間生成することができる。
【００７３】
実施の形態３．
本発明の実施の形態３は、前述の実施の形態２により得られた第１の画像信号と第２の画像信号を合成することによって、高精細な第３の画像信号を生成するものである。
このための信号処理は、図１において示した信号処理手段９によって行う。
信号処理手段９は回路構成は、例えば図１６に示すように構成することで実現できる。
図１６に示した信号処理回路９内の画像処理回路１３において、１４、１７、１８および１９は、それぞれ実施の形態３において実施の形態２で生成された第１および第２の画像信号から第３の画像信号を生成するために用いられる画像メモリ、第５の算出手段、第２の相関判定手段および画像生成手段である。
【００７４】
本実施の形態においては、画像処理回路１３は以下に説明する信号処理を行い、実施の形態２で生成された第１の画像信号および第２の画像信号から第３の画像信号を生成し出力する。
また、信号処理を行う際、第１の画像信号および第２の画像信号を一時画像メモリ１４へ記憶保持しておき、画像処理回路１３は画像処理時に必要な画素の信号を画像メモリ１４から読み出し、その処理結果を画像メモリ１４へ出力して、新たに画像メモリ１４に記憶していくように信号のやりとりを行い信号処理を行う。
前述したように、このような画像処理回路１３はＩＣなどのハードウェアによって構成することもできるし、高速のマイクロコンピュータによるソフトウェアによって構成することも可能である。
【００７５】
信号処理手段９は、次に画像生成手段１９、第５の算出手段１７、相関判別手段１８によって、各画素位置におけるＲ，Ｇ，Ｂ信号を生成した第１の画像信号と第２の画像信号から第３の画像信号を生成する。
画像生成手段１９、相関判別手段１８、第５の算出手段１７は、図１６に示したように画像処理回路１３が具備している。
前記実施の画像生成手段１９、相関判別手段１８、第５の算出手段１７は、実施の形態２において補間生成した第１の画像信号および第２の画像信号の信号を読み出し、第３の画像信号を生成する。
【００７６】
今、第１の画像信号および第２の画像信号のＧ信号だけを着目すると、第１の画像信号と第２の画像信号とは相対的に水平垂直１／２画素ずれているため、各画像信号のＧ信号は図２５に示す配置となる。
図２５において、Ｇ１が第１の画像信号のＧ信号であり、Ｇ２は第２の画像信号のＧ信号である。また、同図に第１の画像信号および第２の画像信号における各画素位置の信号の位置を記載する。
【００７７】
画像生成手段１９は、前記第１の画像信号および第２の画像信号における各画素位置での信号を第３の画像信号における新たな画素位置で信号として、その画素位置を新たな記憶番地として設定していく。
図２６に前記第１の画像信号と第２の画像信号から生成する第３の画像信号における、信号及びその配置について記載する。
図２６に示す第３の画像信号においてＧ１の信号は第１の画像信号におけるＧ１の信号であり、Ｇ２の信号は第２の画像信号におけるＧ２の信号である。
第１の画像信号における（i1,j1）（i1,j1は自然数）の位置における信号は、第３の画像信号において（i3,j3），（i3,j3+2），（i3+2,j3）・・・すなわち（2i1-1,2j1-1）の位置における信号位置に用いられ、第２の画像信号における（i2,j2）（i2,j2は自然数）の位置における信号は、第３の画像信号における（i3+1,j3+1），（i3+1,j3+3），（i3+3,j3+1)・・・すなわち（2i2,2j2）の位置における信号位置に用いられる。
図２６において白丸で記載した信号の位置は、第３の画像信号において信号が欠落した画素である。
【００７８】
また、第２の相関判定手段１８は、前記信号が欠落した所定の画素位置において、周辺画素信号に基づき前記所定画素位置におけるエッジ成分から相関方向を判定し、第５の算出手段１７は前記第２の相関判定手段１８の出力に基づき、前記所定画素位置における色信号の補間生成を行う。
【００７９】
第５の算出手段１７について説明する。図２７にｉ３，ｊ３の位置にある信号欠落画素におけるG信号の生成を図示する。第２の相関判定手段１８は前記所定画素の位置（i3,j3）における周辺画素からエッジを検出し、エッジを比較することにより水平垂直方向の相関を判定する。すなわち水平及び垂直方向のG信号のエッジを差分ΔＨ，ΔＶを、次式（１９），（２０）によって算出し、
ΔＨ = | G(i3-1,j3)-G(i3+1,j3) |                      （１９）
ΔＶ = | G(i3,j3-1)-G(i3,j3+1) |                      （２０）
その算出結果ΔＨ、ΔＶを比較判定する。算出に必要な画素位置の信号は画像メモリ１４に記憶している各画素位置での信号を読み出す。
【００８０】
前記第２の相関判定手段１８によりΔＨ＞ΔＶと判定した場合、水平方向に比較して垂直方向の方が相関が高いと判断し、第５の算出手段１７は次式（２１）により、Ｒ信号の位置におけるＧ信号ｇを算出する。
ｇ(i3,j3) ={G(i3,j3-1)+G(i3,j3+1)}/2                    （２１）
【００８１】
また、前記第２の相関判定手段１８によりΔＨ≦ΔＶと判定した場合、垂直方向に比較して水平方向の方が相関が高いと判断し、第５の算出手段１７は次式（２２）により、Ｒ信号の位置におけるＧ信号ｇを算出する。
g(i3,j3) = {G(i3-1,j3)+G(i3+1,j3)}/2                     （２２）
【００８２】
さらに、前記第２の相関判定手段１８により、ΔＨおよびΔＶの両方とも予め定めておいた値ｔｈ４より小さいとき、水平垂直とも相関が高いと判断し、第５の算出手段１７は次式（２３）により、Ｒ信号の位置におけるＧ信号ｇを算出する。
g(i3,j3) = {G(i3-1,j3)+G(i3+1,j3)+G(i3,j3-1)+G(i3,j3+1)}/4  （２３）
【００８３】
ここで示した、ＧはＧ１またはＧ２であり、図２７に示すように補間を行う所定位置によって左右上下位置する信号は異なる。
【００８４】
また、ｉ３，ｊ３の位置にある信号欠落画素におけるＲ信号の生成においては、第２の相関判定手段１８は水平及び垂直方向のＲ信号のエッジを差分ΔＨ，ΔＶを、次式（２４），（２５）によって算出し、
ΔＨ = | R(i3-1,j3)-R(i3+1,j3) |                         （２４）
ΔＶ = | R(i3,j3-1)-R(i3,j3+1) |                         （２５）
その算出結果ΔH、ΔVを比較判定する。算出に必要な画素位置の信号は画像メモリ１４に記憶している各画素位置での信号を読み出す。
【００８５】
前記第２の相関判定手段１８によりΔＨ＞ΔＶと判定した場合、水平方向に比較して垂直方向の方が相関が高いと判断し、第５の算出手段１７は次式（２６）により、所定画素位置におけるＲ信号ｒを算出する。
r(i3,j3) ={R(i3,j3-1)+R(i3,j3+1)}/2                        （２６）
【００８６】
また、前記第２の相関判定手段１８によりΔＨ≦ΔＶと判定した場合、垂直方向に比較して水平方向の方が相関が高いと判断し、第５の算出手段１７は次式（２７）により、所定画素位置におけるＲ信号ｒを算出する。
r(i3,j3) ={R(i3-1,j3)+R(i3+1,j3)}/2                        （２７）
【００８７】
さらに、前記第２の相関判定手段１８により、ΔＨおよびΔＶの両方とも予め定めておいた値ｔｈ６より小さいとき、水平垂直とも相関が高いと判断し、第５の算出手段１７は次式（２８）により、所定画素位置におけるＲ信号ｒを算出する。
r(i3,j3) ={R(i3-1,j3)+R(i3+1,j3)+R(i3,j3-1)+R(i3,j3+1)}/4  （２８）
【００８８】
ここで示した、ＲはＲ１またはＲ２であり、補間を行う所定位置によって左右上下位置する信号は異なる。
【００８９】
さらにまた、ｉ３，ｊ３の位置にある信号欠落画素におけるＢ信号の生成においては、第２の相関判定手段１８は水平及び垂直方向のＢ信号のエッジを差分ΔＨ，ΔＶを、次式（２９），（３０）によって算出し、
ΔＨ = | B(i3-1,j3)-B(i3+1,j3) |                        （２９）
ΔＶ = | B(i3,j3-1)-B(i3,j3+1) |                        （３０）
その算出結果ΔＨ、ΔＶを比較判定する。
【００９０】
前記第２の相関判定手段１８によりΔＨ＞ΔＶと判定した場合、水平方向に比較して垂直方向の方が相関が高いと判断し、第５の算出手段１７は次式（３１）により、所定画素位置におけるＢ信号ｂを算出する。
b(i3,j3) ={B(i3,j3-1)+B(i3,j3+1)}/2                          （３１）
【００９１】
また、前記第２の相関判定手段１８によりΔＨ≦ΔＶと判定した場合、垂直方向に比較して水平方向の方が相関が高いと判断し、第５の算出手段１７は次式（３２）により、所定画素位置におけるＢ信号ｂを算出する。
b(i3,j3) = {B(i3-1,j3)+B(i3+1,j3)}/2                        （３２）
【００９２】
さらに、前記第２の相関判定手段１８によりΔＨおよびΔＶの両方とも予め定めておいた値ｔｈ７より小さいとき、水平垂直とも相関が高いと判断し、第５の算出手段１７は次式により、所定画素位置におけるＢ信号ｂを算出する。
b(i3,j3) ={B(i3-1,j3)+B(i3+1,j3)+B(i3,j3-1)+B(i3,j3+1)}/4  （３３）
【００９３】
ここで示した、ＢはＢ１またはＢ２であり、補間を行う所定位置によって左右上下位置する信号は異なる。
【００９４】
上述した第２の相関判定手段１８と第５の算出手段１７により第３の画像信号における各画素毎にＲ，Ｇ，Ｂ信号を得ることができる。
各補間した色信号は画像メモリ１４へその算出結果が送られ、画像メモリは欠落した画素位置の信号を上記計算結果にて補間していく。
最後に画像メモリ１４より画素ずらしを行って撮像した２つの画像信号より高精細な画像信号を得ることができる。また、上述したように水平及び垂直において相関の高い方向の信号を用いて画素補間を行うことにより、解像度の高い画像信号を生成することができる。
【００９５】
いま、Ｇ信号を第１の信号、Ｒ信号を第２の信号、Ｂ信号を第３の信号とし、上述した第５の算出手段１７の動作を要約して説明すれば次のようになる。
すなわち、第５の算出手段１７は、第３の画像信号における（2i-1,2j）の位置において、前記画素位置における左右の第１から第３の信号Ｄ（2i-2,2j）、Ｄ（2i,2j）の平均値からＤ（2i-1,2j）を算出する第４の水平方向算出手段と、
上下の第１から第３の信号Ｄ（2i-1,2j）、Ｄ（2i-1,2j-1）の平均値からＤ（2i-1,2j+1）を算出する第４の垂直方向算出手段と、上下左右の第１から第３の信号Ｄの平均値からＤ（2i-1,2j）を算出する第４の平均値算出手段と、
（2i,2j-1）の位置において、前記画素位置における左右の第１から第３の信号Ｄ（2i-1,2j-1）、Ｄ（2i+1,2j-1）の平均値からＤ（2i,2j-1）を算出する第５の水平方向算出手段と、上下の第１から第３の信号Ｄ（2i,2j-2）、Ｄ（2i,2j）の平均値からＤ（2i,2j-1)を算出する第５の垂直方向算出手段と、上下左右の第１から第３の信号Ｄの平均値からＤ（2i,2j-1）を算出する第５の平均値算出手段とを備え、第２の相関判定手段１８の水平方向エッジ検出手段と、垂直方向エッジ検出手段と出力結果を比較し、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は、第４および第５の水平方向算出手段から（2i-1,2j）および（2i,2j-1）の位置におけるＤ（2i-1,2j）およびＤ（2i,2j-1）を算出し、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は第４および第５の垂直方向算出手段からＤ（2i-1,2j）およびＤ（2i,2j-1）を算出し、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合には第４および第５の平均値算出手段からＤ（2i-1,2j）およびＤ（2i,2j-1）を算出する。
【００９６】
【発明の効果】
この発明による撮像装置は、被撮像物からの反射光を撮像光学系により２次元的に配列された複数の画素で構成された撮像素子に導き、この撮像素子により光電変換して画像信号を生成する撮像装置において、前記撮像光学系は、前記被撮像物からの反射光を前記撮像素子の画素配列の水平方向に対して第一の偏光方向を有した直線偏光光線に変換して出射する直線偏光変換手段と、印加される電圧のオンまたはオフに対応して、前記直線偏光変換手段からの直線偏光光線を前記第一の偏光方向を有した第一の偏光光線または前記第一の偏光方向と直交する第二の偏光方向を有した第二の偏光光線に切り替えて出射する偏光方向切り替え手段と、前記偏光方向切り替え手段と前記撮像素子の間に配置され、前記偏光方向切り替え手段からの前記第一の偏光光線に対して前記第二の偏光光線を前記撮像素子の画素配列の水平方向および垂直方向にそれぞれ画素間距離の１／２だけずらせて出射する偏光光線ずらし手段とを備えたので、高精細な画像信号得るための水平及び垂直方向のいずれにも１／２画素ずらした画像信号を、一枚の撮像素子のみで得ることができ、かつ、光学部品を機械的に振動させないため、故障の少ない信頼性の高い撮像装置を得ることができる。
【００９７】
また、この発明による撮像装置の偏光方向切り替え手段は液晶板であるので、簡単で安価な撮像光学系により高精細な画像信号得るための水平及び垂直方向のいずれにも１／２画素ずらした画像信号を、一枚の撮像素子のみで得ることができ、かつ、光学部品を機械的に振動させないため、故障の少ない信頼性の高い撮像装置を得ることができる。
【００９８】
また、この発明による撮像装置の偏光方向切り替え手段である液晶板に加える電圧は、撮像素子が撮像を終えると同時に無印加とするので、液晶板の寿命を延ばすことができ、信頼性の高い撮像装置を得ることができる。
【００９９】
また、この発明による撮像装置の撮像素子は、水平方向および垂直方向に２次元的に配列された複数の画素内の垂直２行水平２列の上下４画素を単位領域として、第１の色信号に対する分光感度特性を持つ第１の色フィルタが１行１列目および２行２列目に配置され、第２の色信号に対する分光感度特性を持つ第２の色フィルタが１行２列目、第３の色信号に対する分光感度特性を持つ第３の色フィルタが２行１列目に配列されており、前記上下４画素の色フィルタが順次垂直および水平方向に繰り返し配列されていると共に、前記第１の色フィルタによる第１の色信号の所定画素位置での周辺画素信号に基づき、所定画素位置における水平方向および垂直方向の相関を判定する第１の相関判定手段と、前記第１の相関判定手段の判定結果に基づき、前記第１、第２、第３の色フィルタにより読み出された第１、第２および第３の色信号により第２および第３の色信号位置における第１の色信号を適応的に算出する第１の算出手段と、前記第１の相関判定手段の判定結果に基づき、前記第１の算出手段の出力と、前記第１、第２、第３の色フィルタにより読み出された第１、第２、第３の色信号により、第１の色信号位置における第２および第３の色信号を適応的に算出する第２の算出手段と、前記第１の相関判定手段の判定結果に基づき、前記第１の算出手段の出力と、前記第２の算出手段の出力と、前記第１、第２、第３の色フィルタにより読み出された第１、第２、第３の色信号により、第２の色信号位置における第３の色信号を適応的に算出する第３の算出手段と、前記第１の相関判定手段の判定結果に基づき、前記第１、第２、第３の色フィルタにより読み出された第１、第２および第３の色信号により第３の色信号位置における第２の色信号を適応的に算出する第４の算出手段とを備え、第１の偏光方向のとき得られる第１の画像信号と、第２の偏光方向のときに得られる第２の画像信号とにおいて、前記第１乃至第４の算出手段により算出された色信号を用いて信号が欠落した画素位置における第１、第２、第３の色信号を補間するので、第１の偏光方向のとき得られた第１の画像信号と、第２の偏光方向のときに得られた第２の画像信号との各画像信号において、所定の信号が欠落した画素位置における補間信号となる第１、第２、第３の色信号を得ることができ、高解像度な画像信号を生成できる。
【０１００】
また、この発明による撮像装置の第１の相関判定手段は、第１の色信号の所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、第１の色信号の所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、前記水平方向エッジ検出手段と垂直方向エッジ検出手段の出力の大きさを比較することにより、前記所定画素における水平および垂直方向のいずれの方向の相関が高いかを判定すると共に、前記水平方向エッジ検出手段および垂直方向エッジ検出手段の出力がともに予め定めた値より小さい場合には水平方向および垂直方向とも相関が高いと判定する判定手段とを備えるので、所定の信号が欠落した画素位置において信号の相関が高い方向を判断できる、画像信号の特性に応じて適応的に補間すべき最適な信号得ることができる高品位で、かつ高解像度な画像信号を生成できる。
【０１０１】
また、この発明による撮像装置は、第１の偏光方向のとき得られる撮像素子上の第１の画像信号と、第２の偏光方向のときに得られ、前記第１の画像信号とは水平および垂直方向共に画素間距離の１／２ずれた第２の画像信号とから第３の画像信号を生成する撮像装置であって、第１の画像信号における（ｉ，ｊ）の位置（ｉ，ｊは自然数）の第１から第３の色信号を、第３の画像信号において（２ｉ−１，２ｊ−１）の位置の第１から第３の色信号とし、かつ、第２の画像信号における（ｉ，ｊ）の位置の第１から第３の色信号を、第３の画像信号において（２ｉ，２ｊ）の位置の第１から第３の色信号とする画像生成手段と、第３の画像信号における（２ｉ−１，２ｊ）または（２ｉ，２ｊ−１）の所定画素位置において、周辺画素信号に基づき、前記所定画素位置における相関を判定する第２の相関判定手段と、前記第２の相関判定手段の判定結果に基づき、前記所定画素位置における第１から第３の色信号を算出する第５の算出手段とを備え、前記第３の画像信号における全画素の第１から第３の色信号を得るので、水平方向および垂直方向に１／２画素ずつ画素ずらしを行った２枚の画像信号から高精細な画像を生成できる撮像装置を得ることができる。
【０１０２】
また、この発明による撮像装置の第２の相関判定手段は、第３の画像信号における（２ｉ−１，２ｊ）または（２ｉ，２ｊ−１）の所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、前記所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、前記水平方向エッジ検出手段と垂直方向エッジ検出手段の出力の大きさを比較することにより、前記所定画素における水平および垂直方向のいずれの方向の相関が高いかを判定すると共に、前記水平方向エッジ検出手段および垂直方向エッジ検出手段の出力がともに予め定めた値より小さい場合には水平方向および垂直方向とも相関が高いと判定する判定手段とを備えるので、画素ずらしを行った２枚の画像信号から高精細な画像信号を生成する際に、信号が欠落した画素位置において、信号の相関が高い方向を判断できる、画像信号の特性に応じて適応的に補間すべき最適な信号得ることができる高品位で、かつ高解像度な画像信号を生成できる。
【図面の簡単な説明】
【図１】  実施の形態１による撮像装置の構成を示す図である。
【図２】  図１に示した撮像装置における撮像光学系の拡大図である。
【図３】  偏光板への入射光の偏光方向を示す図である。
【図４】  偏光板からの出射光の偏光方向を示す図である。
【図５】  液晶板からの出射光の偏光方向を示す図である。
【図６】  複屈折板からの出射光の偏光方向を示す図である。
【図７】  ＴＮ型液晶板の動作原理を示す図である。
【図８】  ＴＮ型液晶板の動作原理を示す図である。
【図９】  ＴＮ型液晶板への駆動信号を示す図である。
【図１０】  １／２画素ずらしの方向の例を示す図である。
【図１１】  ＴＮ型液晶板への他の駆動信号を示す図である。
【図１２】  ＦＬＣ型液晶の動作原理を示す図である。
【図１３】  ＦＬＣ型液晶の動作原理を示す図である。
【図１４】  ＦＬＣ型液晶板への駆動信号を示す図である。
【図１５】  画素ずらしをした２枚の画像信号を重ねた図である。
【図１６】  信号処理回路の構成を示す図である。
【図１７】  撮像素子の色フィルタ配列を示す図である。
【図１８】  第１の画像信号と第２の画像信号から得られた色信号の配列を示す図である。
【図１９】  補間する信号位置をを示す図である。
【図２０】  色信号の相関を利用した補間方法を示す図である。
【図２１】  信号の相関方向を示す図である。
【図２２】  Ｒ信号の位置におけるＧ信号の補間を示す図である。
【図２３】  Ｇ信号の位置におけるＲ信号の補間を示す図である。
【図２４】  Ｒ信号の位置におけるＢ信号の補間を示す図である。
【図２５】  第１の画像信号と第２の画像信号を重ねた際のＧ信号の位置を示す図である。
【図２６】  第３の画像信号における第１の画像信号と第２の画像信号のＧ信号の位置を示す図である。
【図２７】  第３の画像信号におけるＧ信号の補間を示す図である。
【図２８】  従来の撮像装置の撮像光学系の構成例を示す図である。
【図２９】  従来の撮像装置の全体構成を示す図である。
【図３０】  従来の撮像装置の撮像部の機構を示す図である。
【図３１】  撮像素子のベイヤー配列による信号配列を示す図である。
【図３２】  従来の画素ずらしによる画像信号と先の画像信号とを重ねた表示した図である。
【図３３】  図３２に示した画素ずらしをした２枚の画像信号から得られた従来の信号配列を示す図である。
【図３４】  図３３のＧ信号に注目した図である。
【図３５】  従来のＧ信号の補間された状態を示す図である。
【図３６】  図３３のＢ信号に注目した図である。
【図３７】  従来のＢ信号の補間された状態を示す図である。
【図３８】  従来の４回画素ずらしを行ったＧ信号を重ねて表示した場合を示す図である。
【符号の説明】
１  偏光板（直線偏光変換手段）
２  液晶板（偏光方向切り替え手段）
３  レンズ                ４  複屈折板（偏光光線ずらし手段）
５  撮像素子              ６  撮像光学系
７  駆動電圧発生回路      ８  駆動回路      ９  信号処理手段
１０  液晶分子            １１  前段信号処理手段
１２  Ａ／Ｄコンバータ    １３  画像信号処理回路
１４  画像メモリ          １５  第１の相関判定手段
１６ａ  第１の算出手段    １６ｂ  第２の算出手段
１６ｃ  第３の算出手段    １６ｄ  第４の算出手段
１７  第５の算出手段、    １８  第２の相関判定手段
１９  画像生成手段        ２０  プリズム
２１  透明平板部材        ２２  ベースユニット    ２３  変位装置
２４  駆動回路            ２５  色分離回路
２６  プロセス回路        ２７  モニタ
２８  Ａ／Ｄコンバータ    ２９  画像バッファメモリ
３０  画像合成メモリ      ３１  Ｄ／Ａコンバータ
３２  高精細モニタ        ３３  制御装置
３４ａ  圧縮ばね          ３４ｂ  圧縮ばね        ３４ｃ  圧縮ばね
３５ａ  ばね押さえ板      ３５ｂ  ばね押さえ板
３５ｃ  ばね押さえ板（支持部）                    ３６  作動部
３７  支持部              ３８  モータ
【図１】
0003770737.tif 000002
【図２】
0003770737.tif 000003
【図３】
0003770737.tif 000004
【図４】
0003770737.tif 000005
【図５】
0003770737.tif 000006
【図６】
0003770737.tif 000007
【図７】
0003770737.tif 000008
【図８】
0003770737.tif 000009
【図９】
0003770737.tif 000010
【図１０】
0003770737.tif 000011
【図１１】
0003770737.tif 000012
【図１２】
0003770737.tif 000013
【図１３】
0003770737.tif 000014
【図１４】
0003770737.tif 000015
【図１５】
0003770737.tif 000016
【図１６】
0003770737.tif 000017
【図１７】
0003770737.tif 000018
【図１８】
0003770737.tif 000019
【図１９】
0003770737.tif 000020
【図２０】
0003770737.tif 000021
【図２１】
0003770737.tif 000022
【図２２】
0003770737.tif 000023
【図２３】
0003770737.tif 000024
【図２４】
0003770737.tif 000025
【図２５】
0003770737.tif 000026
【図２６】
0003770737.tif 000027
【図２７】
0003770737.tif 000028
【図２８】
0003770737.tif 000029
【図２９】
0003770737.tif 000030
【図３０】
0003770737.tif 000031
【図３１】
0003770737.tif 000032
【図３２】
0003770737.tif 000033
【図３３】
0003770737.tif 000034
【図３４】
0003770737.tif 000035
【図３５】
0003770737.tif 000036
【図３６】
0003770737.tif 000037
【図３７】
0003770737.tif 000038
【図３８】
0003770737.tif 000039