(57)【要約】  本発明の固体撮像素子は、撮像面上において、Ｙ方向に沿って第１画素ピッチで配列され、かつ、Ｘ方向に沿って第２画素ピッチで配列された複数の単位画素領域を有する。Ｙ第１方向に隣接する２つの単位画素領域１の一方は、第１の開口率を有する第１の光感知部１ａを有し、他方は第１の開口率よりも低い第２の開口率を有する第２の光感知部１ｂを有する。第１の光感知部１ａをＹ方向に第１画素ピッチだけ仮想的に移動させると、第１の光感知部１ａは第２の光感知部１ｂの全体を覆う。このとき、第１の光感知部１ａのうちで第２の光感知部１ｂを覆っていない部分が仮想的な第３の光感知部として機能する。光感知部１ａ、１ｂが出力する信号の差分から、仮想的な第３の光感知部に入射した光の量に応じた仮想的な画素信号が得られる。
2010038378.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子と、
前記固体撮像素子の撮像面に像を形成する光学系と、
前記撮像面上における前記像の位置をシフトさせる画素ずらし部と、
前記固体撮像素子から出力される電気信号を処理する映像信号処理部と、
を備える画素ずらし型撮像装置であって、
前記固体撮像素子は、
前記撮像面上において、第１方向に沿って第１画素ピッチで配列され、かつ、前記第１方向と交差する第２方向に沿って第２画素ピッチで配列された複数の単位画素領域を有しており、
前記第１方向に隣接する２つの単位画素領域の一方は第１の開口率を有する第１の光感知部を有し、前記２つの単位画素領域の他方は前記第１の開口率よりも低い第２の開口率を有する第２の光感知部を有し、
前記第１の光感知部は、前記第１の光感知部に入射した光の量に応じた第１の画素信号を出力し、前記第２の光感知部は、前記第２の光感知部に入射した光の量に応じた第２の画素信号を出力し、
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけ仮想的に移動させると、前記第１の光感知部は前記第２の光感知部の全体を覆い、前記仮想的に移動した第１の光感知部のうちで前記第２の光感知部を覆っていない部分が仮想的な第３の光感知部として機能し、
前記映像信号処理部は、前記第１の画素信号と前記第２の画素信号との差分から、前記仮想的な第３の光感知部に入射した光の量に応じた仮想的な画素信号を得る画素ずらし型撮像装置。
【請求項２】
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心から前記第２方向に距離δだけずれている、請求項１に記載の画素ずらし型撮像装置。
【請求項３】
前記第１の方向に平行な前記第２の光感知部の２つのエッジの一方は、前記第１の方向に平行な前記第１の光感知部の２つのエッジを前記第１の方向に延長した直線の一方に接している、請求項２に記載の画素ずらし型撮像装置。
【請求項４】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記距離δの半分以上の距離だけシフトさせる、請求項２または３に記載の画素ずらし型撮像装置。
【請求項５】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記第２画素ピッチの半分以下の距離だけシフトさせる、請求項４に記載の画素ずらし型撮像装置。
【請求項６】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記第２光感知部の幅の半分以下の距離だけシフトさせる、請求項５に記載の画素ずらし型撮像装置。
【請求項７】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に、前記第１画素ピッチの半分シフトさせる、請求項１に記載の画素ずらし型撮像装置。
【請求項８】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に、前記第１画素ピッチだけシフトさせること、及び前記第１画素ピッチの半分だけシフトさせることを交互に実行する、請求項１から７のいずれかにに記載の画素ずらし型撮像装置。
【請求項９】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向及び前記第２方向の両方に対して斜めの方向にシフトさせる、請求項１から７のいずれかに記載の画素ずらし型撮像装置。
【請求項１０】
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心から前記第２方向にδＸだけずれ、かつ前記第１方向にδＹだけずれている、請求項１に記載の画素ずらし型撮像装置。
【請求項１１】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に前記距離δＹの半分以上かつ前記第１画素ピッチの半分以下の距離Ｙ１だけシフトさせ、かつ、前記第２方向に前記距離δＸの半分以上かつ前記第２画素ピッチの半分以下の距離Ｘ１だけシフトさせる請求項１０に記載の画素ずらし型撮像装置。
【請求項１２】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に前記距離Ｙ１プラス前記第１画素ピッチだけシフトさせ、かつ、前記第２方向に、前記距離Ｘ１プラス前記第２画素ピッチだけシフトさせる請求項１１に記載の画素ずらし型撮像装置。
【請求項１３】
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心が前記シフトした第１の光感知部の中心と一致するように前記第１の光感知部及び前記第２の光感知部が配置されており、
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向及び前記第２方向の両方に対して斜めの第３方向にシフトさせ、
前記画素ずらし部による前記第３方向のシフトにより、前記第１の光感知部は前記第２の光感知部の全体を覆い、かつ、前記第１の光感知部のうちで前記第２の光感知部を覆わない部分が１つの領域だけ形成され、前記領域が仮想画素として機能し、
前記映像信号処理部は、前記画素ずらし部による前記シフトの前後に得られる前記前記第１の画素信号及び前記第２の画素信号の差分と、前記第２の画素信号とに基づいて高精細信号を生成する、請求項１に記載の画素ずらし型撮像装置。
【請求項１４】
前記第１の光感知部の前記第２方向における幅をＷ１ａ、前記第２の光感知部の前記第２方向における幅をＷ１ｂとするとき、前記画素ずらし部による前記第３方向のシフトは、前記撮像面における前記像の位置を、前記第１方向に移動させるとともに、前記第２方向にも（Ｗ１ａ−Ｗ１ｂ）／２によって規定される距離だけ移動させる、請求項１３に記載の画素ずらし型撮像装置。
【請求項１５】
前記第１の光感知部の前記第１方向における長さをＴ１ａ、前記第２の光感知部の前記第１方向における長さをＴ１ｂとするとき、前記画素ずらし部による前記第３方向のシフトは、前記撮像面における前記像の位置を、前記第１方向に、（Ｔ１ａ−Ｔ１ｂ）／２によって規定される距離だけ移動させるとともに、前記第１方向にも移動させる、請求項１３または１４に記載の画素ずらし型撮像装置。
【請求項１６】
前記第１の光感知部の前記第２方向における幅をＷ１ａ、前記第２の光感知部の前記第２方向における幅をＷ１ｂとするとき（Ｗ１ａ＞Ｗ１ｂ）、
Ｗ１ｂがＷ１ａ／２に一致しない場合、前記画素ずらし部は、前記第３方向のシフトとは別に、前記撮像面上における前記像の位置を前記第２方向にＷ１ａ／２だけシフトさせる、請求項１０に記載の画素ずらし型撮像装置。
【請求項１７】
前記画素ずらし部は、前記第３方向のシフトを周期的に繰り返す、請求項１０に記載の画素ずらし型撮像装置。
【請求項１８】
前記固体撮像素子は、前記第１光感知部及び前記第２光感知部の開口率及び位置を調節するマイクロレンズのアレイを有している、請求項１から１７のいずれかに記載の画素ずらし型撮像装置。
【請求項１９】
撮像面上において、第１方向に沿って第１画素ピッチで配列され、かつ、前記第１方向と交差する第２方向に沿って第２画素ピッチで配列された複数の単位画素領域を有する固体撮像素子であって、
前記第１方向に隣接する２つの単位画素領域の一方は第１の開口率を有する第１の光感知部を有し、前記２つの単位画素領域の他方は前記第１の開口率よりも低い第２の開口率を有する第２の光感知部を有し、
前記第１の光感知部は、前記第１の光感知部に入射した光の量に応じた第１の画素信号を出力し、前記第２の光感知部は、前記第２の光感知部に入射した光の量に応じた第２の画素信号を出力し、
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけ仮想的に移動させると、前記第１の光感知部は前記第２の光感知部の全体を覆う、固体撮像素子。
【請求項２０】
前記第１方向に前記第１画素ピッチだけ仮想的に移動した前記第１の光感知部のうちで前記第２の光感知部を覆っていない部分が仮想的な第３の光感知部として機能し、
前記第１の画素信号と前記第２の画素信号との差分から、前記仮想的な第３の光感知部に入射した光の量に応じた仮想的な画素信号が得られる、請求項１９に記載の固体撮像素子。
【請求項２１】
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記シフトした第１の光感知部の中心と前記第２の光感知部の中心とが一致しないように前記第１の光感知部及び第２の光感知部の位置が決められている、請求項１９に記載の固体撮像素子。
【請求項２２】
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心に対して前記第２方向に距離δだけずれている、請求項１９に記載の固体撮像素子。
【請求項２３】
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記シフトした第１の光感知部の中心と前記第２の光感知部の中心とを結ぶ直線は、前記第１方向に対して平行ではない、請求項２２に記載の固体撮像素子。
【請求項２４】
被写体からの光を第１の光路及び第２の光路を含む少なくとも２つの光路に分岐するスプリッタと、
前記第１の光路を通る光により、第１の精細度で撮像を行う第１の固体撮像素子と、
前記第２の光路を通る光により、前記第１の精細度よりも高い第２の精細度で撮像を行う第２の固体撮像素子と、
前記第１の固体撮像素子で得られた第１の画像と前記第２の固体撮像素子で得られた第２の画像とを画素単位で対応付ける照合手段と、
前記各固体撮像素子の撮像面上における像の位置をシフトさせる画素ずらし部と、
前記照合手段によって対応付けられた画素間の開口差による画素領域を仮想画素とし、前記画素ずらし部による前記仮想画素の移動量が前記仮想画素の１／２ピッチあるいは３／２ピッチを含んでいる、画素ずらし型撮像装置。
【請求項２５】
前記第１の撮像素子は、第１の密度で配列された画素を有し、
前記第２の撮像素子は、前記第１の密度よりも高い第２の密度で配列された画素を有する、請求項２４に記載の画素ずらし型撮像装置。
【請求項２６】
第１の倍率を有する第１の光学系を前記第１の光路に有し、
前記第１の倍率よりも小さな倍率を有する第２の光学系を前記第２の光路に有する、請求項２４に記載の画素ずらし型撮像装置。
【請求項２７】
前記第１の精細度：前記第２の精細度は、ｎ：ｍである（ｎ、ｍは、互いに異なる正の整数、ｎ＜ｍ）である請求項２４に記載の画素ずらし型撮像装置。
【請求項２８】
前記仮想画素の移動量は、移動方向において、前記仮想画素のピッチの１／２倍である請求項２４に記載の画素ずらし型撮像装置。
【請求項２９】
前記仮想画素の移動量は、移動方向において、前記仮想画素のピッチの１／２倍、または１／２倍及び３／２倍である請求項２４に記載の画素ずらし型撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像素子の画素位置をずらし、撮像画像の解像度を向上させる、所謂、画素ずらし技術に関するものである。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の撮像素子を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、高度な微細化が進み、高集積化が図られ、撮像素子としても１００万画素から１０００万画素へと多画素化が図られている。ただその一方で、多画素撮像素子の製造プロセスでは、画素密度が高くなる程、製造工程が複雑になり、また画質検査時間も長くなり、その結果歩留りや生産性にも影響が出ている。【０００３】
画像の高解像度化には、このような多画素化による方法以外に、撮像素子の画素をずらすという、所謂、画素ずらし技術による方法もある。画素ずらし技術には、大きく分けて２種類の技術がある。第１の画素ずらし技術は、固体撮像素子の撮像面内において周期的配列された複数の画素に対して他の画素をずらして配置する画像空間的位置ずれの画素ずらしである。第２の画素ずらし技術は、２次元正方配列の固体撮像素子及び光学系の少なくとも一方を機械的に微動させる動的な画素ずらしである。【０００４】
第１の画素ずらし技術の基本原理の１例が特許文献１の中で記されている。特許文献１では、第１の画素ずらし技術が撮像素子を３つ用いた３板式のカラーカメラに適用されている。このカラーカメラは、人間の視感度の高い緑（Ｇ）の撮像素子の画素を１行おきに１／２ピッチ水平方向にずらした構成を採用することにより、水平方向の解像度を高めている。【０００５】
水平方向だけでなく垂直方向にも画素をずらせた１例が、特許文献２の中で示されている。特許文献２のＣＣＤ撮像素子では、画素に相当する光感知部の形状をひし形にして、蛇行状に配置している。各画素を水平方向にも垂直方向にも画素の１／２ピッチ分ずらして配列することにより、水平及び垂直方向における解像度を高めている。【０００６】
動的な画素ずらしの技術については、撮像素子に対して光学系を機械的に微動させる例が、特許文献３に記されている。特許文献３では、撮像素子とレンズとの間に透光性の平行平板を設置している。光軸に対して平行平板を振らせることにより、撮像素子に結像した光学像を微動させ、微動方向の解像度を向上させている。光学系は動かさず、撮像素子そのものを微動させ、解像度を向上させた例が特許文献４に記されている。この場合、微動手段として圧電素子を用い、微動量は画素の１／２ピッチとして、解像度を向上させている。【０００７】
以上のように、従来の画素ずらし技術は、画素の配置あるいは機械的に撮像素子を微動させ、水平方向あるいは水平及び垂直の両方向に画素を１／２ピッチずらして解像度を向上させている。原理的には、光感知部の開口率が１００％であれば、画素を１／２ピッチずらせることにより、解像度は２倍向上する。【０００８】
このことを図１５と式を使って以下に説明する。図１５は画像の１次元方向（Ｘ）の座標と輝度値ｆ（Ｘ）の関係を表した曲線と、その輝度値をサンプリングするための矩形波パルス波形とを示すグラフである。グラフの横軸Ｘおよびｔは、いずれも、ある基準点（例えば撮像面の中心）からの水平方向の距離である。図１５の例では、輝度値ｆ（Ｘ）は、Ｘの増加に応じて正弦波状に増減している。【０００９】
１つのサンプリングパルスが１つの光感知部に対応する。図１５では、２個のサンプリングパルスが示されているが、現実には、多数のサンプリングばパルスが存在している。ここで、撮像面に形成される画像の輝度値は、Ｘ方向に正弦波状に変化しているため、輝度値ｆ（Ｘ）は、振幅Ａ、周波数ω、位相０を用いると、式１で表される。サンプリングパルスは、波高が１、周波数ωｓ、周期（幅）Ｔで表される。
［式１］ｆ（Ｘ）＝ＡｃｏｓωＸ【００１０】
開口率１００％の光感知部１つの受光量はサンプリングパルスの１周期分の積分量になるので、ｎ番目の画素の受光量Ｐ（ｎ）は式２で表される。式２の計算結果を１周期Ｔで割り、時間平均で表すと式３が得られる。但し、式３において、Ｂ＝２Ａ／ωＴである。さらに、式３は、Ｔωｓ＝２πの関係から、式４で表される。
［式２］Ｐ（ｎ）＝∫Ａｃｏｓωｔｄｔ  ［ｔ＝−Ｔ／２＋ｎＴ〜Ｔ／２＋ｎＴ］
［式３］Ｐ（ｎ）＝Ｂｓｉｎ（ωＴ／２）ｃｏｓ（ωｎＴ）
［式４］Ｐ（ｎ）＝Ｂｓｉｎ（πω／ωｓ）ｃｏｓ（２πｎω／ωｓ）【００１１】
式４でｎ＝０、１、２、・・・と変化させると、ｎ番目の画素の信号量がわかる。その信号量が保証されるのは、サンプリング定理により、ω／ωｓ≦１／２の場合である。ω／ωｓ＞１／２では、隣接画素との信号差が小さくなる。ω／ωｓの値が１に近づくと、ｎ番目の画素と（ｎ＋１）番目の画素の信号は、ほぼ同相になるため、その差はほとんど無くなる。【００１２】
画素を１／２ピッチずらすと、ｎ＝ｎ＋１／２となり、これを式４に代入すると、画素ずらし後の受光量は式５で表現できる。すなわち、ω／ωｓの値が１に近づいても、式４では得られなかった位相がπずれた画像情報を得ることができる。もちろん、ω／ωｓ＝１では、Ｂｓｉｎ（πω／ωｓ）＝０となるため、その場合の解像力はないが、ω／ωｓの値が１付近までは、解像できる。結局、画素ずらしにより、解像度を２倍近くまで向上させることができると言える。
［式５］Ｐ（ｎ＋１／２）＝Ｂｓｉｎ（πω／ωｓ）ｃｏｓ（π（２ｎ＋１）ω／ωｓ）【００１３】
以上のことをさらに確認するために、光感知部の開口率が１００％で、画素を１／２ピッチ、１／３ピッチ、１／４ピッチずつずらし、クサビ型の解像度パターンを撮像したシミュレーション結果を図１６に示す。【００１４】
このシミュレーションは、画素をずらさない場合の水平方向の限界解像度を２００本に設定し撮像したものである。図１６において、（Ａ）は画素を１／２ピッチずらせた結果の画像で、（Ｂ）は画素を１／３ピッチずらせた結果の画像で、（Ｃ）は画素を１／４ピッチずらせた結果の画像である。但し、同図において、（Ａ）と（Ｂ）は（Ｃ）の画像サイズに合わせるため、それぞれ水平及び垂直方向に２倍、４／３倍拡大している。これらの結果から、いずれの場合も解像度は４００本弱で限界解像度２００本の約２近くまで解像度が向上されることがわかる。【００１５】
このように画素ずらし技術により、解像度は向上できるが、開口率が１００％である限り、画素ずらしピッチを変えても、解像度を２倍以上向上させることはできない。もちろん開口率が高い程、受光感度は高くなる。そのため、近年では撮像素子の各画素上にマイクロイレンズを配設し、開口率を１００％近くまで上げている。しかし、解像度向上の点では、大きな画質改善は望めない。【００１６】
このような状況の中、さらに解像度を向上させる技術が特許文献５に記されている。この技術では、撮像面内において、水平方向、垂直方向に画素の１／２ピッチずらせた画素配置構成を採用している。さらに画素間の中心位置に開口率が微小な開口部を設け、当該部分からも光電変換信号を得ることにより、さらに解像度を向上させている。【００１７】
この技術では、従来の画素ずらし技術を導入した上で、さらに各画素間に微小な開口部を構造的な工夫を行うことにより配設している。その結果、画素と画素の間の画像情報が得られ、その分、解像度を向上させることができる。また、この技術は解像度向上以外にも、微小な開口部と通常の開口部を有する光感知部により、撮像する被写体の輝度の範囲を広げられるという所謂ダイナミックレンジも向上させている。【００１８】
開口率が異なる光感知部を有する構成は、特許文献６や特許文献７にも示されている。これらの従来技術によれば、明るいシーンでは開口率が低い光感知部からの信号を用い、また暗いシーンでは開口率が高い光感知部からの信号を用いて画像を再生し、それによって撮像条件の幅を広げている。すなわち、特許文献６，７に開示されている技術は、本質的にはダイナミックレンジを向上させるものであり、積極的に解像度を向上させるものではない。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開昭５８−１３７２４７号公報
【特許文献２】特開昭６０−１８７１８７号公報
【特許文献３】特開昭６３−２８４９７９号公報
【特許文献４】特開昭６４−６９１６０号公報
【特許文献５】特開２００４−７９７４７号公報（特許第４１２５９２７号）
【特許文献６】特開平４−２９８１７５号公報
【特許文献７】特開２００６−１７４４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
従来の画素ずらし技術によれば、解像度を約２倍向上させることができるが、それ以上の増加は望めない。さらに解像度を向上させるには、微小開口部であっても画素数を増やさなければならなかった。【００２１】
そこで、本発明は従来の画素ずらし技術では実現できなかった解像度を、２倍を超える値に向上させる画素ずらし技術を提供することを目的とする。
【課題を解決するための手段】
【００２２】
本発明の画素ずらし型撮像装置は、固体撮像素子と、前記固体撮像素子の撮像面に像を形成する光学系と、前記撮像面上における前記像の位置をシフトさせる画素ずらし部と、前記固体撮像素子から出力される電気信号を処理する映像信号処理部とを備える画素ずらし型撮像装置であって、前記固体撮像素子は、前記撮像面上において、第１方向に沿って第１画素ピッチで配列され、かつ、前記第１方向と交差する第２方向に沿って第２画素ピッチで配列された複数の単位画素領域を有しており、前記第１方向に隣接する２つの単位画素領域の一方は第１の開口率を有する第１の光感知部を有し、前記２つの単位画素領域の他方は前記第１の開口率よりも低い第２の開口率を有する第２の光感知部を有し、前記第１の光感知部は、前記第１の光感知部に入射した光の量に応じた第１の画素信号を出力し、前記第２の光感知部は、前記第２の光感知部に入射した光の量に応じた第２の画素信号を出力し、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけ仮想的に移動させると、前記第１の光感知部は前記第２の光感知部の全体を覆い、前記仮想的に移動した第１の光感知部のうちで前記第２の光感知部を覆っていない部分が仮想的な第３の光感知部として機能し、前記映像信号処理部は、前記第１の画素信号と前記第２の画素信号との差分から、前記仮想的な第３の光感知部に入射した光の量に応じた仮想的な画素信号を得る。【００２３】
好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心から前記第２方向に距離δだけずれている。【００２４】
好ましい実施形態において、前記第１の方向に平行な前記第２の光感知部の２つのエッジの一方は、前記第１の方向に平行な前記第１の光感知部の２つのエッジを前記第１の方向に延長した直線の一方に接している。【００２５】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記距離δの半分以上の距離だけシフトさせる。【００２６】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記第２画素ピッチの半分以下の距離だけシフトさせる。【００２７】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記第２光感知部の幅の半分以下の距離だけシフトさせる。【００２８】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に、前記第１画素ピッチの半分シフトさせる。【００２９】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に、前記第１画素ピッチだけシフトさせること、及び前記第１画素ピッチの半分だけシフトさせることを交互に実行する。【００３０】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向及び前記第２方向の両方に対して斜めの方向にシフトさせる。【００３１】
好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心から前記第２方向にδＸだけずれ、かつ前記第１方向にδＹだけずれている。【００３２】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に前記距離δＹの半分以上かつ前記第１画素ピッチの半分以下の距離Ｙ１だけシフトさせ、かつ、前記第２方向に前記距離δＸの半分以上かつ前記第２画素ピッチの半分以下の距離Ｘ１だけシフトさせる。【００３３】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に前記距離Ｙ１プラス前記第１画素ピッチだけシフトさせ、かつ、前記第２方向に、前記距離Ｘ１プラス前記第２画素ピッチだけシフトさせる。【００３４】
好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心が前記シフトした第１の光感知部の中心と一致するように前記第１の光感知部及び前記第２の光感知部が配置されており、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向及び前記第２方向の両方に対して斜めの第３方向にシフトさせ、前記画素ずらし部による前記第３方向のシフトにより、前記第１の光感知部は前記第２の光感知部の全体を覆い、かつ、前記第１の光感知部のうちで前記第２の光感知部を覆わない部分が１つの領域だけ形成され、前記領域が仮想画素として機能し、前記映像信号処理部は、前記画素ずらし部による前記シフトの前後に得られる前記前記第１の画素信号及び前記第２の画素信号の差分と、前記第２の画素信号とに基づいて高精細信号を生成する。【００３５】
好ましい実施形態において、前記第１の光感知部の前記第２方向における幅をＷ１ａ、前記第２の光感知部の前記第２方向における幅をＷ１ｂとするとき、前記画素ずらし部による前記第３方向のシフトは、前記撮像面における前記像の位置を、前記第１方向に移動させるとともに、前記第２方向にも（Ｗ１ａ−Ｗ１ｂ）／２によって規定される距離だけ移動させる。【００３６】
好ましい実施形態において、前記第１の光感知部の前記第１方向における長さをＴ１ａ、前記第２の光感知部の前記第１方向における長さをＴ１ｂとするとき、前記画素ずらし部による前記第３方向のシフトは、前記撮像面における前記像の位置を、前記第１方向に、（Ｔ１ａ−Ｔ１ｂ）／２によって規定される距離だけ移動させるとともに、前記第１方向にも移動させる。【００３７】
好ましい実施形態において、前記第１の光感知部の前記第２方向における幅をＷ１ａ、前記第２の光感知部の前記第２方向における幅をＷ１ｂとするとき（Ｗ１ａ＞Ｗ１ｂ）、Ｗ１ｂがＷ１ａ／２に一致しない場合、前記画素ずらし部は、前記第３方向のシフトとは別に、前記撮像面上における前記像の位置を前記第２方向にＷ１ａ／２だけシフトさせる。【００３８】
好ましい実施形態において、前記画素ずらし部は、前記第３方向のシフトを周期的に繰り返す。【００３９】
好ましい実施形態において、前記固体撮像素子は、前記第１光感知部及び前記第２光感知部の開口率及び位置を調節するマイクロレンズのアレイを有している。【００４０】
本発明の固体撮像素子は、撮像面上において、第１方向に沿って第１画素ピッチで配列され、かつ、前記第１方向と交差する第２方向に沿って第２画素ピッチで配列された複数の単位画素領域を有する固体撮像素子であって、前記第１方向に隣接する２つの単位画素領域の一方は第１の開口率を有する第１の光感知部を有し、前記２つの単位画素領域の他方は前記第１の開口率よりも低い第２の開口率を有する第２の光感知部を有し、前記第１の光感知部は、前記第１の光感知部に入射した光の量に応じた第１の画素信号を出力し、前記第２の光感知部は、前記第２の光感知部に入射した光の量に応じた第２の画素信号を出力し、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけ仮想的に移動させると、前記第１の光感知部は前記第２の光感知部の全体を覆う。【００４１】
好ましい実施形態において、前記第１方向に前記第１画素ピッチだけ仮想的に移動した前記第１の光感知部のうちで前記第２の光感知部を覆っていない部分が仮想的な第３の光感知部として機能し、前記第１の画素信号と前記第２の画素信号との差分から、前記仮想的な第３の光感知部に入射した光の量に応じた仮想的な画素信号が得られる。【００４２】
好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記シフトした第１の光感知部の中心と前記第２の光感知部の中心とが一致しないように前記第１の光感知部及び第２の光感知部の位置が決められている。【００４３】
好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心に対して前記第２方向に距離δだけずれている。【００４４】
好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記シフトした第１の光感知部の中心と前記第２の光感知部の中心とを結ぶ直線は、前記第１方向に対して平行ではない。【００４５】
本発明の画素ずらし型撮像装置は、被写体からの光を第１の光路及び第２の光路を含む少なくとも２つの光路に分岐するスプリッタと、前記第１の光路を通る光により、第１の精細度で撮像を行う第１の固体撮像素子と、前記第２の光路を通る光により、前記第１の精細度よりも高い第２の精細度で撮像を行う第２の固体撮像素子と、前記第１の固体撮像素子で得られた第１の画像と前記第２の固体撮像素子で得られた第２の画像とを画素単位で対応付ける照合手段と、前記各固体撮像素子の撮像面上における像の位置をシフトさせる画素ずらし部と、前記照合手段によって対応付けられた画素間の開口差による画素領域を仮想画素とし、前記画素ずらし部による前記仮想画素の移動量が前記仮想画素の１／２ピッチあるいは３／２ピッチを含んでいる。【００４６】
好ましい実施形態において、前記第１の撮像素子は、第１の密度で配列された画素を有し、前記第２の撮像素子は、前記第１の密度よりも高い第２の密度で配列された画素を有する。【００４７】
好ましい実施形態において、第１の倍率を有する第１の光学系を前記第１の光路に有し、前記第１の倍率よりも小さな倍率を有する第２の光学系を前記第２の光路に有する。【００４８】
好ましい実施形態において、前記第１の精細度：前記第２の精細度は、ｎ：ｍである（ｎ、ｍは、互いに異なる正の整数、ｎ＜ｍ）である。【００４９】
好ましい実施形態において、前記仮想画素の移動量は、移動方向において、前記仮想画素のピッチの１／２倍である。【００５０】
好ましい実施形態において、前記仮想画素の移動量は、移動方向において、前記仮想画素のピッチの１／２倍、または１／２倍及び３／２倍である。
【発明の効果】
【００５１】
本発明の画素ずらし型撮像装置によれば、開口率が異なる少なくとも２種類の光感知部を有し、それらの開口差から前記光感知部より開口の小さい仮想の光感知部を作る。そして、前記仮想の光感知部を微動させることにより、当該微動方向の高精細信号を得ることが可能となる。
【図面の簡単な説明】
【００５２】
【図１】本発明による画素ずらしがた撮像装置の基本的な構成例を示す図
【図２】固体撮像素子の撮像面を示す斜視図
【図３】固体撮像素子の撮像面の一部を示す拡大図
【図４】本発明の実施形態１における撮像素子光感知部の２行２列の基本配置を示した平面図
【図５】（Ａ）〜（Ｃ）は、本発明の実施形態１におけるクサビ型解像度パターンを撮像した場合の解像度結果を示した図
【図６】本発明の実施形態２における撮像素子光感知部の２行２列の基本配置を示した平面図
【図７】（Ａ）〜（Ｆ）は、本発明の実施形態２におけるクサビ型解像度パターンを撮像した場合の解像度結果を示した図
【図８】本発明の実施形態３における撮像素子光感知部の２行２列の基本配置を示した平面図
【図９】本発明の実施形態３において、光感知部１ａと１ｂとの位置差が最大になった場合の撮像素子光感知部の基本配置を示した平面図
【図１０】（Ａ）〜（Ｆ）は、本発明の実施形態２におけるクサビ型解像度パターンを撮像した場合の解像度結果を示した図
【図１１】本発明の実施形態３において、光感知部１ａと１ｂを２次元的に交互に配列させた場合の撮像素子光感知部の基本配置を示した平面図
【図１２】本発明の実施形態４における撮像素子光感知部の２行２列の基本配置を示した平面図
【図１３】（Ａ）は、本発明の実施形態４において、配列画素のｎ行目前後の基本構成と画素の移動方向を示した平面図、（Ｂ）は本発明の実施形態４において、ｎ行目画素とｎ＋１行目画素に関して移動前の画素に移動後の画素を重ね合わせた状態を示す平面図、（Ｃ）は本発明の実施形態４において、移動前後の画素信号とそれらの差分から作り出した仮想画素の信号を示したタイミング図
【図１４】（Ａ）は本発明の実施形態５における光感知部上に配設されたマイクロレンズの配置関係を示す平面図、（Ｂ）は図１４（Ａ）におけるＡＡ’断面図、（Ｃ）は図１４（Ｂ）におけるＢＢ’断面図
【図１５】画像の１次元方向（Ｘ）の座標と輝度値ｆ（Ｘ）の関係を表したグラフとその輝度値をサンプリングするための矩形波のパルスを重ねて合わせた図
【図１６】（Ａ）〜（Ｃ）は、光感知部の開口率が１００％で、画素を１／２ピッチ、１／３ピッチ、１／４ピッチずつずらし、クサビ型の解像度パターンを撮像した解像度シミュレーション結果を示した図
【図１７】本発明の実施形態６の基本構成を示す図
【図１８】本発明の実施形態６について、撮像素子１１及び撮像素子１２における画素配列の１部を示した平面図
【図１９】（Ａ）は、第１画像メモリ３１における画素信号の配列状態を示す図、（Ｂ）は、第２画像メモリ３２における画素信号の配列状態を示す図
【図２０】２つの画像の照合処理及びその他の信号処理のフローチャー
【図２１】本発明の実施形態６における画素ずらしを示す図
【発明を実施するための形態】
【００５３】
本発明による画素ずらし型撮像装置は、図１に例示するように、固体撮像素子６０と、固体撮像素子６０の撮像面に像を形成する光学系（レンズ５０）と、撮像面上における前記像の位置をシフトさせる画素ずらし部５２と、固体撮像素子６０から出力される電気信号を処理する映像信号処理部７０とを備えている。
【００５４】
画素ずらし部５２は、例えば、厚さが面内方向に変化する透明ガラス板を備え、この透明ガラスを撮像面に平行な方向（例えば水平方向）に微動させる構成を有している。図１の例では、画素ずらし部５２と固体撮像素子６０との間に例えば水晶板からなる光学的ローパスフィルタ５４が配置されている。信号受信部６４及び映像信号処理部７０の構成と働きについては、後述する。
【００５５】
本発明において最も特徴的な構成要素は、固体撮像素子６０である。以下、図２、図３を参照しながら、本発明における固体撮像素子６０の基本的な構成を説明する。図２は、レンズ５０によって固体撮像素子６０の撮像面６１に像が形成される要素を模式的に示す斜視図である。撮像面６１上の位置を交差するＸ軸及びＹ軸の座標によって表現することができる。
【００５６】
固体撮像素子６０は、図３に示すように、撮像面６１上に配列された複数の単位画素領域１を有している。単位画素領域１は、図２のＹ軸方向（第１方向）に沿って第１画素ピッチで配列され、かつ、第１方向と交差するＸ軸方向（第２方向）に沿って第２画素ピッチで配列されている。
【００５７】
ここで、多数の単位画素領域１のうちで、垂直方向（Ｙ軸方向）に隣接する２つの単位画素領域１に着目する。図３の右側に示すように、２つの単位画素領域１の一方は、第１の開口率を有する第１の光感知部１ａを有している。また、２つの単位画素領域１の他方は、第１の開口率よりも低い第２の開口率を有する第２の光感知部１ｂを有している。光感知部１ａ、１ｂは、フォトダイオードから構成されている。
【００５８】
第１の光感知部１ａは、第１の光感知部１ａに入射した光の量に応じた第１の画素信号を出力し、第２の光感知部１ｂは、第２の光感知部１ｂに入射した光の量に応じた第２の画素信号を出力する。均一な強さの光が複数の単位画素領域１に入射している場合、第１の光感知部１ａが出力する第１の画素信号は、第２の光感知部１ｂが出力する第２の画素信号よりも振幅が大きくなる。これは、第１の光感知部１ａの開口率が第２の光感知部１ｂの開口率よりも大きいためである。
【００５９】
本明細書において開口率は、１つの単位画素領域１の面積に対する１つの光感知部１ａ、１ｂの面積の比率である。光感知部上にマイクロレンズ（不図示）を設けることにより、その光感知部の開口率を１００％にすることも可能である。
【００６０】
本発明では、図３に示すように、第１の光感知部１ａを垂直方向に第１画素ピッチだけ仮想的に移動させると、第１の光感知部１ａは第２の光感知部１ｂの全体を覆うように、光感知部１ａ、１ｂのレイアウトが設計されている。
【００６１】
以下、図面を参照しながら本発明の実施形態を説明する。全ての図にわたって共通する要素には同一の符号を付している。
【００６２】
（実施形態１）
図４は本発明の実施形態１における撮像素子の光感知部の基本配置を示した平面図である。図４では、隣接する４つの単位画素領域のみが示されているが、現実の撮像素子の撮像面には、多数の単位画素領域が配列されている。本実施形態及び後述すの各実施形態では、２行２列の光感知部を基本構成とする多数の光感知部が２次元状に配列されている。言い換えると、現実の撮像面では、図４に示す４つの光感知部の組（画素基本セット）が水平方向及び垂直方向に周期的に配列されている。なお、図４の水平方向は、図２、図３のＸ軸方向に相当し、図４の垂直方向は、図２、図３のＹ軸方向に相当する。
【００６３】
図４において、垂直方向に隣接する２つの単位画素領域の中心間距離は、垂直方向の画素ピッチ（第１の画素ピッチ）である。また、水平方向に隣接する２つの単位画素領域の中心間距離は、垂直方向の画素ピッチ（第２の画素ピッチ）である。このことは、他の実施形態についても成立する。
【００６４】
本実施形態では、図４に示すように、開口率が相対的に高い光感知部（開口率１００％）１ａが画素基本セット内の１行１列目と１行２列目の単位画素領域内に配置されている。開口率が相対的に低い光感知部１ｂは、水平方向に開口が狭く、画素基本セット内の２行１列目と２行２列目の単位画素領域内に配置されている。また、光感知部１ａと光感知部１ｂの位置関係は、水平方向に関して光感知部１ｂの中心が光感知部１ａの中心よりδＸずれている。言い換えると、光感知部１ａを垂直方向に１画素ピッチだけシフトさせたとき、シフトした光感知部１ａの中心と光感知部１ｂの中心とは一致せず、水平方向にδＸだけずれている。
【００６５】
本発明は、画素の光感知部の開口率差を利用し、解像度を改善する。通常、開口率を下げて細かく画素をずらせば、解像度は向上するが、開口率が下がった分感度が低下する。そこで、本発明は１部の光感知部の開口率のみを下げる。そして、その他の光感知部との差により、開口率の低い仮想の光感知部を作り、その仮想の光感知部をずらすことにより、解像度を向上させる。
【００６６】
ここで、開口部のサイズがＸ方向に１／ｍとなった光感知部の画素ずらしの場合について、図１５を参考に説明しておく。ここで、ｍは１を超える数値であるとする。この場合、その光感知部の開口率は１／ｍに減少する。このような光感知部による受光量を得るには、式２において、積分区間の範囲を、ｔ＝−Ｔ／２ｍ＋ｎＴ〜Ｔ／２ｍ＋ｎＴにすればよい。ここで、Ｔは単位画素領域１のＸ方向サイズ（幅）であり、図１５に示すパルスの幅に相当する。
【００６７】
Ｔωｓ＝２πの関係を用いると、ｎ番目の画素の受光量Ｐ（ｎ）は、式６で表される。周波数ωのｍ倍の高調波をｍωとして、式６においてωにｍωを代入すると、式７が得られる。この場合は、ｎをｎ（１＋ｋ／２ｍ）に変え、式７に代入することにより、式８が得られる。但し、ｋは整数でｋ＝１〜２ｍ−１である。すなわち、１／２ｍピッチずつずらせることにより、位相がπ程ずれた情報も得られるため、解像度が２ｍ倍向上する。
［式６］Ｐ（ｎ）＝Ｂｓｉｎ（π（ω／ｍ）／ωｓ）ｃｏｓ（２πｎω／ωｓ）
［式７］Ｐ（ｎ）＝Ｂｓｉｎ（πω／ωｓ）ｃｏｓ（２πｎｍω／ωｓ）
［式８］Ｐ（ｎ＋ｋ／２ｍ）＝Ｂｓｉｎ（πω／ωｓ）ｃｏｓ（２πｍｎ（１＋ｋ／２ｍ）ω／ωｓ）
【００６８】
次に、本発明の実施形態１における光感知部１ｂの受光量を求める。開口率１００％の光感知部１ａについて、ｎ番目の画素の受光量Ｐ（ｎ）は式３で表される。一方、光感知部１ｂについては、水平方向の幅が狭いため、それに相当する積分区間の幅をＴｂとする。また、単位画素領域の中心からの、光感知部１ｂの中心のずれ量をδとする。この場合、光感知部１ｂの受光量Ｐ（ｎ）は、式９で表される。
［式９］Ｐ（ｎ）＝Ｂｓｉｎ（ωＴｂ／２）ｃｏｓ（ω（ｎＴ−δ））
【００６９】
本実施形態は、垂直方向に配列されている光感知部１ａと光感知部１ｂとの間の開口差により、水平方向の解像度を向上させることができる。本実施形態に特徴的な点は、光感知部１ａの開口中心と光感知部１ｂの開口中心とが垂直方向に延びる同一の直線上にない点にある。光感知部１ａと光感知部１ｂの差分から作られる仮想開口部１ｃと仮想開口部１ｄの受光量の合計が、仮想画素の信号となり、式１０で表される。
［式１０］Ｐ（ｎ）＝Ｂ（ｓｉｎ（ωＴ／２）ｃｏｓ（ωｎＴ）−ｓｉｎ（ωＴｂ／２）ｃｏｓ（ω（ｎＴ−δ）））
【００７０】
式１０はさらに式１１に変形され、式１１において右辺の第１項と第２項、第３項と第４項を式１２、式１３の形でまとめると、式１１は式１４で表現される。
［式１１］Ｐ（ｎ）＝Ｂ[ｓｉｎ（ωＴ／２）ｃｏｓ（ωｎＴ）−ｓｉｎ（ωＴｂ／２）ｃｏｓ（ωｎＴ）
＋ｓｉｎ（ωＴｂ／２）ｃｏｓ（ωｎＴ）−ｓｉｎ（ωＴｂ／２）ｃｏｓ（ω（ｎＴ−δ））]
［式１２］Ｚ１＝（ｓｉｎ（ωＴ／２）−ｓｉｎ（ωＴｂ／２））ｃｏｓ（ωｎＴ）
＝２ｃｏｓ（ω（Ｔ＋Ｔｂ）／２） ｓｉｎ（ω（Ｔ−Ｔｂ）／２）ｃｏｓ（ωｎＴ）
［式１３］Ｚ２＝ｓｉｎ（ωＴｂ／２）（ｃｏｓ（ωｎＴ）−ｃｏｓ（ω（ｎＴ−δ）））
＝−２ｓｉｎ（ωＴｂ／２）ｓｉｎ（ω（ｎＴ−δ／２））ｓｉｎ（ωδ／２）
［式１４］Ｐ（ｎ）＝Ｂ（Ｚ１＋Ｚ２）
ここで、式１２で示すＺ１は、光感知部１ａ、１ｂの開口中心のずれ量δを含んでいないので、図４の仮想開口部１ｅ、１ｄの受光量の合計に相当する。Ｚ１は（Ｔ−Ｔｂ）を含んでいるので、それにより画素ずらしで解像度を高められる。しかし、Ｚ１は、（Ｔ＋Ｔｂ）も含んでいるので、結局、後者の影響で解像度は低下する。なお、図４の領域１ｅは仮想開口部１ｃの中で領域１ｄと同じ面積を有する部分であり、領域１ｆは開口中心のずれ量δＸに係わる仮想開口部である。
【００７１】
一方、式１３で示すＺ２はδを含んでいるので、仮想開口部１ｆの受光量に相当する。この場合は、ｓｉｎ（ωＴｂ／２）とｓｉｎ（ωδ／２）を含んでいるため、まずωｂ＝２π／Ｔｂとする。すると、ｓｉｎ（πω／ωｂ）による解像度限界はωｂ／２である。さらにＴｂ／２に相当するピッチで画素ずらしを行うことにより解像度限界はωｂ付近まで向上する。
【００７２】
またωｄ＝２π／δとすると、ｓｉｎ（πω／ωｄ）による解像度限界はωｄ／２である。さらにδ／２に相当するピッチで画素ずらしを行うことにより、解像度限界はωｄ付近まで向上する。結局、δ≦Ｔｂとすると、画素ずらし量として、δ／２以上Ｔｂ／２以下に相当する範囲であれば、少なくとも解像度をωｂ付近まで向上できる。
【００７３】
以上の結果から、水平方向の画素ずらしによる解像度向上に関して、Ｚ１は解像度を低下させることがわかる。しかし、Ｚ２は、光感知部１ａと光感知部１ｂの開口中心のずれを僅かに作るだけで、解像度をＴ／Ｔｂ倍ほど向上させることができる。従来はＴ／２に相当する画素ずらし技術で２倍付近まで向上できたが、本発明では少なくともさらにその（Ｔ／Ｔｂ）倍の向上が可能である。Ｔ／Ｔｂ＞１であるので、本発明によれば、２倍よりも大きく解像度を向上でき、従来にない効果がある。
【００７４】
次に、本実施形態による画素ずらしのシミュレーションを行った。図４に示した光感知部１ａの水平幅Ｔを１（開口率１００％）、光感知部１ｂの水平幅Ｔｂを０．８（開口率８０％）とし、δＸを０、０.０５、０.１０と変化させた。ここで、水平方向の長さの単位は、水平方向の画素ピッチを１とする。例えば「δＸ＝０．０５」とは、δＸが水平方向の画素ピッチの０．０５倍の長さを有していることを意味する。また、例えば「０．２５ピッチの画素ずらしを行う」とは、「撮像面上における像の位置を微動させることにより、水平方向の画素ピッチの０．２５倍の距離だけ、像と画素との相対的な位置関係をシフトさせる」ことを意味するものとする。
【００７５】
このシミュレーションでは、サビ型解像度パターンを対象とし、垂直方向に１画素ピッチずらせて撮像し、かつ、下記の水平ピッチで画素ずらしを行って撮像を行った場合の結果を求めた。この結果を図５に示す。
【００７６】
なお、このシミュレーションでは、画素ずらしを行わない場合の水平方向の限界解像度を２００本に設定している。このシミュレーションの場合、光感知部１ｂの水平幅に対してδがかなり小さいので、仮想開口部１ｆに基づいた画素ずらしピッチは採用していない。光感知部１ｂの水平幅Ｔｂ（０．８）の１／２以下を満足する０．２５ピッチで水平画素ずらしを行い、仮想開口部１ｃ、１ｄの信号のみで画像を表示した。
【００７７】
この画素ずらしの動作及び信号処理は、（１）撮像１、（２）垂直方向に１画素ピッチだけ移動、（３）撮像２、（４）撮像１の信号と撮像２の信号の減算、（５）水平画素ずらし、というステップを繰り返して実行する。
【００７８】
図５において、（Ａ）はδＸ＝０の場合で、上記のＺ１の影響のみの結果を示す。この場合、解像度は２００本を越えた程度で、画素ずらしの効果はあまり見られない。この結果からわかるように、従来の１／２ピッチ画素ずらしより解像度は低下している。図５（Ｂ）はδＸ＝０.０５の場合で、Ｚ１にＺ２が加わった状態の結果である。光感知部の開口中心をわずか変えるだけで、６００本以上に解像度が向上していることがわかる。図５（Ｃ）は、δＸ＝０.１０の場合で、この場合は仮想開口部１ｄが消滅し、１ｃのみの場合でさらに解像度が向上していることがわかる。本実施形態はδＸを０としないことが特徴であるため、このシミュレーションの図５（Ｂ）、（Ｃ）の場合のように、大幅に解像度を向上できることがわかる。
【００７９】
以上のように本発明の実施形態１によると、開口率の異なる２種類の光感知部の各々を１行おきに配列し、水平方向における２種類の光感知部の開口中心をずらせた構成を採用している。そして、本実施形態によれば、開口率が異なる２画素の差分信号により、水平方向の解像度が上昇した高精細な信号が得られるという効果がある。
【００８０】
なお、本発明の実施形態１では、画素ずらし部の働きによって撮像面上における像の位置を垂直方向に１画素ずらせて、すなわち光感知部１ａと光感知部１ｂとを像の同じ部分に重ねた形で両画素の信号差を作っている。具体的には、撮像面上で垂直方向に１画素だけ、像をシフトさせることにより、像の同じ部分に関する輝度信号を光感知部１ａ及び光感知部１ｂの各々から取得している。しかし、撮像面に形成される像の輝度が、少なくとも画素ピッチ程度の大きさを持つ領域の範囲において、垂直方向に一様（変化しない）なら、撮像面上における像の位置を１画素だけずらす必要はない。すなわち、垂直方向に隣接する光感知部１ａ及び光感知部１ｂから同時刻に得られる信号を用いて画素間で信号差を作っても良い。
【００８１】
図１の信号受信部６４は、固体撮像素子６０からの信号を受け取り、映像信号処理部７０に送出する。映像信号処理部７０は、信号受信部６４から受け取った信号を記憶する画像メモリ７２と、画像メモリ７２から読み出したデータからビデオ信号（高精細信号）を生成するビデオ信号生成部７２と、ビデオ信号を外部に出力するインターフェース（ＩＦ）部７６を有している。
【００８２】
上述した方法によって得られた高精細信号はそのまま利用してよい。また、低解像であるが高感度な信号処理結果に加算しても、その効力を失うものではない。
【００８３】
本実施形態では、撮像面上の各行の中で同じ開口率を有する光感知部を配置しているが、図４に示した基本構成の１行２列目と２行２列目の光感知部を入れ替えても問題はない。本実施形態では、開口の広い光感知部の開口率を１００％としたが、それに限定されるものではなく、また、開口の広い光感知部と開口の狭い光感知部の合計開口率が２００％になるよう両方を調整した構成を採用しても良い。そうすれば、全体的な感度低下も防止できる。
【００８４】
（実施形態２）
次に、図６を参照して、第２の実施形態を説明する。図６は本発明の実施形態２における光感知部の基本配置を示した平面図である。本実施形態では、２行２列を基本構成として２次元状に配列している。同図において、開口率１００％の光感知部１ａが１行１列目と１行２列目に配置されている。開口率５０％の光感知部１ｂが２行１列目と２行２列目に配置されている。また、光感知部１ａと光感知部１ｂの位置関係は、水平方向に関して光感知部の右端が同じ位置にある。そのため、光感知部１ａの開口中心に対して、光感知部１ｂの開口中心は水平方向に０．２５ピッチ（δＸ＝０.２５）ずれている。
【００８５】
本実施形態の場合は、実施形態１の図４で示した仮想開口部１ｄがなく、仮想開口部１ｃのみ形成される。このような画素配置構成で、実施形態１の場合と同様、水平方向に画素をずらせながら、垂直方向に隣接する２つの画素から信号の差分処理で高精細な信号を作る。この場合の画素の受光量Ｐ（ｎ）は、式１０において、δ＝（Ｔ−Ｔｂ）／２とすることにより得られ、その結果は式１５で示される。
［式１５］Ｐ（ｎ）＝Ｂ（ｓｉｎ（ω（Ｔ−Ｔｂ）／２）ｃｏｓ（ω（ｎＴ−Ｔｂ／２）））
【００８６】
画素ずらしの場合、ｓｉｎ（ω（Ｔ−Ｔｂ）／２）によってその解像度性能が決まる。このため、（Ｔ−Ｔｂ）に相当する開口部１ｃの１／２のピッチで画素ずらしを行うことにより、解像度をサンプリング周波数ωｓのＴ／（Ｔ−Ｔｂ）倍付近まで向上させることができる。具体的に本実施形態の場合は、Ｔ＝１、Ｔｂ＝０.５であることから、解像度はサンプリング周波数ωｓの２倍、画素ずらしを行わない場合に比べて解像度を４倍向上できる。さらに本実施形態では、垂直方向に従来の１／２画素ピッチの画素ずらしも適用することとした。
【００８７】
次に、本実施形態の画素ずらし型撮像装置によってクサビ型解像度パターンを撮像した場合のシミュレーションの結果を図７に示す。このシミュレーションでは、δＸを０〜０.２５まで、０.０５ずつ変化させた。また、垂直方向に１画素ずつずらせ、下記水平ピッチの画素ずらしを行った。画素をずらさない場合の水平方向の限界解像度を２００本に設定している。本実施形態は、δＸ＝０.２５の場合である。また、このシミュレーションでは仮想開口部１ｃから得られる信号のみで画像を表示した。
【００８８】
この画素ずらしの動作及び信号処理は、（１）撮像１、（２）垂直方向に１画素移動、（３）撮像２、（４）撮像１の信号と撮像２の信号の減算、（５）垂直方向に１／２画素移動し（１）〜（４）処理実施、（６）水平画素ずらし、という繰り返しである。
【００８９】
このシミュレーション結果から、同図（Ａ）δＸ＝０の場合、画素ずらしの効果はあまり無いことがわかる。しかし、この場合でも、垂直方向に１／２ピッチ画素ずらしを適用していることもあり、限界解像度は２５０本近くとやや向上している。一方、同図（Ｂ）〜（Ｆ）はδＸ＞０の場合であるが、δＸが０でなければ極端に解像度が改善され、同図（Ｆ）δＸ＝０.２５で最も高精細な画像が得られ、解像度は７００本近くまで向上していることがわかる。
【００９０】
以上のように本発明の実施形態２によると、開口率の異なる２種類の光感知部各々を１行おきに配列し、水平方向における２種類の光感知部の開口右端を同じ位置にすること及び垂直方向に隣接する２種類の光感知部間の開口差分から、仮想開口部を１つ作ることができる。そして、当該仮想開口部の水平方向の画素ずらしにより、水平方向の解像度が上昇した高精細な信号が得られるという効果がある。
【００９１】
なお、本発明の実施形態２では、垂直方向に１画素ずらせて、すなわち光感知部１ａと１ｂとを重ねた形で両画素の信号差を作ったが、垂直方向に輝度変化が無いなら、垂直隣接の画素間で信号差を作っても良い。そして、得られた高精細信号はそのまま利用しても、画素加算して低解像であるが高感度な信号処理結果に加算しても、その効力を失うものではない。また、画素の構成として、各行の中では同じ光感知部としたが、図６に示した基本構成の１行２列目と２行２列目の光感知部を入れ替えても問題はない上、２種類の光感知部の位置に関して、開口部右端を揃えたが、開口部の左端を揃えても構わない。加えて、上記実施形態の中では、光感知部１ａの開口率を１００％としたが、それに限定されるものではなく、また、開口の広い光感知部と開口の狭い光感知部の合計開口率が２００％になるよう両方を調整した構成でも構わず、そうすれば全体的な感度低下も防止できる。
【００９２】
（実施形態３）
次に図８を参照しながら第３の実施形態を説明する。図８は本発明の実施形態３における光感知部の基本配置を示した平面図である。２行２列を基本構成として２次元状に配列している。同図において、開口率が高い光感知部（開口率１００％）１ａは、１行１列目と１行２列目に配置されている。開口率の低い光感知部１ａは、水平及び垂直方向に開口が狭く、２行１列目と２行２列目に配置されている。また、光感知部１ａと光感知部１ｂの位置関係は、水平方向に関して光感知部１ｂの中心が光感知部１ａの中心よりδＸずれ、垂直方向に関して光感知部１ｂの中心が光感知部１ａを１ピッチずらせた中心位置よりδyずれている。
【００９３】
本実施形態も上記２つの実施形態と同様、垂直方向に配列されている光感知部１ａと光感知部１ｂの開口差により、水平方向の解像度を向上させることができる。本実施形態では、光感知部１ａと光感知部１ｂの開口中心が２方向にずれていることが特徴である。すなわち、本実施形態は実施形態１とは異なり、垂直方向にも光感知部１ｂの開口が狭くなっている。
【００９４】
本シミュレーションでは、光感知部１ｂの水平及び垂直方向の開口を画素ピッチの１／２に設定した。その結果、開口率は０．５×０．５＝０．２５となる。撮像被写体、限界解像度条件及び画素ずらし処理は、上記実施形態２の場合と同じである。光感知部１ｂの中心位置は、単位画素領域の中心位置から水平及び垂直方向に、それぞれ、δＸ、δyだけシフトしている。このシミュレーションでは、簡単のため、δＸ＝δyとして、δＸを０〜０.２５まで０.０５ずつ変化させる。
【００９５】
シミュレーション結果を図１０に示す。同図（Ａ）に示すように、δＸ＝δy＝０の場合は、従来の１／２ピッチ画素ずらしを行った場合に比べて解像度は向上していないが、実施形態２の場合より解像度は改善されている。垂直方向に隣接する２つの光感知部１ａ、１ｂの間に垂直方向のサイズ差（開口差）があると、水平方向の解像度特性を良化させる。
【００９６】
δＸ＝δy＞０について、同図（Ｂ）〜（Ｆ）にシミュレーション結果を示す。実施形態１及び２の場合と同様、解像度は極端に向上することがわかる。特にδＸ＝δy＝０.２０の場合や、δＸ＝δy＝０.２５の場合では、７００本近くまで解像していることがわかる。
【００９７】
光感知部１ｂの面積縮小に伴って光感度が低下するという課題はある。しかし、光感知部１ｂを水平及び垂直方向に狭くし、図９に示すように光感知部１ａと光感知部１ｂとの位置差が最大になるようにすると、解像度を大きく向上できる。また、このような結果から、水平及び垂直方向の解像度を同時に向上させるには、図１１に示すように光感知部１ａと光感知部１ｂを２次元的に交互）に配列させる構成（チェッカーパターン）も考えられる。
【００９８】
以上のように本発明の実施形態３によると、開口率の異なる２種類の光感知部各々を１行おきに開口中心が重ならず配列し、開口率の低い光感知部について水平及び垂直方向に開口を狭くすることにより、水平方向の解像度が上昇した高精細な信号が得られる。また、画素を図１１に示す形に配列させることにより、水平及び垂直方向の解像度を同時に向上させることが期待できる。
【００９９】
（実施形態４）
次に、図１２を参照して第４の実施形態を説明する。図１２は本発明の実施形態４における光感知部の基本配置を示した平面図である。同図において、開口率が高い光感知部（開口率１００％）１ａは、１行１列目と１行２列目に配置されている。開口率の低い光感知部１ｂは、水平方向に開口が狭く、その開口率は光感知部１ａの開口率の１／２であり、２行１列目と２行２列目に配置されている。
【０１００】
光感知部１ａと光感知部１ｂは、水平方向に関して光感知部１ｂの中心と光感知部１ａの中心が同じ位置に配置されている。言い換えると、光感知部１ａを垂直方向に画素ピッチだけシフトさせたとき、シフトした光感知部１ａの中心と光感知部１ｂの中心とが一致するように光感知部１ａ、１ｂの位置が決められている。
【０１０１】
次に、本実施形態における画像の高精細処理について説明する。
【０１０２】
本実施形態では、撮像面上で像を斜めにシフトさせることにより、水平方向の高精細化を図ることができる。上記実施形態１〜３では、撮像面上での像のシフトを、垂直移動、水平移動と別々に行っていたが、本実施形態では斜め方向に行う。そして、本実施形態では、垂直方向に隣接する開口率が異なる２つの光感知部から得られる信号の差分（仮想画素からの信号に相当）のみならず、開口率が相対的に低い光感知部から出力される信号（現実の画素信号）をも利用して水平解像度を向上させる点に特徴を有している。
【０１０３】
画素ずらし部の働きによって撮像面上で像を斜めにシフトさせることは、像を基準にすると、画素を斜めにシフトさせることに対応する。このため、以下の説明では、画素ずらし部の働きによって撮像面上で像をシフトさせることを、「画素をずらす」と表現することになる。
【０１０４】
本実施形態では、画素を斜め方向にずらすため、水平方向における画素中心（光感知部の中心のＸ座標）が、垂直方向に隣接する２つの画素の間で同じであっても良い。具体的には、連続して複数のフレームを撮像するとき、あるフレームの撮像を完了し、次のフレーム（現フレーム）の撮像を行う前に、画素を斜めにずらすことになる。現フレームの撮像を開始する前には、１フレーム前の画素を垂直方向に１画素分（１画素ピッチ）、水平方向にδｓだけずらす。
【０１０５】
１フレーム前の画像と現フレーム画像との減算結果を用い仮想的な画素からの信号を得るとともに、１フレーム前の画像から開口率が相対的に低い画素からの現実の信号を取得する。これらを用いて、高精細な画像を作る。ここで，光感知部１ａの水平方向の開口幅をＷ１ａ、光感知部１ｂの水平方向の開口幅をＷ１ｂとすると、δｓは式１６で表される。本実施形態の場合は、Ｗ１ａ：Ｗ１ｂ＝２：１であるので、δｓ＝Ｗ１ａ／４で、これは水平画素ピッチの１／４である。
［式１６］δｓ＝（Ｗ１ａ−Ｗ１ｂ）／２
【０１０６】
画素のずらし方について、図１３を参照しながら説明する。図１３（Ａ）は２次元状に配列された画素群におけるｎ行目前後の基本構成と画素の移動方向を示している。図１３（Ｂ）は、ｎ行目とｎ＋１行目について、移動前の画素に移動後の画素を重ね合わせた状態を示している。開口率が高い光感知部が開口率の低い画素を完全に覆っている。開口率が高い光感知部のうち、開口率が低い光感知部を覆っていない部分（非重複領域）は、各光感知部について１つのみである。この非重複領域が仮想画素の受光領域として機能する。この仮想画素の受光量は、開口率が異なる２つの光感知部からから得られる信号の差分に相当する。図１３（Ｃ）は、画素ずらしによる画素の移動前後の画素信号と、それらの差分から作り出した仮想画素の信号を示したものである。ここで、光感知部１ａ及び１ｂの画素信号は、画素移動前すなわち１フレーム前にｎ行目に存在していたならば、１ａ（ｎ）及び１ｂ（ｎ）と表現する。
【０１０７】
まず光感知部１ｂについて、垂直方向に１画素ピッチ分、水平方向に１／４画素ピッチ分移動させる。この水平方向の移動に関して、光感知部１ｂの水平幅が水平画素ピッチの１／２であるので、１／４画素ピッチ分移動させることは、図１３（Ｃ）（１）（２）に示すように従来の１／２ピッチ画素ずらしを移動と時間差で実現したに過ぎない。一方、光感知部１ａに関して、移動後の１ａ（ｎ）信号と移動前の１ｂ（ｎ＋１）信号の減算から、光感知部１ａと光感知部１ｂの開口差による仮想画素信号を作る（図１３（Ｃ）（３））。
【０１０８】
本実施形態の場合は、光感知部１ｂの水平幅と水平移動量の関係から、水平方向が１／２サイズの画素が仮想的に作られ、その仮想画素から信号が得られたことと等価である。また、移動前の１ａ（ｎ）信号と移動後の１ｂ（ｎ−１）信号の減算から、同様に光感知部１ａと光感知部１ｂの開口差による仮想画素信号を作る（図１３（Ｃ）（４））。
【０１０９】
結局、光感知部１ｂの画素ずらしに、光感知部１ａと光感知部１ｂの開口差による仮想画素の画素ずらしが加わる。その結果、１／２サイズ画素の１／２ピッチ画素ずらしが実現できることになり、水平解像度が４倍高められる。
【０１１０】
本実施形態では、開口率の低い画素と仮想画素の水平開口が同じであったが、異なる場合は、どちらか水平開口の大きい画素によって解像度は低下する。そのような場合は、両画素において水平開口の大きい画素の１／２開口分さらに水平移動させれば、その分画素ずらし効果が得られるので、解像度低下を防止できる。
【０１１１】
以上のように、本発明の実施形態４によると、開口率の異なる２種類の光感知部を有し、画素を斜めに移動させることにより画素の開口差による仮想画素をつくる。そしてその仮想画素と開口率の低い画素との信号から、高精細な画像信号が得られる。
【０１１２】
なお、本発明の実施形態４では、２種類の光感知部に関して開口率を１００％、５０％としたが、それらに限定されるものではなく、両光感知部に開口差があり、画素移動で１種類の仮想画素を作ることができれば問題ない。また、画素の開口差も水平方向のみとしたが、これに限定されるものではなく、垂直方向にも開口差を作り、当該方向にも画素を移動させて仮想画素を作ることができれば、同様に解像度を向上できる。
【０１１３】
（実施形態５）
次に、図１４を参照しながら、第５の実施形態を説明する。図１４（Ａ）は本発明の実施形態５における光感知部上に配設されたマイクロレンズアレイの一部を示す平面図である。このマイクロレンズアレイは、現実には、２次元的に配列された多数のマイクロレンズを有しているが、図１４（Ａ）に示す２行２列のマイクロレンズのセットを基本構成としている。また、図１４（Ｂ）は、図１４（Ａ）におけるＡＡ’線断面図である。１４図（Ｃ）は、図１４（Ａ）におけるＢＢ’線断面図である。図１４に示す４つのマイクロレンズのセットにおいて、集光率の相対的に高いマイクロレンズ２ａと、集光率の相対的に低いマイクロレンズ２ｂとが、垂直方向に隣接して配置されている。両マイクロレンズ２ａ、２ｂの右端が垂直方向の延びる同一直線上にある。マイクロレンズ２ａ、２ｂからの光を受けて電気信号に出力する光感知部１ｇは、水平垂直方向に規則的に配列している。
【０１１４】
本実施形態の場合、マイクロレンズ２ａは光感知部１ｇの開口中心上に位置しているが、マイクロレンズ２ｂは光感知部１ｇの開口中心から水平方向にずれている。しかしながら、そのずれはマイクロレンズ２ｂが光感知部１ｇに集光を全て投射できる範囲内にある。このような構造すなわちマイクロレンズの構造を部分的に変えることにより、撮像素子の各光感知部は同じ開口率でありながら、実質的に光感知部の開口差を作り出すことができる。光感知部であるフォトダイオードの構造を変えるより、このように撮像素子表面のマイクロレンズの形状を変える方が製造工程上容易である。なぜなら、フォトダイオードの開口部を作る際には表面上の凹凸が大きいが、マイクロレンズを作製する段階では表面が平坦になっているため、その形状を制御しやすいからである。その他、直接光感知部の開口を大きくすると、スミア等の撮像特性に悪影響を及ぼす可能性も有り得る。
【０１１５】
以上のように、本実施形態５によると、撮像素子表面に配設されているマイクロレンズの形状を変えることにより、光感知部の開口率を変えることができ、製造工程上あるいは撮像素子の特性上有利であるという効果がある。
【０１１６】
なお、実施形態５では、実施形態１の中で開口率の高い光感知部の領域右端と開口率の低い光感知部の領域右端とが水平方向に関して一致した場合に適用したが、これに限るものではなく、実施形態２〜４の場合でも、その他の場合でも光感知部の開口差を利用して高精細化を図る撮像素子には全て適用しても構わない。
【０１１７】
以上の実施形態１〜実施形態５では、撮像素子の光感知部は水平及び垂直方向に配列した前提で本発明を適用したが、これに限るものではなく、水平に対して４５度及び１３５度傾いた配列等斜め配列構造の素子にも適用できる。また、撮像素子の光感知部について、開口率の異なる２種類を取り上げて説明したが、これに限るものではなく、開口率が３種類以上であっても、開口差を作り仮想画素の信号が得られるならば、画像の高精細化は可能である。
【０１１８】
（実施形態６）
図１７は、本発明の実施形態６における２画像による画素ずらし型撮像装置の構成図である。
【０１１９】
本実施形態の画素ずらし型撮像装置は、第１の精細度で撮像を行う第１の撮像系と、第１の精細度よりも低い第２の精細度で撮像を行う第２の撮像系とを備えている。そして、第１の撮像系で得られた第１の画像と第２の撮像系で得られた第２の画像とを画素単位で対応付ける照合手段をと、光学的な結像に対して画素を相対的に移動させる画素ずらし手段とを更に備えている。
【０１２０】
以下、本実施形態の画素ずらし型撮像装置をより詳細に説明する。
【０１２１】
図１７の装置は、被写体からの光を２分割するビームスプリッター７と、分割された光を２つの固体撮像素子の撮像面に導くための反射鏡６、６１及び６２とを備えている。
【０１２２】
分割された２つの光路の各々を横切るように、光学特性が同一のレンズを２つ有する二眼レンズ５が配置されている。二眼レンズ５は、二眼レンズ５を水平方向に微動させる微動装置４に結合されている。
【０１２３】
撮像素子１１及び１２は、水平方向の画素数が異なる以外、垂直方向の画素数や受光エリア等全て撮像特性が同じである。この例では、撮像素子１１の水平方向の画素数は２Ｍ、垂直方向の画素数がＮである。一方、撮像素子１２の水平方向の画素数は３Ｍ、垂直方向の画素数がＮである（但し、Ｍ、Ｎは整数である）。
【０１２４】
本実施形態の撮像装置は、撮像素子１１及び撮像素子１２からの画像信号を受け、微動量を微動装置４に指示すると共に高精細な画像信号を生成する高精細信号発生装置３を備えている。
【０１２５】
図１８は撮像素子１１及び撮像素子１２における画素配列の１部を示した平面図である。図１８（Ａ）および（Ｂ）は、それぞれ、両撮像素子の水平方向における画素サイズを相対的に表している。図１８（Ａ）には、撮像素子１１の画素１１ａ、１１ｂが示されている。同図（Ｂ）には、撮像素子１２の画素１２ａ、１２ｂ、１２ｃが示されている。
【０１２６】
撮像素子１１の水平画素数は、撮像素子１２の水平画素数よりも少ない。しかし、撮像素子１１における各画素の水平方向の開口領域は広い。本実施形態では、撮像素子１１の水平画素数は２Ｍ（２００万）であるに対して、撮像素子１２の水平画素数は３Ｍ（３００万）であるある。一方、撮像素子１１における各画素１１ａ、１１ｂの開口率は撮像素子１２における各画素の開口率の１．５倍である。
【０１２７】
図１８（Ｃ）は、両撮像素子の画素の開口差を示している。領域１０１ａは画素１１ａと画素１２ａの開口差を示し、領域１０１ｂは画素１１ｂと画素１２ｃの開口差を示している。ここで、撮像素子１１と撮像素子１２が同じ被写体を同じ画角で撮像したとすると、画素１１ａの光電変換信号と画素１２ａの光電変換信号の差分信号は、領域１０１ａを仮想画素とした場合の光電変換信号と考えることができる。すなわち、領域１０１ａ、１０１ｂは仮想画素として機能する。
【０１２８】
次に本実施形態における２画像による画素ずらし型撮像装置の動作について説明する。
【０１２９】
図１７及び図１８の構成を有する撮像装置を用いて被写体を撮像すると、まず被写体からの光がビームスプリッター７で２分割される。一方の光は、反射鏡６１を介して、また他方の光は反射鏡６と６２を介して、二眼レンズ５に入射する。ここで、ビームスプリッター７から反射鏡６１を介して二眼レンズ５までの光路長とビームスプリッター７から反射鏡６、６２を介して二眼レンズ５までの光路長は同じになるよう各機器は配置設定されている。
【０１３０】
２つの被写体光はそれぞれ二眼レンズ５により撮像素子１１と撮像素子１２の受光面で結像し、両撮像素子によって光電変換される。
【０１３１】
なお、結像に対する両撮像素子の相対位置について、反射鏡６１あるいは６２の水平位置が微調整され、図１８で示すように撮像素子１１の２画素と撮像素子１２の３画素が水平位相差０になっている。
【０１３２】
撮像素子１１及び撮像素子１２からの画像信号は高精細信号発生装置１３に入力され、当該装置の中で撮像素子１１からの画像信号は画像メモリ１に、また撮像素子１２からの画像信号は画像メモリに蓄積される。
【０１３３】
高精細信号発生装置１３では、第１画像メモリの水平２画素信号の加算と、第２画像メモリの水平３画素信号の加算を行い、それら全てを用いて２つの画像の照合及びその他の信号処理を行う。その他の信号処理とは、微動装置４への微動指示処理、撮像素子１１、１２への撮像指示処理と高精細信号生成処理である。
【０１３４】
図１９（Ａ）は、第１画像メモリ３１における画素信号の配列状態を示している。一方、図１９（Ｂ）は、第２画像メモリ３２における画素信号の配列状態を示している。図２０は、２つの画像の照合処理及びその他の信号処理のフローチャートである。但し、画像メモリ１における水平２画素信号Ｇ１（２ｊ−１，ｉ）、Ｇ１（２ｊ，ｉ）の加算信号をＳＧ１（ｊ，ｉ）、画像メモリ２における水平３画素信号Ｇ２（３ｊ−２，ｉ）、Ｇ２（３ｊ−１，ｉ）、Ｇ２（３ｊ，ｉ）の加算信号をＳＧ２（ｊ，ｉ）とする。
【０１３５】
図２０に示すフローチャートにおいて、２つの画像の水平方向のずれ量をｄＸ、垂直方向のずれ量をｄＹとする。処理スタート時は、ｄＸ＝０、ｄＹ＝０として（Ｓ１）、ｉ＝ｉ＋ｄＹ、ｊ＝ｊ＋ｄＸとする（Ｓ２）。
【０１３６】
次に、加算信号ＳＧ１（ｊ，ｉ）、ＳＧ２（ｊ，ｉ）の差分をとり、その全データ分の加算結果を予め設定した値Ｚｔｈと比較判定する（Ｓ３）。比較判定結果が肯定（Ｙｅｓ）されたなら、仮想画素１０１ａの信号ＶＧ１（ｊ，ｉ）を式６、仮想画素１０１ｂの信号ＶＧ２（ｊ，ｉ）を式７により算出する。
【０１３７】
その後、以下の５つの水平画素ずらし処理を行いながら、次々と仮想画素の信号を作る（Ｓ４）。この作り出された仮想画素の信号は、水平方向の開口（δ）が狭く、その１／２ピッチと３／２ピッチで画素ずらしを行っているので、高精細信号となる（Ｓ５）。この動作を図２１に示す。この画素ずらしの状況は仮想画素が密に水平方向に配列され、さらに１／２ピッチで画素ずらしを行うことと等価である。
［式６］ＶＧ１（ｊ，ｉ）＝Ｇ１（２ｊ−１，ｉ）−Ｇ２（３ｊ−２，ｉ）
［式７］ＶＧ２（ｊ，ｉ）＝Ｇ１（２ｊ，ｉ）−Ｇ２（３ｊ，ｉ）
・水平画素ずらし処理１：［１］微動装置４に対して水平方向にδ／２移動指令
［２］撮像素子１１、１２から画像信号受信
［３］仮想画素１０２ａ、１０２ｂの信号作成
・水平画素ずらし処理２：［４］微動装置４に対して水平方向に３δ／２移動指令
［５］撮像素子１１、１２から画像信号受信
［６］仮想画素１０３ａ、１０３ｂの信号作成
・水平画素ずらし処理３：［７］微動装置４に対して水平方向にδ／２移動指令
［８］撮像素子１１、１２から画像信号受信
［９］仮想画素１０４ａ、１０４ｂの信号作成
・水平画素ずらし処理４：［１０］微動装置４に対して水平方向に３δ／２移動指令
［１１］撮像素子１１、１２から画像信号受信
［１２］仮想画素１０５ａ、１０５ｂの信号作成
・水平画素ずらし処理５：［１３］微動装置４に対して水平方向にδ／２移動指令
［１４］撮像素子１１、１２から画像信号受信
［１５］仮想画素１０６ａ、１０６ｂの信号作成
【０１３８】
もし比較判定結果が否定されたなら、このことは２つの画像配置が合っていないことを意味するので、画像メモリ１のデータに対して、ｄＸ、ｄＹを１増加あるいは１減少させて（Ｓ６）、上記処理を繰り返す。ここでは画像メモリ１を対象としたが、画像メモリ２を対象としても問題ない。
【０１３９】
本実施形態の場合、水平方向における撮像素子１１と撮像素子１２の画素数が２：３であるので、撮像素子１１と比較すると開口１／３の仮想画素が作られることになる。その仮想画素を水平方向に密に配列したとすると、撮像素子１１に対しては３倍、撮像素子１２に対しては２倍解像度が向上することになる。さらに１／２ピッチ画素ずらしを行うことと等価であるので、その２倍解像度が向上する。結局、撮像素子１１のみを利用した場合と比べて６倍、また撮像素子１２のみを利用した場合と比べて４倍解像度が向上することになる。
【０１４０】
以上のように本発明の実施形態６によると、撮像精細度が異なる少なくとも２種類の撮像系で撮像する装置であって、水平方向において２つの撮像系の精細度が２：３であれば、仮想画素の水平画素ピッチの１／２と３／２で画素ずらしを行うことにより４倍〜６倍解像度が向上し、従来技術にない効果がある。すなわち、僅かな開口差から発生する仮想画素が大きな解像度向上を実現できる。
【０１４１】
なお、本実施形態では、条件を以下としたが、それらに限定されるものではない。
（１）撮像素子の水平解像度のみ異なる撮像系としたが、垂直解像度が異なるものでも構わない。
（２）撮像素子の水平解像度のみ異なる撮像系としたが、水平及び垂直解像度が異なるものでも、斜め方向に仮想画素の１／２、３／２ピッチで画素ずらしを行えば、開口差の効果はある。
（３）撮像素子の解像度が異なる撮像系としたが、光学系の分解能が異なるものでも構わない。
（４）２つの撮像系の精細度を２：３としたが、その他の整数比ｎ：ｍでも構わない。特にｎ、ｍの値が大きく、それらの差が小さければ、大きな解像度が得られる。
（５）撮像系を２つとしたが、精細度が異なれば３つ以上でも構わない。
【０１４２】
なお、立体画像の撮像を行うために、２つ以上の撮像系を備えるカメラの開発が行われている。このようなカメラを本発明に適用することは容易である。
【産業上の利用可能性】
【０１４３】
本発明にかかる固体撮像装置は、固体撮像素子を用いた民生用カメラ、所謂、デジタルカメラ、デジタルムービーや放送用の固体カメラ、夜間監視を含めた産業用の固体監視カメラ等、全てのカメラに有効である。
【符号の説明】
【０１４４】
１      単位画素領域
１ａ    開口部の広い光感知部（フォトダイオード）
１ｂ    開口部の狭い光感知部
１ｃ    光感知部
１ｃ，１ｄ，１ｅ，１ｆ    仮想の開口部
２ａ    集光率の高いマイクロレンズ
２ｂ    集光率の低いマイクロレンズ
１１    撮像素子
１１ａ、１１ａ  画素
１１ｂ  画素
１２    撮像素子
１２ａ、１２ｂ、１２ｃ  画素
【図１】
2010038378.tif 000003
【図２】
2010038378.tif 000004
【図３】
2010038378.tif 000005
【図４】
2010038378.tif 000006
【図５】
2010038378.tif 000007
【図６】
2010038378.tif 000008
【図７】
2010038378.tif 000009
【図８】
2010038378.tif 000010
【図９】
2010038378.tif 000011
【図１０】
2010038378.tif 000012
【図１１】
2010038378.tif 000013
【図１２】
2010038378.tif 000014
【図１３】
2010038378.tif 000015
【図１４】
2010038378.tif 000016
【図１５】
2010038378.tif 000017
【図１６】
2010038378.tif 000018
【図１７】
2010038378.tif 000019
【図１８】
2010038378.tif 000020
【図１９】
2010038378.tif 000021
【図２０】
2010038378.tif 000022
【図２１】
2010038378.tif 000023
【手続補正書】
【提出日】平成22年1月13日(2010.1.13)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像素子の画素位置をずらし、撮像画像の解像度を向上させる、所謂、画素ずらし技術に関するものである。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の撮像素子を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、高度な微細化が進み、高集積化が図られ、撮像素子としても１００万画素から１０００万画素へと多画素化が図られている。ただその一方で、多画素撮像素子の製造プロセスでは、画素密度が高くなる程、製造工程が複雑になり、また画質検査時間も長くなり、その結果歩留りや生産性にも影響が出ている。
【０００３】
画像の高解像度化には、このような多画素化による方法以外に、撮像素子の画素をずらすという、所謂、画素ずらし技術による方法もある。画素ずらし技術には、大きく分けて２種類の技術がある。第１の画素ずらし技術は、固体撮像素子の撮像面内において周期的配列された複数の画素に対して他の画素をずらして配置する画像空間的位置ずれの画素ずらしである。第２の画素ずらし技術は、２次元正方配列の固体撮像素子及び光学系の少なくとも一方を機械的に微動させる動的な画素ずらしである。
【０００４】
第１の画素ずらし技術の基本原理の１例が特許文献１の中で記されている。特許文献１では、第１の画素ずらし技術が撮像素子を３つ用いた３板式のカラーカメラに適用されている。このカラーカメラは、人間の視感度の高い緑（Ｇ）の撮像素子の画素を１行おきに１／２ピッチ水平方向にずらした構成を採用することにより、水平方向の解像度を高めている。
【０００５】
水平方向だけでなく垂直方向にも画素をずらせた１例が、特許文献２の中で示されている。特許文献２のＣＣＤ撮像素子では、画素に相当する光感知部の形状をひし形にして、蛇行状に配置している。各画素を水平方向にも垂直方向にも画素の１／２ピッチ分ずらして配列することにより、水平及び垂直方向における解像度を高めている。
【０００６】
動的な画素ずらしの技術については、撮像素子に対して光学系を機械的に微動させる例が、特許文献３に記されている。特許文献３では、撮像素子とレンズとの間に透光性の平行平板を設置している。光軸に対して平行平板を振らせることにより、撮像素子に結像した光学像を微動させ、微動方向の解像度を向上させている。光学系は動かさず、撮像素子そのものを微動させ、解像度を向上させた例が特許文献４に記されている。この場合、微動手段として圧電素子を用い、微動量は画素の１／２ピッチとして、解像度を向上させている。
【０００７】
以上のように、従来の画素ずらし技術は、画素の配置あるいは機械的に撮像素子を微動させ、水平方向あるいは水平及び垂直の両方向に画素を１／２ピッチずらして解像度を向上させている。原理的には、光感知部の開口率が１００％であれば、画素を１／２ピッチずらせることにより、解像度は２倍向上する。
【０００８】
このことを図１５と式を使って以下に説明する。図１５は画像の１次元方向（Ｘ）の座標と輝度値ｆ（Ｘ）の関係を表した曲線と、その輝度値をサンプリングするための矩形波パルス波形とを示すグラフである。グラフの横軸Ｘおよびｔは、いずれも、ある基準点（例えば撮像面の中心）からの水平方向の距離である。図１５の例では、輝度値ｆ（Ｘ）は、Ｘの増加に応じて正弦波状に増減している。
【０００９】
１つのサンプリングパルスが１つの光感知部に対応する。図１５では、２個のサンプリングパルスが示されているが、現実には、多数のサンプリングばパルスが存在している。ここで、撮像面に形成される画像の輝度値は、Ｘ方向に正弦波状に変化しているため、輝度値ｆ（Ｘ）は、振幅Ａ、周波数ω、位相０を用いると、式１で表される。サンプリングパルスは、波高が１、周波数ωｓ、周期（幅）Ｔで表される。
［式１］ｆ（Ｘ）＝ＡｃｏｓωＸ
【００１０】
開口率１００％の光感知部１つの受光量はサンプリングパルスの１周期分の積分量になるので、ｎ番目の画素の受光量Ｐ（ｎ）は式２で表される。式２の計算結果を１周期Ｔで割り、時間平均で表すと式３が得られる。但し、式３において、Ｂ＝２Ａ／ωＴである。さらに、式３は、Ｔωｓ＝２πの関係から、式４で表される。
［式２］Ｐ（ｎ）＝∫Ａｃｏｓωｔｄｔ  ［ｔ＝−Ｔ／２＋ｎＴ〜Ｔ／２＋ｎＴ］
［式３］Ｐ（ｎ）＝Ｂｓｉｎ（ωＴ／２）ｃｏｓ（ωｎＴ）
［式４］Ｐ（ｎ）＝Ｂｓｉｎ（πω／ωｓ）ｃｏｓ（２πｎω／ωｓ）
【００１１】
式４でｎ＝０、１、２、・・・と変化させると、ｎ番目の画素の信号量がわかる。その信号量が保証されるのは、サンプリング定理により、ω／ωｓ≦１／２の場合である。ω／ωｓ＞１／２では、隣接画素との信号差が小さくなる。ω／ωｓの値が１に近づくと、ｎ番目の画素と（ｎ＋１）番目の画素の信号は、ほぼ同相になるため、その差はほとんど無くなる。
【００１２】
画素を１／２ピッチずらすと、ｎ＝ｎ＋１／２となり、これを式４に代入すると、画素ずらし後の受光量は式５で表現できる。すなわち、ω／ωｓの値が１に近づいても、式４では得られなかった位相がπずれた画像情報を得ることができる。もちろん、ω／ωｓ＝１では、Ｂｓｉｎ（πω／ωｓ）＝０となるため、その場合の解像力はないが、ω／ωｓの値が１付近までは、解像できる。結局、画素ずらしにより、解像度を２倍近くまで向上させることができると言える。
［式５］Ｐ（ｎ＋１／２）＝Ｂｓｉｎ（πω／ωｓ）ｃｏｓ（π（２ｎ＋１）ω／ωｓ）
【００１３】
以上のことをさらに確認するために、光感知部の開口率が１００％で、画素を１／２ピッチ、１／３ピッチ、１／４ピッチずつずらし、クサビ型の解像度パターンを撮像したシミュレーション結果を図１６に示す。
【００１４】
このシミュレーションは、画素をずらさない場合の水平方向の限界解像度を２００本に設定し撮像したものである。図１６において、（Ａ）は画素を１／２ピッチずらせた結果の画像で、（Ｂ）は画素を１／３ピッチずらせた結果の画像で、（Ｃ）は画素を１／４ピッチずらせた結果の画像である。但し、同図において、（Ａ）と（Ｂ）は（Ｃ）の画像サイズに合わせるため、それぞれ水平及び垂直方向に２倍、４／３倍拡大している。これらの結果から、いずれの場合も解像度は４００本弱で限界解像度２００本の約２近くまで解像度が向上されることがわかる。
【００１５】
このように画素ずらし技術により、解像度は向上できるが、開口率が１００％である限り、画素ずらしピッチを変えても、解像度を２倍以上向上させることはできない。もちろん開口率が高い程、受光感度は高くなる。そのため、近年では撮像素子の各画素上にマイクロレンズを配設し、開口率を１００％近くまで上げている。しかし、解像度向上の点では、大きな画質改善は望めない。
【００１６】
このような状況の中、さらに解像度を向上させる技術が特許文献５に記されている。この技術では、撮像面内において、水平方向、垂直方向に画素の１／２ピッチずらせた画素配置構成を採用している。さらに画素間の中心位置に開口率が微小な開口部を設け、当該部分からも光電変換信号を得ることにより、さらに解像度を向上させている。
【００１７】
この技術では、従来の画素ずらし技術を導入した上で、さらに各画素間に微小な開口部を構造的な工夫を行うことにより配設している。その結果、画素と画素の間の画像情報が得られ、その分、解像度を向上させることができる。また、この技術は解像度向上以外にも、微小な開口部と通常の開口部を有する光感知部により、撮像する被写体の輝度の範囲を広げられるという所謂ダイナミックレンジも向上させている。
【００１８】
開口率が異なる光感知部を有する構成は、特許文献６や特許文献７にも示されている。これらの従来技術によれば、明るいシーンでは開口率が低い光感知部からの信号を用い、また暗いシーンでは開口率が高い光感知部からの信号を用いて画像を再生し、それによって撮像条件の幅を広げている。すなわち、特許文献６，７に開示されている技術は、本質的にはダイナミックレンジを向上させるものであり、積極的に解像度を向上させるものではない。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開昭５８−１３７２４７号公報
【特許文献２】特開昭６０−１８７１８７号公報
【特許文献３】特開昭６３−２８４９７９号公報
【特許文献４】特開昭６４−６９１６０号公報
【特許文献５】特開２００４−７９７４７号公報（特許第４１２５９２７号）
【特許文献６】特開平４−２９８１７５号公報
【特許文献７】特開２００６−１７４４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
従来の画素ずらし技術によれば、解像度を約２倍向上させることができるが、それ以上の増加は望めない。さらに解像度を向上させるには、微小開口部であっても画素数を増やさなければならなかった。
【００２１】
そこで、本発明は従来の画素ずらし技術では実現できなかった解像度を、２倍を超える値に向上させる画素ずらし技術を提供することを目的とする。
【課題を解決するための手段】
【００２２】
本発明の画素ずらし型撮像装置は、固体撮像素子と、前記固体撮像素子の撮像面に像を形成する光学系と、前記撮像面上における前記像の位置をシフトさせる画素ずらし部と、前記固体撮像素子から出力される電気信号を処理する映像信号処理部とを備える画素ずらし型撮像装置であって、前記固体撮像素子は、前記撮像面上において、第１方向に沿って第１画素ピッチで配列され、かつ、前記第１方向と交差する第２方向に沿って第２画素ピッチで配列された複数の単位画素領域を有しており、前記第１方向に隣接する２つの単位画素領域の一方は第１の開口率を有する第１の光感知部を有し、前記２つの単位画素領域の他方は前記第１の開口率よりも低い第２の開口率を有する第２の光感知部を有し、前記第１の光感知部は、前記第１の光感知部に入射した光の量に応じた第１の画素信号を出力し、前記第２の光感知部は、前記第２の光感知部に入射した光の量に応じた第２の画素信号を出力し、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけ仮想的に移動させると、前記第１の光感知部は前記第２の光感知部の全体を覆い、前記仮想的に移動した第１の光感知部のうちで前記第２の光感知部を覆っていない部分が仮想的な第３の光感知部として機能し、前記映像信号処理部は、前記第１の画素信号と前記第２の画素信号との差分から、前記仮想的な第３の光感知部に入射した光の量に応じた仮想的な画素信号を得る。
【００２３】
好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心から前記第２方向に距離δだけずれている。
【００２４】
好ましい実施形態において、前記第１の方向に平行な前記第２の光感知部の２つのエッジの一方は、前記第１の方向に平行な前記第１の光感知部の２つのエッジを前記第１の方向に延長した直線の一方に接している。
【００２５】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記距離δの半分以上の距離だけシフトさせる。
【００２６】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記第２画素ピッチの半分以下の距離だけシフトさせる。
【００２７】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記第２光感知部の幅の半分以下の距離だけシフトさせる。
【００２８】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に、前記第１画素ピッチの半分シフトさせる。
【００２９】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に、前記第１画素ピッチだけシフトさせること、及び前記第１画素ピッチの半分だけシフトさせることを交互に実行する。
【００３０】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向及び前記第２方向の両方に対して斜めの方向にシフトさせる。
【００３１】
好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心から前記第２方向にδＸだけずれ、かつ前記第１方向にδＹだけずれている。
【００３２】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に前記距離δＹの半分以上かつ前記第１画素ピッチの半分以下の距離Ｙ１だけシフトさせ、かつ、前記第２方向に前記距離δＸの半分以上かつ前記第２画素ピッチの半分以下の距離Ｘ１だけシフトさせる。
【００３３】
好ましい実施形態において、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に前記距離Ｙ１プラス前記第１画素ピッチだけシフトさせ、かつ、前記第２方向に、前記距離Ｘ１プラス前記第２画素ピッチだけシフトさせる。
【００３４】
好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心が前記シフトした第１の光感知部の中心と一致するように前記第１の光感知部及び前記第２の光感知部が配置されており、前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向及び前記第２方向の両方に対して斜めの第３方向にシフトさせ、前記画素ずらし部による前記第３方向のシフトにより、前記第１の光感知部は前記第２の光感知部の全体を覆い、かつ、前記第１の光感知部のうちで前記第２の光感知部を覆わない部分が１つの領域だけ形成され、前記領域が仮想画素として機能し、前記映像信号処理部は、前記画素ずらし部による前記シフトの前後に得られる前記前記第１の画素信号及び前記第２の画素信号の差分と、前記第２の画素信号とに基づいて高精細信号を生成する。
【００３５】
好ましい実施形態において、前記第１の光感知部の前記第２方向における幅をＷ１ａ、前記第２の光感知部の前記第２方向における幅をＷ１ｂとするとき、前記画素ずらし部による前記第３方向のシフトは、前記撮像面における前記像の位置を、前記第１方向に移動させるとともに、前記第２方向にも（Ｗ１ａ−Ｗ１ｂ）／２によって規定される距離だけ移動させる。
【００３６】
好ましい実施形態において、前記第１の光感知部の前記第１方向における長さをＴ１ａ、前記第２の光感知部の前記第１方向における長さをＴ１ｂとするとき、前記画素ずらし部による前記第３方向のシフトは、前記撮像面における前記像の位置を、前記第１方向に、（Ｔ１ａ−Ｔ１ｂ）／２によって規定される距離だけ移動させるとともに、前記第１方向にも移動させる。
【００３７】
好ましい実施形態において、前記第１の光感知部の前記第２方向における幅をＷ１ａ、前記第２の光感知部の前記第２方向における幅をＷ１ｂとするとき（Ｗ１ａ＞Ｗ１ｂ）、Ｗ１ｂがＷ１ａ／２に一致しない場合、前記画素ずらし部は、前記第３方向のシフトとは別に、前記撮像面上における前記像の位置を前記第２方向にＷ１ａ／２だけシフトさせる。
【００３８】
好ましい実施形態において、前記画素ずらし部は、前記第３方向のシフトを周期的に繰り返す。
【００３９】
好ましい実施形態において、前記固体撮像素子は、前記第１光感知部及び前記第２光感知部の開口率及び位置を調節するマイクロレンズのアレイを有している。
【００４０】
本発明の固体撮像素子は、撮像面上において、第１方向に沿って第１画素ピッチで配列され、かつ、前記第１方向と交差する第２方向に沿って第２画素ピッチで配列された複数の単位画素領域を有する固体撮像素子であって、前記第１方向に隣接する２つの単位画素領域の一方は第１の開口率を有する第１の光感知部を有し、前記２つの単位画素領域の他方は前記第１の開口率よりも低い第２の開口率を有する第２の光感知部を有し、前記第１の光感知部は、前記第１の光感知部に入射した光の量に応じた第１の画素信号を出力し、前記第２の光感知部は、前記第２の光感知部に入射した光の量に応じた第２の画素信号を出力し、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけ仮想的に移動させると、前記第１の光感知部は前記第２の光感知部の全体を覆う。
【００４１】
好ましい実施形態において、前記第１方向に前記第１画素ピッチだけ仮想的に移動した前記第１の光感知部のうちで前記第２の光感知部を覆っていない部分が仮想的な第３の光感知部として機能し、前記第１の画素信号と前記第２の画素信号との差分から、前記仮想的な第３の光感知部に入射した光の量に応じた仮想的な画素信号が得られる。
【００４２】
好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記シフトした第１の光感知部の中心と前記第２の光感知部の中心とが一致しないように前記第１の光感知部及び第２の光感知部の位置が決められている。
【００４３】
好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心に対して前記第２方向に距離δだけずれている。
【００４４】
好ましい実施形態において、前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記シフトした第１の光感知部の中心と前記第２の光感知部の中心とを結ぶ直線は、前記第１方向に対して平行ではない。
【００４５】
本発明の画素ずらし型撮像装置は、被写体からの光を第１の光路及び第２の光路を含む少なくとも２つの光路に分岐するスプリッタと、前記第１の光路を通る光により、第１の精細度で撮像を行う第１の固体撮像素子と、前記第２の光路を通る光により、前記第１の精細度よりも高い第２の精細度で撮像を行う第２の固体撮像素子と、前記第１の固体撮像素子で得られた第１の画像と前記第２の固体撮像素子で得られた第２の画像とを画素単位で対応付ける照合手段と、前記各固体撮像素子の撮像面上における像の位置をシフトさせる画素ずらし部と、前記照合手段によって対応付けられた画素間の開口差による画素領域を仮想画素とし、前記画素ずらし部による前記仮想画素の移動量が前記仮想画素の１／２ピッチあるいは３／２ピッチを含んでいる。
【００４６】
好ましい実施形態において、前記第１の撮像素子は、第１の密度で配列された画素を有し、前記第２の撮像素子は、前記第１の密度よりも高い第２の密度で配列された画素を有する。
【００４７】
好ましい実施形態において、第１の倍率を有する第１の光学系を前記第１の光路に有し、前記第１の倍率よりも小さな倍率を有する第２の光学系を前記第２の光路に有する。
【００４８】
好ましい実施形態において、前記第１の精細度：前記第２の精細度は、ｎ：ｍ（ｎ、ｍは、互いに異なる正の整数、ｎ＜ｍ）である。
【００４９】
好ましい実施形態において、前記仮想画素の移動量は、移動方向において、前記仮想画素のピッチの１／２倍である。
【００５０】
好ましい実施形態において、前記仮想画素の移動量は、移動方向において、前記仮想画素のピッチの１／２倍、または１／２倍及び３／２倍である。
【発明の効果】
【００５１】
本発明の画素ずらし型撮像装置によれば、開口率が異なる少なくとも２種類の光感知部を有し、それらの開口差から前記光感知部より開口の小さい仮想の光感知部を作る。そして、前記仮想の光感知部を微動させることにより、当該微動方向の高精細信号を得ることが可能となる。
【図面の簡単な説明】
【００５２】
【図１】本発明による画素ずらしがた撮像装置の基本的な構成例を示す図
【図２】固体撮像素子の撮像面を示す斜視図
【図３】固体撮像素子の撮像面の一部を示す拡大図
【図４】本発明の実施形態１における撮像素子光感知部の２行２列の基本配置を示した平面図
【図５】（Ａ）〜（Ｃ）は、本発明の実施形態１におけるクサビ型解像度パターンを撮像した場合の解像度結果を示した図
【図６】本発明の実施形態２における撮像素子光感知部の２行２列の基本配置を示した平面図
【図７】（Ａ）〜（Ｆ）は、本発明の実施形態２におけるクサビ型解像度パターンを撮像した場合の解像度結果を示した図
【図８】本発明の実施形態３における撮像素子光感知部の２行２列の基本配置を示した平面図
【図９】本発明の実施形態３において、光感知部１ａと１ｂとの位置差が最大になった場合の撮像素子光感知部の基本配置を示した平面図
【図１０】（Ａ）〜（Ｆ）は、本発明の実施形態２におけるクサビ型解像度パターンを撮像した場合の解像度結果を示した図
【図１１】本発明の実施形態３において、光感知部１ａと１ｂを２次元的に交互に配列させた場合の撮像素子光感知部の基本配置を示した平面図
【図１２】本発明の実施形態４における撮像素子光感知部の２行２列の基本配置を示した平面図
【図１３】（Ａ）は、本発明の実施形態４において、配列画素のｎ行目前後の基本構成と画素の移動方向を示した平面図、（Ｂ）は本発明の実施形態４において、ｎ行目画素とｎ＋１行目画素に関して移動前の画素に移動後の画素を重ね合わせた状態を示す平面図、（Ｃ）は本発明の実施形態４において、移動前後の画素信号とそれらの差分から作り出した仮想画素の信号を示したタイミング図
【図１４】（Ａ）は本発明の実施形態５における光感知部上に配設されたマイクロレンズの配置関係を示す平面図、（Ｂ）は図１４（Ａ）におけるＡＡ’断面図、（Ｃ）は図１４（Ｂ）におけるＢＢ’断面図
【図１５】画像の１次元方向（Ｘ）の座標と輝度値ｆ（Ｘ）の関係を表したグラフとその輝度値をサンプリングするための矩形波のパルスを重ねて合わせた図
【図１６】（Ａ）〜（Ｃ）は、光感知部の開口率が１００％で、画素を１／２ピッチ、１／３ピッチ、１／４ピッチずつずらし、クサビ型の解像度パターンを撮像した解像度シミュレーション結果を示した図
【図１７】本発明の実施形態６の基本構成を示す図
【図１８】本発明の実施形態６について、撮像素子１１及び撮像素子１２における画素配列の１部を示した平面図
【図１９】（Ａ）は、第１画像メモリ３１における画素信号の配列状態を示す図、（Ｂ）は、第２画像メモリ３２における画素信号の配列状態を示す図
【図２０】２つの画像の照合処理及びその他の信号処理のフローチャー
【図２１】本発明の実施形態６における画素ずらしを示す図
【発明を実施するための形態】
【００５３】
本発明による画素ずらし型撮像装置は、図１に例示するように、固体撮像素子６０と、固体撮像素子６０の撮像面に像を形成する光学系（レンズ５０）と、撮像面上における前記像の位置をシフトさせる画素ずらし部５２と、固体撮像素子６０から出力される電気信号を処理する映像信号処理部７０とを備えている。
【００５４】
画素ずらし部５２は、例えば、厚さが面内方向に変化する透明ガラス板を備え、この透明ガラスを撮像面に平行な方向（例えば水平方向）に微動させる構成を有している。図１の例では、画素ずらし部５２と固体撮像素子６０との間に例えば水晶板からなる光学的ローパスフィルタ５４が配置されている。信号受信部６４及び映像信号処理部７０の構成と働きについては、後述する。
【００５５】
本発明において最も特徴的な構成要素は、固体撮像素子６０である。以下、図２、図３を参照しながら、本発明における固体撮像素子６０の基本的な構成を説明する。図２は、レンズ５０によって固体撮像素子６０の撮像面６１に像が形成される要素を模式的に示す斜視図である。撮像面６１上の位置を交差するＸ軸及びＹ軸の座標によって表現することができる。
【００５６】
固体撮像素子６０は、図３に示すように、撮像面６１上に配列された複数の単位画素領域１を有している。単位画素領域１は、図２のＹ軸方向（第１方向）に沿って第１画素ピッチで配列され、かつ、第１方向と交差するＸ軸方向（第２方向）に沿って第２画素ピッチで配列されている。
【００５７】
ここで、多数の単位画素領域１のうちで、垂直方向（Ｙ軸方向）に隣接する２つの単位画素領域１に着目する。図３の右側に示すように、２つの単位画素領域１の一方は、第１の開口率を有する第１の光感知部１ａを有している。また、２つの単位画素領域１の他方は、第１の開口率よりも低い第２の開口率を有する第２の光感知部１ｂを有している。光感知部１ａ、１ｂは、フォトダイオードから構成されている。
【００５８】
第１の光感知部１ａは、第１の光感知部１ａに入射した光の量に応じた第１の画素信号を出力し、第２の光感知部１ｂは、第２の光感知部１ｂに入射した光の量に応じた第２の画素信号を出力する。均一な強さの光が複数の単位画素領域１に入射している場合、第１の光感知部１ａが出力する第１の画素信号は、第２の光感知部１ｂが出力する第２の画素信号よりも振幅が大きくなる。これは、第１の光感知部１ａの開口率が第２の光感知部１ｂの開口率よりも大きいためである。
【００５９】
本明細書において開口率は、１つの単位画素領域１の面積に対する１つの光感知部１ａ、１ｂの面積の比率である。光感知部上にマイクロレンズ（不図示）を設けることにより、その光感知部の開口率を１００％にすることも可能である。
【００６０】
本発明では、図３に示すように、第１の光感知部１ａを垂直方向に第１画素ピッチだけ仮想的に移動させると、第１の光感知部１ａは第２の光感知部１ｂの全体を覆うように、光感知部１ａ、１ｂのレイアウトが設計されている。
【００６１】
以下、図面を参照しながら本発明の実施形態を説明する。全ての図にわたって共通する要素には同一の符号を付している。
【００６２】
（実施形態１）
図４は本発明の実施形態１における撮像素子の光感知部の基本配置を示した平面図である。図４では、隣接する４つの単位画素領域のみが示されているが、現実の撮像素子の撮像面には、多数の単位画素領域が配列されている。本実施形態及び後述すの各実施形態では、２行２列の光感知部を基本構成とする多数の光感知部が２次元状に配列されている。言い換えると、現実の撮像面では、図４に示す４つの光感知部の組（画素基本セット）が水平方向及び垂直方向に周期的に配列されている。なお、図４の水平方向は、図２、図３のＸ軸方向に相当し、図４の垂直方向は、図２、図３のＹ軸方向に相当する。
【００６３】
図４において、垂直方向に隣接する２つの単位画素領域の中心間距離は、垂直方向の画素ピッチ（第１の画素ピッチ）である。また、水平方向に隣接する２つの単位画素領域の中心間距離は、垂直方向の画素ピッチ（第２の画素ピッチ）である。このことは、他の実施形態についても成立する。
【００６４】
本実施形態では、図４に示すように、開口率が相対的に高い光感知部（開口率１００％）１ａが画素基本セット内の１行１列目と１行２列目の単位画素領域内に配置されている。開口率が相対的に低い光感知部１ｂは、水平方向に開口が狭く、画素基本セット内の２行１列目と２行２列目の単位画素領域内に配置されている。また、光感知部１ａと光感知部１ｂの位置関係は、水平方向に関して光感知部１ｂの中心が光感知部１ａの中心よりδＸずれている。言い換えると、光感知部１ａを垂直方向に１画素ピッチだけシフトさせたとき、シフトした光感知部１ａの中心と光感知部１ｂの中心とは一致せず、水平方向にδＸだけずれている。
【００６５】
本発明は、画素の光感知部の開口率差を利用し、解像度を改善する。通常、開口率を下げて細かく画素をずらせば、解像度は向上するが、開口率が下がった分感度が低下する。そこで、本発明は１部の光感知部の開口率のみを下げる。そして、その他の光感知部との差により、開口率の低い仮想の光感知部を作り、その仮想の光感知部をずらすことにより、解像度を向上させる。
【００６６】
ここで、開口部のサイズがＸ方向に１／ｍとなった光感知部の画素ずらしの場合について、図１５を参考に説明しておく。ここで、ｍは１を超える数値であるとする。この場合、その光感知部の開口率は１／ｍに減少する。このような光感知部による受光量を得るには、式２において、積分区間の範囲を、ｔ＝−Ｔ／２ｍ＋ｎＴ〜Ｔ／２ｍ＋ｎＴにすればよい。ここで、Ｔは単位画素領域１のＸ方向サイズ（幅）であり、図１５に示すパルスの幅に相当する。
【００６７】
Ｔωｓ＝２πの関係を用いると、ｎ番目の画素の受光量Ｐ（ｎ）は、式６で表される。周波数ωのｍ倍の高調波をｍωとして、式６においてωにｍωを代入すると、式７が得られる。この場合は、ｎをｎ（１＋ｋ／２ｍ）に変え、式７に代入することにより、式８が得られる。但し、ｋは整数でｋ＝１〜２ｍ−１である。すなわち、１／２ｍピッチずつずらせることにより、位相がπ程ずれた情報も得られるため、解像度が２ｍ倍向上する。
［式６］Ｐ（ｎ）＝Ｂｓｉｎ（π（ω／ｍ）／ωｓ）ｃｏｓ（２πｎω／ωｓ）
［式７］Ｐ（ｎ）＝Ｂｓｉｎ（πω／ωｓ）ｃｏｓ（２πｎｍω／ωｓ）
［式８］Ｐ（ｎ＋ｋ／２ｍ）＝Ｂｓｉｎ（πω／ωｓ）ｃｏｓ（２πｍｎ（１＋ｋ／２ｍ）ω／ωｓ）
【００６８】
次に、本発明の実施形態１における光感知部１ｂの受光量を求める。開口率１００％の光感知部１ａについて、ｎ番目の画素の受光量Ｐ（ｎ）は式３で表される。一方、光感知部１ｂについては、水平方向の幅が狭いため、それに相当する積分区間の幅をＴｂとする。また、単位画素領域の中心からの、光感知部１ｂの中心のずれ量をδとする。この場合、光感知部１ｂの受光量Ｐ（ｎ）は、式９で表される。
［式９］Ｐ（ｎ）＝Ｂｓｉｎ（ωＴｂ／２）ｃｏｓ（ω（ｎＴ−δ））
【００６９】
本実施形態は、垂直方向に配列されている光感知部１ａと光感知部１ｂとの間の開口差により、水平方向の解像度を向上させることができる。本実施形態に特徴的な点は、光感知部１ａの開口中心と光感知部１ｂの開口中心とが垂直方向に延びる同一の直線上にない点にある。光感知部１ａと光感知部１ｂの差分から作られる仮想開口部１ｃと仮想開口部１ｄの受光量の合計が、仮想画素の信号となり、式１０で表される。
［式１０］Ｐ（ｎ）＝Ｂ（ｓｉｎ（ωＴ／２）ｃｏｓ（ωｎＴ）−ｓｉｎ（ωＴｂ／２）ｃｏｓ（ω（ｎＴ−δ）））
【００７０】
式１０はさらに式１１に変形され、式１１において右辺の第１項と第２項、第３項と第４項を式１２、式１３の形でまとめると、式１１は式１４で表現される。
［式１１］Ｐ（ｎ）＝Ｂ[ｓｉｎ（ωＴ／２）ｃｏｓ（ωｎＴ）−ｓｉｎ（ωＴｂ／２）ｃｏｓ（ωｎＴ）
＋ｓｉｎ（ωＴｂ／２）ｃｏｓ（ωｎＴ）−ｓｉｎ（ωＴｂ／２）ｃｏｓ（ω（ｎＴ−δ））]
［式１２］Ｚ１＝（ｓｉｎ（ωＴ／２）−ｓｉｎ（ωＴｂ／２））ｃｏｓ（ωｎＴ）
＝２ｃｏｓ（ω（Ｔ＋Ｔｂ）／２） ｓｉｎ（ω（Ｔ−Ｔｂ）／２）ｃｏｓ（ωｎＴ）
［式１３］Ｚ２＝ｓｉｎ（ωＴｂ／２）（ｃｏｓ（ωｎＴ）−ｃｏｓ（ω（ｎＴ−δ）））
＝−２ｓｉｎ（ωＴｂ／２）ｓｉｎ（ω（ｎＴ−δ／２））ｓｉｎ（ωδ／２）
［式１４］Ｐ（ｎ）＝Ｂ（Ｚ１＋Ｚ２）
ここで、式１２で示すＺ１は、光感知部１ａ、１ｂの開口中心のずれ量δを含んでいないので、図４の仮想開口部１ｅ、１ｄの受光量の合計に相当する。Ｚ１は（Ｔ−Ｔｂ）を含んでいるので、それにより画素ずらしで解像度を高められる。しかし、Ｚ１は、（Ｔ＋Ｔｂ）も含んでいるので、結局、後者の影響で解像度は低下する。なお、図４の領域１ｅは仮想開口部１ｃの中で領域１ｄと同じ面積を有する部分であり、領域１ｆは開口中心のずれ量δＸに係わる仮想開口部である。
【００７１】
一方、式１３で示すＺ２はδを含んでいるので、仮想開口部１ｆの受光量に相当する。この場合は、ｓｉｎ（ωＴｂ／２）とｓｉｎ（ωδ／２）を含んでいるため、まずωｂ＝２π／Ｔｂとする。すると、ｓｉｎ（πω／ωｂ）による解像度限界はωｂ／２である。さらにＴｂ／２に相当するピッチで画素ずらしを行うことにより解像度限界はωｂ付近まで向上する。
【００７２】
またωｄ＝２π／δとすると、ｓｉｎ（πω／ωｄ）による解像度限界はωｄ／２である。さらにδ／２に相当するピッチで画素ずらしを行うことにより、解像度限界はωｄ付近まで向上する。結局、δ≦Ｔｂとすると、画素ずらし量として、δ／２以上Ｔｂ／２以下に相当する範囲であれば、少なくとも解像度をωｂ付近まで向上できる。
【００７３】
以上の結果から、水平方向の画素ずらしによる解像度向上に関して、Ｚ１は解像度を低下させることがわかる。しかし、Ｚ２は、光感知部１ａと光感知部１ｂの開口中心のずれを僅かに作るだけで、解像度をＴ／Ｔｂ倍ほど向上させることができる。従来はＴ／２に相当する画素ずらし技術で２倍付近まで向上できたが、本発明では少なくともさらにその（Ｔ／Ｔｂ）倍の向上が可能である。Ｔ／Ｔｂ＞１であるので、本発明によれば、２倍よりも大きく解像度を向上でき、従来にない効果がある。
【００７４】
次に、本実施形態による画素ずらしのシミュレーションを行った。図４に示した光感知部１ａの水平幅Ｔを１（開口率１００％）、光感知部１ｂの水平幅Ｔｂを０．８（開口率８０％）とし、δＸを０、０.０５、０.１０と変化させた。ここで、水平方向の長さの単位は、水平方向の画素ピッチを１とする。例えば「δＸ＝０．０５」とは、δＸが水平方向の画素ピッチの０．０５倍の長さを有していることを意味する。また、例えば「０．２５ピッチの画素ずらしを行う」とは、「撮像面上における像の位置を微動させることにより、水平方向の画素ピッチの０．２５倍の距離だけ、像と画素との相対的な位置関係をシフトさせる」ことを意味するものとする。
【００７５】
このシミュレーションでは、サビ型解像度パターンを対象とし、垂直方向に１画素ピッチずらせて撮像し、かつ、下記の水平ピッチで画素ずらしを行って撮像を行った場合の結果を求めた。この結果を図５に示す。
【００７６】
なお、このシミュレーションでは、画素ずらしを行わない場合の水平方向の限界解像度を２００本に設定している。このシミュレーションの場合、光感知部１ｂの水平幅に対してδがかなり小さいので、仮想開口部１ｆに基づいた画素ずらしピッチは採用していない。光感知部１ｂの水平幅Ｔｂ（０．８）の１／２以下を満足する０．２５ピッチで水平画素ずらしを行い、仮想開口部１ｃ、１ｄの信号のみで画像を表示した。
【００７７】
この画素ずらしの動作及び信号処理は、（１）撮像１、（２）垂直方向に１画素ピッチだけ移動、（３）撮像２、（４）撮像１の信号と撮像２の信号の減算、（５）水平画素ずらし、というステップを繰り返して実行する。
【００７８】
図５において、（Ａ）はδＸ＝０の場合で、上記のＺ１の影響のみの結果を示す。この場合、解像度は２００本を越えた程度で、画素ずらしの効果はあまり見られない。この結果からわかるように、従来の１／２ピッチ画素ずらしより解像度は低下している。図５（Ｂ）はδＸ＝０.０５の場合で、Ｚ１にＺ２が加わった状態の結果である。光感知部の開口中心をわずか変えるだけで、６００本以上に解像度が向上していることがわかる。図５（Ｃ）は、δＸ＝０.１０の場合で、この場合は仮想開口部１ｄが消滅し、１ｃのみの場合でさらに解像度が向上していることがわかる。本実施形態はδＸを０としないことが特徴であるため、このシミュレーションの図５（Ｂ）、（Ｃ）の場合のように、大幅に解像度を向上できることがわかる。
【００７９】
以上のように本発明の実施形態１によると、開口率の異なる２種類の光感知部の各々を１行おきに配列し、水平方向における２種類の光感知部の開口中心をずらせた構成を採用している。そして、本実施形態によれば、開口率が異なる２画素の差分信号により、水平方向の解像度が上昇した高精細な信号が得られるという効果がある。
【００８０】
なお、本発明の実施形態１では、画素ずらし部の働きによって撮像面上における像の位置を垂直方向に１画素ずらせて、すなわち光感知部１ａと光感知部１ｂとを像の同じ部分に重ねた形で両画素の信号差を作っている。具体的には、撮像面上で垂直方向に１画素だけ、像をシフトさせることにより、像の同じ部分に関する輝度信号を光感知部１ａ及び光感知部１ｂの各々から取得している。しかし、撮像面に形成される像の輝度が、少なくとも画素ピッチ程度の大きさを持つ領域の範囲において、垂直方向に一様（変化しない）なら、撮像面上における像の位置を１画素だけずらす必要はない。すなわち、垂直方向に隣接する光感知部１ａ及び光感知部１ｂから同時刻に得られる信号を用いて画素間で信号差を作っても良い。
【００８１】
図１の信号受信部６４は、固体撮像素子６０からの信号を受け取り、映像信号処理部７０に送出する。映像信号処理部７０は、信号受信部６４から受け取った信号を記憶する画像メモリ７２と、画像メモリ７２から読み出したデータからビデオ信号（高精細信号）を生成するビデオ信号生成部７２と、ビデオ信号を外部に出力するインターフェース（ＩＦ）部７６を有している。
【００８２】
上述した方法によって得られた高精細信号はそのまま利用してよい。また、低解像であるが高感度な信号処理結果に加算しても、その効力を失うものではない。
【００８３】
本実施形態では、撮像面上の各行の中で同じ開口率を有する光感知部を配置しているが、図４に示した基本構成の１行２列目と２行２列目の光感知部を入れ替えても問題はない。本実施形態では、開口の広い光感知部の開口率を１００％としたが、それに限定されるものではなく、また、開口の広い光感知部と開口の狭い光感知部の合計開口率が２００％になるよう両方を調整した構成を採用しても良い。そうすれば、全体的な感度低下も防止できる。
【００８４】
（実施形態２）
次に、図６を参照して、第２の実施形態を説明する。図６は本発明の実施形態２における光感知部の基本配置を示した平面図である。本実施形態では、２行２列を基本構成として２次元状に配列している。同図において、開口率１００％の光感知部１ａが１行１列目と１行２列目に配置されている。開口率５０％の光感知部１ｂが２行１列目と２行２列目に配置されている。また、光感知部１ａと光感知部１ｂの位置関係は、水平方向に関して光感知部の右端が同じ位置にある。そのため、光感知部１ａの開口中心に対して、光感知部１ｂの開口中心は水平方向に０．２５ピッチ（δＸ＝０.２５）ずれている。
【００８５】
本実施形態の場合は、実施形態１の図４で示した仮想開口部１ｄがなく、仮想開口部１ｃのみ形成される。このような画素配置構成で、実施形態１の場合と同様、水平方向に画素をずらせながら、垂直方向に隣接する２つの画素から信号の差分処理で高精細な信号を作る。この場合の画素の受光量Ｐ（ｎ）は、式１０において、δ＝（Ｔ−Ｔｂ）／２とすることにより得られ、その結果は式１５で示される。
［式１５］Ｐ（ｎ）＝Ｂ（ｓｉｎ（ω（Ｔ−Ｔｂ）／２）ｃｏｓ（ω（ｎＴ−Ｔｂ／２）））
【００８６】
画素ずらしの場合、ｓｉｎ（ω（Ｔ−Ｔｂ）／２）によってその解像度性能が決まる。このため、（Ｔ−Ｔｂ）に相当する開口部１ｃの１／２のピッチで画素ずらしを行うことにより、解像度をサンプリング周波数ωｓのＴ／（Ｔ−Ｔｂ）倍付近まで向上させることができる。具体的に本実施形態の場合は、Ｔ＝１、Ｔｂ＝０.５であることから、解像度はサンプリング周波数ωｓの２倍、画素ずらしを行わない場合に比べて解像度を４倍向上できる。さらに本実施形態では、垂直方向に従来の１／２画素ピッチの画素ずらしも適用することとした。
【００８７】
次に、本実施形態の画素ずらし型撮像装置によってクサビ型解像度パターンを撮像した場合のシミュレーションの結果を図７に示す。このシミュレーションでは、δＸを０〜０.２５まで、０.０５ずつ変化させた。また、垂直方向に１画素ずつずらせ、下記水平ピッチの画素ずらしを行った。画素をずらさない場合の水平方向の限界解像度を２００本に設定している。本実施形態は、δＸ＝０.２５の場合である。また、このシミュレーションでは仮想開口部１ｃから得られる信号のみで画像を表示した。
【００８８】
この画素ずらしの動作及び信号処理は、（１）撮像１、（２）垂直方向に１画素移動、（３）撮像２、（４）撮像１の信号と撮像２の信号の減算、（５）垂直方向に１／２画素移動し（１）〜（４）処理実施、（６）水平画素ずらし、という繰り返しである。
【００８９】
このシミュレーション結果から、同図（Ａ）δＸ＝０の場合、画素ずらしの効果はあまり無いことがわかる。しかし、この場合でも、垂直方向に１／２ピッチ画素ずらしを適用していることもあり、限界解像度は２５０本近くとやや向上している。一方、同図（Ｂ）〜（Ｆ）はδＸ＞０の場合であるが、δＸが０でなければ極端に解像度が改善され、同図（Ｆ）δＸ＝０.２５で最も高精細な画像が得られ、解像度は７００本近くまで向上していることがわかる。
【００９０】
以上のように本発明の実施形態２によると、開口率の異なる２種類の光感知部各々を１行おきに配列し、水平方向における２種類の光感知部の開口右端を同じ位置にすること及び垂直方向に隣接する２種類の光感知部間の開口差分から、仮想開口部を１つ作ることができる。そして、当該仮想開口部の水平方向の画素ずらしにより、水平方向の解像度が上昇した高精細な信号が得られるという効果がある。
【００９１】
なお、本発明の実施形態２では、垂直方向に１画素ずらせて、すなわち光感知部１ａと１ｂとを重ねた形で両画素の信号差を作ったが、垂直方向に輝度変化が無いなら、垂直隣接の画素間で信号差を作っても良い。そして、得られた高精細信号はそのまま利用しても、画素加算して低解像であるが高感度な信号処理結果に加算しても、その効力を失うものではない。また、画素の構成として、各行の中では同じ光感知部としたが、図６に示した基本構成の１行２列目と２行２列目の光感知部を入れ替えても問題はない上、２種類の光感知部の位置に関して、開口部右端を揃えたが、開口部の左端を揃えても構わない。加えて、上記実施形態の中では、光感知部１ａの開口率を１００％としたが、それに限定されるものではなく、また、開口の広い光感知部と開口の狭い光感知部の合計開口率が２００％になるよう両方を調整した構成でも構わず、そうすれば全体的な感度低下も防止できる。
【００９２】
（実施形態３）
次に図８を参照しながら第３の実施形態を説明する。図８は本発明の実施形態３における光感知部の基本配置を示した平面図である。２行２列を基本構成として２次元状に配列している。同図において、開口率が高い光感知部（開口率１００％）１ａは、１行１列目と１行２列目に配置されている。開口率の低い光感知部１ａは、水平及び垂直方向に開口が狭く、２行１列目と２行２列目に配置されている。また、光感知部１ａと光感知部１ｂの位置関係は、水平方向に関して光感知部１ｂの中心が光感知部１ａの中心よりδＸずれ、垂直方向に関して光感知部１ｂの中心が光感知部１ａを１ピッチずらせた中心位置よりδyずれている。
【００９３】
本実施形態も上記２つの実施形態と同様、垂直方向に配列されている光感知部１ａと光感知部１ｂの開口差により、水平方向の解像度を向上させることができる。本実施形態では、光感知部１ａと光感知部１ｂの開口中心が２方向にずれていることが特徴である。すなわち、本実施形態は実施形態１とは異なり、垂直方向にも光感知部１ｂの開口が狭くなっている。
【００９４】
本シミュレーションでは、光感知部１ｂの水平及び垂直方向の開口を画素ピッチの１／２に設定した。その結果、開口率は０．５×０．５＝０．２５となる。撮像被写体、限界解像度条件及び画素ずらし処理は、上記実施形態２の場合と同じである。光感知部１ｂの中心位置は、単位画素領域の中心位置から水平及び垂直方向に、それぞれ、δＸ、δyだけシフトしている。このシミュレーションでは、簡単のため、δＸ＝δyとして、δＸを０〜０.２５まで０.０５ずつ変化させる。
【００９５】
シミュレーション結果を図１０に示す。同図（Ａ）に示すように、δＸ＝δy＝０の場合は、従来の１／２ピッチ画素ずらしを行った場合に比べて解像度は向上していないが、実施形態２の場合より解像度は改善されている。垂直方向に隣接する２つの光感知部１ａ、１ｂの間に垂直方向のサイズ差（開口差）があると、水平方向の解像度特性を良化させる。
【００９６】
δＸ＝δy＞０について、同図（Ｂ）〜（Ｆ）にシミュレーション結果を示す。実施形態１及び２の場合と同様、解像度は極端に向上することがわかる。特にδＸ＝δy＝０.２０の場合や、δＸ＝δy＝０.２５の場合では、７００本近くまで解像していることがわかる。
【００９７】
光感知部１ｂの面積縮小に伴って光感度が低下するという課題はある。しかし、光感知部１ｂを水平及び垂直方向に狭くし、図９に示すように光感知部１ａと光感知部１ｂとの位置差が最大になるようにすると、解像度を大きく向上できる。また、このような結果から、水平及び垂直方向の解像度を同時に向上させるには、図１１に示すように光感知部１ａと光感知部１ｂを２次元的に交互）に配列させる構成（チェッカーパターン）も考えられる。
【００９８】
以上のように本発明の実施形態３によると、開口率の異なる２種類の光感知部各々を１行おきに開口中心が重ならず配列し、開口率の低い光感知部について水平及び垂直方向に開口を狭くすることにより、水平方向の解像度が上昇した高精細な信号が得られる。また、画素を図１１に示す形に配列させることにより、水平及び垂直方向の解像度を同時に向上させることが期待できる。
【００９９】
（実施形態４）
次に、図１２を参照して第４の実施形態を説明する。図１２は本発明の実施形態４における光感知部の基本配置を示した平面図である。同図において、開口率が高い光感知部（開口率１００％）１ａは、１行１列目と１行２列目に配置されている。開口率の低い光感知部１ｂは、水平方向に開口が狭く、その開口率は光感知部１ａの開口率の１／２であり、２行１列目と２行２列目に配置されている。
【０１００】
光感知部１ａと光感知部１ｂは、水平方向に関して光感知部１ｂの中心と光感知部１ａの中心が同じ位置に配置されている。言い換えると、光感知部１ａを垂直方向に画素ピッチだけシフトさせたとき、シフトした光感知部１ａの中心と光感知部１ｂの中心とが一致するように光感知部１ａ、１ｂの位置が決められている。
【０１０１】
次に、本実施形態における画像の高精細処理について説明する。
【０１０２】
本実施形態では、撮像面上で像を斜めにシフトさせることにより、水平方向の高精細化を図ることができる。上記実施形態１〜３では、撮像面上での像のシフトを、垂直移動、水平移動と別々に行っていたが、本実施形態では斜め方向に行う。そして、本実施形態では、垂直方向に隣接する開口率が異なる２つの光感知部から得られる信号の差分（仮想画素からの信号に相当）のみならず、開口率が相対的に低い光感知部から出力される信号（現実の画素信号）をも利用して水平解像度を向上させる点に特徴を有している。
【０１０３】
画素ずらし部の働きによって撮像面上で像を斜めにシフトさせることは、像を基準にすると、画素を斜めにシフトさせることに対応する。このため、以下の説明では、画素ずらし部の働きによって撮像面上で像をシフトさせることを、「画素をずらす」と表現することになる。
【０１０４】
本実施形態では、画素を斜め方向にずらすため、水平方向における画素中心（光感知部の中心のＸ座標）が、垂直方向に隣接する２つの画素の間で同じであっても良い。具体的には、連続して複数のフレームを撮像するとき、あるフレームの撮像を完了し、次のフレーム（現フレーム）の撮像を行う前に、画素を斜めにずらすことになる。現フレームの撮像を開始する前には、１フレーム前の画素を垂直方向に１画素分（１画素ピッチ）、水平方向にδｓだけずらす。
【０１０５】
１フレーム前の画像と現フレーム画像との減算結果を用い仮想的な画素からの信号を得るとともに、１フレーム前の画像から開口率が相対的に低い画素からの現実の信号を取得する。これらを用いて、高精細な画像を作る。ここで，光感知部１ａの水平方向の開口幅をＷ１ａ、光感知部１ｂの水平方向の開口幅をＷ１ｂとすると、δｓは式１６で表される。本実施形態の場合は、Ｗ１ａ：Ｗ１ｂ＝２：１であるので、δｓ＝Ｗ１ａ／４で、これは水平画素ピッチの１／４である。
［式１６］δｓ＝（Ｗ１ａ−Ｗ１ｂ）／２
【０１０６】
画素のずらし方について、図１３を参照しながら説明する。図１３（Ａ）は２次元状に配列された画素群におけるｎ行目前後の基本構成と画素の移動方向を示している。図１３（Ｂ）は、ｎ行目とｎ＋１行目について、移動前の画素に移動後の画素を重ね合わせた状態を示している。開口率が高い光感知部が開口率の低い画素を完全に覆っている。開口率が高い光感知部のうち、開口率が低い光感知部を覆っていない部分（非重複領域）は、各光感知部について１つのみである。この非重複領域が仮想画素の受光領域として機能する。この仮想画素の受光量は、開口率が異なる２つの光感知部からから得られる信号の差分に相当する。図１３（Ｃ）は、画素ずらしによる画素の移動前後の画素信号と、それらの差分から作り出した仮想画素の信号を示したものである。ここで、光感知部１ａ及び１ｂの画素信号は、画素移動前すなわち１フレーム前にｎ行目に存在していたならば、１ａ（ｎ）及び１ｂ（ｎ）と表現する。
【０１０７】
まず光感知部１ｂについて、垂直方向に１画素ピッチ分、水平方向に１／４画素ピッチ分移動させる。この水平方向の移動に関して、光感知部１ｂの水平幅が水平画素ピッチの１／２であるので、１／４画素ピッチ分移動させることは、図１３（Ｃ）（１）（２）に示すように従来の１／２ピッチ画素ずらしを移動と時間差で実現したに過ぎない。一方、光感知部１ａに関して、移動後の１ａ（ｎ）信号と移動前の１ｂ（ｎ＋１）信号の減算から、光感知部１ａと光感知部１ｂの開口差による仮想画素信号を作る（図１３（Ｃ）（３））。
【０１０８】
本実施形態の場合は、光感知部１ｂの水平幅と水平移動量の関係から、水平方向が１／２サイズの画素が仮想的に作られ、その仮想画素から信号が得られたことと等価である。また、移動前の１ａ（ｎ）信号と移動後の１ｂ（ｎ−１）信号の減算から、同様に光感知部１ａと光感知部１ｂの開口差による仮想画素信号を作る（図１３（Ｃ）（４））。
【０１０９】
結局、光感知部１ｂの画素ずらしに、光感知部１ａと光感知部１ｂの開口差による仮想画素の画素ずらしが加わる。その結果、１／２サイズ画素の１／２ピッチ画素ずらしが実現できることになり、水平解像度が４倍高められる。
【０１１０】
本実施形態では、開口率の低い画素と仮想画素の水平開口が同じであったが、異なる場合は、どちらか水平開口の大きい画素によって解像度は低下する。そのような場合は、両画素において水平開口の大きい画素の１／２開口分さらに水平移動させれば、その分画素ずらし効果が得られるので、解像度低下を防止できる。
【０１１１】
以上のように、本発明の実施形態４によると、開口率の異なる２種類の光感知部を有し、画素を斜めに移動させることにより画素の開口差による仮想画素をつくる。そしてその仮想画素と開口率の低い画素との信号から、高精細な画像信号が得られる。
【０１１２】
なお、本発明の実施形態４では、２種類の光感知部に関して開口率を１００％、５０％としたが、それらに限定されるものではなく、両光感知部に開口差があり、画素移動で１種類の仮想画素を作ることができれば問題ない。また、画素の開口差も水平方向のみとしたが、これに限定されるものではなく、垂直方向にも開口差を作り、当該方向にも画素を移動させて仮想画素を作ることができれば、同様に解像度を向上できる。
【０１１３】
（実施形態５）
次に、図１４を参照しながら、第５の実施形態を説明する。図１４（Ａ）は本発明の実施形態５における光感知部上に配設されたマイクロレンズアレイの一部を示す平面図である。このマイクロレンズアレイは、現実には、２次元的に配列された多数のマイクロレンズを有しているが、図１４（Ａ）に示す２行２列のマイクロレンズのセットを基本構成としている。また、図１４（Ｂ）は、図１４（Ａ）におけるＡＡ’線断面図である。１４図（Ｃ）は、図１４（Ａ）におけるＢＢ’線断面図である。図１４に示す４つのマイクロレンズのセットにおいて、集光率の相対的に高いマイクロレンズ２ａと、集光率の相対的に低いマイクロレンズ２ｂとが、垂直方向に隣接して配置されている。両マイクロレンズ２ａ、２ｂの右端が垂直方向の延びる同一直線上にある。マイクロレンズ２ａ、２ｂからの光を受けて電気信号に出力する光感知部１ｇは、水平垂直方向に規則的に配列している。
【０１１４】
本実施形態の場合、マイクロレンズ２ａは光感知部１ｇの開口中心上に位置しているが、マイクロレンズ２ｂは光感知部１ｇの開口中心から水平方向にずれている。しかしながら、そのずれはマイクロレンズ２ｂが光感知部１ｇに集光を全て投射できる範囲内にある。このような構造すなわちマイクロレンズの構造を部分的に変えることにより、撮像素子の各光感知部は同じ開口率でありながら、実質的に光感知部の開口差を作り出すことができる。光感知部であるフォトダイオードの構造を変えるより、このように撮像素子表面のマイクロレンズの形状を変える方が製造工程上容易である。なぜなら、フォトダイオードの開口部を作る際には表面上の凹凸が大きいが、マイクロレンズを作製する段階では表面が平坦になっているため、その形状を制御しやすいからである。その他、直接光感知部の開口を大きくすると、スミア等の撮像特性に悪影響を及ぼす可能性も有り得る。
【０１１５】
以上のように、本実施形態５によると、撮像素子表面に配設されているマイクロレンズの形状を変えることにより、光感知部の開口率を変えることができ、製造工程上あるいは撮像素子の特性上有利であるという効果がある。
【０１１６】
なお、実施形態５では、実施形態１の中で開口率の高い光感知部の領域右端と開口率の低い光感知部の領域右端とが水平方向に関して一致した場合に適用したが、これに限るものではなく、実施形態２〜４の場合でも、その他の場合でも光感知部の開口差を利用して高精細化を図る撮像素子には全て適用しても構わない。
【０１１７】
以上の実施形態１〜実施形態５では、撮像素子の光感知部は水平及び垂直方向に配列した前提で本発明を適用したが、これに限るものではなく、水平に対して４５度及び１３５度傾いた配列等斜め配列構造の素子にも適用できる。また、撮像素子の光感知部について、開口率の異なる２種類を取り上げて説明したが、これに限るものではなく、開口率が３種類以上であっても、開口差を作り仮想画素の信号が得られるならば、画像の高精細化は可能である。
【０１１８】
（実施形態６）
図１７は、本発明の実施形態６における２画像による画素ずらし型撮像装置の構成図である。
【０１１９】
本実施形態の画素ずらし型撮像装置は、第１の精細度で撮像を行う第１の撮像系と、第１の精細度よりも低い第２の精細度で撮像を行う第２の撮像系とを備えている。そして、第１の撮像系で得られた第１の画像と第２の撮像系で得られた第２の画像とを画素単位で対応付ける照合手段をと、光学的な結像に対して画素を相対的に移動させる画素ずらし手段とを更に備えている。
【０１２０】
以下、本実施形態の画素ずらし型撮像装置をより詳細に説明する。
【０１２１】
図１７の装置は、被写体からの光を２分割するビームスプリッター７と、分割された光を２つの固体撮像素子の撮像面に導くための反射鏡６、６１及び６２とを備えている。
【０１２２】
分割された２つの光路の各々を横切るように、光学特性が同一のレンズを２つ有する二眼レンズ５が配置されている。二眼レンズ５は、二眼レンズ５を水平方向に微動させる微動装置４に結合されている。
【０１２３】
撮像素子１１及び１２は、水平方向の画素数が異なる以外、垂直方向の画素数や受光エリア等全て撮像特性が同じである。この例では、撮像素子１１の水平方向の画素数は２Ｍ、垂直方向の画素数がＮである。一方、撮像素子１２の水平方向の画素数は３Ｍ、垂直方向の画素数がＮである（但し、Ｍ、Ｎは整数である）。
【０１２４】
本実施形態の撮像装置は、撮像素子１１及び撮像素子１２からの画像信号を受け、微動量を微動装置４に指示すると共に高精細な画像信号を生成する高精細信号発生装置３を備えている。
【０１２５】
図１８は撮像素子１１及び撮像素子１２における画素配列の１部を示した平面図である。図１８（Ａ）および（Ｂ）は、それぞれ、両撮像素子の水平方向における画素サイズを相対的に表している。図１８（Ａ）には、撮像素子１１の画素１１ａ、１１ｂが示されている。同図（Ｂ）には、撮像素子１２の画素１２ａ、１２ｂ、１２ｃが示されている。
【０１２６】
撮像素子１１の水平画素数は、撮像素子１２の水平画素数よりも少ない。しかし、撮像素子１１における各画素の水平方向の開口領域は広い。本実施形態では、撮像素子１１の水平画素数は２Ｍ（２００万）であるに対して、撮像素子１２の水平画素数は３Ｍ（３００万）であるある。一方、撮像素子１１における各画素１１ａ、１１ｂの開口率は撮像素子１２における各画素の開口率の１．５倍である。
【０１２７】
図１８（Ｃ）は、両撮像素子の画素の開口差を示している。領域１０１ａは画素１１ａと画素１２ａの開口差を示し、領域１０１ｂは画素１１ｂと画素１２ｃの開口差を示している。ここで、撮像素子１１と撮像素子１２が同じ被写体を同じ画角で撮像したとすると、画素１１ａの光電変換信号と画素１２ａの光電変換信号の差分信号は、領域１０１ａを仮想画素とした場合の光電変換信号と考えることができる。すなわち、領域１０１ａ、１０１ｂは仮想画素として機能する。
【０１２８】
次に本実施形態における２画像による画素ずらし型撮像装置の動作について説明する。
【０１２９】
図１７及び図１８の構成を有する撮像装置を用いて被写体を撮像すると、まず被写体からの光がビームスプリッター７で２分割される。一方の光は、反射鏡６１を介して、また他方の光は反射鏡６と６２を介して、二眼レンズ５に入射する。ここで、ビームスプリッター７から反射鏡６１を介して二眼レンズ５までの光路長とビームスプリッター７から反射鏡６、６２を介して二眼レンズ５までの光路長は同じになるよう各機器は配置設定されている。
【０１３０】
２つの被写体光はそれぞれ二眼レンズ５により撮像素子１１と撮像素子１２の受光面で結像し、両撮像素子によって光電変換される。
【０１３１】
なお、結像に対する両撮像素子の相対位置について、反射鏡６１あるいは６２の水平位置が微調整され、図１８で示すように撮像素子１１の２画素と撮像素子１２の３画素が水平位相差０になっている。
【０１３２】
撮像素子１１及び撮像素子１２からの画像信号は高精細信号発生装置１３に入力され、当該装置の中で撮像素子１１からの画像信号は画像メモリ１に、また撮像素子１２からの画像信号は画像メモリに蓄積される。
【０１３３】
高精細信号発生装置１３では、第１画像メモリの水平２画素信号の加算と、第２画像メモリの水平３画素信号の加算を行い、それら全てを用いて２つの画像の照合及びその他の信号処理を行う。その他の信号処理とは、微動装置４への微動指示処理、撮像素子１１、１２への撮像指示処理と高精細信号生成処理である。
【０１３４】
図１９（Ａ）は、第１画像メモリ３１における画素信号の配列状態を示している。一方、図１９（Ｂ）は、第２画像メモリ３２における画素信号の配列状態を示している。図２０は、２つの画像の照合処理及びその他の信号処理のフローチャートである。但し、画像メモリ１における水平２画素信号Ｇ１（２ｊ−１，ｉ）、Ｇ１（２ｊ，ｉ）の加算信号をＳＧ１（ｊ，ｉ）、画像メモリ２における水平３画素信号Ｇ２（３ｊ−２，ｉ）、Ｇ２（３ｊ−１，ｉ）、Ｇ２（３ｊ，ｉ）の加算信号をＳＧ２（ｊ，ｉ）とする。
【０１３５】
図２０に示すフローチャートにおいて、２つの画像の水平方向のずれ量をｄＸ、垂直方向のずれ量をｄＹとする。処理スタート時は、ｄＸ＝０、ｄＹ＝０として（Ｓ１）、ｉ＝ｉ＋ｄＹ、ｊ＝ｊ＋ｄＸとする（Ｓ２）。
【０１３６】
次に、加算信号ＳＧ１（ｊ，ｉ）、ＳＧ２（ｊ，ｉ）の差分をとり、その全データ分の加算結果を予め設定した値Ｚｔｈと比較判定する（Ｓ３）。比較判定結果が肯定（Ｙｅｓ）されたなら、仮想画素１０１ａの信号ＶＧ１（ｊ，ｉ）を式６、仮想画素１０１ｂの信号ＶＧ２（ｊ，ｉ）を式７により算出する。
【０１３７】
その後、以下の５つの水平画素ずらし処理を行いながら、次々と仮想画素の信号を作る（Ｓ４）。この作り出された仮想画素の信号は、水平方向の開口（δ）が狭く、その１／２ピッチと３／２ピッチで画素ずらしを行っているので、高精細信号となる（Ｓ５）。この動作を図２１に示す。この画素ずらしの状況は仮想画素が密に水平方向に配列され、さらに１／２ピッチで画素ずらしを行うことと等価である。
［式６］ＶＧ１（ｊ，ｉ）＝Ｇ１（２ｊ−１，ｉ）−Ｇ２（３ｊ−２，ｉ）
［式７］ＶＧ２（ｊ，ｉ）＝Ｇ１（２ｊ，ｉ）−Ｇ２（３ｊ，ｉ）
・水平画素ずらし処理１：［１］微動装置４に対して水平方向にδ／２移動指令
［２］撮像素子１１、１２から画像信号受信
［３］仮想画素１０２ａ、１０２ｂの信号作成
・水平画素ずらし処理２：［４］微動装置４に対して水平方向に３δ／２移動指令
［５］撮像素子１１、１２から画像信号受信
［６］仮想画素１０３ａ、１０３ｂの信号作成
・水平画素ずらし処理３：［７］微動装置４に対して水平方向にδ／２移動指令
［８］撮像素子１１、１２から画像信号受信
［９］仮想画素１０４ａ、１０４ｂの信号作成
・水平画素ずらし処理４：［１０］微動装置４に対して水平方向に３δ／２移動指令
［１１］撮像素子１１、１２から画像信号受信
［１２］仮想画素１０５ａ、１０５ｂの信号作成
・水平画素ずらし処理５：［１３］微動装置４に対して水平方向にδ／２移動指令
［１４］撮像素子１１、１２から画像信号受信
［１５］仮想画素１０６ａ、１０６ｂの信号作成
【０１３８】
もし比較判定結果が否定（Ｎｏ）されたなら、このことは２つの画像配置が合っていないことを意味するので、画像メモリ１のデータに対して、ｄＸ、ｄＹを１増加あるいは１減少させて（Ｓ６）、上記処理を繰り返す。ここでは画像メモリ１を対象としたが、画像メモリ２を対象としても問題ない。
【０１３９】
本実施形態の場合、水平方向における撮像素子１１と撮像素子１２の画素数が２：３であるので、撮像素子１１と比較すると開口１／３の仮想画素が作られることになる。その仮想画素を水平方向に密に配列したとすると、撮像素子１１に対しては３倍、撮像素子１２に対しては２倍解像度が向上することになる。さらに１／２ピッチ画素ずらしを行うことと等価であるので、その２倍解像度が向上する。結局、撮像素子１１のみを利用した場合と比べて６倍、また撮像素子１２のみを利用した場合と比べて４倍解像度が向上することになる。
【０１４０】
以上のように本発明の実施形態６によると、撮像精細度が異なる少なくとも２種類の撮像系で撮像する装置であって、水平方向において２つの撮像系の精細度が２：３であれば、仮想画素の水平画素ピッチの１／２と３／２で画素ずらしを行うことにより４倍〜６倍解像度が向上し、従来技術にない効果がある。すなわち、僅かな開口差から発生する仮想画素が大きな解像度向上を実現できる。
【０１４１】
なお、本実施形態では、条件を以下としたが、それらに限定されるものではない。
（１）撮像素子の水平解像度のみ異なる撮像系としたが、垂直解像度が異なるものでも構わない。
（２）撮像素子の水平解像度のみ異なる撮像系としたが、水平及び垂直解像度が異なるものでも、斜め方向に仮想画素の１／２、３／２ピッチで画素ずらしを行えば、開口差の効果はある。
（３）撮像素子の解像度が異なる撮像系としたが、光学系の分解能が異なるものでも構わない。
（４）２つの撮像系の精細度を２：３としたが、その他の整数比ｎ：ｍでも構わない。特にｎ、ｍの値が大きく、それらの差が小さければ、大きな解像度が得られる。
（５）撮像系を２つとしたが、精細度が異なれば３つ以上でも構わない。
【０１４２】
なお、立体画像の撮像を行うために、２つ以上の撮像系を備えるカメラの開発が行われている。このようなカメラを本発明に適用することは容易である。
【産業上の利用可能性】
【０１４３】
本発明にかかる固体撮像装置は、固体撮像素子を用いた民生用カメラ、所謂、デジタルカメラ、デジタルムービーや放送用の固体カメラ、夜間監視を含めた産業用の固体監視カメラ等、全てのカメラに有効である。
【符号の説明】
【０１４４】
１      単位画素領域
１ａ    開口部の広い光感知部（フォトダイオード）
１ｂ    開口部の狭い光感知部
１ｃ，１ｄ，１ｅ，１ｆ    仮想の開口部
２ａ    集光率の高いマイクロレンズ
２ｂ    集光率の低いマイクロレンズ
１１    撮像素子
１１ａ  画素
１１ｂ  画素
１２    撮像素子
１２ａ、１２ｂ、１２ｃ  画素
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
固体撮像素子と、
前記固体撮像素子の撮像面に像を形成する光学系と、
前記撮像面上における前記像の位置をシフトさせる画素ずらし部と、
前記固体撮像素子から出力される電気信号を処理する映像信号処理部と、
を備える画素ずらし型撮像装置であって、
前記固体撮像素子は、
前記撮像面上において、第１方向に沿って第１画素ピッチで配列され、かつ、前記第１方向と交差する第２方向に沿って第２画素ピッチで配列された複数の単位画素領域を有しており、
前記第１方向に隣接する２つの単位画素領域の一方は第１の開口率を有する第１の光感知部を有し、前記２つの単位画素領域の他方は前記第１の開口率よりも低い第２の開口率を有する第２の光感知部を有し、
前記第１の光感知部は、前記第１の光感知部に入射した光の量に応じた第１の画素信号を出力し、前記第２の光感知部は、前記第２の光感知部に入射した光の量に応じた第２の画素信号を出力し、
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけ仮想的に移動させると、前記第１の光感知部は前記第２の光感知部の全体を覆い、前記仮想的に移動した第１の光感知部のうちで前記第２の光感知部を覆っていない部分が仮想的な第３の光感知部として機能し、
前記映像信号処理部は、前記第１の画素信号と前記第２の画素信号との差分から、前記仮想的な第３の光感知部に入射した光の量に応じた仮想的な画素信号を得る画素ずらし型撮像装置。
【請求項２】
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心から前記第２方向に距離δだけずれている、請求項１に記載の画素ずらし型撮像装置。
【請求項３】
前記第１の方向に平行な前記第２の光感知部の２つのエッジの一方は、前記第１の方向に平行な前記第１の光感知部の２つのエッジを前記第１の方向に延長した直線の一方に接している、請求項２に記載の画素ずらし型撮像装置。
【請求項４】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記距離δの半分以上の距離だけシフトさせる、請求項２または３に記載の画素ずらし型撮像装置。
【請求項５】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記第２画素ピッチの半分以下の距離だけシフトさせる、請求項４に記載の画素ずらし型撮像装置。
【請求項６】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第２方向に、前記第２光感知部の幅の半分以下の距離だけシフトさせる、請求項５に記載の画素ずらし型撮像装置。
【請求項７】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に、前記第１画素ピッチの半分シフトさせる、請求項１に記載の画素ずらし型撮像装置。
【請求項８】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に、前記第１画素ピッチだけシフトさせること、及び前記第１画素ピッチの半分だけシフトさせることを交互に実行する、請求項１から７のいずれかにに記載の画素ずらし型撮像装置。
【請求項９】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向及び前記第２方向の両方に対して斜めの方向にシフトさせる、請求項１から７のいずれかに記載の画素ずらし型撮像装置。
【請求項１０】
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心から前記第２方向にδＸだけずれ、かつ前記第１方向にδＹだけずれている、請求項１に記載の画素ずらし型撮像装置。
【請求項１１】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に前記距離δＹの半分以上かつ前記第１画素ピッチの半分以下の距離Ｙ１だけシフトさせ、かつ、前記第２方向に前記距離δＸの半分以上かつ前記第２画素ピッチの半分以下の距離Ｘ１だけシフトさせる請求項１０に記載の画素ずらし型撮像装置。
【請求項１２】
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向に前記距離Ｙ１プラス前記第１画素ピッチだけシフトさせ、かつ、前記第２方向に、前記距離Ｘ１プラス前記第２画素ピッチだけシフトさせる請求項１１に記載の画素ずらし型撮像装置。
【請求項１３】
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心が前記シフトした第１の光感知部の中心と一致するように前記第１の光感知部及び前記第２の光感知部が配置されており、
前記画素ずらし部は、前記撮像面上における前記像の位置を、前記第１方向及び前記第２方向の両方に対して斜めの第３方向にシフトさせ、
前記画素ずらし部による前記第３方向のシフトにより、前記第１の光感知部は前記第２の光感知部の全体を覆い、かつ、前記第１の光感知部のうちで前記第２の光感知部を覆わない部分が１つの領域だけ形成され、前記領域が仮想画素として機能し、
前記映像信号処理部は、前記画素ずらし部による前記シフトの前後に得られる前記前記第１の画素信号及び前記第２の画素信号の差分と、前記第２の画素信号とに基づいて高精細信号を生成する、請求項１に記載の画素ずらし型撮像装置。
【請求項１４】
前記第１の光感知部の前記第２方向における幅をＷ１ａ、前記第２の光感知部の前記第２方向における幅をＷ１ｂとするとき、前記画素ずらし部による前記第３方向のシフトは、前記撮像面における前記像の位置を、前記第１方向に移動させるとともに、前記第２方向にも（Ｗ１ａ−Ｗ１ｂ）／２によって規定される距離だけ移動させる、請求項１３に記載の画素ずらし型撮像装置。
【請求項１５】
前記第１の光感知部の前記第１方向における長さをＴ１ａ、前記第２の光感知部の前記第１方向における長さをＴ１ｂとするとき、前記画素ずらし部による前記第３方向のシフトは、前記撮像面における前記像の位置を、前記第１方向に、（Ｔ１ａ−Ｔ１ｂ）／２によって規定される距離だけ移動させるとともに、前記第１方向にも移動させる、請求項１３または１４に記載の画素ずらし型撮像装置。
【請求項１６】
前記第１の光感知部の前記第２方向における幅をＷ１ａ、前記第２の光感知部の前記第２方向における幅をＷ１ｂとするとき（Ｗ１ａ＞Ｗ１ｂ）、
Ｗ１ｂがＷ１ａ／２に一致しない場合、前記画素ずらし部は、前記第３方向のシフトとは別に、前記撮像面上における前記像の位置を前記第２方向にＷ１ａ／２だけシフトさせる、請求項１０に記載の画素ずらし型撮像装置。
【請求項１７】
前記画素ずらし部は、前記第３方向のシフトを周期的に繰り返す、請求項１０に記載の画素ずらし型撮像装置。
【請求項１８】
前記固体撮像素子は、前記第１光感知部及び前記第２光感知部の開口率及び位置を調節するマイクロレンズのアレイを有している、請求項１から１７のいずれかに記載の画素ずらし型撮像装置。
【請求項１９】
撮像面上において、第１方向に沿って第１画素ピッチで配列され、かつ、前記第１方向と交差する第２方向に沿って第２画素ピッチで配列された複数の単位画素領域を有する固体撮像素子であって、
前記第１方向に隣接する２つの単位画素領域の一方は第１の開口率を有する第１の光感知部を有し、前記２つの単位画素領域の他方は前記第１の開口率よりも低い第２の開口率を有する第２の光感知部を有し、
前記第１の光感知部は、前記第１の光感知部に入射した光の量に応じた第１の画素信号を出力し、前記第２の光感知部は、前記第２の光感知部に入射した光の量に応じた第２の画素信号を出力し、
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけ仮想的に移動させると、前記第１の光感知部は前記第２の光感知部の全体を覆う、固体撮像素子。
【請求項２０】
前記第１方向に前記第１画素ピッチだけ仮想的に移動した前記第１の光感知部のうちで前記第２の光感知部を覆っていない部分が仮想的な第３の光感知部として機能し、
前記第１の画素信号と前記第２の画素信号との差分から、前記仮想的な第３の光感知部に入射した光の量に応じた仮想的な画素信号が得られる、請求項１９に記載の固体撮像素子。
【請求項２１】
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記シフトした第１の光感知部の中心と前記第２の光感知部の中心とが一致しないように前記第１の光感知部及び第２の光感知部の位置が決められている、請求項１９に記載の固体撮像素子。
【請求項２２】
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記第２の光感知部の中心は、前記シフトした第１の光感知部の中心に対して前記第２方向に距離δだけずれている、請求項１９に記載の固体撮像素子。
【請求項２３】
前記第１の光感知部を前記第１方向に前記第１画素ピッチだけシフトさせたとき、前記シフトした第１の光感知部の中心と前記第２の光感知部の中心とを結ぶ直線は、前記第１方向に対して平行ではない、請求項２２に記載の固体撮像素子。
【請求項２４】
被写体からの光を第１の光路及び第２の光路を含む少なくとも２つの光路に分岐するスプリッタと、
前記第１の光路を通る光により、第１の精細度で撮像を行う第１の固体撮像素子と、
前記第２の光路を通る光により、前記第１の精細度よりも高い第２の精細度で撮像を行う第２の固体撮像素子と、
前記第１の固体撮像素子で得られた第１の画像と前記第２の固体撮像素子で得られた第２の画像とを画素単位で対応付ける照合手段と、
前記各固体撮像素子の撮像面上における像の位置をシフトさせる画素ずらし部と、
前記照合手段によって対応付けられた画素間の開口差による画素領域を仮想画素とし、前記画素ずらし部による前記仮想画素の移動量が前記仮想画素の１／２ピッチあるいは３／２ピッチを含んでいる、画素ずらし型撮像装置。
【請求項２５】
前記第１の撮像素子は、第１の密度で配列された画素を有し、
前記第２の撮像素子は、前記第１の密度よりも高い第２の密度で配列された画素を有する、請求項２４に記載の画素ずらし型撮像装置。
【請求項２６】
第１の倍率を有する第１の光学系を前記第１の光路に有し、
前記第１の倍率よりも小さな倍率を有する第２の光学系を前記第２の光路に有する、請求項２４に記載の画素ずらし型撮像装置。
【請求項２７】
前記第１の精細度：前記第２の精細度は、ｎ：ｍ（ｎ、ｍは、互いに異なる正の整数、ｎ＜ｍ）である請求項２４に記載の画素ずらし型撮像装置。
【請求項２８】
前記仮想画素の移動量は、移動方向において、前記仮想画素のピッチの１／２倍である請求項２４に記載の画素ずらし型撮像装置。
【請求項２９】
前記仮想画素の移動量は、移動方向において、前記仮想画素のピッチの１／２倍、または１／２倍及び３／２倍である請求項２４に記載の画素ずらし型撮像装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010038378.tif 000024
【図２】
2010038378.tif 000025
【図３】
2010038378.tif 000026
【図４】
2010038378.tif 000027
【図５】
2010038378.tif 000028
【図６】
2010038378.tif 000029
【図７】
2010038378.tif 000030
【図８】
2010038378.tif 000031
【図９】
2010038378.tif 000032
【図１０】
2010038378.tif 000033
【図１１】
2010038378.tif 000034
【図１２】
2010038378.tif 000035
【図１３】
2010038378.tif 000036
【図１４】
2010038378.tif 000037
【図１５】
2010038378.tif 000038
【図１６】
2010038378.tif 000039
【図１７】
2010038378.tif 000040
【図１８】
2010038378.tif 000041
【図１９】
2010038378.tif 000042
【図２０】
2010038378.tif 000043
【図２１】
2010038378.tif 000044
【国際調査報告】
2010038378.tif 000045
2010038378.tif 000046
2010038378.tif 000047