(57)【特許請求の範囲】
【請求項１】
同一平面上に複数の撮像領域を備えた撮像素子と、
該複数の撮像領域上に各々物体像を形成する撮影光学系と、
前記撮像素子の出力信号を処理する画像処理手段とを具備し、
前記撮像素子は同一のスペクトル分布で形成された略同一視野の第１及び第２の画像と、該第１及び第２の画像とは異なるスペクトル分布で形成され前記第１及び第２の画像と略同一視野の第３の画像を出力するとともに、前記画像処理手段は、前記出力信号の処理過程において、温度変化、被写体距離の変化、前記撮影光学系の製造誤差の少なくとも一つに基づく前記第１及び第２の画像の前記撮像素子上への結像位置の間隔変化に基づいて前記第３の画像の位置の補正を行った後、前記第１、第２、及び第３の画像に基づく合成映像信号を形成することを特徴とする撮像装置。
【請求項２】
同一平面上にほぼ同一寸法の第１及び第２の撮像領域を備えた撮像素子と、
前記第１の撮像領域上に第１の物体像を、前記第２の撮像領域上に第２の物体像を形成する撮影光学系と、
前記撮像素子の出力信号を処理する画像処理手段とを具備し、
前記第１及び第２の撮像領域は、受光面上で横方向にａ、縦方向にｂのピッチで複数の画素が整列してなり、ｈを正の整数としたときに、受光面内で前記第１及び第２の撮像領域は横方向にａ×ｈ×ｃ、縦方向にｂ×ｃ、又は、横方向にａ×ｃ、縦方向にｂ×ｈ×ｃだけ離れた位置関係にあるとともに、前記撮像素子は同一のスペクトル分布で形成された略同一視野を持つ第１及び第２の画像を形成し、前記画像処理手段は、温度変化、被写体距離の変化、前記撮影光学系の製造誤差の少なくとも一つに基づく前記第１及び第２の画像の前記撮像素子上への結像位置の間隔変化を前記出力信号の処理過程において補正し、前記第１及び第２の画像に基づく合成映像信号を形成することを特徴とする撮像装置。
【請求項３】
同一平面上に複数の撮像領域を備えた撮像素子と、該複数の撮像領域上に各々物体像を形成する撮影光学系と、前記撮像素子の出力信号を処理する画像処理手段とを具備する撮像装置を制御するための撮像装置の制御方法であって、
前記画像処理手段に、前記撮像素子から出力される同一のスペクトル分布で形成された略同一視野の第１及び第２の画像と、該第１及び第２の画像とは異なるスペクトル分布で形成され前記第１及び第２の画像と略同一視野の第３の画像について、前記出力信号の処理過程において、温度変化、被写体距離の変化、前記撮影光学系の製造誤差の少なくとも一つに基づく前記第１及び第２の画像の前記撮像素子上への結像位置の間隔変化に基づいて前記第３の画像の位置の補正を行わせた後、前記第１、第２、及び第３の画像に基づく合成映像信号を形成させることを特徴とする撮像装置の制御方法。
【請求項４】
同一平面上にほぼ同一寸法の第１及び第２の撮像領域を備えた撮像素子と、前記第１の撮像領域上に第１の物体像を、前記第２の撮像領域上に第２の物体像を形成する撮影光学系と、前記撮像素子の出力信号を処理する画像処理手段とを具備する撮像装置を制御するための撮像装置の制御方法であって、
前記第１及び第２の撮像領域は、受光面上で横方向にａ、縦方向にｂのピッチで複数の画素が整列してなり、ｈを正の整数としたときに、受光面内で前記第１及び第２の撮像領域は横方向にａ×ｈ×ｃ、縦方向にｂ×ｃ、又は、横方向にａ×ｃ、縦方向にｂ×ｈ×ｃだけ離れた位置関係にあり、前記画像処理手段に、温度変化、被写体距離の変化、前記撮影光学系の製造誤差の少なくとも一つに基づく、前記撮像素子により形成される同一のスペクトル分布で形成された略同一視野を持つ第１及び第２の画像の前記撮像素子上への結像位置の間隔変化を前記出力信号の処理過程において補正させ、前記第１及び第２の画像に基づく合成映像信号を形成させることを特徴とする撮像装置の制御方法。
【請求項５】
同一平面上に複数の撮像領域を備えた撮像素子と、該複数の撮像領域上に各々物体像を形成する撮影光学系と、前記撮像素子の出力信号を処理する画像処理手段とを具備する撮像装置を制御するための制御プログラムであって、
前記画像処理手段に、前記撮像素子から出力される同一のスペクトル分布で形成された略同一視野の第１及び第２の画像と、該第１及び第２の画像とは異なるスペクトル分布で形成され前記第１及び第２の画像と略同一視野の第３の画像について、前記出力信号の処理過程において、温度変化、被写体距離の変化、前記撮影光学系の製造誤差の少なくとも一つに基づく前記第１及び第２の画像の前記撮像素子上への結像位置の間隔変化に基づいて前記第３の画像の位置の補正を行わせた後、前記第１、第２、及び第３の画像に基づく合成映像信号を形成させる工程のコードを有することを特徴とする制御プログラム。
【請求項６】
同一平面上にほぼ同一寸法の第１及び第２の撮像領域を備えた撮像素子と、前記第１の撮像領域上に第１の物体像を、前記第２の撮像領域上に第２の物体像を形成する撮影光学系と、前記撮像素子の出力信号を処理する画像処理手段とを具備する撮像装置を制御するための制御プログラムであって、
前記第１及び第２の撮像領域は、受光面上で横方向にａ、縦方向にｂのピッチで複数の画素が整列してなり、ｈを正の整数としたときに、受光面内で前記第１及び第２の撮像領域は横方向にａ×ｈ×ｃ、縦方向にｂ×ｃ、又は、横方向にａ×ｃ、縦方向にｂ×ｈ×ｃだけ離れた位置関係にあり、前記制御プログラムが、前記画像処理手段に、温度変化、被写体距離の変化、前記撮影光学系の製造誤差の少なくとも一つに基づく、前記撮像素子により形成される同一のスペクトル分布で形成された略同一視野を持つ第１及び第２の画像の前記撮像素子上への結像位置の間隔変化を前記出力信号の処理過程において補正させ、前記第１及び第２の画像に基づく合成映像信号を形成させることを特徴とする制御プログラム。
【請求項７】
同一平面上にほぼ同一寸法の第１及び第２の撮像領域を備えた撮像素子と、
前記第１の撮像領域上に第１の物体像を、前記第２の撮像領域上に第２の物体像を形成する撮影光学系と、
前記撮像素子の出力信号を処理する信号処理装置とを有し、
前記第１及び第２の撮像領域は、受光面上で横方向にａ、縦方向にｂのピッチで複数の画素が整列してなり、ｈを正の整数としたときに、受光面内で前記第１及び第２の撮像領域は横方向にａ×ｈ×ｃ、縦方向にｂ×ｃ、又は、横方向にａ×ｃ、縦方向にｂ×ｈ×ｃだけ離れた位置関係にあるとともに、前記撮像素子は同一のスペクトル分布で形成された略同一視野を持つ第１及び第２の画像を形成し、前記信号処理装置は、温度変化、被写体距離の変化、前記撮影光学系の製造誤差の少なくとも一つに基づく、前記第１及び第２の画像の前記撮像素子上への結像位置の間隔変化を前記出力信号の処理過程において補正し、前記第１及び第２の画像に基づく合成映像信号を形成することを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル電子スチルカメラ、ビデオムービカメラ等として用いられる撮像装置及びその制御方法及び制御プログラム及び記憶媒体に関するものである。
【０００２】
【従来の技術】
デジタルカラーカメラでは、レリーズボタンの押下に連動して、ＣＣＤやＣＭＯＳセンサなどの固体撮像素子に被写界像を所望の時間露光し、これより得られた１画面の画像信号をデジタル信号に変換して、ＹＣ処理などの所定の処理を施し、所定の形式の画像信号を得る。撮像された画像を表わすデジタルの画像信号は、それぞれの画像毎に、半導体メモリに記録される。記録された画像信号は、単独に、あるいは、連続的に、随時読み出されて表示または印刷可能な信号に再生され、モニタなどに出力されて表示される。
【０００３】
また、本願出願人は３眼光学系あるいは４眼光学系を用いてＲＧＢの画像を生成し、これらを合成して映像信号を得る技術を以前に提案した。この技術は薄型の撮像系を実現する上で極めて有効である。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の３眼光学系あるいは４眼光学系を用いる方法では、光学系の持つ視差に起因してＲＧＢの画像のずれが生じることがあるという問題点がある。
【０００５】
ＲＧＢの画像のずれは、出力画像の色ずれや鮮鋭度の低下を招き、たいへん好ましくない。
視差のある一対の画像を基に、位置補正を施して合成画像を得る技術は特開平６−６６８０号公報や特開平８−１１６４９０号公報で知られているが、ＲＧＢの画像を個別に得るものではない。
【０００６】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、画像のずれを良好に補正して合成することができる撮像装置及びその制御方法及び制御プログラム及び記憶媒体を提供することである。
【００１０】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、同一平面上に複数の撮像領域を備えた撮像素子と、該複数の撮像領域上に各々物体像を形成する撮影光学系と、前記撮像素子の出力信号を処理する画像処理手段とを具備し、前記撮像素子は同一のスペクトル分布で形成された略同一視野の第１及び第２の画像と、該第１及び第２の画像とは異なるスペクトル分布で形成され前記第１及び第２の画像と略同一視野の第３の画像を出力するとともに、前記画像処理手段は、前記出力信号の処理過程において、温度変化、被写体距離の変化、前記撮影光学系の製造誤差の少なくとも一つに基づく前記第１及び第２の画像の前記撮像素子上への結像位置の間隔変化に基づいて前記第３の画像の位置の補正を行った後、前記第１、第２、及び第３の画像に基づく合成映像信号を形成することを特徴としている。
【００１１】
また、本発明に係わる撮像装置は、同一平面上にほぼ同一寸法の第１及び第２の撮像領域を備えた撮像素子と、前記第１の撮像領域上に第１の物体像を、前記第２の撮像領域上に第２の物体像を形成する撮影光学系と、前記撮像素子の出力信号を処理する画像処理手段とを具備し、前記第１及び第２の撮像領域は、受光面上で横方向にａ、縦方向にｂのピッチで複数の画素が整列してなり、ｈを正の整数としたときに、受光面内で前記第１及び第２の撮像領域は横方向にａ×ｈ×ｃ、縦方向にｂ×ｃ、又は、横方向にａ×ｃ、縦方向にｂ×ｈ×ｃだけ離れた位置関係にあるとともに、前記撮像素子は同一のスペクトル分布で形成された略同一視野を持つ第１及び第２の画像を形成し、前記画像処理手段は、温度変化、被写体距離の変化、前記撮影光学系の製造誤差の少なくとも一つに基づく前記第１及び第２の画像の前記撮像素子上への結像位置の間隔変化を前記出力信号の処理過程において補正し、前記第１及び第２の画像に基づく合成映像信号を形成することを特徴としている。
【００１３】
また、本発明に係わる撮像装置の制御方法は、同一平面上に複数の撮像領域を備えた撮像素子と、該複数の撮像領域上に各々物体像を形成する撮影光学系と、前記撮像素子の出力信号を処理する画像処理手段とを具備する撮像装置を制御するための撮像装置の制御方法であって、前記画像処理手段に、前記撮像素子から出力される同一のスペクトル分布で形成された略同一視野の第１及び第２の画像と、該第１及び第２の画像とは異なるスペクトル分布で形成され前記第１及び第２の画像と略同一視野の第３の画像について、前記出力信号の処理過程において、温度変化、被写体距離の変化、前記撮影光学系の製造誤差の少なくとも一つに基づく前記第１及び第２の画像の前記撮像素子上への結像位置の間隔変化に基づいて前記第３の画像の位置の補正を行わせた後、前記第１、第２、及び第３の画像に基づく合成映像信号を形成させることを特徴としている。
【００１４】
また、本発明に係わる撮像装置の制御方法は、同一平面上にほぼ同一寸法の第１及び第２の撮像領域を備えた撮像素子と、前記第１の撮像領域上に第１の物体像を、前記第２の撮像領域上に第２の物体像を形成する撮影光学系と、前記撮像素子の出力信号を処理する画像処理手段とを具備する撮像装置を制御するための撮像装置の制御方法であって、前記第１及び第２の撮像領域は、受光面上で横方向にａ、縦方向にｂのピッチで複数の画素が整列してなり、ｈを正の整数としたときに、受光面内で前記第１及び第２の撮像領域は横方向にａ×ｈ×ｃ、縦方向にｂ×ｃ、又は、横方向にａ×ｃ、縦方向にｂ×ｈ×ｃだけ離れた位置関係にあり、前記画像処理手段に、温度変化、被写体距離の変化、前記撮影光学系の製造誤差の少なくとも一つに基づく、前記撮像素子により形成される同一のスペクトル分布で形成された略同一視野を持つ第１及び第２の画像の前記撮像素子上への結像位置の間隔変化を前記出力信号の処理過程において補正させ、前記第１及び第２の画像に基づく合成映像信号を形成させることを特徴としている。
【００１８】
また、本発明に係わる制御プログラムは、同一平面上に複数の撮像領域を備えた撮像素子と、該複数の撮像領域上に各々物体像を形成する撮影光学系と、前記撮像素子の出力信号を処理する画像処理手段とを具備する撮像装置を制御するための制御プログラムであって、前記画像処理手段に、前記撮像素子から出力される同一のスペクトル分布で形成された略同一視野の第１及び第２の画像と、該第１及び第２の画像とは異なるスペクトル分布で形成され前記第１及び第２の画像と略同一視野の第３の画像について、前記出力信号の処理過程において、温度変化、被写体距離の変化、前記撮影光学系の製造誤差の少なくとも一つに基づく前記第１及び第２の画像の前記撮像素子上への結像位置の間隔変化に基づいて前記第３の画像の位置の補正を行わせた後、前記第１、第２、及び第３の画像に基づく合成映像信号を形成させる工程のコードを有することを特徴としている。
【００１９】
また、本発明に係わる制御プログラムは、同一平面上にほぼ同一寸法の第１及び第２の撮像領域を備えた撮像素子と、前記第１の撮像領域上に第１の物体像を、前記第２の撮像領域上に第２の物体像を形成する撮影光学系と、前記撮像素子の出力信号を処理する画像処理手段とを具備する撮像装置を制御するための制御プログラムであって、前記第１及び第２の撮像領域は、受光面上で横方向にａ、縦方向にｂのピッチで複数の画素が整列してなり、ｈを正の整数としたときに、受光面内で前記第１及び第２の撮像領域は横方向にａ×ｈ×ｃ、縦方向にｂ×ｃ、又は、横方向にａ×ｃ、縦方向にｂ×ｈ×ｃだけ離れた位置関係にあり、前記制御プログラムが、前記画像処理手段に、温度変化、被写体距離の変化、前記撮影光学系の製造誤差の少なくとも一つに基づく、前記撮像素子により形成される同一のスペクトル分布で形成された略同一視野を持つ第１及び第２の画像の前記撮像素子上への結像位置の間隔変化を前記出力信号の処理過程において補正させ、前記第１及び第２の画像に基づく合成映像信号を形成させることを特徴としている。
【００２４】
また、本発明に係わる撮像装置は、同一平面上にほぼ同一寸法の第１及び第２の撮像領域を備えた撮像素子と、前記第１の撮像領域上に第１の物体像を、前記第２の撮像領域上に第２の物体像を形成する撮影光学系と、前記撮像素子の出力信号を処理する信号処理装置とを有し、前記第１及び第２の撮像領域は、受光面上で横方向にａ、縦方向にｂのピッチで複数の画素が整列してなり、ｈを正の整数としたときに、受光面内で前記第１及び第２の撮像領域は横方向にａ×ｈ×ｃ、縦方向にｂ×ｃ、又は、横方向にａ×ｃ、縦方向にｂ×ｈ×ｃだけ離れた位置関係にあるとともに、前記撮像素子は同一のスペクトル分布で形成された略同一視野を持つ第１及び第２の画像を形成し、前記信号処理装置は、温度変化、被写体距離の変化、前記撮影光学系の製造誤差の少なくとも一つに基づく、前記第１及び第２の画像の前記撮像素子上への結像位置の間隔変化を前記出力信号の処理過程において補正し、前記第１及び第２の画像に基づく合成映像信号を形成することを特徴としている。
【００３４】
【発明の実施の形態】
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。
【００３５】
（第１の実施形態）
図２、図３、図４は、本発明の第１の実施形態に係わるデジタルカラーカメラの外観を示す図であって、図２はカメラの裏面図、図３はカメラを図２の左方から見た側面図、図４はカメラを図２の右方から見た側面図である。
【００３６】
図２、図３、図４において、１０１はカード型のカメラ本体、１０５はメインスイッチ、１０６はレリーズ釦（図１も参照）、１０７、１０８、１０９は使用者がカメラの状態をセットするためのスイッチ、１５０は残りの撮影可能枚数の表示部である。１１１はファインダー接眼窓であって、ファインダーに入射した物体光がここから射出する。１１４は外部のコンピュータ等に接続して、データの送受信をするための規格化された接続端子、２００はグリップを兼ねた接点保護キャップ、１２０はカメラの前面に配置されたレリーズ釦１０６と同軸に形成された突起、８９０は内部に位置する撮像系である。接点保護キャップ２００は軟質の樹脂あるいはゴムで形成されている。
【００３７】
カメラ本体１０１をＰＣカードと同一サイズとして、パーソナルコンピュータに装着するようにしても良い。この場合は、長さ８５．６ｍｍ、幅５４．０ｍｍ、厚さ３．３ｍｍ（ＰＣカード規格Ｔｙｐｅ１）あるいは厚さ５．０ｍｍ（ＰＣカード規格Ｔｙｐｅ２）とする。
【００３８】
図１はデジタルカラーカメラの断面図であって、レリーズ釦１０６、撮像系８９０、ファインダー接眼窓１１１を通る面で切ったときの図である。図に於いて、１２３はカメラの各構成要素を保持する筐体、１２５は裏蓋、８９０は撮像系、１２１はレリーズ釦１０６が押下されたときにオンするスイッチ、１２４はレリーズ釦１０６を突出方向に付勢するコイルバネである。スイッチ１２１はレリーズボタン１０６を半分だけ押下すると閉成する第１段回路と、終端まで押下されると閉成する第２段回路を備えている。
【００３９】
１１２と１１３はファインダー光学系を形成する第１および第２プリズムである。第１、第２プリズム１１２、１１３はアクリル樹脂等の透明材料で形成され、両者には同一の屈折率を持たせてある。また、内部を光線が直進するように中実である。第２プリズム１１３の物体光射出面１１３ａの周囲には遮光用の印刷を施した領域１１３ｂが形成され、ファインダー射出光の通過範囲を制限している。また、この印刷領域は図示の如く第２プリズム１１３の側面と物体光射出面１１３ａに対向する部分にも及んでいる。
【００４０】
撮像系８９０は、保護ガラス１６０、撮影レンズ８００、センサ基板１６１、センサ位置調整用の中継部材１６３、１６４を筐体１２３に取り付けることによって構成される。また、センサ基板１６１上には、固体撮像素子８２０、センサカバーガラス１６２、温度計測手段であるところの温度センサ１６５が取り付けられ、撮影レンズ８００には後述する絞り８１０が接着されている。中継部材１６３、１６４は筐体の貫通孔１２３ａ、１２３ｂに移動可能に嵌合し、撮影レンズ８００と固体撮像素子８２０との位置関係が適切になるように調整した後、センサ基板１６１と筐体１２３に対して接着固定される。
【００４１】
さらに、保護ガラス１６０、センサカバーガラス１６２には、撮像する範囲以外からの光が固体撮像素子８２０に入射するのをできるだけ減ずるため、有効部以外の領域に遮光のための印刷が施されている。図に示した１６２ａおよび１６２ｂが印刷領域である。また、印刷領域以外はゴーストの発生を避けるために増透コートが施されている。
【００４２】
撮像系８９０の詳細を説明する。
【００４３】
図５は撮像系８９０の詳細図である。撮影光学系の基本要素は撮影レンズ８００、絞り８１０、固体撮像素子８２０である。撮像系８９０は緑色（Ｇ）画像信号、赤色（Ｒ）画像信号、青色（Ｂ）画像信号を別々に得るための４つの光学系を備えている。
【００４４】
想定する物体距離は数ｍと結像系の光路長に比して極めて大きいので、想定物体距離に対して入射面をアプラナチックとすると入射面は極めて小さな曲率を持つ凹面であり、ここでは平面で置き換えた。
【００４５】
光射出側から見た図７に示すように、撮影レンズ８００は４つのレンズ部８００ａ、８００ｂ、８００ｃ、８００ｄを有し、これらは輪帯状の球面で構成されている。このレンズ部８００ａ、８００ｂ、８００ｃ、８００ｄ上には６７０ｎｍ以上の波長域について低い透過率を持たせた赤外線カットフィルターが、また、ハッチングをかけて示した平面部８００ｆには遮光性膜が形成されている。
【００４６】
４つのレンズ部８００ａ、８００ｂ、８００ｃ、８００ｄのそれぞれが結像系であって、後述するように、レンズ部８００ａと８００ｄが緑色（Ｇ）画像信号用、レンズ部８００ｂが赤色（Ｒ）画像信号用、レンズ部８００ｃが青色（Ｂ）画像信号用となる。また、ＲＧＢの各代表波長における焦点距離は全て１．４５ｍｍである。
【００４７】
固体撮像素子８２０の画素ピッチで決定されるナイキスト周波数以上の物体像の高周波成分を抑え、低周波側のレスポンスを上げるために、撮影レンズ８００の光入射面８００ｅには８５４ａ、８５４ｂで示す透過率分布領域が設けられている。これはアポダイゼイションと呼ばれ、絞り中心で最高の透過率を持ち、周辺に行くに従って低下する特性を持たせることにより、望ましいＭＴＦを得る手法である。
【００４８】
絞り８１０は図６に示すような４つの円形開口８１０ａ、８１０ｂ、８１０ｃ、８１０ｄを有する。この各々から撮影レンズ８００の光入射面８００ｅに入射した物体光は、４つのレンズ部８００ａ、８００ｂ、８００ｃ、８００ｄから射出して、固体撮像素子８２０の撮像面上に４つの物体像を形成する。絞り８１０と光入射面８００ｅおよび固体撮像素子８２０の撮像面は平行に配置されている。絞り８１０と４つのレンズ部８００ａ、８００ｂ、８００ｃ、８００ｄとは、ツィンケン・ゾンマーの条件を満たす位置関係、すなわち、コマ収差と非点収差を同時に除く位置関係に設定されている。
【００４９】
また、レンズ部８００ａ、８００ｂ、８００ｃ、８００ｄを輪帯状に分割することで像面湾曲を良好に補正する。すなわち、一つの球面によって形成される像面はペッツパールの曲率で表される球面となるが、これを複数つなぐことによって像面を平坦化するものである。レンズ部の断面図である図１２に示すように、各輪帯の球面の中心位置ＰＡはコマ収差と非点収差を生じさせないための条件からすべて同一であって、さらに、このような形でレンズ部８００ａ、８００ｂ、８００ｃ、８００ｄを分割すれば、各輪帯で生じる物体像の歪曲は完全に同一となって、総合的に高いＭＴＦ特性を得ることができる。この際に残る歪曲は演算処理で修正すればよい。各レンズ部で生じる歪曲を同一とすれば、補正処理を簡素化することが出来る。
【００５０】
輪帯状球面の半径は、中心の輪帯から周辺に行くに従って等差級数的に増加するように設定し、その増加量をｍλ／（ｎ−１）とする。ここで、λは各レンズ部が形成する画像の代表波長、ｎはこの代表波長に対する撮影レンズ８００の屈折率、ｍは正数の定数である。このように構成すると、隣り合う輪帯を通過する光線の光路長差はｍλで射出光は同位相となり、レンズ部の分割を多くして輪帯の数を増したときには回折光学素子として機能する。
【００５１】
なお、輪帯の段差部分で発生するフレアをできるだけ抑えるために、図示の如く主光線と平行な段差を設けることとする。レンズ部８００ａ、８００ｂ、８００ｃ、８００ｄは瞳から離れているために、このように構成することによるフレア抑止効果は大きい。
【００５２】
図８は固体撮像素子８２０の正面図である。固体撮像素子８２０は形成される４つの物体像に対応させて４つの撮像領域８２０ａ、８２０ｂ、８２０ｃ、８２０ｄを備えている。図は簡略化して示したが、撮像領域８２０ａ、８２０ｂ、８２０ｃ、８２０ｄの各々は、縦横のピッチＰが１．５６μｍの画素を８００×６００個配列してなる１．２４８ｍｍ×０．９３６ｍｍの領域であって、各撮像領域の対角寸法は１．５６ｍｍである。また、各撮像領域間には横方向に０．１５６ｍｍ、縦方向に０．４６８ｍｍの分離帯が形成されている。したがって、各撮像領域の中心の距離は、横方向と縦方向に同一で、１．４０４ｍｍとなる。
【００５３】
すなわち、撮像領域８２０ａおよび撮像領域８２０ｄで受光面上の横方向ピッチａ＝Ｐ、縦方向ピッチｂ＝Ｐ、定数ｃ＝９００、正の整数ｈ＝１としたとき、これらは受光面内で横方向にａ×ｈ×ｃ、縦方向にｂ×ｃだけ離れた位置関係にある。このような関係を作ることにより、温度変化や被写体距離変化に伴って生じるレジストレーションずれを極めて簡単な演算で補正することが可能である。レジストレーションずれとは、多板式カラーカメラ等において例えばＲ撮像系／Ｇ撮像系／Ｂ撮像系と言った受光スペクトル分布の異なる撮像系間で生じる物体像サンプリング位置の不整合である。
【００５４】
図の８５１ａ、８５１ｂ、８５１ｃ、８５１ｄは内部に物体像が形成されるイメージサークルである。イメージサークル８５１ａ、８５１ｂ、８５１ｃ、８５１ｄの形状は、保護ガラス１６０とセンサカバーガラス１６２に設けた印刷領域１６２ａ、１６２ｂの効果により周辺での照度低下はあるものの、最大の形状は絞りの開口と撮影レンズ８００の射出側球面部の大きさで決定される円形である。したがって、イメージサークル８５１ａ、８５１ｂ、８５１ｃ、８５１ｄには互いに重なり合う部分が生じている。
【００５５】
図５に戻って、絞り８１０と撮影レンズ８００に挟まれた領域のハッチングで示した部分８５２ａ、８５２ｂは撮影レンズ８００の光入射面８００ｅ上に形成された光学フィルターである。撮影レンズ８００を光入射側から見た図９で示すように、光学フィルター８５２ａ、８５２ｂ、８５２ｃ、８５２ｄが絞り開口８１０ａ、８１０ｂ、８１０ｃ、８１０ｄを完全に含む範囲に形成されている。
【００５６】
光学フィルター８５２ａと８５２ｄは図１０にＧで示した主に緑色を透過する分光透過率特性を有し、光学フィルター８５２ｂはＲで示した主に赤色を透過する分光透過率特性を有し、さらに、光学フィルター８５２ｃはＢで示した主に青色を透過する分光透過率特性を有している。すなわち、これらは原色フィルターである。レンズ部８００ａ、８００ｂ、８００ｃ、８００ｄに形成されている赤外線カットフィルターの特性との積として、イメージサークル８５１ａと８５１ｄに形成されている物体像は緑色光成分、イメージサークル８５１ｂに形成されている物体像は赤色光成分、イメージサークル８５１ｃに形成されている物体像は青色光成分によるものとなる。
【００５７】
各結像系に各スペクトル分布の代表波長について略同一の焦点距離を設定すれば、これらの画像信号を合成することにより良好に色収差の補正されたカラー画像を得ることができる。通常、色収差を除去する色消しは、分散の異なる少なくとも２枚のレンズの組み合わせが必要である。これに対して、各結像系が１枚構成であることによるコストダウン効果がある。さらに、撮像系の薄型化への効果が大きい。
【００５８】
一方、固体撮像素子８２０の４つの撮像領域８２０ａ、８２０ｂ、８２０ｃ、８２０ｄ上にもまた光学フィルターが形成されている。撮像領域８２０ａと８２０ｄの分光透過率特性は図１０にＧで示したもの、撮像領域８２０ｂの分光透過率特性は図１０にＲで示したもの、撮像領域８２０ｃの分光透過率特性は図１０にＢで示したものである。つまり、撮像領域８２０ａと８２０ｄは緑色光（Ｇ）に対して、撮像領域８２０ｂは赤色光（Ｒ）に対して、撮像領域８２０ｃは青色光（Ｂ）に対して感度を持つ。
【００５９】
各撮像領域の受光スペクトル分布は瞳と撮像領域の分光透過率の積として与えられるため、イメージサークルの重なりがあっても、結像系の瞳と撮像領域の組み合わせは波長域によってほぼ選択される。
【００６０】
さらに、撮像領域８２０ａ、８２０ｂ、８２０ｃ、８２０ｄの上にはマイクロレンズ８２１が各画素の受光部（例えば８２２ａ、８２２ｂ）毎に形成されている。マイクロレンズ８２１は固体撮像素子８２０の受光部に対して偏心した配置をとり、その偏心量は各撮像領域８２０ａ、８２０ｂ、８２０ｃ、８２０ｄの中央でゼロ、周辺に行くほど大きくなるように設定されている。また、偏心方向は各撮像領域８２０ａ、８２０ｂ、８２０ｃ、８２０ｄの中央の点と各受光部を結ぶ線分の方向である。
【００６１】
図１１はこのマイクロレンズの作用を説明するための図で、撮像領域８２０ａと撮像領域８２０ｂが隣り合う位置にある受光部８２２ａ、８２２ｂを拡大して示した断面図である。受光部８２２ａに対してマイクロレンズ８２１ａは図の上方に偏心し、他方、受光部８２２ｂに対してマイクロレンズ８２１ｂは図の下方に偏心している。この結果、受光部８２２ａに入射する光束は、８２３ａとしてハッチングで示した領域に、受光部８２２ｂに入射する光束は、８２３ｂとしてハッチングで示した領域に限定される。
【００６２】
光束の領域８２３ａと８２３ｂは反対方向に傾き、それぞれはレンズ部８００ａと８００ｂに向かっている。したがって、マイクロレンズの偏心量を適切に選べば、各撮像領域には特定の瞳を射出した光束だけが入射することになる。つまり、絞りの開口８１０ａを通過した物体光は主に撮像領域８２０ａで光電変換され、絞りの開口８１０ｂを通過した物体光は主に撮像領域８２０ｂで光電変換され、絞りの開口８１０ｃを通過した物体光は主に撮像領域８２０ｃで光電変換され、さらに、絞りの開口８１０ｄを通過した物体光は主に撮像領域８２０ｄで光電変換されるように偏心量を設定することが可能である。
【００６３】
先に説明した、波長域を利用して各撮像領域に対して選択的に瞳を割り当てる手法に加えて、マイクロレンズを利用して各撮像領域に対して選択的に瞳を割り当てる手法をも適用し、さらには、保護ガラス１６０とセンサカバーガラス１６２に印刷領域を設けることにより、イメージサークルのオーバーラップを許容しつつも、波長間のクロストークを確実に防ぐことができる。つまり、絞りの開口８１０ａを通過した物体光は撮像領域８２０ａで光電変換され、絞りの開口８１０ｂを通過した物体光は撮像領域８２０ｂで光電変換され、絞りの開口８１０ｃを通過した物体光は撮像領域８２０ｃで光電変換され、さらに、絞りの開口８１０ｄを通過した物体光は撮像領域８２０ｄで光電変換される。したがって、撮像領域８２０ａと８２０ｄはＧ画像信号を、撮像領域８２０ｂはＲ画像信号を、撮像領域８２０ｃはＢ画像信号を出力することになる。
【００６４】
不図示の画像処理系は、固体撮像素子８２０の複数の撮像領域が、各々、複数の物体像の一つから得た選択的光電変換出力に基づいてカラー画像を形成する。この際、各結像系の歪曲を演算上で補正し、比視感度のピーク波長５５５ｎｍを含むＧ画像信号を基準としてカラー画像を形成するための信号処理を行う。Ｇ物体像は２つの撮像領域８２０ａと８２０ｄに形成されるため、その画素数はＲ画像信号やＢ画像信号に比べて２倍となり、視感度の高い波長域で特に高精細な画像を得ることができるようになっている。この際、固体撮像素子の撮像領域８２０ａと８２０ｄ上の物体像を相互に上下左右１／２画素分ずらすことにより、少ない画素数で解像度を上げる画素ずらしという手法を用いる。図８に示したように、イメージサークルの中心でもある物体像中心８６０ａ、８６０ｂ、８６０ｃ、８６０ｄをそれぞれ撮像領域８２０ａ、８２０ｂ、８２０ｃ、８２０ｄの中心から矢印８６１ａ、８６１ｂ、８６１ｃ、８６１ｄの方向に１／４画素分オフセットさせ、全体として１／２画素ずらしを構成している。なお、ここでは矢印８６１ａ、８６１ｂ、８６１ｃ、８６１ｄの長さをオフセット量を表すように図示してはいない。
【００６５】
単一の撮影レンズを用いる撮像系との比較において、固体撮像素子の画素ピッチを固定して考えると、固体撮像素子上に２×２画素を一組としてＲＧＢカラーフィルターを形成したベイヤー配列方式に比較し、この方式は物体像の大きさが１／√４になる。これに伴って撮影レンズの焦点距離はおおよそ１／√４＝１／２にまで短くなる。したがって、カメラの薄型化に対して極めて有利である。
【００６６】
次に、撮影レンズと撮像領域の位置関係について述べる。前述のように各撮像領域は１．２４８ｍｍ×０．９３６ｍｍであって、これらは横方向に０．１５６ｍｍ、縦方向に０．４６８ｍｍの分離帯を隔てて位置している。隣り合う撮像領域の中心間隔は縦方向、横方向に１．４０４ｍｍ、また、対角方向については１．９８５６ｍｍである。
【００６７】
撮像領域８２０ａと８２０ｄに注目して、基準被写体距離２．３８ｍにある物体の像を、画素ずらしのために撮像領域間隔の１．９８５６ｍｍから０．５画素分の対角寸法を差し引いた１．９８４５ｍｍ間隔で、撮像部上に形成するものとする。こうすると、図１３に示すように撮影レンズ８００のレンズ部８００ａ、８００ｄの間隔を１．９８３２ｍｍに設定することになる。図において矢印８５５ａ、８５５ｄは、撮影レンズ８００のレンズ部８０１ａ、８００ｄによる正のパワーを有する結像系を表す記号、矩形８５６ａ、８５６ｄは撮像領域８２０ａ、８２０ｄの範囲を表す記号、Ｌ８０１、Ｌ８０２は結像系８５５ａ、８５５ｄの光軸である。撮影レンズ８００の光入射面８００ｅは平面、また、光射出面であるところのレンズ部８００ａ、８００ｄは同心の球面からなるフレネルレンズであるので、球心を通って光入射面に垂直な直線が光軸となる。
【００６８】
次に、簡単のため縦横の画素数をそれぞれ１／１００にして、物体像と撮像領域との位置関係、および被写体上に投影したときの画素の位置関係を説明する。図１４と図１５はその説明図である。
【００６９】
先ず、図１４において、３２０ａ、３２０ｂ、３２０ｃ、３２０ｄは固体撮像素子８２０の４つの撮像領域である。ここでは説明のため撮像領域３２０ａ、３２０ｂ、３２０ｃ、３２０ｄの各々は画素を８×６個配列してなる。撮像領域３２０ａと３２０ｄはＧ画像信号を、撮像領域３２０ｂはＲ画像信号を、撮像領域３２０ｃはＢ画像信号を出力する。撮像領域３２０ａと３２０ｄ内の画素は白抜きの矩形で、撮像領域３２０ｂ内の画素はハッチングを付した矩形で、撮像領域３２０ｃ内の画素は黒い矩形で示している。
【００７０】
また、各撮像領域間には横方向に１画素、縦方向に３画素に相当する寸法の分離帯が形成されている。したがって、Ｇ画像を出力する撮像領域の中心距離は、横方向と縦方向に同一である。
【００７１】
３５１ａ、３５１ｂ、３５１ｃ、３５１ｄは物体像である。画素ずらしのために、物体像３５１ａ、３５１ｂ、３５１ｃ、３５１ｄの中心３６０ａ、３６０ｂ、３６０ｃ、３６０ｄはそれぞれ撮像領域３２０ａ、３２０ｂ、３２０ｃ、３２０ｄの中心から撮像領域全体の中心３２０ｅの方向に１／４画素分オフセットさせている。
【００７２】
この結果、被写界側の所定距離にある平面上に各撮像領域を逆投影すると、図１５に示すようになる。被写界側においても撮像領域３２０ａと３２０ｄ内の画素の逆投影像は白抜きの矩形３６２ａで、撮像領域３２０ｂ内の画素の逆投影像はハッチングを付した矩形３６２ｂで、撮像領域３２０ｃ内の画素の逆投影像は黒く塗りつぶした矩形３６２ｃで示した。
【００７３】
物体像の中心３６０ａ、３６０ｂ、３６０ｃ、３６０ｄの逆投影像は点３６１として一つに重なり、撮像領域３２０ａ、３２０ｂ、３２０ｃ、３２０ｄの各画素はその中心が重なり合わないように逆投影される。白抜きの矩形はＧ画像信号を、ハッチングを付した矩形はＲ画像信号を、黒く塗りつぶした矩形はＲ画像信号を出力するので、この結果、被写体上ではベイヤー配列のカラーフィルターを持った撮像素子と同等のサンプリングを行うこととなる。
【００７４】
次に、ファインダー系について説明する。このファインダー装置は光が屈折率が高い媒質と低い媒質との界面で全反射する性質を利用して薄型化する。ここでは、空気中で使用するときの構成について説明する。
【００７５】
図１６はファインダーを構成する第１プリズム１１２および第２プリズム１１３の斜視図である。第１プリズム１１２は面１１２ａ（図１７参照）に対向する位置に４つの面１１２ｃ、１１２ｄ、１１２ｅ、１１２ｆを有し、面１１２ａから入射した物体光は面１１２ｃ、１１２ｄ、１１２ｅ、１１２ｆから射出する。面１１２ａ、面１１２ｃ、１１２ｄ、１１２ｅ、１１２ｆは何れも平面である。
【００７６】
一方、第２プリズム１１３には、第１プリズム１１２の面１１２ｃ、１１２ｄ、１１２ｅ、１１２ｆに対向する位置に、面１１３ｃ、１１３ｄ、１１３ｅ、１１３ｆを備えている。面１１３ｃ、１１３ｄ、１１３ｅ、１１３ｆから入射した物体光は、面１１３ａから射出する。第１プリズム１１２の面１１２ｃ、１１２ｄ、１１２ｅ、１１２ｆと第２プリズム１１３の面１１３ｃ、１１３ｄ、１１３ｅ、１１３ｆは、僅かなエアギャップを介して対向している。したがって、第２プリズム１１３の面１１３ｃ、１１３ｄ、１１３ｅ、１１３ｆも平面である。
【００７７】
また、ファインダーに眼を近づけて物体を観察できるようにする必要があるため、ファインダー系は屈折力を持たないようにする。したがって、第１プリズム１１２の物体光入射面１１２ａが平面であったので、第２プリズム１１３の物体光射出面１１３ａもまた平面である。しかも、これらは平行な面となる。さらには、撮像系８９０と信号処理系は演算上の歪曲補正を含む総合的な処理として長方形の画像を得るので、ファインダーを通して見える観察視野も長方形とする必要がある。したがって、第１プリズム１１２と第２プリズム１１３の光学的に有効な面は何れも上下左右に面対称の関係となる。２つの対称面の交線がファインダー光軸Ｌ１である。
【００７８】
図１７は、エアギャップを持って対向する面の役割を説明するための図である。第１プリズム１１２と第２プリズム１１３を所定の位置関係に組み合わせてファインダー系を構成し、主断面で観察者の眼の位置から光路を逆トレースした状態を上方から見た図としている。
【００７９】
図に於いて、点Ｐ１は、観察者の眼の瞳を無限に絞ったときに観察視野全体を見渡すことができるファインダーから最も離れた点であり、いわゆるアイポイントである。
【００８０】
点Ｐ１を発し、ファインダー画角ωを僅かに越える角度の光線１３０について考える。光線１３０は第２プリズム１１３の面１１３ａで屈折し、面１１３ｃに達する。面１１３ｃの傾斜角は、ファインダー画角ωに相当する光線の入射角βが臨界角になるように設定されている。したがって、光線１３０の入射面１１３ｃへの入射角は臨界角を僅かに越えている。この結果、面１１３ｃから射出することはできずに全反射する。第２プリズム１１３の側面には遮光のための印刷領域１１３ｂがあり、光線１３０はここで吸収される。したがって、観察者からは、光線１３０の方向に被写体は見えず、被写界以外であることを示す暗部となる。
【００８１】
次に、点Ｐ１を発し、ファインダー画角ωよりも僅かに小さい角度の光線１３１について考える。光線１３１は第２プリズム１１３の面１１３ａで屈折し、面１１３ｃに達する。前述のように面１１３ｃの傾斜角は、ファインダー画角ωに相当する光線の入射角βが臨界角になるように設定されている。光線１３１の面１１３ｃへの入射角は臨界角よりも僅かに小さい。光線１３１は面１１３ｃから射出し、僅かなエアギャップを通った後、第１プリズム１１２の面１１２ｃに入射する。面１１３ｃとこれに対向する面１１２ｃは同一形状であるので、第一プリズム１１２内で光線の進む方向は第２プリズム１１３内で進んでいた方向と同一である。
【００８２】
第１プリズム１１２まで到達した光線に対しては、第１プリズム１１２と第２プリズム１１３の総合特性が平行平板に等価である。この結果、光線１３１は面１１３ａへの入射角と等しい角度を持って面１１２ａから射出する。つまり、視野角βとファインダー画角ωは等しい。したがって、観察者からは、光線１３１の方向に被写体が見え、被写界を認識することができる。以上に示した光線１３０，１３１の光路は、臨界角を利用してファインダー視野を制限すること、つまり、明確なファインダー視野の輪郭を得ることが可能であることを表している。
【００８３】
前述のように第１プリズム１１２と第２プリズム１１３は面対称形状をしているので、図１７に示した光路もファインダー光軸Ｌ１に対して折り返したものが存在する。さらには、第１プリズム１１２の面１１２ｅ、１１２ｆと第２プリズム１１３の面１１３ｅ、１１３ｆとのそれぞれの関係においても、同様の原理によるファインダー視野の制限がかかる。以上は簡単のために観察者の眼の位置から光線を逆に追って考えたが、被写体を発した光が進む方向に光路を考えれば、光線の可逆性から、観察視野内から第１プリズム１１２の物体光入射面１１２ａに入射した物体光はエアギャップを通過し、観察視野外から第１プリズム１１２の物体光入射面１１２ａに入射した物体光はエアギャップを通過しないことと等価である。したがって、総合的なファインダーの特性として、点Ｐ１の位置からほぼ長方形のファインダー視野を得ることができる。
【００８４】
次に、信号処理系の概略構成を説明する。
【００８５】
図１８は信号処理系のブロック図である。本カメラは、ＣＣＤあるいはＣＭＯＳセンサなどの固体撮像素子１２０を用いた単板式のデジタルカラーカメラであり、固体撮像素子１２０を連続的または単発的に駆動して動画像または静止画像を表わす画像信号を得る。ここで、固体撮像素子１２０とは、露光した光を各画素毎に電気信号に変換してその光量に応じた電荷をそれぞれ蓄積し、その電荷を読み出すタイブの撮像デバイスである。
【００８６】
なお、図面には本発明に直接関係する部分のみが示されており、本発明に直接関係しない部分は図示とその説明を省略する。
【００８７】
図１８に示すように、撮像装置は、撮像系１０と、画像処理手段であるところの画像処理系２０と、記録再生系３０と、制御系４０とを有する。さらに、撮像系１０は、撮影レンズ１００、絞り１１０および固体撮像素子１２０を含み、画像処理系２０は、Ａ／Ｄ変換器５００、ＲＧＢ画像処理回路２１０およびＹＣ処理回路２３０を含み、記録再生系３０は、記録処理回路３００および再生処理回路３１０を含み、制御系４０は、システム制御部４００、操作検出部４３０、温度センサ１６５および固体撮像素子駆動回路４２０を含む。
【００８８】
撮像系１０は、物体からの光を絞り１１０と撮影レンズ１００を介して固体撮像素子１２０の撮像面に結像する光学処理系であり、被写体像を固体撮像素子１２０に露光する。前述のように、固体撮像素子１２０は、ＣＣＤやＣＭＯＳセンサなどの撮像デバイスが有効に適用され、固体撮像素子１２０の露光時間および露光間隔を制御することにより、連続した動画像を表わす画像信号、または一回の露光による静止画像を表わす画像信号を得ることができる。
【００８９】
前述のように固体撮像素子１２０は、各撮像領域毎に長辺方向に８００画素、短辺方向に６００画素を有し、合計１９２万の画素数を有する撮像デバイスであり、その前面には赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３原色の光学フィルターが所定の領域毎に配置されている。
【００９０】
固体撮像素子１２０から読み出された画像信号は、それぞれＡ／Ｄ変換器５００を介して画像処理系２０に供給される。Ａ／Ｄ変換器５００は、たとえば、露光した各画素の信号の振幅に応じて、たとえば１０ビットのデジタル信号に変換して出力する信号変換回路であり、以降の画像信号処理はデジタル処理にて実行される。
【００９１】
画像処理系２０は、Ｒ，Ｇ，Ｂのデジタル信号から所望の形式の画像信号を得る信号処理回路であり、Ｒ，Ｇ，Ｂの色信号を輝度信号Ｙおよび色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）にて表わされるＹＣ信号などに変換する。
【００９２】
ＲＧＢ画像処理回路２１０は、Ａ／Ｄ変換器５００を介して固体撮像素子１２０から受けた８００×６００×４画素の画像信号を処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路を有する。
【００９３】
ＹＣ処理回路２３０は、輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する信号処理回路である。高域輝度信号ＹＨを生成する高域輝度信号発生回路、低域輝度信号ＹＬを生成する低域輝度信号発生回路、および、色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する色差信号発生回路で構成されている。輝度信号Ｙは高域輝度信号ＹＨと低域輝度信号ＹＬを合成することによって形成される。
【００９４】
記録再生系３０は、メモリへの画像信号の出力と、液晶モニタ４への画像信号の出力とを行う処理系であり、メモリへの画像信号の書き込みおよび読み出し処理を行なう記録処理回路３００と、メモリから読み出した画像信号を再生して、モニタ出力とする再生処理回路３１０とを含む。より詳細には、記録処理回路３００は、静止画像および動画像を表わすＹＣ信号を所定の圧縮形式にて圧縮し、また、圧縮データを読み出した際に伸張する圧縮伸張回路を含んでいる。
【００９５】
圧縮伸張回路は、信号処理のためのフレームメモリなどを有し、このフレームメモリに画像処理系２０からのＹＣ信号をフレーム毎に蓄積して、それぞれ複数のブロック毎に読み出して圧縮符号化する。圧縮符号化は、たとえば、ブロック毎の画像信号を２次元直交変換、正規化およびハフマン符号化することにより行なう。
【００９６】
再生処理回路３１０は、輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙをマトリックス変換してたとえばＲＧＢ信号に変換する回路である。再生処理回路３１０によって変換した信号は液晶モニタ４に出力され、可視画像が表示再生される。
【００９７】
制御系４０は、外部操作に応動して撮像系１０、画像処理系２０、記録再生系３０をそれぞれ制御する各部の制御回路を含み、レリーズボタン１０６の押下を検出して、固体撮像素子１２０の駆動、ＲＧＢ画像処理回路２１０の動作、記録処理回路３００の圧縮処理などを制御する。具体的には、レリーズボタン１０６の操作を検出する操作検出回路４３０と、その検出信号に連動して各部を制御し、撮像の際のタイミング信号などを生成して出力するシステム制御部４００と、このシステム制御部４００の制御の下に固体撮像素子１２０を駆動する駆動信号を生成する固体撮像素子駆動回路４２０とを含む。
【００９８】
さて、ＲＧＢ画像処理回路２１０での処理は次のようなものである。Ａ／Ｄ変換器５００を介してＲ，Ｇ，Ｂ領域毎に出力されたＲＧＢ信号に対して、まず、ＲＧＢ画像処理回路２１０内のホワイトバランス回路にてそれぞれ所定の白バランス調整を行ない、さらに、ガンマ補正回路にて所定のガンマ補正を行なう。ＲＧＢ画像処理回路２１０内の補間演算回路は、固体撮像素子１２０の画像信号に補間処理と歪曲補正を施すことによって１２００×１６００の解像度の画像信号をＲＧＢ毎に生成し、後段の高域輝度信号発生回路、低域輝度信号発生回路、色差信号発生回路に供給する。
【００９９】
この補間処理は、さらに、温度変化による撮影レンズの膨張や収縮に起因した物体像の相対的な移動や、撮影レンズの製造上の誤差によるレジストレーションずれを補正する第１段階の補間処理と、ＲＧＢの各画像信号を同一の解像度とした合成映像信号を形成するための第２段階の補間処理で構成される。
【０１００】
これに続く歪曲補正は、公知の手法によって撮影光学系の歪曲収差を補正する演算処理である。この際、ＲＧＢ各物体像の倍率や歪曲は撮影レンズ１００の設定によって同一であるので、各物体像に対して一律の歪み補正を行えばよい。撮影光学系の歪曲収差を演算上で補正することにより、撮影レンズ１００の構成を他の光学収差補正のために最適化できる。
【０１０１】
さて、第１段階の補間処理の詳細は次に示すとおりである。
【０１０２】
撮像系１０の温度変化によって物体像間隔と撮像領域間隔は何れも変動する。固体撮像素子１２０の線膨張係数をαS、撮影レンズ１００の線膨張係数をαL、温度変化量をΔＴ、レンズ部の間隔をｄｏとすると、撮像系１０は結像倍率が極めて小さいために、撮像領域８２０ａと８２０ｄ間のレジストレーション変化量ΔＺTは撮影レンズの伸びと固体撮像素子の伸びの差として、式（１）で表すことができる。
【０１０３】
ΔＺT＝ｄｏ×（αL−αS）×ΔＴ          …（１）
ここで、αS＝０．２６×１０-5、ΔＴ＝２０°、２つのＧ物体像を形成するレンズ部の間隔としてｄｏ＝１．９８３２［ｍｍ］、さらに、撮影レンズ１００を低融点ガラスで作成するとしてαL＝１．２×１０-5と設定すると、ΔＺTは０．０００３７［ｍｍ］と算出される。これは２つのＧ物体像の間隔変化量であるとともに、Ｒ物体像とＢ物体像との間隔変化量でもある。温度変化量ΔＴは温度センサ１６５によって得られる。
【０１０４】
図１９はこの様子を表す図であって、図１３と同一の要素が熱膨張に伴って位置変化した状態を示している。図は簡単のために結像系８５５ａを基準として示した。結像系８５５ａは図７に示した撮影レンズ８００ではレンズ部８００ａに相当し、結像系８５５ｄはレンズ部８００ｄに相当する。
【０１０５】
撮影レンズの膨張や収縮に起因した物体像の移動によるレジストレーションずれは、２つの結像系の光軸を結ぶ方向に生じ、結像系８５５ａと結像系８５５ｄについて考えると、これらのレジストレーションずれは図１９の紙面に平行な方向に起こる。歪曲補正よりも前にこの補間処理を行うのは、歪曲補正を行うとレジストレーションずれの方向が紙面に平行な方向でなくなり、簡単な演算では補間が実現できなくなるためである。
【０１０６】
製造時に比較してΔＴ［℃］の温度差が生じると、結像系８５５ａと結像系８５５ｄの光軸間距離ｄｏは、ｄｏ×αL×ΔＴだけの寸法変化を起こす。撮像系１０は結像倍率が極めて小さいので、撮像領域８５６ｄ上の物体像の移動量もｄｏ×αL×ΔＴと考えて良い。一方、固体撮像素子１２０も若干の熱変形を生じる。結像倍率が極めて小さいことをここでも利用して、その変化量はｄｏ×αS×ΔＴと表すことができる。したがって、レジストレーション変化量ΔＺTはそれらの差として表され、前述のようにｄｏ×（αL−αS）×ΔＴとなる。
【０１０７】
ここで、
ＫT＝ｄｏ×（αL−αS）              …（２）
とすれば、レジストレーション変化量ΔＺTは定数と温度差との積で、
ΔＺT＝ＫT×ΔＴ                     …（３）
と表される。ＫTはＧ画像のレジストレーション温度係数である。また、１単位を１画素ピッチ(pxl)として表せば、画素ピッチＰを用いて、レジストレーション変化量はΔＺT／Ｐとなる。
【０１０８】
温度変化に伴うレジストレーションずれは全ての結像系間に生じる。
【０１０９】
また、撮影レンズの製造上の誤差によるレジストレーションずれは比較的小さくできるので、簡単のため撮影レンズの膨張や収縮に起因したレジストレーションずれと同一方向の成分のみを考えることにする。
【０１１０】
撮影レンズの製造上の誤差によるレジストレーションずれを、撮像領域８２０ａとイメージサークル８５１ａに形成されている物体像との位置関係を基準として、
Δｒ(pxl)：撮像領域８２０ｂとイメージサークル８５１ｂに形成されている物体像との位置関係の製造誤差
Δｂ(pxl)：撮像領域８２０ｃとイメージサークル８５１ｃに形成されている物体像との位置関係の製造誤差
Δｇ(pxl)：撮像領域８２０ｄとイメージサークル８５１ｄに形成されている物体像との位置関係の製造誤差
と定義する。１画素ピッチ(pxl)が１単位である。
【０１１１】
以上に示した温度変化と製造上の誤差によるレジストレーションずれを補正する第１段階の実際の補間処理は次の通りである。撮像領域８２０ａ、８２０ｂ、８２０ｃ、８２０ｄからの画像信号をそれぞれ、Ｇ１(i,j)、Ｒ(i,j)、Ｂ(i,j)、Ｇ２(i,j)とし、アドレスを図２０に示すように定める。
【０１１２】
結像系８５５ａ（レンズ部８００ａ）の画像信号Ｇ１(i,j)を基準として、Ｇ２(i,j)、Ｒ(i,j)、Ｂ(i,j)の補間画像信号Ｇ２T(i,j)、ＲT(i,j)、ＢT(i,j)を次に示す式（４）〜（９）に基づいて生成する。式（４）〜（９）は、仮想位置の画素出力を両隣の実際に存在する画素出力から直線補間で生成するための式である。ΔＺT／Ｐ＋Δｇ、ΔＺT／（Ｐ×√２）＋Δr、ΔＺT／（Ｐ×√２）＋Δｂの正負に応じて演算式を使い分ける。
【０１１３】
撮像領域８２０ａおよび撮像領域８２０ｄで受光面上の横方向ピッチａ＝Ｐ、縦方向ピッチｂ＝Ｐ、定数ｃ＝９００、正の整数ｈ＝１としたとき、これらは受光面内で横方向にａ×ｈ×ｃ、縦方向にｂ×ｃだけ離れた位置関係にあるので、レジストレーションずれの生じる方向に必ず画素が配列されることとなり、温度変化に伴って生じるレジストレーションずれを極めて簡単な演算で補正することが可能である。
【０１１４】
なお、Ｒ画像のレジストレーション温度係数とＢ画像のレジストレーション温度係数は、結像系の光軸間距離の比からＧ画像間のレジストレーション温度係数ＫTの１／√２である。すなわち、図７のレンズ部８００ａからレンズ部８００ｄまでの距離に対して、レンズ部８００ａからレンズ部８００ｂまでの距離や、レンズ部８００ｃまでの距離は、１／√２であって、この結果、レジストレーションずれも１／√２となる。
【０１１５】
Ｇ２T(i,j)の生成
(1)ΔＺT／Ｐ＋Δｇ≦０のとき
0003703424.tif 000002
(2)ΔＺT／Ｐ＋Δｇ＞０のとき
0003703424.tif 000003
ＲT(i,j)の生成
(3)ΔＺT／（Ｐ×√２）＋Δr≦０のとき
0003703424.tif 000004
(4)ΔＺT／（Ｐ×√２）＋Δr＞０のとき
0003703424.tif 000005
ＢT(i,j)の生成
(5)ΔＺT／（Ｐ×√２）＋Δｂ≦０のとき
0003703424.tif 000006
(6)ΔＺT／（Ｐ×√２）＋Δｂ＞０のとき
0003703424.tif 000007
以上の処理によって求められた補間画像信号Ｇ２T(i,j)、ＲT(i,j)、ＢT(i,j)は次に第２段階の補正処理に用いられる。
【０１１６】
第２段階の補間処理は、各々が６００×８００画素の画像信号Ｇ１(i,j)と補間画像信号Ｇ２T(i,j)、ＲT(i,j)、ＢT(i,j)から、ＲＧＢがそれぞれ１２００×１６００画素の解像度となるＧ画像信号Ｇ'(m,n)、Ｒ画像信号Ｒ'(m,n)、Ｂ画像信号Ｂ'(m,n)を生成する。以下の式（１０）〜式（２１）は、データがない位置の画素出力を隣接する画素の出力を平均することによって生成するための演算を表す式である。
【０１１７】
Ｇ'(m,n)の生成
(1)ｍ：偶数  ｎ：奇数のとき
Ｇ'(m,n)＝Ｇ２T(m/2,(n+1)/2)                        …（１０）
(2)ｍ：奇数  ｎ：偶数のとき
Ｇ'(m,n)＝Ｇ１((m+1)/2,n/2)                         …（１１）
(3)ｍ：偶数  ｎ：偶数のとき
0003703424.tif 000008
(4)ｍ：奇数  ｎ：奇数のとき
0003703424.tif 000009
Ｒ'(m,n)の生成
(5)ｍ：偶数  ｎ：奇数のとき
Ｒ'(m,n)＝(ＲT(m/2,(n+1)/2)＋ＲT(m/2+1,(n+1)/2)／２…（１４）
(6)ｍ：奇数  ｎ：偶数のとき
Ｒ'(m,n)＝(ＲT((m+1)/2,n/2)＋ＲT((m+1)/2,n/2+1)／２…（１５）
(7)ｍ：偶数  ｎ：偶数のとき
0003703424.tif 000010
(8)ｍ：奇数  ｎ：奇数のとき
Ｒ'(m,n)＝ＲT((m+1)/2,(n+1)/2)                       …（１７）
Ｂ'(m,n)の生成
(9)ｍ：偶数  ｎ：奇数のとき
Ｂ'(m,n)＝(ＢT(m/2,(n-1)/2)＋ＢT(m/2,(n-1)/2+1))／２…（１８）
(10)ｍ：奇数  ｎ：偶数のとき
Ｂ'(m,n)＝(ＢT((m-1)/2,n/2)＋ＢT((m-1)/2+1,n/2))／２…（１９）
(11)ｍ：偶数  ｎ：偶数のとき
Ｂ'(m,n)＝ＢT(m/2,n/2)                               …（２０）
(12)ｍ：奇数  ｎ：奇数のとき
0003703424.tif 000011
以上のように、第１段階の補間処理で複数の撮像領域の出力画像のうちの少なくとも一つについて位置補正を行った後、第２段階の補間処理で複数の撮像領域の出力画像に基づく合成映像信号を形成する。
【０１１８】
Ｇ'(m,n)、Ｒ'(m,n)、Ｂ'(m,n)を用いたその後の輝度信号処理、色差信号処理は通常のデジタルカラーカメラでの処理に準じたものとなる。
【０１１９】
次に、カメラの動作を説明する。撮影時にはカメラ本体１０１の接続端子１１４を保護するために接点保護キャップを装着して使用する。接点保護キャップ２００をカメラ本体１０１に装着すると、カメラのグリップとして機能し、カメラを持ち易くする役割を果たす。
【０１２０】
まず、メインスイッチ１０５をオンとすると、各部に電源電圧が供給されて動作可能状態となる。続いて、メモリに画像信号を記録可能か否かが判定される。この際に、残り容量に応じて撮影可能記録枚数が表示部１５０に表示される。その表示を見た操作者は、撮影が可能であれば、被写界にカメラを向けてレリーズボタン１０６を押下する。
【０１２１】
レリーズボタン１０６を半分だけ押下すると、スイッチ１２１の第１段回路が閉成し、露光時間の算出が行なわれる。すべての撮影準備処理が終了すると、撮影可能となり、その表示が撮影者に報じられる。これにより、レリーズボタン１０６が終端まで押下されると、スイッチ１２１の第２段回路が閉成し、不図示の操作検出回路がシステム制御回路にその検出信号を送出する。その際に、あらかじめ算出された露光時間の経過をタイムカウントして、所定の露光時間が経過すると、固体撮像素子駆動回路にタイミング信号を供給する。これにより、固体撮像素子駆動回路は水平および垂直駆動信号を生成し、すべての撮像領域について露光された８００×６００画素のそれぞれを水平および垂直方向に順次読み出す。
【０１２２】
このとき、撮影者は接点保護キャップ２００を持つようにして右手の人差し指と親指でカメラ本体１０１を挟み込むようにして、レリーズ釦１０６を押下する。レリーズ釦１０６の軸の中心線Ｌ２上にレリーズ釦１０６と一体的に突起１０６ａを設け、さらに、裏蓋１２５上であって中心線Ｌ２を延長した位置に突起１２０を設けているので、撮影者は２つの突起１０６ａと１２０を頼りに、人差し指で突起１０６ａを、親指で突起１２０をそれぞれ押すようにレリーズ操作を行う。こうすることにより、図３に示した偶力１２９の発生を容易に防ぐことができ、ブレのない高画質の画像を撮像することができる。
【０１２３】
読み出されたそれぞれの画素は、Ａ／Ｄ変換器５００にて所定のビット値のデジタル信号に変換されて、画像処理系２０のＲＧＢ画像処理回路２１０に順次供給される。ＲＧＢ画像処理回路２１０では、これらをそれぞれホワイトバランス、ガンマ補正を施した状態にて画素の補間処理を行なって、ＹＣ処理回路２３０に供給する。
【０１２４】
ＹＣ処理回路２３０では、その高域輝度信号発生回路にて、ＲＧＢそれぞれの画素の高域輝度信号ＹＨを生成し、同様に、低域輝度信号発生回路にて低域輝度信号ＹＬをそれぞれ演算する。演算した結果の高域輝度信号ＹＨは、ローパス・フィルタを介して加算器に出力される。同様に、低域輝度信号ＹＬは、高域輝度信号ＹＨが減算されてローパス・フィルタを通って加算器に出力される。これにより、高域輝度信号ＹＨとその低域輝度信号との差ＹＬ−ＹＨが加算されて輝度信号Ｙが得られる。同様に、色差信号発生回路では、色差信号Ｒ−Ｙ，Ｂ−Ｙを求めて出力する。出力された色差信号Ｒ−Ｙ，Ｂ−Ｙは、それぞれローパス・フィルタを通った成分が記録処理回路３００に供給される。
【０１２５】
次に、ＹＣ信号を受けた記録処理回路３００は、それぞれの輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙを所定の静止画圧縮方式にて圧縮して、順次メモリに記録する。
【０１２６】
メモリに記録された静止画像または動画像を表わす画像信号からそれぞれの画像を再生する場合には、再生ボタン９を押下すると操作検出回路４３０にてその操作を検出して、システム制御部４００に検出信号を供給する。これにより記録処理回路３００が駆動される。駆動された記録処理回路３００は、メモリから記録内容を読み取って、液晶モニタ４に画像を表示する。操作者は、所望の画像を選択ボタンなどの押下により選択する。
【０１２７】
（第２の実施形態）
第１の実施形態では撮像系１０（８９０）の温度変化に起因するレジストレーションずれを温度センサ１６５の出力に基づいて補正したが、レジストレーションずれは被写体の距離変化によっても生じる。第２の実施形態はこの被写体距離の変化に起因するレジストレーションずれを補正するものである。
【０１２８】
図２１は測距装置の出力をレジストレーションずれの補正に用いるための信号処理系を表す図である。第１の実施形態と同じ要素には同じ符号を付している。
【０１２９】
図２１に示すように、撮像装置は、撮像系１０と、画像処理手段であるところの画像処理系２０と、記録再生系３０と、制御系４０とを有する。さらに、撮像系１０は、撮影レンズ１００、絞り１１０および固体撮像素子１２０を含み、画像処理系２０は、Ａ／Ｄ変換器５００、ＲＧＢ画像処理回路４１０およびＹＣ処理回路２３０を含み、記録再生系３０は、記録処理回路３００および再生処理回路３１０を含み、制御系４０は、システム制御部４００、操作検出部４３０、測距装置４６５および固体撮像素子駆動回路４２０を含む。
【０１３０】
測距装置４６５は超音波やＬＥＤ光を被写体に投射して距離を出力するアクティブ型測距装置や、被写体の画像を利用し三角測量の原理に基づいて距離を出力するパッシブ型測距装置が適当である。
【０１３１】
撮像系１０は、物体からの光を絞り１１０と撮影レンズ１００を介して固体撮像素子１２０の撮像面に結像する光学処理系であり、被写体像を固体撮像素子１２０に露光する。前述のように、固体撮像素子１２０は、ＣＣＤやＣＭＯＳセンサなどの撮像デバイスが有効に適用され、固体撮像素子１２０の露光時間および露光間隔を制御することにより、連続した動画像を表わす画像信号、または一回の露光による静止画像を表わす画像信号を得ることができる。
【０１３２】
第１の実施形態と同じように固体撮像素子１２０は、各撮像領域毎に長辺方向に８００画素、短辺方向に６００画素を有し、合計１９２万の画素数を有する撮像デバイスが有効に適用されて、その前面には赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３原色の光学フィルターが所定の領域毎に配置されている。画素ピッチは縦横ともに１．５６μmである。
【０１３３】
図２１に表すように、固体撮像素子１２０から読み出された画像信号は、それぞれＡ／Ｄ変換器５００を介して画像処理系２０に供給される。Ａ／Ｄ変換器５００は、たとえば、露光した各画素の信号の振幅に応じた、たとえば１０ビットのデジタル信号に変換して出力する信号変換回路であり、以降の画像信号処理はデジタル処理にて実行される。
【０１３４】
画像処理系２０は、Ｒ，Ｇ，Ｂのデジタル信号から所望の形式の画像信号を得る信号処理回路であり、Ｒ，Ｇ，Ｂの色信号を輝度信号Ｙおよび色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）にて表わされるＹＣ信号などに変換する。
【０１３５】
ＲＧＢ画像処理回路４１０は、Ａ／Ｄ変換器５００を介して固体撮像素子１２０から受けた８００×６００×４画素の画像信号を処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路を有する。
【０１３６】
ＹＣ処理回路２３０は、輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する信号処理回路である。高域輝度信号ＹＬを生成する高域輝度信号発生回路、低域輝度信号ＹＬを生成する低域輝度信号発生回路、および、色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する色差信号発生回路で構成されている。輝度信号Ｙは高域輝度信号ＹＨと低域輝度信号ＹＬを合成することによって形成される。
【０１３７】
記録再生系３０は、メモリへの画像信号の出力と、液晶モニタ４への画像信号の出力とを行う処理系であり、メモリへの画像信号の書き込みおよび読み出し処理を行なう記録処理回路３００と、メモリから読み出した画像信号を再生して、モニタ出力とする再生処理回路３１０とを含む。より詳細には、記録処理回路３００は、静止画像および動画像を表わすＹＣ信号を所定の圧縮形式にて圧縮し、また、圧縮データを読み出した際に伸張する圧縮伸張回路を含んでいる。
【０１３８】
圧縮伸張回路は、信号処理のためのフレームメモリなどを有し、このフレームメモリに画像処理系２０からのＹＣ信号をフレーム毎に蓄積して、それぞれ複数のブロック毎に読み出して圧縮符号化する。圧縮符号化は、たとえば、ブロック毎の画像信号を２次元直交変換、正規化およびハフマン符号化することにより行なう。
【０１３９】
再生処理回路３１０は、輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙをマトリックス変換してたとえばＲＧＢ信号に変換する回路である。再生処理回路３１０によって変換した信号は液晶モニタ４に出力され、可視画像が表示再生される。
【０１４０】
制御系４０は、外部操作に連動して撮像系１０、画像処理系２０、記録再生系３０をそれぞれ制御する各部の制御回路を含み、レリーズボタン６の押下を検出して、固体撮像素子１２０の駆動、ＲＧＢ画像処理回路４１０の動作、記録処理回路３００の圧縮処理などを制御する。具体的には、レリーズボタン６の操作を検出する操作検出回路４３０と、その検出信号に連動して各部を制御し、撮像の際のタイミング信号などを生成して出力するシステム制御部４００と、このシステム制御部４００の制御の下に固体撮像素子１２０を駆動する駆動信号を生成する固体撮像素子駆動回路４２０とを含む。
【０１４１】
さて、ＲＧＢ画像処理回路４１０での処理は次のようなものである。Ａ／Ｄ変換器５００を介してＲ，Ｇ，Ｂ領域毎に出力されたＲＧＢ信号に対して、まず、ＲＧＢ画像処理回路４１０内のホワイトバランス回路にてそれぞれ所定の白バランス調整を行ない、さらに、ガンマ補正回路にて所定のガンマ補正を行なう。ＲＧＢ画像処理回路４１０内の補間演算回路は、固体撮像素子１２０の画像信号に補間処理と歪曲補正を施すことによって１２００×１６００画素の解像度の画像信号をＲＧＢ毎に生成し、後段の高域輝度信号発生回路、低域輝度信号発生回路、色差信号発生回路に供給する。
【０１４２】
この補間処理は、さらに、被写体の距離によるレジストレーションずれを補正する第１段階の補間処理と、ＲＧＢの各画像信号を同一の解像度とした合成映像信号を形成するための第２段階の補間処理で構成される。
【０１４３】
これに続く歪曲補正は、公知の手法によって撮影光学系の歪曲収差を補正する演算処理である。この際、ＲＧＢ各物体像の倍率や歪曲は撮影レンズ１００の設定によって同一であるので、各物体像に対して一律の歪み補正を行えばよい。撮影光学系の歪曲収差を演算上で補正することにより、撮影レンズ１００の構成を他の光学収差補正のために最適化できる。
【０１４４】
さて、第１段階の補間処理の詳細は次に示すとおりである。簡単のため以後の説明では結像系を基準として被写体距離を考えることとする。撮像領域８２０ａと８２０ｄ間のレジストレーション変化量ΔＺSは実被写体距離と基準被写体距離Ｓtとの差ΔＳの関数として、式（２２）で表すことができる。差ΔＳは測距装置４６５の出力より得る。
【０１４５】
ΔＺS＝ｄo・Ｓ'・ΔＳ／｛Ｓt・（ΔＳ＋Ｓt）｝      …（２２）
撮像系の構成は第１の実施形態と同一であるとして、レンズ部の間隔ｄo＝１．９８３２［ｍｍ］、基準被写体距離Ｓt＝２３８０−１．４５＝２３７８．５５［ｍｍ］、結像系と撮像領域との間隔Ｓ'＝１．４５［ｍｍ］である。
【０１４６】
図２２は実被写体距離が無限に大きくなったときの光路を表す図である。各撮像領域は１．２４８ｍｍ×０．９３６ｍｍであって、これらは横方向に０．１５６ｍｍ、縦方向に０．４６８ｍｍの分離帯を隔てて位置している。隣り合う撮像領域の中心間隔は縦方向、横方向に１．４０４ｍｍ、また、対角方向については１．９８５６ｍｍである。
【０１４７】
撮像領域８２０ａと８２０ｄに注目して、基準被写体距離にある物体の像を、画素ずらしのために撮像領域間隔の１．９８５６ｍｍから０．５画素分の対角寸法を差し引いた１．９８４５ｍｍ間隔で、撮像部上に形成するものとする。こうすると、前述のように、撮影レンズ８００のレンズ部８００ａ、８００ｄの間隔を１．９８３２ｍｍに設定することになる。図において矢印８５５ａ、８５５ｄは、撮影レンズ８００のレンズ部８００ａ、８００ｄによる正のパワーを有する結像系を表す記号、矩形８５６ａ、８５６ｄは撮像領域８２０ａ、８２０ｄの範囲を表す記号、Ｌ８０１、Ｌ８０２は結像系８５５ａ、８５５ｄの光軸である。
【０１４８】
実被写体距離と基準被写体距離Ｓtとの差ΔＳは無限大である。ΔＳ→∞としたときの式（２２）の極限値は
【０１４９】
【数１】
0003703424.tif 000012
0003703424.tif 000013
であり、０．００１２［ｍｍ］のレジストレーションずれが生じることが分かる。１単位を１画素ピッチ(pxl)として表せば、画素ピッチＰを用いて、レジストレーション変化量はΔＺS／Ｐとなる。
【０１５０】
以上に示した被写体距離によるレジストレーションずれを補正する第１段階の実際の補間処理は次の通りである。第１の実施形態と同様に撮像領域８２０ａ、８２０ｂ、８２０ｃ、８２０ｄからの画像信号をそれぞれ、Ｇ１(i,j)、Ｒ(i,j)、Ｂ(i,j)、Ｇ２(i,j)とし、アドレスを図２０に示すように定める。
【０１５１】
結像系８５５ａ（レンズ部８００ａ）の画像信号Ｇ１(i,j)を基準として、Ｇ２(i,j)、Ｒ(i,j)、Ｂ(i,j)の補間画像信号Ｇ２S(i,j)、ＲS(i,j)、ＢS(i,j)を次に示す式（２４）から式（２９）に基づいて生成する。式（２４）から（２９）は、仮想位置の画素出力を両隣の実際に存在する画素出力から直線補間で生成するための式である。画素ピッチをＰとして、撮像領域８２０ａおよび撮像領域８２０ｄで受光面上の横方向ピッチａ＝Ｐ、縦方向ピッチｂ＝Ｐ、定数ｃ＝９００、正の整数ｈ＝１としたとき、これらは受光面内で横方向にａ×ｈ×ｃ、縦方向にｂ×ｃだけ離れた位置関係にあるので、温度変化や被写体距離変化に伴って生じるレジストレーションずれを極めて簡単な演算で補正することが可能である。
【０１５２】
なお、Ｒ画像のレジストレーションずれとＢ画像のレジストレーションずれは、結像系の光軸間距離の比からＧ画像間のレジストレーションずれの１／√２である。
【０１５３】
Ｇ２S(i,j)の生成
(1)ΔＺS≧０のとき
0003703424.tif 000014
(2)ΔＺS＜０のとき
0003703424.tif 000015
ＲS(i,j)の生成
(3)ΔＺS≧０のとき
0003703424.tif 000016
(4)ΔＺS＜０のとき
0003703424.tif 000017
ＢS(i,j)の生成
(5)ΔＺS≧０のとき
0003703424.tif 000018
(6)ΔＺS＜０のとき
0003703424.tif 000019
以上の処理によって求められた補間画像信号Ｇ２S(i,j)、ＲS(i,j)、ＢS(i,j)は、被写体距離に起因するレジストレーションずれが解消され、次に第２段階の補正処理に用いられる。
【０１５４】
（第３の実施形態）
第２の実施形態では、測距装置４６５の出力に基づいて被写体距離に起因するレジストレーションずれを補正した。第３の実施形態では測距装置４６５の出力を利用することなく、このレジストレーションずれを補正する。
【０１５５】
図２に示した使用者がカメラの状態をセットするためのスイッチ１０９をマクロ撮影モード設定スイッチとして用いる。次回の撮影を近距離の被写体に対して行う場合は、撮影者はマクロ撮影モード設定スイッチ１０９を押下する。操作検出回路４３０がマクロ撮影モード設定スイッチ１０９の押下を検出すると、例えば、基準被写体距離Ｓtとの差ΔＳを−１．１９［ｍ］とした補間処理を行う。すなわち、式（２２）のΔＳをΔＳ＝−１．１９としてΔＺSを算出し、式（２４）から式（２９）に基づいて補間処理を行う。
【０１５６】
このように構成すれば、測距装置を必要としないので、コストを低く抑えることができる。
また、これに加えて、カメラの小型化、薄型化に有利となる。
【０１５７】
（第４の実施形態）
第１の実施形態では温度センサ１６５の出力に基づいて温度変化に起因するレジストレーションずれを、第２の実施形態では測距装置４６５の出力に基づいて被写体距離に起因するレジストレーションずれを補正した。第４の実施形態では温度センサ１６５や測距装置４６５の出力を利用することなく、固体撮像素子の出力そのものを基にレジストレーションずれを補正する。このとき２つのＧ撮像領域の出力の斜め方向の相関を利用して、視差に起因する像のズレを検出する。このように構成することによって、温度変化に起因するレジストレーションずれと被写体距離に起因するレジストレーションずれ、さらには、撮影レンズの製造上の誤差によるレジストレーションずれをまとめて補正することができる。
【０１５８】
図２３はレジストレーションずれを検出するために用いる固体撮像素子上の画素を説明するための図である。簡単のため縦横の画素数をそれぞれ１／１００にして、物体像と撮像領域との位置関係を示している。
【０１５９】
図２３において、３２０ａ、３２０ｂ、３２０ｃ、３２０ｄは固体撮像素子８２０の４つの撮像領域である。説明のために撮像領域３２０ａ、３２０ｂ、３２０ｃ、３２０ｄの各々は画素を８×６個配列してなる。撮像領域３２０ａと撮像領域３２０ｄはＧ画像信号を、撮像領域３２０ｂはＲ画像信号を、撮像領域３２０ｃはＢ画像信号を出力する。撮像領域３２０ａと３２０ｄ内の各画素は白抜きの矩形で、撮像領域３２０ｂ内の各画素はハッチングを付した矩形で、撮像領域３２０ｃ内の各画素は黒い矩形で示している。
【０１６０】
また、各撮像領域間には横方向に１画素、縦方向に３画素に相当する寸法の分離帯が形成されている。したがって、各撮像領域の中心の距離は、横方向と縦方向について同一である。
【０１６１】
３５１ａ、３５１ｂ、３５１ｃ、３５１ｄは物体像である。画素ずらしのために、物体像３５１ａ、３５１ｂ、３５１ｃ、３５１ｄの中心３６０ａ、３６０ｂ、３６０ｃ、３６０ｄはそれぞれ撮像領域３２０ａ、３２０ｂ、３２０ｃ、３２０ｄの中心から撮像領域全体の中心３２０ｅの方向に１／４画素分オフセットさせている。
【０１６２】
この結果、被写界側の所定距離にある平面上に各撮像領域を逆投影すると、物体像の中心３６０ａ、３６０ｂ、３６０ｃ、３６０ｄの逆投影像は一つに重なり、撮像領域３２０ａ、３２０ｂ、３２０ｃ、３２０ｄの各画素の逆投影像はその中心が重なり合わないようにモザイク状に配列される。
【０１６３】
Ｌ３０１およびＬ３０２はレジストレーションずれを検出するために用いる画素列を表す線分である。撮像領域３２０ａと撮像領域３２０ｄは何れもＧ画像を出力するため、撮像領域３２０ａにあって線分Ｌ３０１の下に位置する画素列の信号と、撮像領域３２０ｄにあって線分Ｌ３０１の下に位置する画素列の信号とは類似した形となり、これらに対して相関演算を施すことによって、撮像領域３２０ａと撮像領域３２０ｄ間のレジストレーションずれを知ることができる。同様に、撮像領域３２０ａにあって線分Ｌ３０２の下に位置する画素列の信号と、撮像領域３２０ｄにあって線分Ｌ３０２の下に位置する画素列の信号とに相関演算を施すことによっても、撮像領域３２０ａと撮像領域３２０ｄ間のレジストレーションずれを知ることができる。
【０１６４】
ここでは２対の画像信号を用いて、それぞれレジストレーションずれを算出し、その結果を平均することによって検出精度を高める。
【０１６５】
図２４は撮像領域３２０ａにあって線分Ｌ３０１の下に位置する画素列の信号と撮像領域３２０ｄにあって線分Ｌ３０１の下に位置する画素列の信号とを表した図である。図において、黒丸で示した信号３７０は撮像領域３２０ａにあって線分Ｌ３０１の下に位置する画素列の信号、白丸で示した信号３７１は撮像領域３２０ｄにあって線分Ｌ３０１の下に位置する画素列の信号であり、特に３６１'は図２３の画素３６１の出力、３６２'は画素３６２の出力、３６３'は画素３６３の出力、３６４'は画素３６４の出力である。これらは全てＧ画像信号の一部である。すなわち、信号３７０と信号３７１は色特性において同一のスペクトル分布を有しているので、相関演算の結果は極めて高い精度で画像信号のシフトを表す。
【０１６６】
また、図２５は撮像領域３２０ａにあって線分Ｌ３０２の下に位置する画素列の信号と撮像領域３２０ｄにあって線分Ｌ３０２の下に位置する画素列の信号とを表した図である。図において、黒丸で示した信号３７２は撮像領域３２０ａにあって線分Ｌ３０２の下に位置する画素列の信号、白丸で示した信号３７３は撮像領域３２０ｄにあって線分Ｌ３０２の下に位置する画素列の信号であり、特に３６５'は図２３の画素３６５の出力、３６６'は画素３６６の出力、３６７'は画素３６７の出力、３６８'は画素３６８の出力である。これらもまた全てＧ画像信号の一部である。すなわち、信号３７２と信号３７３は色特性において同一のスペクトル分布を有している。
【０１６７】
図２４と図２５は何れも、温度変化なし、かつ被写体が基準被写体距離に位置した状態であって、画素ずらしを行っているために０．５画素分だけ信号が相対的に横ズレしている。
【０１６８】
この状態に対して温度変化が生じたり、あるいは被写体が基準被写体距離から離れると、信号のシフトが起こる。例えば、被写体が遠いときには、図２４と図２５において、信号３７０が矢印Ａ、信号３７１が矢印Ｂの方向に移動し、被写体が近いときには反対方向に移動する。この挙動は実被写体距帯と基準被写体距離Ｓtとの差ΔＳの関数である式（２２）で表される。
【０１６９】
色特性において同一のスペクトル分布を有した１対の信号間の相対的位置変化量は、相関演算を用いた公知の手法、例えば特公平５−８８４４５号公報に開示されている手法を用いて検出することができる。その出力から設計的に生じる信号のシフト量０．５を減じると、１単位を１画素ピッチ(pxl)として表したレジストレーション変化量ΔＺS／Ｐとなる。
【０１７０】
なお、通常、光学系の特性上、固体撮像素子８２０にはそのナイキスト周波数を上向る高周波成分が投影されている。したがって、物体のパターンによっては物体像の位相が信号の位相に完全には反映されないことがある。これを原因としたレジストレーション変化量ΔＺS／Ｐの検出誤差を減ずるため、線分Ｌ３０１の下に位置する画素列の信号から得たレジストレーション変化量と、これとは物体像のサンプリング位置が０．５画素分ずれた線分Ｌ３０２の下に位置する画素列の信号から得たレジストレーション変化量とを平均する。得られたレジストレーション変化量は精度が高く、これを用いることによって、式（２４）から式（２９）による第１段階の補間処理が理想的に行える。
【０１７１】
以上の処理によって求められた補間画像信号Ｇ２S(i,j)、ＲS(i,j)、ＢS(i,j)は次に第２段階の補正処理に用いられる。
【０１７２】
第２の実施形態とは異なって、この場合、補間画像信号Ｇ２S(i,j)、ＲS(i,j)、ＢS(i,j)は温度変化に起因するレジストレーションずれと被写体距離に起因するレジストレーションずれ、さらには、撮影レンズの製造上の誤差によるレジストレーションずれをまとめて補正したものとなる。
【０１７３】
続く第２段階の補間処理は、第１の実施形態に示したと同様の各々が６００×８００の画像信号Ｇ１(i,j)と補間画像信号Ｇ２T(i,j)、ＲT(i,j)、ＢＴ(i,j)から、ＲＧＢがそれぞれ１２００×１６００の解像度となるＧ画像信号Ｇ'(m,n)、Ｒ画像信号Ｒ'(m,n)、Ｂ画像信号Ｂ'(m,n)を生成するものである。第１の実施形態中の式（１０）から式（２１）内のＧ２T(i,j)、ＲT(i,j)、ＢT(i,j)をそれぞれＧ２S(i,j)、ＲS(i,j)、ＢS(i,j)と置き換えて用いる。
【０１７４】
以上のように、撮像素子は同一のスペクトル分布で形成された略同一視野の２つのＧ画像と、２つのＧ画像と略同一視野のＲ画像やＢ画像を出力するとともに、第１段階の補間処理にて、２つのＧ画像の間隔変化に基づいてＲ画像やＢ画像の位置の補正を行った後、第２段階の補間処理で、ＲＧＢの画像に基づく合成映像信号を形成する。
【０１７５】
また、特開平１０−２８９３１６号公報に開示されているようにエリアベースマッチング方を用いれば、画素毎にレジストレーションずれを求めることが出来る。これを利用して、レジストレーションずれを補正すると、被写体に奥行きがある場合でも画面全体に渡って色ずれがなく鮮鋭度が高い画像を得ることが可能である。この場合には、式（２４）から式（２９）のΔＺSを画素アドレスの関数として取り扱えばよい。
【０１７６】
図２６はレジストレーションずれを検出するために用いる固体撮像素子上の画素の他の設定を説明するための図である。
【０１７７】
図２６において、５２０ａ、５２０ｂ、５２０ｃ、５２０ｄは固体撮像素子８２０の４つの撮像領域である。ここでは説明のため撮像領域５２０ａ、５２０ｂ、５２０ｃ、５２０ｄの各々は画素を８×４個配列してなるが、実施には画素数を拡大して実用的な解像度を得る。撮像領域５２０ａと５２０ｄはＧ画像信号を、撮像領域５２０ｂはＲ画像信号を、撮像領域５２０ｃはＢ画像信号を出力する。撮像領域５２０ａと５２０ｄ内の画素は白抜きの矩形で、撮像領域５２０ｂ内の画素はハッチングを付した矩形で、撮像領域５２０ｃ内の画素は黒い矩形で示している。
【０１７８】
また、各撮像領域間には横方向に１画素、縦方向に０画素に相当する寸法の分離帯が形成されている。したがって、Ｇ画像を出力する２つの撮像領域の中心距離は、横方向に９画素、縦方向に４．５画素である。すなわち、撮像領域８２０ａおよび撮像領域８２０ｄで受光面上の横方向ピッチａ＝Ｐ、縦方向ピッチｂ＝Ｐ、定数ｃ＝４．５、正の整数ｂ＝２としたとき、これらは受光面内で横方向にａ×ｈ×ｃ、縦方向にｂ×ｃだけ離れた位置関係にある。このような関係を作ることにより、温度変化や被写体距離変化に伴って生じるレジストレーションずれが画素の配置されている方向に生じるので、極めて簡単な演算でこれを補正することが可能である。
【０１７９】
５５１ａ、５５１ｂ、５５１ｃ、５５１ｄは物体像である。画素ずらしのために、物体像５５１ａ、５５１ｂ、５５１ｃ、５５１ｄの中心５６０ａ、５６０ｂ、５６０ｃ、５６０ｄはそれぞれ撮像領域５２０ａ、５２０ｂ、５２０ｃ、５２０ｄの中心から撮像領域全体の中心５２０ｅに近づく方向に縦横ともに１／４画素分オフセットさせている。
【０１８０】
この結果、被写界側の所定距離にある平面上に各撮像領域を逆投影すると、物体像の中心５６０ａ、５６０ｂ、５６０ｃ、５６０ｄの逆投影像は一つに重なり、撮像領域５２０ａ、５２０ｂ、５２０ｃ、５２０ｄの各画素の逆投影像はその中心が重なり合わないようにモザイク状に配列される。
【０１８１】
Ｌ５０１およびＬ５０２はレジストレーションずれを検出するために用いる画素列を表す線分である。分かりやすくするために使用する画素にはハッチングを付して示した。撮像領域５２０ａと撮像領域５２０ｄは何れもＧ画像を出力するため、撮像領域５２０ａにあって線分Ｌ５０１の下に位置する画素列の信号と、撮像領域５２０ｄにあって線分Ｌ５０１の下に位置する画素列の信号とは類似した形となり、これらの相関をとることによって、撮像領域５２０ａと撮像領域５２０ｄ間のレジストレーションずれを知ることができる。同様に、撮像領域５２０ａにあって線分Ｌ５０２の下に位置する画素列の信号と、撮像領域５２０ｄにあって線分Ｌ５０２の下に位置する画素列の信号との相関をとることによっても、撮像領域５２０ａと撮像領域５２０ｄ間のレジストレーションずれを知ることができる。
【０１８２】
ここでは２対の画像信号を用いて、それぞれレジストレーションずれを算出し、その結果を平均することによって検出精度を高める。
【０１８３】
温度変化が生じたり、あるいは被写体が基準被写体距離から離れると、信号のシフトが起こる。この挙動は実被写体距離と基準被写体距離Ｓtとの差ΔＳの関数である式（２２）で表される。
【０１８４】
色特性において同一のスペクトル分布を有した１対の信号間の相対的位置変化量は、相関演算を用いた公知の手法、例えば特公平５−８８４４５号公報に開示されている手法を用いて検出することができる。その出力から設計的に生じる信号のシフト量０．５を減じると、１単位を１画素ピッチ(pxl)として表したレジストレーション変化量ΔＺS／Ｐとなる。ここで、使用している画素が１画素おきであることに注意しなければならない。得られたレジストレーション変化量を用いることによって、式（２４）から（２９）による第１段階の補間処理が可能となる。
【０１８５】
また、撮像領域のアスペクト比を縦横逆転させたときには、各撮像領域間には縦方向に１画素、横方向に０画素に相当する寸法の分離帯が形成されることとなり、２つのＧ画像を出力する撮像領域の中心の距離は、縦方向に９画素、横方向に４．５画素である。したがって、これら２つの撮像領域について、受光面上の横方向ピッチａ＝Ｐ、縦方向ピッチｂ＝Ｐ、定数ｃ＝４．５、正の整数ｈ＝２としたとき、受光面内で横方向にａ×ｃ、縦方向にｂ×ｈ×ｃだけ離れた位置関係となる。
【０１８６】
図２７はレジストレーションずれを検出するために用いる固体撮像素子上の画素のさらに他の設定を説明するための図である。この例では画素のピッチが横方向と縦方向で異なっている。
【０１８７】
図２７において、６２０ａ、６２０ｂ、６２０ｃ、６２０ｄは固体撮像素子８２０の４つの撮像領域である。ここでは説明のため撮像領域６２０ａ、６２０ｂ、６２０ｃ、６２０ｄの各々は画素を８×６個配列してなる。撮像領域６２０ａと６２０ｄはＧ画像信号を、撮像領域６２０ｂはＲ画像信号を、撮像領域６２０ｃはＢ画像信号を出力する。撮像領域６２０ａと６２０ｄ内の画素は白抜きの矩形で、撮像領域６２０ｂ内の画素はハッチングを付した矩形で、撮像領域６２０ｃ内の画素は黒い矩形で示している。
【０１８８】
また、各撮像領域間には横方向に１画素、縦方向に３画素に相当する寸法の分離帯が形成されている。したがって、各撮像領域の中心の距離は、横方向と縦方向に同一である。
【０１８９】
６５１ａ、６５１ｂ、６５１ｃ、６５１ｄは物体像である。画素ずらしのために、物体像６５１ａ、６５１ｂ、６５１ｃ、６５１ｄの中心６６０ａ、６６０ｂ、６６０ｃ、６６０ｄはそれぞれ撮像領域６２０ａ、６２０ｂ、６２０ｃ、６２０ｄの中心から撮像領域全体の中心６２０ｅの方向に１／４画素分オフセットさせている。
【０１９０】
この結果、被写界側の所定距離にある平面上に各撮像領域を逆投影すると、物体像の中心６６０ａ、６６０ｂ、６６０ｃ、６６０ｄの逆投影像は一つに重なり、撮像領域６２０ａ、６２０ｂ、６２０ｃ、６２０ｄの各画素の逆投影像はその中心が重なり合わないようにモザイク状に配列される。
【０１９１】
Ｌ６０１およびＬ６０２はレジストレーションずれを検出するために用いる画素列を表す線分である。撮像領域６２０ａと撮像領域６２０ｄは何れもＧ画像を出力するため、撮像領域６２０ａにあって線分Ｌ６０１の下に位置する画素列の信号と、撮像領域６２０ｄにあって線分６０１の下に位置する画素列の信号との相関をとることによって、撮像領域６２０ａと撮像領域６２０ｄ間のレジストレーションずれを知ることができる。同様に、撮像領域６２０ａにあって線分Ｌ６０２の下に位置する画素列の信号と、撮像領域６２０ｄにあって線分Ｌ６０２の下に位置する画素列の信号との相関をとることによっても、撮像領域６２０ａと撮像領域６２０ｄ間のレジストレーションずれを知ることができる。
【０１９２】
ここでは２対の画像信号を用いて、それぞれレジストレーションずれを算出し、その結果を平均することによって検出精度を高める。
【０１９３】
温度変化が生じたり、あるいは被写体が基準被写体距離から離れると、信号のシフトが起こる。この挙動は実被写体距離と基準被写体距離Ｓtとの差ΔＳの関数である式（２２）で表される。
【０１９４】
色特性において同一のスペクトル分布を有した１対の信号間の相対的位置変化量は、相関演算を用いた公知の手法、例えば特公平５−８８４４５号公報に開示されている手法を用いて検出することができる。その出力から設計的に生じる信号のシフト量０．５を減じると、１単位を１画素ピッチ(pxl)として表したレジストレーション変化量ΔＺS／Ｐとなる。得られたレジストレーション変化量を用いることによって、式（２４）から式（２９）による第１段階の補間処理が可能となる。
【０１９５】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１９６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１９７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１９８】
以上説明したように、外光を異なる位置から取り込むための複数の開口と、前記複数の開口より取り込んだ外光をそれぞれ別個に受光し、該別個に受光する外光ごとに所定の色成分を抽出する複数の撮像手段と、該撮像手段の出力信号を処理する画像処理手段とを有する撮像装置において、前記画像処理手段は、前記複数の撮像手段の出力画像のうちの少なくとも一つについて位置補正を行った後に、前記複数の撮像手段の出力画像に基づく合成映像信号を形成することにより、次の効果が得られた。
【０１９９】
（１）小型デジタルカラーカメラ用の撮像装置に好適な画像の位置補正方法を得ることができた。
【０２００】
（２）この結果、色ずれや鮮鋭度の低下がない高精細な画像を簡単に得ることが可能となった。
【０２０１】
さらに、複数の撮像領域を備えた撮像素子と、該複数の撮像領域に対応した複数の結像系によって物体像を前記複数の撮像領域上に形成する撮影光学系と、前記撮像素子の出力信号を処理する画像処理手段と、温度計測手段とを有した撮像装置において、前記撮像素子は略同一視野の複数の画像を出力するとともに、前記画像処理手段は、前記複数の画像のうちの少なくとも一つについて前記温度計測手段の出力に応じた位置補正を行った後に、前記複数の画像に基づく合成映像信号を形成することにより、次の効果が得られた。
【０２０２】
（３）温度変化に起因するレジストレーションずれを補正するに好適な方法を得ることができた。
【０２０３】
さらに、複数の撮像領域を備えた撮像素子と、該複数の撮像領域に対応した複数の結像系によって物体像を前記複数の撮像領域上に形成する撮影光学系と、前記撮像素子の出力信号を処理する画像処理手段とを有した撮像装置において、前記撮像素子は略同一視野の複数の画像を出力するとともに、前記画像処理手段は、被写体距離情報に基づいて前記複数の画像のうちの少なくとも一つについて位置補正を行った後に、前記複数の画像に基づく合成映像信号を形成することにより、次の効果が得られた。
【０２０４】
（４）被写体距離変化に起因するレジストレーションずれを補正するに好適な方法を得ることができた。
【０２０５】
さらに、マクロ撮影モードが設定された際に、前記複数の画像のうちの少なくとも一つについて位置補正を行った後に、前記複数の画像に基づく合成映像信号を形成することにより、次の効果が得られた。
【０２０６】
（５）マクロ撮影モードが設定された際の被写体距離変化に起因するレジストレーションずれを補正するに好適な方法を得ることができた。
【０２０７】
（６）測距装置を省略することが可能となった。
【０２０８】
さらに、同一平面上に複数の撮像領域を備えた撮像素子と、該複数の撮像領域上に各々物体像を形成する撮影光学系と、前記撮像素子の出力信号を処理する画像処理手段とを有した撮像装置において、前記撮像素子は同一のスペクトル分布で形成された略同一視野の第１および第２の画像と、該第１および第２の画像とは異なるスペクトル分布で形成され第１および第２の画像と略同一視野の第３の画像を出力するとともに、前記画像処理手段は、前記出力信号の処理過程において、第１および第２の画像の間隔変化に基づいて第３の画像の位置の補正を行った後、前記第１、第２、第３の画像に基づく合成映像信号を形成することにより、次の効果が得られた。
【０２０９】
（７）固体撮像素子の出力そのものを基にレジストレーションずれを補正するに好適な方法を得ることができた。したがって、この構成によれば、温度センサや測距装置を必要としない。
【０２１０】
（８）副次的に、カメラの小型化や低コスト化が可能となった。
【０２１１】
（９）加えて、エリアベースマッチング方等によって画素毎のレジストレーションずれを検出し、画素毎にあるいは小領域毎にレジストレーションずれの補正を異ならせれば、様々な距離が混在する奥行きのある被写体であっても、画面全体に渡って高精細な画像を得ることができる。
【０２１２】
さらに、同一平面上にほぼ同一寸法の第１および第２の撮像領域を備えた撮像素子と、前記第１の撮像領域上に第１の物体像を、前記第２の撮像領域上に第２の物体像を形成する撮影光学系と、画像処理手段とを有する撮像装置において、前記第１および第２の撮像領域は、受光面上で横方向にａ、縦方向にｂのピッチで複数の画素が整列してなり、ｈを正の整数としたときに、受光面内で前記第１および第２の撮像領域は横方向にａ×ｈ×ｃ、縦方向にｂ×ｃ、あるいは、横方向にａ×ｃ、縦方向にｂ×ｈ×ｃだけ離れた位置関係にあるとともに、前記撮像素子は同一のスペクトル分布で形成された略同一視野を持つ第１および第２の画像を形成し、前記画像処理手段は前記第１および第２の画像に基づいた合成映像信号を生成することにより、次の効果が得られた。
【０２１３】
（１０）温度変化や被写体距離変化に伴って生じるレジストレーションずれを極めて簡単な演算で補正可能とするための撮像領域の配置を得ることができた。
【０２１４】
さらに、前記第１および第２の画像の間隔変化を前記出力信号の処理過程において補正し、前記第１および第２の画像に基づく合成映像信号を形成することにより、次の効果が得られた。
【０２１５】
（１１）レジストレーションずれを極めて簡単な演算で補正可能とするための撮像領域の配置を利用して、極めて高精細な映像信号を形成することができた。
【発明の効果】
以上説明したように、上記の実施形態によれば、ＲＧＢの画像のずれを良好に補正して合成することが可能となる。
【図面の簡単な説明】
【図１】デジタルカラーカメラの断面図である。
【図２】デジタルカラーカメラの裏面図である。
【図３】図２を左方から見た側面図である。
【図４】図２を右方から見た側面図である。
【図５】撮像系の詳細図である。
【図６】絞りの平面図である。
【図７】撮影レンズを光射出側から見た図である。
【図８】固体撮像素子の正面図である。
【図９】撮影レンズを光入射側から見た図である。
【図１０】光学フィルターの分光透過率特性を表す図である。
【図１１】マイクロレンズの作用を説明するための図である。
【図１２】レンズ部の断面図である。
【図１３】撮影レンズのレンズ部の間隔設定を説明するための図である。
【図１４】物体像と撮像領域との位置関係を説明するための図である。
【図１５】撮像領域を被写体上に投影したときの画素の位置関係を説明するための図である。
【図１６】ファインダーを構成する第１プリズムおよび第２プリズムの斜視図である。
【図１７】ファインダー系の断面図である。
【図１８】信号処理系のブロック図である。
【図１９】撮像系の要素が熱膨張に伴って位置変化した状態を説明するための図である。
【図２０】撮像領域からの画像信号のアドレスを説明するための図である。
【図２１】測距装置の出力をレジストレーションずれの補正に用いるための信号処理系を表す図である。
【図２２】実被写体距離が無限に大きくなったときの光路を表す図である。
【図２３】レジストレーションずれを検出するために用いる固体撮像素子上の画素を説明するための図である。
【図２４】２つの撮像領域の画素列の信号を表した図である。
【図２５】２つの撮像領域の画素列の信号を表した図である。
【図２６】レジストレーションずれを検出するために用いる固体撮像素子上の画素を説明するための図である。
【図２７】レジストレーションずれを検出するために用いる固体撮像素子上の画素を説明するための図である。
【符号の説明】
１０１  カメラ本体
８００  撮影レンズ
８００ａ，８００ｂ，８００ｃ，８００ｄ  撮影レンズのレンズ部
８２０  固体撮像素子
２１０  ＲＧＢ画像処理回路
【図１】
0003703424.tif 000020
【図２】
0003703424.tif 000021
【図３】
0003703424.tif 000022
【図４】
0003703424.tif 000023
【図５】
0003703424.tif 000024
【図６】
0003703424.tif 000025
【図７】
0003703424.tif 000026
【図８】
0003703424.tif 000027
【図９】
0003703424.tif 000028
【図１０】
0003703424.tif 000029
【図１１】
0003703424.tif 000030
【図１２】
0003703424.tif 000031
【図１３】
0003703424.tif 000032
【図１４】
0003703424.tif 000033
【図１５】
0003703424.tif 000034
【図１６】
0003703424.tif 000035
【図１７】
0003703424.tif 000036
【図１８】
0003703424.tif 000037
【図１９】
0003703424.tif 000038
【図２０】
0003703424.tif 000039
【図２１】
0003703424.tif 000040
【図２２】
0003703424.tif 000041
【図２３】
0003703424.tif 000042
【図２４】
0003703424.tif 000043
【図２５】
0003703424.tif 000044
【図２６】
0003703424.tif 000045
【図２７】
0003703424.tif 000046