(57)【要約】  【課題】  撮像素子で撮影した画像を用いて、画素ずらし手段による被写体のずらし量を調整することができる撮像装置を提供する。【解決手段】  撮像光学系１０３と、撮像素子１０４と、撮像光学系１０３の光軸と撮像素子１０４とを相対変位させる画素ずらし手段１０２と、画像メモリ１０５と、画像合成手段１０６とを備え、時系列的に撮影され撮像素子１０４から画像メモリ１０５に転送された複数の画像を、画像合成手段１０６により合成して画像を出力する撮像装置であって、画素ずらし手段１０２による画素ずらし量を決定する画素ずらしゲインの設定の変更が可能であり、画素ずらしゲインを保持する画素ずらしゲイン保持手段１０１をさらに備えたことを特徴とする。【選択図】図１
2007006031.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系と、撮像素子と、前記撮像光学系の光軸と前記撮像素子とを相対変位させる画素ずらし手段と、画像メモリと、画像合成手段とを備え、
時系列的に撮影され前記撮像素子から前記画像メモリに転送された複数の画像を、前記画像合成手段により合成して画像を出力する撮像装置であって、
前記画素ずらし手段による画素ずらし量を決定する画素ずらしゲインの設定の変更が可能であり、前記画素ずらしゲインを保持する画素ずらしゲイン保持手段をさらに備えたことを特徴とする撮像装置。
【請求項２】
前記撮像装置の起動後に、前記画素ずらしゲインを、撮影した画像に基づいて導出する画素ずらしゲイン導出手段をさらに備えた請求項１に記載の撮像装置。
【請求項３】
前記画素ずらし手段による画素ずらしを行って撮影した画像を含む複数の画像を、前記画像合成手段により合成した合成画像に基づいて設定した前記画素ずらしゲインが、前記画素ずらしゲイン保持手段に保持されている請求項１に記載の撮像装置。
【請求項４】
前記画素ずらしゲイン保持手段に保持されている画素ずらしゲインは、前記画素ずらし手段による画素ずらし量を変化させながら、前記各画素ずらし量毎に前記合成画像を作成し、前記各合成画像を評価して設定したものである請求項３に記載の撮像装置。
【請求項５】
前記合成画像の評価は、前記合成画像の解像度に基づいたものである請求項４に記載の撮像装置。
【請求項６】
撮影した画像の画素間の情報を計算により補完処理する画素間補完手段をさらに備えており、
撮影した画像を前記画素間補完手段により補完処理した画像を基準画像とし、
前記画素ずらし手段による画素ずらしを行って撮影した画像を比較画像とし、
前記画素ずらしゲインの導出は、前記基準画像と前記比較画像との相関に基づいて行う請求項２に記載の撮像装置。
【請求項７】
前記比較画像は、前記画素ずらし手段による画素ずらし量を変化させながら、前記各画素ずらし量毎に作成した画像であり、
前記画素ずらしゲインの導出は、前記基準画像と前記各比較画像との相関に基づいて行う請求項６に記載の撮像装置。
【請求項８】
撮影した画像の画素間の情報を計算により補完処理する画素間補完手段をさらに備えており、
前記画素ずらし手段による画素ずらしを行って撮影した画像を基準画像とし、
前記画素ずらし手段による画素ずらしを行わずに撮影した画像を、前記画素間補完手段により補完位置を変化させながら、前記各補完位置に対応して作成した画像を比較画像とし、
前記画素ずらしゲインの導出は、前記基準画像と前記各比較画像との相関に基づいて行う請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素ずらしにより、高精細画像を撮影する撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
高精細（高解像度）画像を撮影する技術の一つに、画素ずらしと呼ばれる技術がある。画素ずらしは、撮像光学系によって撮像素子上に結像する被写体像の位置を空間的、時系列的にずらして、互いに画素の間を補完するように、複数フレームの画像を取り込み、それらの画像を合成し、画素を擬似的に増やすことにより、高精細画像を合成するというものである。
【０００３】
図１２に画素ずらし機能を有する撮像装置の機能ブロック図を示す。画素ずらし手段１２０１は、撮像光学系１２０２によって撮像素子１２０３上に結像する被写体像の位置をずらすものである。画素ずらし手段１２０１としては、様々な方式が開発されている。例えば、撮影レンズ前面に取り付けられた可変頂角プリズムの角度を変える方式、レンズ群をシフトする方式、又は撮像素子を圧電体などで移動する方式などがある（特許文献１参照）。
【０００４】
このように画素ずらし手段には多数の方式があるが、十分な応答速度で、再現性よく、正確に被写体像と撮像素子との相対位置をずらすことができれば、どの方式を用いても同様の効果を得ることができる。
【０００５】
撮影した複数フレームの画像は画像メモリ１２０４に蓄積し、画像合成手段１２０５によって合成し、高精細画像を出力する。これらの機能は、全体制御手段１２０６によって制御される。
【０００６】
この画素ずらしを用いた高精細画像の合成の手順を図１３のフローチャートで示す。まず、撮影装置の起動指令により、ステップ１３０１では、撮像素子に通電を行ったり、画像メモリを初期化したりするなど、撮影装置の起動が行われる。
【０００７】
ステップ１３０２では、撮影開始が指示されるまで待機し、撮影が開始されるとステップ１３０３では、露光時間の調整など撮影の前処理を行う。そして、ステップ１３０４で、撮影と画素ずらしを交互に行うことによって複数フレームの画像を撮影する。
【０００８】
ステップ１３０４は、露光するステップ１３０５と、画像情報を撮像素子から画像メモリに転送するステップ１３０６と、画像ずらしを行うステップ１３０７とを備えている。複数フレームの画像の撮影が終了した後、ステップ１３０８では、画像の合成を行う。最後にステップ１３０９で画像が出力され、一連の撮影が終了し、続けて撮影を行う場合は、ステップ１３０２に戻り撮影開始指示が入力されるまで待機する。
【０００９】
例えば、４枚の画像を合成する場合は、ステップ１３０４では、撮影開始指令により、最初の画像を取り込み画像メモリに蓄積する。そして、画素ずらし手段１２０１により、撮像素子１２０３上に結像した被写体像をＸ方向（撮像素子面内の水平方向）に画素ピッチの１／２移動し、２フレーム目の画像を取り込む、
次に、Ｙ方向（撮像素子面内の垂直方向）に結像した被写体像を画素ピッチの１／２移動させて、３フレーム目の画像を取り込む、さらに、２フレーム目の画像を取り込んだときとは逆のＸ方向に結像した被写体像を画素ピッチの１／２移動させて、４フレーム目の画像を取り込む。
【００１０】
このようにして取り込んだ４フレームの画像は、それぞれ水平方向、垂直方向に１／２ピッチずれており、互いの画素の間を補完することになる。したがって、これらの画像を合成することにより、１フレーム目のオリジナル画像に対して、水平・垂直方向ともに２倍の画素を持つ高精細画像を合成することができる（たとえば、特許文献２参照）。
【特許文献１】特開平７-２４０９３２公報
【特許文献２】特開平１０-３０４２３５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、動作環境の変化や経時劣化により、画素ずらし手段の駆動特性が変化するなど、所定の入力に対して、常に画素ずらし手段が同じ応答をするとは限らない。例えば、画素ずらし手段が、圧電材料を用いたアクチュエータの場合、周辺温度によって、圧電特性が変化するため、所定の入力電圧を印加しても、温度によって変位量が異なることになる。画素ずらしを行う際に、被写体像のずらし量に誤差があると、本来、画素間を補完すべき複数フレームの画像が、重なり合い画質が劣化する。
【００１２】
このように、動作温度が変化すると圧電特性が変化するため、圧電体を用いた動作機構は、静電容量式の変位計などのセンサーを取り付け、変位量をフィードバックして制御するのが一般的である。
【００１３】
一方、撮像装置を携帯機器や自動車などの移動体に搭載するために、撮像装置の小型化、薄型化が必要とされており、センサーの取り付けスペースを確保するのは困難である。
【００１４】
また、量産において、製造ばらつきや組立て実装のばらつきなどを小さくするために、高精度の加工を要求すると、歩留まりの低下や製造時間の増大など、量産効果を阻害することになる。
【００１５】
本発明は、前記のような従来の問題を解決するものであり、装置の精度や動作環境等に応じた最適な画素ずらしゲインで撮影が可能になる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
前記目的を達成するために、本発明の撮像装置は、撮像光学系と、撮像素子と、前記撮像光学系の光軸と前記撮像素子とを相対変位させる画素ずらし手段と、画像メモリと、画像合成手段とを備え、時系列的に撮影され前記撮像素子から前記画像メモリに転送された複数の画像を、前記画像合成手段により合成して画像を出力する撮像装置であって、前記画素ずらし手段による画素ずらし量を決定する画素ずらしゲインの設定の変更が可能であり、前記画素ずらしゲインを保持する画素ずらしゲイン保持手段をさらに備えたことを特徴とする
【発明の効果】
【００１７】
本発明によれば、装置の精度や動作環境等に応じた最適な画素ずらしゲインで撮影が可能になる。
【発明を実施するための最良の形態】
【００１８】
本発明によれば、画素ずらしゲインの設定の変更が可能であり、画素ずらしゲインを保持する画素ずらしゲイン保持手段を備えているので、装置の精度や動作環境等に応じた最適な画素ずらしゲインで撮影が可能になる。特に、製造工程において、個々の撮像装置に合わせて最適な画素ずらし量を調整することができ、部品の形状精度や組立精度等の製造時の要求精度を緩和することができる。このため、短いリードタイム、高い歩留まりで製造でき量産効果も高まることになる。
【００１９】
前記本発明の撮像装置においては、前記撮像装置の起動後に、前記画素ずらしゲインを、撮影した画像に基づいて導出する画素ずらしゲイン導出手段をさらに備えたことが好ましい。この構成によれば、新たにセンサーを設けずに、撮像素子で撮影した画像を用いて、画素ずらし手段による被写体のずらし量を調整することができる。このことにより、小型、薄型で高精細画像の合成が可能な撮像装置を実現できる。また、動作環境の変化や経時劣化による動作特性の劣化による誤差をフィードバックし、調整することが可能となるので、動作環境や経時劣化に関係なく、高精細な画像の合成が可能となる。
【００２０】
また、前記画素ずらし手段による画素ずらしを行って撮影した画像を含む複数の画像を、前記画像合成手段により合成した合成画像に基づいて設定した前記画素ずらしゲインが、前記画素ずらしゲイン保持手段に保持されていることが好ましい。この構成によれば、画像合成した後の画像に基づいて画素ずらし量を決定しているので、画像の高精細化により有利である。
【００２１】
また、前記画素ずらしゲイン保持手段に保持されている画素ずらしゲインは、前記画素ずらし手段による画素ずらし量を変化させながら、前記各画素ずらし量毎に前記合成画像を作成し、前記各合成画像を評価して設定したものであることが好ましい。この構成によれば、画像の解像度が向上する画素ずらしゲインを直接導出しているので、画像の高精細化がより確実になる。
【００２２】
また、前記合成画像の評価は、前記合成画像の解像度に基づいたものであることが好ましい。
【００２３】
また、撮影した画像の画素間の情報を計算により補完処理する画素間補完手段をさらに備えており、撮影した画像を前記画素間補完手段により補完処理した画像を基準画像とし、前記画素ずらし手段による画素ずらしを行って撮影した画像を比較画像とし、前記画素ずらしゲインの導出は、前記基準画像と前記比較画像との相関に基づいて行うことが好ましい。
【００２４】
この構成によれば、画像処理計算により画素間の情報を補完したものと、画素ずらし手段により画素間を補完したものの相関を調べることにより、画素ずらしゲインを導出することができる。
【００２５】
また、前記比較画像は、前記画素ずらし手段による画素ずらし量を変化させながら、前記各画素ずらし量毎に作成した画像であり、前記画素ずらしゲインの導出は、前記基準画像と前記各比較画像との相関に基づいて行うことが好ましい。
【００２６】
この構成によれば、所定の画像補完位置を実現する画素ずらしゲインを導出することができるので、その所定の画像補完位置を組み合わせて、さまざまなパターンの合成方法に適用ができる。
【００２７】
一方、合成画像を評価して画素ずらしゲインを導出する構成では、高精細画像を合成する工程を繰り返すことになる。例えば、４枚の画像を合成する場合における画素ずらしゲインを導出しても、汎用性がなく、別の合成パターン（画素の１／３づつ移動して９枚を合成するなど）の場合は、別途、画素ずらしゲインを求める必要があった。
【００２８】
また、撮影した画像の画素間の情報を計算により補完処理する画素間補完手段をさらに備えており、前記画素ずらし手段による画素ずらしを行って撮影した画像を基準画像とし、前記画素ずらし手段による画素ずらしを行わずに撮影した画像を、前記画素間補完手段により補完位置を変化させながら、前記各補完位置に対応して作成した画像を比較画像とし、前記画素ずらしゲインの導出は、前記基準画像と前記各比較画像との相関に基づいて行うことが好ましい。この構成によれば、比較画像を画像処理により取得するので、画像取得時間の短縮に有利になり、画素ずらしゲイン導出の高速化に適している。
【００２９】
以下、本発明の一実施の形態について、図面を参照しながら詳細に説明する。
【００３０】
（実施の形態１）
図１は、実施の形態１に係る撮像装置の機能ブロック図である。全体制御手段１００は、撮像装置全体を制御するものである。全体制御手段１００は、画素ずらしゲイン保持手段１０１によって保持されている画素ずらしゲインに従って、ずらす量を調整しながら、撮像光学系１０３の光軸に対して撮像素子１０４を画素ずらし手段１０２によってずらし、複数のフレームを撮影する。
【００３１】
画素ずらしゲインは、画素ずらし手段１０２による画素ずらし量を決定するものであり、画素ずらしゲインに対応して画素ずらし量が定まることになる。より具体的には、撮像装置は、設定値通りの画素ずらし量を付与するように、画素ずらし手段１０２を駆動させる入力値が設計されている。画素ずらしゲインは、この入力値の設計値に対する倍率である。すなわち、後に具体的に説明するように、撮影の際に画素ずらし手段１０２を駆動する入力値を設計値（例えば３０Ｖ）通りとするときは、画素ずらしゲインは１になる。図１に示した撮像装置は、画素ずらしゲインの設定の変更が可能であり、画素ずらしゲインの変更値は、画素ずらしゲイン保持手段１０１に保持することができる。
【００３２】
撮影した複数のフレームの画像は、画像メモリ１０５に蓄積し、画像合成手段１０６によって合成され、高精細画像として出力される。また、これらの画素ずらし撮影手段とは別に、画素ずらしゲイン導出手段１０７が組み込まれている。画素ずらしゲイン導出手段１０７は、高精細画像を合成するのに最適な画素ずらしをした画像を得るために、画素ずらしゲインを求めるものである。
【００３３】
次に、本実施の形態における画素ずらしゲイン導出方法を説明する。まず、画像がどれだけ高精細か（解像度の高い情報をもっているか）を判定する方法について説明する。図２は、解像度判定の原理を説明する図であり、解像度チャートを撮影して解像度判定を行う例を示している。実際に解像度チャートを撮影したものは、図２の図示に比べぼやけたものになるが、解像度判定の原理を分かり易くするために、図２では撮影画像を模式的に図示している。
【００３４】
図２に示した解像度チャートは、白と黒の間隔が徐々に小さくなっている。解像度は、解像度チャートを撮影し、どの程度まで、白と黒とが判別できるかによって決定する。このようにして求めた解像度を限界解像度と呼ぶ。
【００３５】
図２Ａに示した画像３０１は、画素ずらしを行う前の画像である。ＡＡ′線付近までは、白と黒とのラインが明確に判別できることから、限界解像度は、３３０ｌｐ（ラインペア）である。
【００３６】
一方、図２Ｂに示した画像３０２は、画素ずらしにより２枚の画像を合成したものであり、ＢＢ′線付近までは白と黒とのラインが判別できることから、限界解像度は４１０ｌｐである。
【００３７】
このような方法により、画素ずらしによる解像度の向上を的確に評価することができる。本実施の形態は、画素ずらし手段１０２による画素ずらしの量を変化させながら、画素ずらし合成を行い、各合成画像の限界解像度を順次評価しながら、限界解像度と画素ずらしゲインとの関係を調べるというものである。最後に、限界解像度が最大となる場合に対応する画素ずらしゲインを選択し、最適な画素ずらしゲインを決定する。
【００３８】
図３に、画素ずらしゲイン導出方法の処理の流れを示すフローチャートを示す。本図の画素ずらしゲイン導出は、撮像装置の製造工程時における画素ずらしゲイン導出を前提にしたものであり、撮像装置のみで画素ずらしゲインを導出するというものではない。例えば、ステップ４０５における解像度測定や、ステップ４０６における解像度の最大値探索は、撮像装置から画像データを取り込んだ別個の機器で行うことになる。
【００３９】
まず、ステップ４００では、所定範囲の画素ずらしゲインに対する限界解像度を求める。このステップ４００は、画素ずらしゲインを変化させながら画素ずらし撮影を行うステップ４０１と、画素ずらし撮影した画像を合成するステップ４０４と、限界解像度を求めるステップ４０５とを繰り返す。
【００４０】
ステップ４０１の画素ずらし撮影は、設定した画素ずらしゲインに従い、画素ずらし手段であるアクチュエータを移動させて画素ずらしを行うステップ４０２と、露光及び画像情報の転送を含む画像撮像を行うステップ４０３とを備えている。ステップ４０１では、ステップ４０２、４０３を、合成する画像フレームの数だけ繰り返し行うことになる。
【００４１】
ステップ４０４では、ステップ４０１で撮像した画像を合成する。ステップ４０４で順次得られる各合成画像間においては、画素ずらし量が異なっていることになる。しかしながら、ステップ４０４の画像合成においては、理想的に画素ずらしが行なわれたとして、画素の間を補完するように画像合成を行う。すなわち、合成時には画素ずらし量の変化に伴う画像補正は行わない。
【００４２】
そして、ステップ４０５では、前記のように解像度チャートから、画像の限界解像度を求める。ステップ４００が終了後、ステップ４０６では、限界解像度が最大となる場合を探索し、ステップ４０７で、最適な画素ずらしゲインを決定する。最後に、この新たに設定した画素ずらしゲインを、画素ずらし保持手段１０１に保持する。
【００４３】
本実施の形態によれば、製造時にそれぞれの撮像装置に合わせて、最適な画素ずらし量を調整することができる。このため、部品の形状精度や組立精度等の製造時の要求精度を緩和することができる。このため、短いリードタイム、高い歩留まりで製造でき量産効果も高まることになる。
【００４４】
なお、図１の構成は、画素ずらしゲイン導出手段１０７を備えている。この画素ずらしゲイン導出手段１０７は、実施の形態２、３で説明するように、使用時に動作させて、画素ずらしゲインを求めるためのものである。このため、製造工程時における画素ずらしゲイン導出を前提にした本実施の形態においては、必ずしも画素ずらしゲイン導出手段１０７を備えている必要はない。
【００４５】
また、本実施の形態では、ステップ４０１で、画素ずらしによる複数フレームの画像を撮影し、その直後にステップ４０４で画像の合成を行い、ステップ４０５で限界解像度を求めているが、この段階で行う必要はなく、所定の範囲で画素ずらしゲインを変化させて画像を取り込んだ後、すなわち、ステップ４０６の直前に、画像を合成し、限界解像度を求めてもよい。
【００４６】
また、画素ずらしゲインの所定範囲のすべての組み合わせを調べる必要はなく、各画像の限界解像度に基づき、遺伝的アルゴリズムなどの最適化手法を組み合わせることにより、探索時間を短縮することができる。
【００４７】
以下、実施例を参照ながら本実施の形態について具体的に説明する。
【００４８】
（実施例１）
本実施例の撮像系は、撮像素子１０４に画素ピッチ３μｍの白黒１００万画素のＣＣＤを用いた。撮像光学系１０３として、非球面レンズを２枚組み合わせた構成とした。
【００４９】
図４に画素ずらし手段の平面図を示している。画素ずらし手段５０２は、図１の画素ずらし手段１０２に相当する。本図に示した画素ずらし手段５０２は、積層圧電圧電素子５０１ａ、５０１ｂによって可動部５００に設置した撮像素子を固定部５０２に対して、対角方向（図中Ｃ方向）に移動し、撮影した２枚の画像を合成する構成とした。
【００５０】
対角方向の画素ピッチは、４．２μｍとなるので、その半分に相当する２．１μｍ画素ずらしを行うことによって、画素数が２倍の画像を得ることができる。そこで、積層型圧電素子５０１ａ、５０１ｂに３０Ｖ印加した際に、変位２．１μｍを発生するように設計をした。このときの、画素ずらしゲインを１と設定した。すなわち、印加電圧３０Ｖが画素ずらしゲイン１に相当する。
【００５１】
本実施例では、画素ずらし量が、画素ずらしゲイン１の画素ずらし量に比べて±２０％の範囲で変化するように、画素ずらしゲインを０．８から１．２まで変化させた。各画素ずらしゲイン毎に撮像した画像を合成し、各合成画像毎に限界解像度を評価した。画素ずらしゲインの調整は、印加電圧の調整により行なった。
【００５２】
図５に室温（２５℃）で測定した画像ずらしゲインと限界解像度関係を示す。画素ずらしゲインが０．９３のとき、合成した画像の限界解像度が４００ｌｐとなり、最大になっていた。
【００５３】
すなわち、３０Ｖ印加時に２．１μｍ変位するように設計しているが、組み立てや製造のばらつきにより、３０Ｖ印加時における変位が２．１μｍより大きくなり過ぎていることになる。この場合、画素ずらしゲインを小さくし、変位が小さくなるように調整することにより、最適な画素ずらし量にすることができる。このように、製造時の組み立てばらつきや部品精度のばらつきを、画素ずらしゲインの調整により補正することが可能である。
【００５４】
すなわち、画素ずらしゲイン調整を行うことで、組み立て等のばらつきがあっても、常に最適な画素ずらしを行い、高精細画像を得ることが可能となる。
【００５５】
なお、本実施例では、２枚の画像を合成する場合について説明したが、２枚に限る必要はなく、４枚やそれ以上の画像を合成する場合についても、画素ずらしを行う際のずらし量それぞれに対して、合成画像を評価することで、画素ずらしゲインを求めることが可能である。
【００５６】
また、白黒ＣＣＤを用いる場合に限る必要はなく、カラー撮像素子を用いて、画素ずらしを行う場合にも、本実施の形態の方法を用いて、最適な画素ずらしゲインを導出することが出来る。
【００５７】
さらに、本実施例では、画素ずらし手段として、積層圧電体を用いたが、これに限る必要はなく、薄膜圧電体や静電気力、電磁気力、熱応力、形状記憶合金などを用いて、撮像素子を移動させてもよい。
【００５８】
また、本実施例では、撮像素子を移動させることによって、画素ずらしを行ったが、撮像レンズを移動させることによっても、画素ずらしを行うことができる。例えば、撮像素子と撮像レンズの間に透明な平行平板を挿入し、それを傾けることによっても、画素ずらしが可能である。以上のような、さまざまな方法の画素ずらし手段において、本発明のように撮影した画像を用いて、画素ずらしゲインを調整することにより、常に最適な画素ずらし動作を実現することができる。
【００５９】
（実施の形態２）
実施の形態２は、画素ずらしゲイン導出方法が実施の形態１と異なっている。撮像装置の基本構成は、図１と同様であるので、重複説明は省略する。実施の形態２は、使用時における画素ずらしゲイン導出を前提としている。本実施の形態においては、別個の機器は必要とせず、図１に示した画素ずらしゲイン導出手段１０７を動作させることにより、撮像装置自体で、最適な画素ずらしゲインを導出することができる。このことは、実施の形態３においても同様である。
【００６０】
図６に本実施の形態の画素ずらしゲイン導出の原理を示す。画像７００、７０３、７０５は、画像の一部を拡大したもので、画像７０１で示す四角の枠は、画像の１画素である。画像７００は、ある時間に撮像素子で撮影した画像であり、７０２は、撮影した十字のマークを示す。
【００６１】
本実施の形態に係る撮像装置は、撮影した画像の画素間の情報を計算により補完処理する画素間補完手段を備えている。画像７０３は、画素間補完手段により、画像７００の画素の間を線形補完（画像処理）することにより、画像を右下方向に０．５画素ずつずらしたものである。元の画像７００では、マークの境界部分は、２つの画素に分かれていた。すなわち、マークの境界部分が、ちょうど画素の区切り部分と一致していた。
【００６２】
０．５画素ずらしたために、７０４で示すように、境界部分が二つの画素にまたがり平均化されている。例えば、白と黒の境界が画素の中央部分になると、平均されて灰色になる。
【００６３】
一方、画素ずらし手段より、被写体像を右下方向にずらして撮影した画像も、画像７０５で示すように、画素ずらし量に対応して、画像がずれることになる。そこで、画像処理により画素ずらしした画像７０３と、画素ずらし手段で画素ずらし撮影した画像７０５を比べることにより、最適な画像ずらしゲインを導出することが出来る。
【００６４】
図７は、本実施の形態に係る撮像装置の処理の流れを示すフローチャートである。ステップ１３０１において撮像装置を起動した後に、ステップ１０００で、画素ずらしゲイン導出を行うことと、ステップ１３０７において、画素ずらしゲインによって画素ずらし量を調整すること以外は、前記の従来技術と同様である。このため、図１３の構成と同様のものは同一番号を付して、重複部分については、説明を省略する。
【００６５】
図８に、図７のステップ１０００を詳細に示したフローチャートを示す。このフローチャートにおける各処理は、画素ずらしゲイン導出手段１０７の指令、演算等による処理である。図８において、ステップ８００では、基準画像を生成する。ステップ８０１では、基準となる画像の元になる画像を撮影する、次に、ステップ８０２では、ステップ８０１で撮影した画像を、画素ずらし手段で移動したい理想位置（例えば、画素と画素との中央に来るように０．５画素づつ面内のＸ、Ｙ方向にずらした位置）に、画像処理により移動する。この画像処理により元画像を画素ずらしした画像が、基準画像となる。
【００６６】
そして、ステップ８０３では、基準画像と比較するための画像を生成する。ステップ８０４では、画素ずらしゲインの探索範囲の中から、一つの画素ずらしゲインを選び、そのゲインにしたがって、画素ずらし手段であるアクチュエータを移動させて、撮像素子と被写体像の相対位置を変化させる。
【００６７】
次に、画素ずらしゲイン導出手段１０７は、ステップ８０５において、そのときの撮影画像を比較画像として取り込む。さらに、画素ずらしゲイン導出手段１０７は、ステップ８０６において、基準画像と比較画像を比べるために、２つの画像の相関を求める。画素ずらしゲインを変化させながらステップ８０４、ステップ８０５、ステップ８０６を繰り返すことにより、画素ずらしゲインの探索範囲に対応する比較画像が多数生成できる。
【００６８】
基準画像は画像処理により理想的な位置に移動した画像であるので、比較画像の中で、この基準画像とできるだけ同じになるもの（相関が高いもの）が、理想的な画素ずらしを実現したものになる。
【００６９】
そこで、画素ずらしゲイン導出手段１０７は、比較画像を取り込んだ後、ステップ８０７で、相関の最大値を探索し、ステップ８０８で相関が最大になる場合に対応する画素ずらしゲインを最適値として決定した。この新たに設定した画素ずらしゲインは、画素ずらし保持手段１０１に保持される。このため、図７のステップ１３０７における画素ずらし量は、新たな画素ずらしゲインにしたがった画素ずらし量になる。
【００７０】
ここで、アクチュエータの出力が、入力信号（電圧や電流）にほぼ比例する関係にあれば、画素ずらし量が異なっても、画素ずらしゲインは同じであるといえる。このため、一旦画素ずらしゲインを設定しておけば、画素ずらし量が異なる場合、例えば１／２画素ピッチ（４枚合成）及び１／３画素ピッチ（９枚合成）の双方の場合に対応できる。このため、画素ずらし量毎に前記の画素ずらしゲイン導出のステップを経る必要はなくなる。
【００７１】
なお、本実施の形態では、ステップ８０５で比較画像を撮影し、その直後にステップ８０６の相関の計算を行っているが、この段階で行う必要はなく、画素ずらしした画像を先に撮影した後、まとめて、相関を計算しても良い。すなわち、ステップ８０７の直前に、相関の計算を行ってもよい。
【００７２】
また、画素ずらしゲインの設定範囲のすべてを調べる必要はなく、画素ずらしゲインと比較画像の相関の関係を考慮しながら、遺伝的アルゴリズムなどの最適化手法を組み合わせることにより、探索時間を短縮することができる。
【００７３】
以下、実施例を参照ながら本実施の形態について具体的に説明する。
【００７４】
（実施例２）
本実施例の撮像系は、撮像素子に画素ピッチ３μｍの白黒１００万画素のＣＣＤを用いた。撮像光学系は、非球面レンズを２枚組み合わせた構成とした。画素ずらし手段は、後に図９を用いて説明するように、積層圧電素子によって撮像素子を面内のＸ方向（水平方向）、Ｙ方向（垂直方向）に移動できる構成とした。本実施例は、画素ずらしを行わない画像と、それぞれ異なる位置に画素ずらしを行った３枚の画像とを加えた合計４枚の画像を取り込み、これらを合成する構成とした。なお、前記の通り、比較画像については、画像合成は行わない。
【００７５】
画素ピッチ３μｍの半分に相当する１．５μｍの画素ずらしを３回行うことによって、画素数が４倍の画像を得ることができる。図９に本実施例に係る画素ずらし手段を示す。撮像素子を設置する可動部９００は、積層型圧電素子９０２ａ及び９０２ｂを介して内部固定枠９０１に接続されており、内部固定枠９０１に対してＸ方向に移動する。
【００７６】
内部固定枠９０１は、積層型圧電素子９０３ａ、９０３ｂ、９０３ｃ及び９０３ｄにより固定枠９０４に接続されており、Ｙ方向に移動する。積層型圧電素子に、３０Ｖ印加した際に、Ｘ軸方向、Ｙ軸方向にそれぞれ１．５μｍ移動するように設計した。
【００７７】
基準画像の元になる画像を撮影したのち、画像処理により、Ｘ方向とＹ方向にそれぞれ０．５画素ずつずらした（図８のステップ８００）。画像は輝度情報の集合として表され、Ｘ方向のｋ番目、Ｙ方向のｌ番目の輝度をＩ（ｋ、ｌ）と表わすことができる。画素は、有限であるので、ｋ、ｌは整数である。
【００７８】
画素が存在しない位置（ｋ、ｌが整数以外の位置）は、周辺の画素の輝度を基に内挿することで、任意の位置の輝度情報を求めるこことができる。この内挿方法には、共１次内挿法、共３次内挿法、３次たたみ込み内挿法など、多くの方法がある。本実施例では、共１次内挿法を用い、画素上にないｕ、ｖの位置における輝度Ｉ（ｕ、ｖ）を、次式によって求め、画像をずらした。
【００７９】
【数１】
2007006031.tif 000003
【００８０】
圧電素子に印加する電圧が３０Ｖのときの、Ｘ軸、Ｙ軸に対する画素ずらしゲインを１と設定し、画素ずらし量を±２０％の範囲で変化するように、Ｘ方向画素ずらしゲインとＹ方向画素ずらしゲインを０．８から１．２まで変化させ、各ゲインを与えた場合の、比較画像を撮影し、基準画像と比較画像の相関を求める。基準画像の各画素の輝度をＩ１（ｋ、ｌ）、比較画像の各画素の輝度をＩ２（ｋ、ｌ）とし、各画素の輝度の相関Ｒを次式により求めた。
【００８１】
【数２】
2007006031.tif 000004
【００８２】
基準画像と比較画像が近い場合、Ｒの値は１に近づき、逆に、両画像の近似の程度が異なっているほど、Ｒの値は小さくなる。なお、本実施例では、画像全体の相関を求めたが、必ずしも全体について相関を求める必要は無く、画像の中の一部分について、相関を求めてもよい。
【００８３】
図１０に室温（２５℃）で測定した画像ずらしゲインと相関との関係を示す。図１０Ａは、Ｙ方向画素ずらしゲインを１とし、Ｘ方向画素ずらしゲインを変化させたものであり、Ｘ方向画素ずらしゲインが、０．９７のとき、相関が一番大きくなっていた。
【００８４】
図１０Ｂは、Ｘ方向画素ずらしゲイン、Ｙ方向画素ずらしゲインを変化させた場合の相関の大きさを等高線で示している。この等高線は、内側にあるほど相関が大きくなっており、中央部において相関が最大になる。具体的には、Ｘ方向の画素ずらしゲインが０．９７、Ｙ方向の画素ずらしゲインが１．０のときが最大であった。
【００８５】
同様に、基準画像をＸ方向にのみ０．５画素ずらした場合と、Ｙ方向にのみ０．５画素ずらした場合について、前記のような画像ずらしゲインと相関との関係を求めると、Ｘ方向に画像ずらしする場合は、Ｘ方向画素ずらしゲインが０．９５のときに相関が最大になり、Ｙ方向に０．５画素ずらしする場合は、Ｙ方向画素ずらしゲインが１．０１のときに相関が最大であった。
【００８６】
したがって、４枚の画像を合成する場合において、画像ずらしを行う３枚の各画像の撮影時における最適な画像ずらしゲインが求まり、各画像の撮影時には撮像素子を最適な位置に移動させた状態で撮影をすることができるようになる。このようにして合成した画像の限界解像度を求めると５００ｌｐであり、合成前の画像の限界解像度３００ｌｐに比べて大きく向上していた。
【００８７】
次に、室温を４０℃にして、同様に前記のような画像ずらしゲインと相関との関係を求め、最適な画素ずらしゲインを求めたところ、Ｘ方向に０．５画素ずらしする場合のＸ方向画素ずらしゲインは、０．９２であった。また、Ｙ方向に０．５画素ずらしする場合は、Ｙ方向画素ずらしゲインは、０．９８であった。さらに、Ｘ、Ｙ方向に０.５画素ずらしする場合は、Ｘ方向画素ずらしゲインが、０．９５、Ｙ方向画素ずらしゲインが、０．９８であった。
【００８８】
これは、圧電体の温度が上昇したために、圧電特性が大きくなり、一定電圧を与えた場合の変位が温度上昇前に比べ大きくなったためと考えられる。すなわち、温度が上昇すると、温度上昇前に比べより小さい電圧で同等の変位が得られることになり、最適な画素ずらしゲインも小さくなる。
【００８９】
このように、室温が変化し、画素ずらし手段の特性が変化しても、画素ずらしゲイン調整を行うことで、常に最適な画素ずらしゲインを導出することができる。
【００９０】
なお、本実施例では、４枚の画像を合成する場合について説明したが、４枚に限る必要はなく、２枚を合成する場合や、４枚以上の画像を合成する場合についても、適切な基準画像を設定し、画素ずらしゲインを求めることで、高精細画像を得ることが可能である。
【００９１】
また、白黒ＣＣＤを用いる場合に限る必要はなく、カラー撮像素子を用いて、画素ずらしを行う場合にも、本実施の形態の方法を用いて、最適な画素ずらしゲインを導出することが出来る。
【００９２】
（実施の形態３）
本実施の形態と実施の形態２との違いは、画素ずらしゲインを探索する際の基準画像と比較画像の取得方法である。実施の形態２は、基準画像を画素間補間手段による画像処理により取得し、比較画像を画素ずらし手段によるずらし量を変化させて取得するものであった。本実施の形態は、画素間補間手段による画像処理によって撮影した画像をずらし、これを比較画像とするものである。
【００９３】
すなわち、基準画像は、画素ずらし手段を、画素ずらしゲインが１となるように駆動したときに撮影した画像とし、比較画像は、画素ずらし手段による駆動を行わずに撮影した画像を、画素間補間手段による画像処理によりずらしたものである。これにより、画素ずらしと撮影を繰り返す必要がなくなるため、高速で画素ずらしゲインを求めることが可能になる。
【００９４】
図１１に本実施の形態の処理の流れをフローチャートで示す。このフローチャートにおける各処理は、画素ずらしゲイン導出手段１０７（図１）の指令、演算等による処理である。まず、ステップ１１００では、基準画像を生成する。ステップ１１０１では、画素ずらし手段により、画素ずらしゲインが１であるとして、画素ずらしを行う。次にステップ１１０２で、撮影を行い、その画像を基準画像とする。
【００９５】
次に、ステップ１１０３では、比較画像の生成が行われる。まず、ステップ１１０４では、比較画像を生成する元となる画像を撮影する。このとき、画素ずらしは行わない状態で撮影する。そして、ステップ１１０５では、比較画像生成用の元画像を前記の実施の形態２の場合と同様の画像処理により微小な量だけ画像を移動させる。ステップ１１０６では、画素ずらしゲイン導出手段１０７は、基準画像と比較画像の相関を計算する。
【００９６】
画像処理による画素ずらし量を変化させた比較画像の生成が終了した後、画素ずらしゲイン導出手段１０７は、ステップ１１０７では、相関の最大値を探索し、ステップ１１０８では、画素ずらしゲインを決定する。
【００９７】
より具体的には、相関が最大値となる比較画像が基準画像と最も近似したものである。このため、この比較画像の画素ずらし量が、画素ずらしゲインが１の場合に、画素ずらし手段が発生する画素ずらし量であることになる。この画素ずらし量が、ゲイン１における画素ずらし量の設計値と一致していれば、画素ずらしゲインは１のままでよいことになる。一方、比較画像の画素ずらし量が、ゲイン１における画素ずらし量の設計値と異なっている場合は、設計値との差異に応じてゲインを設定し直すことになる。具体例は、以下の実施例を参照しながら説明する。
【００９８】
（実施例３）
本実施例の装置構成は実施例１と同様であり、積層型圧電素子に３０Ｖを印加したときに対角方向に２．１μｍ画素ずらしするように設計をし、このときの画素ずらしゲインを１と設定した。
【００９９】
まず、積層型圧電素子に３０Ｖを印加して、基準画像を取り込んだ。次に、積層型圧電素子に電圧を印加しない状態で、比較画像の元画像を取り込んだ。この元画像について画像処理により、撮像素子の対角方向に０．０５画素ずつずらした比較画像を生成した。０．０５画素のずらしとは、ゲイン１に相当するずらし量２．１μｍに０．０５を乗じた量（０．１０５μｍ）のずらしのことである。
【０１００】
順次得られる比較画像について、それぞれ基準画像との相関を求めた。その結果、画像処理によって１．０５画素ずらした比較画像との相関が最大となっていた。設計通りの動作をすれば、基準画像との相関は、画像処理によって１．００画素ずらした比較画像との間で最大となる。画像処理によって１．０５画素ずらした比較画像との相関が最大となっているということは、３０Ｖに印加時の画像は、ゲイン１．０５の画素ずらしをしたものと同等のものであるといえる。したがって、ゲイン１の設計通りの画素ずらしとする画素ずらしゲインは、１／１．０５より、０．９５となる。
【０１０１】
なお、本実施例では、２枚の画像を合成する場合について説明したが、２枚に限る必要はなく、４枚やそれ以上の画像を合成する場合についても、画素ずらしを行う際のずらし量それぞれに対して、基準画像と比較画像との相関に基づいて、画素ずらしゲインを求めることが可能である。
【０１０２】
また、白黒ＣＣＤを用いる場合に限る必要はなく、カラー撮像素子を用いて、画素ずらしを行う場合にも、本実施の形態の方法を用いて、最適な画素ずらしゲインを導出することが出来る。
【産業上の利用可能性】
【０１０３】
以上のように、本発明によれば、装置の精度や動作環境等に応じた最適な画素ずらしゲインで撮影が可能になるので、本発明は、例えばデジタルスチルカメラ、携帯電話などにおける撮像装置に有用である。
【図面の簡単な説明】
【０１０４】
【図１】本発明の実施の形態１に係る撮層装置の機能ブロック図。
【図２】本発明の実施の形態１に係る撮層装置の処理の流れを示すフローチャート。
【図３】本発明の一実施の形態に係る解像度判定の原理を説明する図。
【図４】本発明の実施の形態１に係る画素ずらしゲイン導出手段のフローチャート。
【図５】本発明の実施例１に係る画素ずらし機構の平面図。
【図６】本発明の実施例１に係る画素ずらしゲインと解像度の関係を示す図。
【図７】本発明の実施の形態２に係る画素ずらしゲイン導出方法の原理を説明する図。
【図８】本発明の実施の形態２に係る画素ずらしゲイン導出手段のフローチャート。
【図９】本発明の実施例２に係る画素ずらし機構の平面図。
【図１０】本発明の実施例２に係る画素ずらしゲインと相関の大きさを示す図。
【図１１】本発明の実施の形態３に係る画素ずらしゲイン導出手段のフローチャート。
【図１２】従来の画素ずらし機能付き撮像装置の一例のブロック図。
【図１３】従来の画素ずらし機能付き撮像装置の動作の一例を示すフローチャート。
【符号の説明】
【０１０５】
１０１  画素ずらしゲイン保持手段
１０２  画素ずらし手段
１０３  撮影光学系
１０４  撮像素子
１０５  画像メモリ
１０６  画像合成手段
１０７  画像すらしゲイン導出手段
【図１】
2007006031.tif 000005
【図２】
2007006031.tif 000006
【図３】
2007006031.tif 000007
【図４】
2007006031.tif 000008
【図５】
2007006031.tif 000009
【図６】
2007006031.tif 000010
【図７】
2007006031.tif 000011
【図８】
2007006031.tif 000012
【図９】
2007006031.tif 000013
【図１０】
2007006031.tif 000014
【図１１】
2007006031.tif 000015
【図１２】
2007006031.tif 000016
【図１３】
2007006031.tif 000017