(57)【要約】【課題】ホール素子などの特別な位置検知デバイスを用いずに、高い精度でイメージセンサの位置検知を行えるようにする。【解決手段】  まず、イメージセンサの撮像面において結像により光が照射される部分と光が照射されない暗部との境界を画素配列の行方向又は列方向に対して斜めにずれて投影させる。次に、位置検知部により、境界が投影された複数の画素から画素値を得、該複数の画素における輝度分布を算出する。次に、位置検知部により、該輝度分布において画素の光が照射する面積が半分以上の明と画素の光が照射する面積が半分未満である暗との変化点を検出する。そして、位置検知部により、明と暗との変化点の位置によりイメージセンサの位置を算出する。【選択図】図５
2012138807.tif 000002
【特許請求の範囲】
【請求項１】
光を電気信号に変換する複数の画素が配列されたイメージセンサと、
前記イメージセンサを撮像面内で移動可能な駆動部と、
前記イメージセンサの撮像面において結像により光が照射される部分と光が照射されない暗部との境界を画素配列の行方向又は列方向に対して斜めにずれて投影させ、該境界が投影される複数の画素の画素値より得られる輝度分布を元に、前記イメージセンサの位置を検知する位置検知部と、を備え、
前記位置検知部は、前記境界が投影される複数の画素の画素値から該複数の画素における輝度分布を算出し、該輝度分布において画素の光が照射する面積が半分以上の明と画素の光が照射する面積が半分未満である暗との変化点を検出し、該変化点の位置により前記イメージセンサの位置を算出する
撮像装置。
【請求項２】
前記位置検知部は、前記境界が投影される複数の画素について隣接する画素間で画素値の差分演算を行い、差分演算して得られる極大点を元に前記輝度分布における前記明と前記暗との変化点を検出する
請求項１に記載の撮像装置。
【請求項３】
前記結像により光が照射される部分と光が照射されない暗部との境界を、前記イメージセンサの撮像面の非実効画素領域に投影されるように設定する
請求項２に記載の撮像装置。
【請求項４】
前記イメージセンサの撮像面の実効画素領域に対応する撮像用の開口部と、前記撮像面の非実効画素領域に対応する位置検知用の開口部と、が形成された遮光部を有する遮光板が前記イメージセンサの上方に極近接して配置され、
前記イメージセンサの撮像面において結像により光が照射される部分と光が照射されない暗部との境界は、前記遮光板の前記位置検知用の開口部を通過した光が投影されて生成される
請求項３に記載の撮像装置。
【請求項５】
前記遮光板の前記位置検知用の開口部は、前記撮像用の開口部と別の箇所に形成され、前記イメージセンサの画素配列の行方向又は列方向に対して斜めにずれた縁を有する
請求項４に記載の撮像装置。
【請求項６】
前記遮光板の前記位置検知用の開口部は、前記撮像用の開口部と一体に形成され、前記イメージセンサの画素配列の行方向又は列方向に対して斜めにずれた縁を有する
請求項４に記載の撮像装置。
【請求項７】
光学系を通過した光による結像領域より前記イメージセンサの撮像面が大きい
請求項２に記載の撮像装置。
【請求項８】
前記位置検知部は、前記イメージセンサの位置を検知し、前記検知した位置の情報に基づき前記イメージセンサが次に移動すべき位置を算出する
請求項２乃至７のいずれかに記載の撮像装置。
【請求項９】
光を電気信号に変換する複数の画素が配列されたイメージセンサと、前記イメージセンサを撮像面内で移動可能な駆動部と、前記イメージセンサの位置を検知する位置検知部とを備えた撮像装置による撮像方法であって、
前記イメージセンサの撮像面において結像により光が照射される部分と光が照射されない暗部との境界を画素配列の行方向又は列方向に対して斜めにずれて投影させることと、
前記位置検知部により、前記境界が投影された複数の画素から画素値を得、該複数の画素における輝度分布を算出することと、
前記位置検知部により、該輝度分布において画素の光が照射する面積が半分以上の明と画素の光が照射する面積が半分未満である暗との変化点を検出することと、
前記位置検知部により、前記明と前記暗との変化点の位置により前記イメージセンサの位置を算出すること、
を含む撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スウィングイメージセンサを備える撮像装置及びその撮像方法に関し、特にスウィングイメージセンサの位置を検知する技術に関する。
【背景技術】
【０００２】
一般に、デジタルスチルカメラ、カムコーダ、監視カメラなどのカメラシステム（撮像装置）では、最大に取得できる画像の解像度は、使用されるイメージセンサ（撮像素子）の画素数によって決定される。近年、高解像度の画像に対する要求の高まりを受けて、信号処理、もしくは機構的な工夫により、イメージセンサの画素数以上の解像度を生成する超解像技術が注目を浴びている。
【０００３】
超解像技術の手法としては、現在、さまざまなものが提案されている。その中で、信号処理とカメラシステムの機構的な制御との組み合わせにより、精度よく解像度を向上させる技術として、イメージセンサシフト方式（または画素ずらし方式）が知られている（例えば、非特許文献１参照）。この手法は、イメージセンサを画素ピッチ以下のサイズで振動させ、その時に取得される僅かにずれた複数の画像から画素間のデータを再構成し、画素数以上の解像度の画像を得るものである。イメージセンサシフト方式を適用したイメージセンサはスウィングイメージセンサと呼ばれている。
【０００４】
この方式のカメラシステムのイメージセンサを含む要部の構成を図１に示す。通常のカメラシステムでは、イメージセンサはカメラシステム本体に固定設置される。しかし、イメージセンサシフト方式を採用するカメラシステム１では、イメージセンサ２が駆動部となるＸ−Ｙステージ３に実装される。Ｘ−Ｙステージ３は、例えば縦及び横の側辺にピエゾ素子（圧電素子）４Ｙ，４Ｘが設けられ、Ｘ方向及びＹ方向の可動機構５Ｘ，５Ｙを介して支持板６に設置される。また、支持板６はカメラシステム１の筺体に固定設置される。この状態でピエゾ素子４Ｘ，４Ｙに印加する電圧を制御することにより、イメージセンサをＸ方向及びＹ方向それぞれに画素サイズの１／２、１／３…などの微小な距離を移動させることができる。
【０００５】
例えば図２（ａ）に示すように、イメージセンサ２を縦（Ｘ）方向、横（Ｙ）方向、斜め４５度の方向に１／２画素分ずつ移動させて、合計４枚の画像１１，１２，１３，１４を取得する。次に、得られた４つの画素データを図２（ｂ）のように画素数を４倍に拡張した画素配列の各画素１１ａ，１１ｂ，１１ｃ，１１ｄに対応させて合成を行う。それにより、はめ込み後の合成画像１５として、イメージセンサ２の画素数の４倍（２×２）の解像度を得ることができる。同様に画素サイズの１／３，１／４…などのステップで画像を取得すれば、それぞれ、９倍、１６倍…の解像度を得ることが可能となる。
【０００６】
以上のイメージセンサシフト方式は原理的には簡易であるが、実際に精度の高い解像度を得るためには、イメージセンサの位置制御を精度よく行う必要がある。
【０００７】
一例として、光学平板ガラスを取り付けた光学平板ガラス保持機構の回転範囲を、２箇所の位置規制部材により制限し、イニシャル位置と１／２画素分ずらした結像位置での画像の読み取りを可能にする技術が提案されている（例えば、特許文献１参照）。微調整用ねじを用いて一の位置規制部材の位置を調整することにより、イメージセンサ上での結像位置を正確に１／２画素分ずらすことが可能になっている。
【０００８】
一方、イメージセンサを移動させる可動機構に加え、イメージセンサの位置を検知して、その位置の情報から可動機構を制御する制御システムが知られている。イメージセンサの位置を検知する位置検知手段としては、一般的に、ホール素子などの位置検知デバイスが使用される。ホール素子の検知精度は１ｕｍ程度である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０００−２７０１６５号公報
【非特許文献】
【００１０】
【非特許文献１】原田望他，「スウィングＣＣＤイメージセンサ」，テレビジョン学会誌，社団法人映像情報メディア学会，１９８３年１０月２０日，Ｖｏｌ．３７，Ｎｏ．１０，Ｐ．８２６−８３２
【発明の概要】
【発明が解決しようとする課題】
【００１１】
将来的にイメージセンサの画素サイズが１ｕｍ程度に微細化されていくと、超解像技術における位置制御としては、０．５ｕｍ（１／２画素ピッチ）以下の検知精度が必要とされるが、ホール素子ではこれだけの精度を出すのは困難である。また、このような位置検知デバイスの使用はコスト増加の要因にもなる。
【００１２】
本発明は、上記の状況に鑑みてなされたものであり、ホール素子などの特別な位置検知デバイスを用いずに、高い精度でイメージセンサの位置検知を行えるようにする。
【課題を解決するための手段】
【００１３】
本発明は、光を電気信号に変換する複数の画素が配列されたイメージセンサと、前記イメージセンサを撮像面内で移動可能な駆動部と、前記イメージセンサの位置を検知する位置検知部とを備えた撮像装置及びその撮像方法であって、画像処理によって位置検知を行うようにしたものである。
すなわち、まずイメージセンサの撮像面において結像により光が照射される部分と光が照射されない暗部との境界を画素配列の行方向又は列方向に対して斜めにずれて投影させる。
そして位置検知部により、上記境界が投影された複数の画素から画素値を得、該複数の画素における輝度分布を算出する。
次に、位置検知部により、該輝度分布において画素の光が照射する面積が半分以上の明と画素の光が照射する面積が半分未満である暗との変化点を検出する。
そして、位置検知部により、明と暗との変化点の位置によりイメージセンサの位置を算出する。
【００１４】
具体的には例えば、上記位置検知部により、上記境界が投影される複数の画素について隣接する画素間で画素値の差分演算を行い、差分演算して得られる極大点を元に上記輝度分布における明と暗との変化点を検出することが好適である。
【００１５】
本発明によれば、まず結像により光が照射される部分と光が照射されない暗部との境界を、イメージセンサの画素配列に対して斜めにずれて投影させることが必要である。光が照射される部分と光が照射されない暗部との境界が画素配列に対して斜めにずれて投影されるので、複数の画素の輝度値から得られる輝度分布において画素の光が照射する面積が半分以上の明と画素の光が照射する面積が半分未満である暗との変化点を生じる。この明と暗の変化点を検出することで、複数の画素に対し当該境界がどのように投影されているかがわかり、イメージセンサの位置を算出することができる。
【発明の効果】
【００１６】
本発明によれば、位置検知デバイスを用いずに、高い精度でイメージセンサの位置検知を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施の形態における撮像装置の要部を示す斜視図である。
【図２】イメージセンサシフト方式の原理の説明図である。
【図３】図１のカメラシステムの光学系からイメージセンサに至る機構部の概略断面図である。
【図４】イメージセンサの撮像面の構成を示す平面図である。
【図５】本発明の第１の実施の形態におけるイメージセンサの撮像面を遮光板の上方から見た平面図である。
【図６】本発明の第１の実施の形態におけるイメージセンサの位置検知の説明図である。
【図７】本発明の第１の実施の形態におけるカメラシステムの内部構成を示すブロック図である。
【図８】図７のカメラシステムによる位置検知処理を示すフローチャートである。
【図９】駆動制御電圧の補正に関する説明図である。
【図１０】本発明の第２の実施の形態におけるイメージセンサの撮像面を遮光板の上方から見た平面図である。
【図１１】本発明の第１の実施の形態におけるイメージセンサの位置検知の説明図である。
【図１２】本発明の第３の実施の形態における魚眼レンズを使用したときのイメージセンサの撮像面を示す平面図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態の例について、添付図面を参照しながら説明する。説明は下記の順序で行う。なお、各図において共通の構成要素には、同一の符号を付して重複する説明を省略する。
１．第１の実施の形態（遮光板：遮光部に開口部を形成した例）
２．第２の実施の形態（遮光板：実効画素領域の縁を斜めに形成した例）
３．第３の実施の形態（光学系に魚眼レンズを使用した例）
【００１９】
＜１．第１の実施の形態＞
本実施の形態に係るカメラシステムの構成として、図３に、光学系からイメージセンサに至る機構部の概略断面を示す。
イメージセンサ２は、図１に示したようにピエゾ素子４Ｘ，４Ｙの振動を利用して該イメージセンサ２の撮像面と平行な面内で駆動するＸ−Ｙステージに設置される。そのＸ−Ｙステージ３は駆動部の一例であり、イメージセンサ２全体を保持する支持板６の上に設置される。そして、イメージセンサ２の上方には、イメージセンサ２からわずかなすき間を設けて極近接して遮光板８が設けられる。後述する位置検知精度を上げるには撮像面へ投影される像の輪郭（エッジ）が鮮明であることが望ましく、そのためにイメージセンサ２と遮光板８との距離は近いほどよい。この遮光板８は、図３に示すとおり、支持板６に直接設置されており、Ｘ−Ｙステージ３とは独立して位置が固定される。レンズ７等の光学系は鏡筒９又はカメラシステム本体に収納されている。
【００２０】
イメージセンサ２の画素の構成を図４に示す。またイメージセンサ２の撮像面を遮光板８の上方から見た平面図を図５に示す。
イメージセンサ２は、撮像面のほぼ中央の実効画素領域１６とその周辺の非実効画素領域に分けられる。さらに非実効画素領域は、一般に、信号処理などの用途に使用するために通常の実効画素領域１６と同様に光を受光する有効画素領域１７と、イメージセンサ２内部で遮光されているＯＰＢ（OPtical Black）領域１８とに更に分けられる。
【００２１】
図５に示すように、本実施の形態に係るカメラシステム１では、遮光板８は、イメージセンサ２の実効画素領域１６に対応する箇所に矩形の撮像用の開口部が形成された遮光部２１を有する。また遮光部２１には、イメージセンサ２の実効画素領域１６周辺の非実効画素領域に光が当たらないように、遮光板８の非実効画素領域に対応する部分の２箇所にスリット状の開口部２２Ｘ，２２Ｙが設けられる。スリット状の開口部として、行（Ｈ）方向の非実効画素領域に対応するスリット状の開口部２２Ｘと、列（Ｖ）方向の非実効画素領域に対応するスリット状の開口部２２Ｙの２種が設けられる。スリット状の開口部２２Ｘ，２２Ｙは、その縁がイメージセンサ２の画素配列の縦横のラインに対して僅かに斜めに形成される。縁は、遮光部２１と開口部２２Ｘ，２２Ｙとの境界である。
【００２２】
図６（ａ）は、遮光板８の開口部２２Ｘを拡大したものである。開口部２２Ｘの長手の縁が、例えばイメージセンサ２の撮像面に対してＹ方向に対して時計回りに所定角度回転した位置となるように形成されている。本実施の形態では、イメージセンサ２の撮像面を垂直上方から見た場合、画素と開口部２２Ｘの長手の縁の重なりは、横（Ｘ方向）１画素に対し、縦（Ｙ方向）８画素が対応している。
【００２３】
このような状態において、レンズ７を介してイメージセンサ２に一様な光が入射した場合、開口部２２Ｘ下方の撮像面にはスリット状の境界エッジパターンが投影される。それぞれの画素は遮光部２１に覆われる部分と覆われない部分の面積比率に応じた強度の光を受光することとなる。ここで、イメージセンサ２から画素データを取得し、開口部２２Ｘに対応する縦一列の画素についてその画素値から輝度分布を測定した場合、図６（ｂ）に破線で示すように、なだらかに変化する輝度変化曲線が得られる。さらに、この輝度変化曲線から隣接する画素間で画素値の差分演算（微分処理と同等）を行うと、図６（ｃ）に破線で示すように、輝度変化が暗（画素の光が照射する面積が半分未満）から明（画素の光が照射する面積が半分以上）に変化する中心点に差分演算結果のピーク（極大点）が生じる。それにより、輝度の変化点を明瞭に判別することが可能となる。
【００２４】
以上の状態で、図６（ａ）に実線で示すようにイメージセンサ２が横（Ｘ方向）に移動すると、それに伴い、図６（ｃ）に示すように、輝度変化曲線の明暗変化の中心点（差分演算結果の極大点）の位置も移動する。このとき、例えばイメージセンサ２が左方向に１／２画素分移動すれば、明暗変化の中心点の位置は、下（Ｙ方向）に４画素分移動することとなる。つまり、逆にイメージセンサ２が縦方向（この例では下）に４画素分ずれていることが検知できれば、横方向（この例では左）に１／２画素分ずれていることを知ることができる。また、明暗変化の中心点（差分演算結果の極大点）の移動方向から、イメージセンサ２の移動方向（この例では左）を知ることができる。
【００２５】
このように、イメージセンサ２の振動によって移動する、イメージセンサ２の撮像面上に投影される光学系の撮像境界によって形成されるエッジ部投影像の明暗の変化点を元に、イメージセンサ２の画素サイズ以下の移動距離を測定することができる。
【００２６】
よって、開口部２２Ｘの縁の画素配列に対する傾きがわかっていれば、輝度変化の中心点のＹ方向の画素サイズでの移動量Δｙを検知することにより、Ｘ方向の画素ピッチ以下の移動量Δｘを正確に算出することが可能となる。上記の例では、１／２画素のずれ検知を説明したが、開口部２２Ｘの縁の画素配列に対する傾きを小さくして、一つの直線状の縁により多くの画素が重なり合うようにすれば、１／３画素、１／４画素…といった、より微小な移動量の計測も可能となる。なお、差分演算結果の明暗変化の中心点が画素と画素の間にある場合、補間処理により該中心点の位置を算出することもできる。
【００２７】
なお、上述例の横（Ｘ方向）１／２画素ずらしの場合、イメージセンサ２の撮像面を垂直上方から見たとき、画素と開口部２２Ｘの長手の縁の重なりは、横（Ｘ方向）１画素に対し、縦（Ｙ方向）８画素を対応していたがこの例に限られない。例えば、画素と開口部２２Ｘの長手の縁の重なりは、横１／２画素に対し、少なくとも縦１画素が対応していれば、イメージセンサ２の横１／２画素分の移動を検知できる。このようにすることにより、開口部２２Ｘの縁の長手の長さを短くすることができる。同様に、横１／３画素ずらしの場合、画素と開口部２２Ｘの長手の縁の重なりを、横１／３画素に対して縦１画素とし、横１／４画素ずらしの場合、画素と開口部２２Ｘの長手の縁の重なりを、横１／４画素に対して縦１画素とすることができる。
【００２８】
以上はイメージセンサ２のＸ方向の移動に関する説明であるが、Ｙ方向についても同様である。イメージセンサ２のＹ方向の移動量を測定するには、イメージセンサ２の列方向の非実効画素領域に設けられたスリット状の開口部２２Ｙを用いて同様な処理を行えばよい。
【００２９】
ここで、遮光板８の遮光部２１は、イメージセンサ２の非実効画素領域（実効画素領域１６以外の領域）に限られるので、通常の画像撮影において支障はない。本実施の形態では、遮光部２１に形成した上記の開口部２２Ｘ，２２Ｙが有効画素領域１７の上方に設定されるようにする。有効画素領域１７を信号処理用途などに使用したい場合は、遮光板８の遮光部２１に必要な領域（開口）を空けて、それ以外の外周部を遮光部２１で覆えばよい。例えば、遮光部２１における有効画素領域１７の上方に対応する箇所に、イメージセンサ２の位置検知以外に利用できる広い開口面積を持つ開口部２２Ｘ，２２Ｙを形成したり、開口部２２Ｘ，２２Ｙとは別に開口を設けたりする。
【００３０】
図７は、上述のカメラシステム１の信号処理ブロックを示すものである。
カメラシステム１の信号処理ブロックは主に、イメージセンサ２と、信号処理部４１と、駆動制御電圧印加部４２と、ピエゾ素子４Ｘ，４Ｙと、画像処理部４３を備える。イメージセンサ２から出力される電気信号（アナログ画像信号）は、図示しないフロントエンド部等によりゲインや露出が調整されてデジタル画像信号に変換され、信号処理部４１に入力される。
【００３１】
信号処理部４１は、位置検知部の一例であり、複数のデジタル画像信号を合成するなど所定の信号処理を行うとともに、入力されるデジタル画像信号からイメージセンサ２の位置検知や駆動制御を行うものである。信号処理部４１には、ＤＳＰ（Digital Signal Processor）などが用いられる。
【００３２】
駆動制御電圧印加部４２は、駆動制御部の一例であり、信号処理部４１の制御の下でピエゾ素子４Ｘ，４Ｙ（図１参照）に駆動制御電圧を印加するものである。ピエゾ素子４Ｘ，４Ｙに印加する駆動制御電圧に応じて、可動機構５Ｘ，５Ｙを介したＸ−Ｙステージ３の駆動を制御する。駆動制御電圧の印加は、フレーム周期に同期したタイミングで行う。
【００３３】
画像処理部４３は、信号処理部４１から出力されるデジタル画像信号にカラー信号補間処理、カラー補正、ホワイト・バランス調整などの処理を行うものである。
【００３４】
次に、図８のフローチャートを参照して、信号処理部４１による処理を説明する。
イメージセンサ２のフレーム走査開始後（ステップＳ１）、イメージセンサ２から出力された画像信号は後段の信号処理部４１へ出力され、１フレーム分の画像信号が信号処理部４１に取り込まれる。信号処理部４１では、取り込んだ画像信号から遮光部２１の開口部２２Ｘ，２２Ｙの縁に重なる画素（Ｘ，Ｙ）のデータ（画素値）を抽出する（ステップＳ２）。
【００３５】
信号処理部４１は、抽出した画素（Ｘ，Ｙ）の画素値から輝度変化曲線（図６（ｂ）参照）を求め、Ｘ，Ｙ方向それぞれの画素列に対して隣接する画素の画素値の差分処理を実行する。そして、差分演算結果の最大値（図６（ｃ）の極大点）を検知し、その画素の位置を特定する（ステップＳ３）。
【００３６】
最大値が検出される画素の位置（基準位置から移動した方向・距離）とイメージセンサ２の絶対位置については、事前に対応付けがされており、信号処理部４１は、Ｘ，Ｙ方向それぞれについて移動後の現在のイメージセンサ２の絶対位置を算出する（ステップＳ４）。
【００３７】
この絶対位置はそのまま、信号処理部４１によるイメージセンサ２の移動により得られる複数の画像の合成演算に利用される。同時に信号処理部４１は、イメージセンサ２が次ステップで移動すべき位置との差分（距離）を求める（ステップＳ５）。
【００３８】
信号処理部４１は、求めた移動すべき距離からピエゾ素子４Ｘ，４Ｙに印加すべき駆動制御電圧を算出し、その算出結果を駆動制御電圧印加部４２に送る（ステップＳ６）。ピエゾ素子４Ｘ，４ＹによるＸ−Ｙステージ３の駆動は、イメージセンサ２の撮像には影響しない垂直ブランキング期間に行う。そのため、信号処理部４１は、イメージセンサ２がブランキング期間であるか否かを判定し（ステップＳ７）、ブランキング期間であるときに、駆動制御電圧印加部４２からピエゾ素子４Ｘ，４Ｙに対し駆動制御電圧を印加させる（ステップＳ８）。
【００３９】
ピエゾ素子４Ｘ，４Ｙは、駆動制御電圧印加部４２により印加される駆動制御電圧に応じて振動し、可動機構５Ｘ，５Ｙ及びＸ−Ｙステージ３を通じてイメージセンサ２を駆動する。そして、以降新たにイメージセンサ２の走査が行われ、同様のフローチャートが繰り返される。
【００４０】
ところで、ステップＳ３〜Ｓ４の処理によってイメージセンサ２が本来あるべき位置からずれていることが確認された場合、本来位置からのずれ方向・ずれ量の情報（ずれ情報）をイメージセンサ２の駆動制御にフィードバックすることが望ましい。例えば、信号処理部４１がステップＳ３〜Ｓ４の処理によってイメージセンサ２の本来位置からのずれ方向・ずれ量（ずれ情報）を取得し、該ずれ情報を反映して移動すべき距離を算出する。次に、その算出結果に基づいて例えば駆動制御電圧をＶ１からＶ２へ変更して駆動制御電圧印加部４２に通知する。それにより、ピエゾ素子４Ｘ，４Ｙに対し本来位置からのずれ方向・ずれ量を反映した駆動制御電圧Ｖ２が印加され、イメージセンサ２を次に移動すべき正しい位置に移動させることができる。
【００４１】
図９は、駆動制御電圧を補正するタイミングを示している。
図９において、Ｔ１は垂直走査期間、Ｔ２は垂直ブランキング期間、Ｔ３は映像期間である。この例では、はじめの垂直ブランキング期間Ｔ２にピエゾ素子に対し駆動制御電圧Ｖ１を印加して該当する垂直走査期間Ｔ１の間、イメージセンサ２の位置を維持する。次の垂直走査期間Ｔ１では電圧値を補正せず、その次の垂直走査期間Ｔ１の垂直ブランキング期間Ｔ２にずれ情報がフィードバックされた駆動制御電圧Ｖ２を印加して位置補正を行っている。
【００４２】
以上の操作を、例えば、６０ｆｐｓ(frames per second)のイメージセンサ２の動作を、１／２画素サイズの駆動ステップで行う場合を説明する。この場合、１フレームごとにイメージセンサ２が基準位置、Ｘ方向、Ｙ方向、斜め方向の４か所への１／２画素分の移動を行い、４フレームサイクルで合計４枚の画像を取得する。この４枚の画像を後段の信号処理部４１にて合成すれば、４／６０ｓｅｃ間に１枚、４倍に解像度を向上させた画像の生成が可能となる。
【００４３】
また、以上はイメージセンサ２上にカラーフィルタが設定されない白黒イメージセンサを前提に説明したが、ベイヤーパターンなどのカラーフィルタが設定されたイメージセンサにおいても適用可能である。この場合、Ｒ，Ｇ，Ｂのフィルタごとに光の透過度が異なるので、例えば、それぞれの色ごとに画素データ（画素値）を抽出して、差分演算を用いたピーク検知処理を行う。
【００４４】
上述した第１の実施の形態によれば、イメージセンサの移動を制御するための位置検知手段として、画素配列に対して斜めに配置された遮光板の開口部の縁（エッジ）の投影位置を画像処理により算出することができる。また、開口部の縁（エッジ）の投影位置を輝度の明暗の変化点を元に算出することにより、イメージセンサ２の画素サイズ以下の移動距離を測定することができる。それゆえ、スウィングイメージセンサが次に移動すべき距離を正確に算出することができる。
【００４５】
＜２．第２の実施の形態＞
遮光板の開口部の形状は第１の実施の形態のようなスリット状に限らず、画素配列に対して投影像が斜めに重なるものであれば他の形状でもよい。そこで、第２の実施の形態では、実効画素領域に相当する遮光板ほぼ中央の開口の縁を画素配列に対して斜めに形成する。
【００４６】
第２の実施の形態におけるイメージセンサの撮像面を遮光板の上方から見た平面図を、図１０に示す。
例えば図１０に示す例では、遮光板８Ａ（遮光部２１Ａ）の実効画素領域１６に対応する中央の矩形の開口の縁が、単に画素配列の行方向及び列方向に対して斜めに形成されている。実効画素領域１６に対応する中央の開口の縁は、該開口が大きくなる方向に形成され、その中央の開口と行方向に連続する開口領域５１Ｘ、及び列方向に連続する開口領域５１Ｙが生成される。すなわち撮像面へ入射した光が非実効画素領域（図５参照）に投影されるよう形成されている。
【００４７】
図１１（ａ）に示すように、遮光板８Ａ（遮光部２１Ａ）の実効画素領域１６に対応する中央の開口の縁を画素配列の行方向及び列方向に対して斜めに形成することで、第１の実施の形態におけるスリット状の開口部２２Ｘ，２２Ｙと同様の効果を得ることができる。したがって、図１１（ｂ）（ｃ）に示すように、第１の実施の形態と同様に、撮像面上に投影される光学系の撮像境界によって形成されるエッジ部投影像の明暗の変化点を元に、イメージセンサの画素サイズ以下の移動距離を測定することができる。
【００４８】
さらに、この第２の実施の形態によれば、遮光部にスリット状の開口部を形成する第１の実施の形態と比較して、遮光部に開口を形成する加工作業が簡素化される。
【００４９】
＜３．第３の実施の形態＞
第３の実施の形態は、第１及び第２の実施の形態とイメージセンサシフト方式は変わらないが、光学系に魚眼レンズを使用した例である。
【００５０】
通常、魚眼レンズは、３６０度を監視する必要がある監視カメラなどにおいて使用される。このとき、魚眼レンズでは３６０度の全領域を撮像する必要があるため、図１２に示すように、その円形の投影パターンはイメージセンサの撮影領域内に投影される必要がある。よって、撮像面には、イメージセンサの撮像面への結像により光が照射される部分（結像領域６１）と、光が照射されない暗部（非結像領域６２）が生じる。それゆえ、イメージセンサは、その結像により光が照射される部分（結像領域６１）と暗部（結像領域６１）との境界部（エッジ部６２Ｘ，６２Ｙ等）に位置する画素のデータ（画素値）を検知することが可能となる。
【００５１】
図１２に示すエッジ部６２Ｘの拡大図を、図１１を用いてほぼ同様に表すことができる。エッジ部６２Ｘは円形（の一部）であるので、例えば、図１１，図１２に示すように、画素の縦方向の配列に対し、遮光部の縁を僅かに斜めに配置した箇所と同等の効果が得られる場所が存在する。そのため、微小なエリアであれば、円形のエッジ部はほぼ直線と近似することができる。勿論、エッジ部の長さは、イメージセンサの目的の移動距離（画素ずらし）を測定するに足る複数の画素に対応することが必須である。よって、このような箇所のエッジ部を選択して第１及び第２の実施の形態と同様に画素の画素データを抽出すれば、イメージセンサの位置検知、制御が可能となる。
【００５２】
以上は、魚眼レンズを例に説明を行ったが、魚眼レンズを用いなくともよい。レンズ等の光学系を透過した光により形成される投影エリアよりもイメージセンサの撮像面が大きければよい。この場合、レンズの結像領域のエッジ部がイメージセンサ上に結像し得るので、魚眼レンズの場合と同様に位置検知が可能になる。
【００５３】
なお、一般的なカメラシステムでは、レンズ系の後段に水晶ＬＰＦ（Low Pass Filter）を挿入することにより画像信号の高域成分を除去し、モアレが発生しないようにしている。しかし、上述した各実施の形態による超解像技術が適用されるカメラシステムでは、この水晶ＬＰＦは不要となり、モアレは超解像信号処理により除去される。
【００５４】
また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。
【００５５】
以上、本発明は上述した各実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨を逸脱しない限りにおいて、その他種々の変形例、応用例を取り得ることは勿論である。
【符号の説明】
【００５６】
１…カメラシステム、  ２…イメージセンサ、  ３…Ｘ−Ｙステージ、  ４Ｘ，４Ｙ…ピエゾ素子、  ５Ｘ，５Ｙ…可動機構、  ６…支持板、  ７…レンズ、  ８，８Ａ…遮光板、  １１〜１４…画像、  １１ａ〜１４ａ…画素、  １５…合成画像、  １６…実効画素領域、  １７…有効画素領域、  １８…ＯＰＢ領域、  ２１，２１Ａ…遮光板、  ２２Ｘ，２２Ｙ…開口部、  ３１〜４０…画素、  ４１…信号処理部、  ４２…駆動制御電圧印加部、  ４３…画像処理部、  ５１Ｘ，５１Ｙ…開口領域、６１…結像領域、  ６２…非結像領域、６２Ｘ，６２Ｙ…エッジ部
【図１】
2012138807.tif 000003
【図２】
2012138807.tif 000004
【図３】
2012138807.tif 000005
【図４】
2012138807.tif 000006
【図５】
2012138807.tif 000007
【図６】
2012138807.tif 000008
【図７】
2012138807.tif 000009
【図８】
2012138807.tif 000010
【図９】
2012138807.tif 000011
【図１０】
2012138807.tif 000012
【図１１】
2012138807.tif 000013
【図１２】
2012138807.tif 000014