(57)【要約】【課題】光学ズームの倍率の間隔を解像度を考慮した上で電子ズームによって補間することにより解像度の段差を少なくすること。【解決手段】離散的な変倍率をもつ光学変倍手段（レンズ移動制御系１０８）と、電子変倍手段（同次化処理・フィルタ処理部１０３、変倍処理部１０５、読み出し領域・規則設定手段１０７）とに基づいた所定の変倍率による変倍画像を提供するにあたって、光学変倍手段は、少なくとも２つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）を有し、所定の総合変倍率Ｍ（Ｗ＜Ｍ＜Ｔ）が設定されたときに、変倍率Ｗと電子変倍手段による拡大変換で得られる画像と、変倍率Ｔと電子変倍手段による縮小変換で得られる画像とを切り替える。【選択図】    図１
2006129193.tif 000002
【特許請求の範囲】
【請求項１】
光学的に結像した画像を光電変換により電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、
光学的に像の倍率を変換する光学変倍手段と、画像データに対して信号処理により縮小あるいは拡大の倍率を変換する電子変倍手段とを備え、前記光学変倍手段と前記電子変倍手段とに基づいた所定の変倍率による変倍画像を提供するものであり、
前記光学変倍手段は、変倍率が離散的であり、かつ、少なくとも２つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）を有し、所定の変倍率Ｍ（Ｗ＜Ｍ＜Ｔ）が設定されたときに、前記変倍率Ｗと前記電子変倍手段による拡大変換で得られる画像と、前記変倍率Ｔと前記電子変倍手段による縮小変換で得られる画像とを切り替える切替え手段を有することを特徴とする撮像装置。
【請求項２】
前記電子変倍手段は、画像の解像度によって規定された変倍率の上限と下限を有することを特徴とする請求項１記載の撮像装置。
【請求項３】
光学的に結像した画像を光電変換により電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、
光学的に像の倍率を変換する光学変倍手段と、画像データに対して信号処理により縮小あるいは拡大の倍率を変換する電子変倍手段とを備え、前記光学変倍手段と前記電子変倍手段とに基づいた所定の変倍率による変倍画像を提供するものであり、
前記光学変倍手段は、変倍率が離散的であり、かつ、少なくとも２つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）を有し、所定の変倍率Ｍ（Ｗ＜Ｍ＜Ｔ）が設定されたときに、前記変倍率Ｗの画像と、前記変倍率Ｔの画像と、前記電子変倍手段による縮小変換で得られる画像とを切り替える切替え手段を有することを特徴とする撮像装置。
【請求項４】
前記電子変倍手段は、画像の解像度によって規定された変倍率の上限と下限を有することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記切り替え手段は、倍率変更指定時の変化速度に応じて、画像切り替えの倍率を変更することを特徴とする請求項１から４のいずれか１つに記載の撮像装置。
【請求項６】
前記切り替え手段は、倍率変更指定時の変更方向に応じて、画像切り替えの倍率を変更することを特徴とする請求項１から４のいずれか１つに記載の撮像装置。
【請求項７】
前記電子変倍手段の許容範囲がＺ１〜Ｚ２（Ｚ１＜１．０＜Ｚ２）、実際の切り替え倍率近傍での倍率をＺ３，Ｚ４（Ｚ１≦Ｚ３＜１．０＜Ｚ４＜Ｚ２）とすると、前記２つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）に関して、Ｗ× Ｚ４で求まる解像度とＴ× Ｚ３で求まる解像度とが所定の差以内であることを特徴とする請求項２または４に記載の撮像装置。
【請求項８】
前記２つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）に関して、絞り値がＣ（Ｗ），Ｃ（Ｔ）であるとき、倍率変換中において、暗い絞り値から明るい絞り値に変化していくときには、暗い方の絞り値から明るい方の絞り値に徐々に変化するように、電子変倍処理時のゲインに変動を持たせることを特徴とする請求項１記載の撮像装置。
【請求項９】
前記電子変倍手段の変倍率の範囲を規定する解像度の基準がＳＦＲ（空間周波数応答）に基づいており、当該解像度の基準は、前記電子変倍手段による処理を行わなかった場合のＳＦＲ値で規格化した相対値であることを特徴とする請求項１から８のいずれか１つに記載の撮像装置。
【請求項１０】
前記光学変倍手段の変倍率の間隔は、前記光学変倍手段と前記電子変倍手段とを用いて生成された画像の解像度が基準以上になるように設定されていることを特徴とする請求項１から９のいずれか１つに記載の撮像装置。
【請求項１１】
前記電子変倍手段は、拡大処理時において読み出された画像データの所定の領域に対して画素数を増加させるような補間処理を行い、縮小処理時において倍率変換を行わない場合のサンプリングによる読み出し領域に比べて広い領域を離散的にサンプリングし、補正処理により所定の画像データに変換することを特徴とする請求項１から１０のいずれか１つに記載の撮像装置。
【請求項１２】
データの読み出しが行われる前記撮像素子の画素の総数は一定であることを特徴とする請求項１から１１のいずれか１つに記載の撮像装置。
【請求項１３】
前記光学変倍手段は、光学系の一部を入れ替える機構により離散的に光学像の倍率を変換することを特徴とする請求項１から１１のいずれか１つに記載の撮像装置。
【請求項１４】
前記光学変倍手段は、光路の一部を切り替える機構により離散的に光学像の倍率を変換することを特徴とする請求項１から１１のいずれか１つに記載の撮像装置。
【請求項１５】
前記光学変倍手段は、倍率変換のための領域及びフォーカシングのための領域を有するカム機構によりステップズーム動作及びフォーカシング動作を行うことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学的に像の倍率を変換する光学変倍手段と、画像データに対して信号処理により縮小あるいは拡大の倍率を変換する電子変倍手段とを備えた撮像装置に関する。
【背景技術】
【０００２】
ズームレンズ系を有するビデオカメラやデジタルカメラにおいては、ズームレンズを移動させてズーム比を変化させることにより、焦点位置を一定に保ちながら焦点距離を望遠側又は広角側に変化させて被写体距離を変化させている。しかしながら、微小な撮像素子を構成する上で、レンズの群数を減らすような設計やアクチュエータの数を減らすような設計を行う場合、広角側から望遠側までの光学ズーム（光学変倍）は連続ではなく階段状に変化するようになっている。
【０００３】
例えば図１８に示すような、第１群レンズ３０１が負、第２群レンズ３０２が正の２群構成において像側の第２群レンズ３０２のみが可動であるような光学系を考える。可動レンズ３０２の位置を図の矢印３０４で示すように移動させた場合、像面３０３は図に示すような曲線状に変化する。
【０００４】
すなわち、図１８に示すようなタイプのレンズでは、あるズーム倍率（焦点距離）Ａで無限遠が像面に結像するように光学系を設計した場合には、無限遠が像面に結像するズーム倍率はＡを含めて最大２つしかない。同様に、所定の焦点距離でピントが合うようなズーム倍率は最大２つしかない。しかしながらレンズの個数や駆動部を単純にできるため、小型かつ低コストでステップズームが構成できるというメリットが有る。
【０００５】
また、図１９（Ａ）は、光学ズームレンズの駆動部を簡略化するために用いられるカムリング機構を示している。図１９（Ｂ）は、図１９（Ａ）の鏡枠１０１３の内壁に設けられたカムリング展開図の概略である。この場合、倍率変換用のレンズ１０１１とフォーカス用のレンズ１０１２は鏡枠１０１３の回転によりカム溝１０１３ａ，１０１３ｂに従って駆動する。図の例では、ステップズームの段数は３である。この場合カムリング１個で２群のレンズを駆動できるため、駆動のためのアクチュエータの数を減らすことが出来る。このことも図１８に示す構成と同様に、撮像装置の小型化に貢献する技術である。
【０００６】
上記した技術は、レンズの群数や駆動部の構造を単純化して、撮像装置の小型化に貢献できるが、その反面、その構造に起因して光学ズームの段数が少なくなり、使用者が所望の構図を得ることができないというデメリットが有る。
【０００７】
これに対して、特開平６−３３９０８３においては、電子ズーム（電子変倍）による変倍処理を用いて、２焦点の光学系とズーム付き光学ファインダの倍率を一致させる事を開示している。また、特開２００３−２８３９１０では光学ファインダとステップズームの撮像レンズの駆動制御系を共通にして、光学ファインダと撮像系の画角をほぼ一致させるために、光学ファインダの倍率指定時にその倍率を超えない、最も近い倍率のステップズームを選択し、電子ズームによって画角の調整を行っている。特開２００１−１３６４３６においては撮影モード（静止画、動画）の変更に伴う画角の変動をキャンセルするための光学・電子変倍の技術を用いて変倍処理を行っている。
【０００８】
一方、近年のビデオカメラには、かかる光学ズーム以外に、撮像素子を用いて電子的に像倍率を変化させる電子ズーム機能が搭載している。この電子ズーム機能は、撮像素子の受光画面サイズより小さいサイズの撮像信号を受光画面サイズ相当の映像信号に変換するようにして、ズームレンズを移動させることなく焦点距離を望遠側に変化させる機能である。このような電子ズーム機能を有するビデオカメラにおいては、撮像素子の受光画面サイズより大きいサイズの撮像信号を得ることはできないため、望遠側へズームさせることはできても、広角側へズームさせることはできなかった。
【０００９】
これに対して、撮像素子の画素数と出力画像の画素数の差を利用してレンズを固定しておき、実質的に広角側の画像を生成する装置及び方法が提案されている。このような電子ズームが可能な撮像装置としては、例えば特開２０００−２９５５３０号公報に、２次元に配置された光電変換画素を有し、上記光電変換画素にランダムアクセスする固体撮像装置であって、任意に指定された画素を読み出す第１スキップ手段と、この第１スキップ手段で読み出された画像枠より小さい画像領域を読み出す第２スキップ手段と、を備え、上記第１および第２スキップ手段が読み出す画素数を等しくした固体撮像装置が記載されている。
【００１０】
また、特開平１０−４２１８３号公報には、光学的に画像の画角を変化させる第１の調節手段と、電子的に画像の画角を変化させる第２の調節手段と、上記第１の調節手段および第２の調節手段を制御することにより画角を決定する制御手段と、を備え、上記制御手段は、上記第２の調節手段により使用者の所望の画角に調節し、上記画角を保持しながら該画角の制御を上記第２の調節手段から実質的に上記第１の調節手段に移行させるように構成された撮像装置が記載されている。該公報に記載の撮像装置は、具体的には、ＣＣＤ型撮像素子を用いており、電子ズームを行う際に、該ＣＣＤ型撮像素子から全画素を読み出して一旦フレームメモリ等に記憶させ、その後に、全画角の一部エリアに含まれる少ない画素数に係る画素信号に基づいて電気的な補間処理を行い、所望の画角の出力画像を作り出すものとなっている。
【００１１】
また、特開平６−３３９０８３においては、電子ズームによる変倍処理を用いて、２焦点の光学系とズーム付き光学ファインダの倍率を一致させる事を開示している。また、特開２００２−３１４８６８においては、撮像素子上の光電変換信号をＸ−Ｙアドレス方式で読み出し、さらに、同一クロック数で、間引きの読み出しを行うことにより、撮像素子上の読み出し位置及び範囲が指定可能な撮像素子を用い、撮像位置と撮像画角の切出範囲となる切出画角を変化させる電子ズームを行う電子ズーム手段と、上記電子ズームと光学ズームとを組み合わせて制御することにより最終的に出力される画像信号に係る出力画角のズーム範囲が上記撮像画角の変化のみによりなし得る光学ズーム範囲と上記切出画角の変化のみによりなし得る電子ズーム範囲との何れよりも実質的に広くなるようにする撮像装置が提案されている。
【００１２】
また、特願２００２−２４９９６８においては、間引き読み出しに起因する画像の歪みに関して読み出し時の画像の歪みを、空間的、時間的補間を用いることにより低減させて高画質な画像を得る方法を提案しており、前記の間引き読み出しのステップ幅をある程度細かくとることを可能にしている。
【特許文献１】特開平６−３３９０８３
【特許文献２】特開２００３−２８３９１０
【特許文献３】特開２００１−１３６４３６
【特許文献４】特開２０００−２９５５３０
【特許文献５】特開平１０−４２１８３号公報
【特許文献６】特開平６−３３９０８３号公報
【特許文献７】特開２００２−３１４８６８
【特許文献８】特開２００２−２４９９６８
【発明の開示】
【発明が解決しようとする課題】
【００１３】
上記特開２００２−３１４８６８において、電子ズームと光学ズームの併用により多段の変倍が可能になる撮像装置が提案されている。特開平６−３３９０８３においては、拡大処理のみ実装しているので、低倍光学＋電子拡大と、高倍光学の切り替えを行ったときに解像度の段差が大きくなる。特開２００１−１３６４３６においては、縮小・拡大の電子ズームと光学ズームを補間的に使用しているものの、光学ズームの段数を補間によって減らすような事は開示されていない。上記従来例のいずれにおいても、電子ズームと光学ズームを併用し生成された画像の解像度を保証する手段が示されていなかった。
【００１４】
本発明は、このような課題に着目してなされたものであり、その目的とするところは、
光学的な変倍率が離散的であった場合に、その間隔を解像度を考慮した上で電子的に補間することにより解像度の段差を少なくした撮像装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記の目的を達成するために、本発明の第１の態様は、光学的に結像した画像を光電変換により電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、光学的に像の倍率を変換する光学変倍手段と、画像データに対して信号処理により縮小あるいは拡大の倍率を変換する電子変倍手段とを備え、前記光学変倍手段と前記電子変倍手段とに基づいた所定の変倍率による変倍画像を提供するものであり、前記光学変倍手段は、変倍率が離散的であり、かつ、少なくとも２つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）を有し、所定の変倍率Ｍ（Ｗ＜Ｍ＜Ｔ）が設定されたときに、前記変倍率Ｗと前記電子変倍手段による拡大変換で得られる画像と、前記変倍率Ｔと前記電子変倍手段による縮小変換で得られる画像とを切り替える切替え手段を有する。
【００１６】
また、本発明の第２の態様は、第１の態様において、前記電子変倍手段は、画像の解像度によって規定された変倍率の上限と下限を有する。
【００１７】
また、本発明の第３の態様は、光学的に結像した画像を光電変換により電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、光学的に像の倍率を変換する光学変倍手段と、画像データに対して信号処理により縮小あるいは拡大の倍率を変換する電子変倍手段とを備え、前記光学変倍手段と前記電子変倍手段とに基づいた所定の変倍率による変倍画像を提供するものであり、前記光学変倍手段は、変倍率が離散的であり、かつ、少なくとも２つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）を有し、所定の変倍率Ｍ（Ｗ＜Ｍ＜Ｔ）が設定されたときに、前記変倍率Ｗの画像と、前記変倍率Ｔの画像と、前記電子変倍手段による縮小変換で得られる画像とを切り替える切替え手段を有する。
【００１８】
また、本発明の第４の態様は、第３の態様において、前記電子変倍手段は、画像の解像度によって規定された変倍率の上限と下限を有する。
【００１９】
また、本発明の第５の態様は、第１から第４のいずれか１つの態様において、前記切り替え手段は、倍率変更指定時の変化速度に応じて、画像切り替えの倍率を変更する。
【００２０】
また、本発明の第６の態様は、第１から第４のいずれか１つの態様において、前記切り替え手段は、倍率変更指定時の変更方向に応じて、画像切り替えの倍率を変更する。
【００２１】
また、本発明の第７の態様は、第２または第４の態様において、前記電子変倍手段の許容範囲がＺ１〜Ｚ２（Ｚ１＜１．０＜Ｚ２）、実際の切り替え倍率近傍での倍率をＺ３，Ｚ４（Ｚ１≦Ｚ３＜１．０＜Ｚ４＜Ｚ２）とすると、前記２つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）に関して、Ｗ× Ｚ４で求まる解像度とＴ× Ｚ３で求まる解像度とが所定の差以内である。
【００２２】
また、本発明の第８の態様は、第１の態様において、前記２つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）に関して、絞り値がＣ（Ｗ），Ｃ（Ｔ）であるとき、倍率変換中において、暗い絞り値から明るい絞り値に変化していくときには、暗い方の絞り値から明るい方の絞り値に徐々に変化するように、電子変倍処理時のゲインに変動を持たせる。
【００２３】
また、本発明の第９の態様は、第１から第８のいずれか１つの態様において、前記電子変倍手段の変倍率の範囲を規定する解像度の基準がＳＦＲ（空間周波数応答）に基づいており、当該解像度の基準は、前記電子変倍手段による処理を行わなかった場合のＳＦＲ値で規格化した相対値である。
【００２４】
また、本発明の第１０の態様は、第１から第９のいずれか１つの態様において、前記光学変倍手段の変倍率の間隔は、前記光学変倍手段と前記電子変倍手段とを用いて生成された画像の解像度が基準以上になるように設定されている。
【００２５】
また、本発明の第１１の態様は、第１から第１０のいずれか１つの態様において、前記電子変倍手段は、拡大処理時において読み出された画像データの所定の領域に対して画素数を増加させるような補間処理を行い、縮小処理時において倍率変換を行わない場合のサンプリングによる読み出し領域に比べて広い領域を離散的にサンプリングし、補正処理により所定の画像データに変換する。
【００２６】
また、本発明の第１２の態様は、第１から第１１のいずれか１つの態様において、データの読み出しが行われる前記撮像素子の画素の総数は一定である。
【００２７】
また、本発明の第１３の態様は、第１から第１１のいずれか１つの態様において、前記光学変倍手段は、光学系の一部を入れ替える機構により離散的に像の倍率を変換する。
【００２８】
また、本発明の第１４の態様は、第１から第１１のいずれか１つの態様において、前記光学変倍手段は、光路の一部を切り替える機構により離散的に像の倍率を変換する。
【００２９】
また、本発明の第１５の態様は、第１から第１１のいずれか１つの態様において、前記光学変倍手段は、倍率変換のための領域及びフォーカシングのための領域を有するカム機構によりステップズーム動作及びフォーカシング動作を行う。
【発明の効果】
【００３０】
本発明によれば、光学的な変倍率が離散的であった場合に、その間隔を解像度を考慮した上で電子的に補間するようにしたので、解像度の段差を少なくした撮像装置を提供することが可能になる。
【発明を実施するための最良の形態】
【００３１】
以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本発明が適用される撮像装置の構成を示す図である。図１において、変倍光学系１０１を通った光線３００は撮像素子としてのイメージャ１０２上に結像する。イメージャ１０２は、光電変換により結像した光学像を電気信号に変換する。ゲイン調整部１１０で該電気信号に対するゲイン調整がなされ、さらに同次化処理／フィルタ処理部１０３で同次化処理及びフィルタ処理がなされる。フィルタ処理のなかには、後述するような間引き読み出しに対する歪み補正のフィルタ処理を含んでいる。
【００３２】
さらに、画像メモリ（ラインメモリ）１０４に画像信号を一時的に保持し、変倍処理部１０５で変倍処理を行う。読み出し領域・規則設定手段１０７は、画像データの読み出し領域及び読み出し規則を設定する部分である。ここで、同次化処理・フィルタ処理部１０３、変倍処理部１０５、読み出し領域・規則設定手段１０７は、電子変倍手段に関連する機構である。レンズ移動制御系１０８はレンズの移動制御を行う光学変倍手段である。
【００３３】
さらに、総合倍率設定手段１００は、実効的な変倍画像を提供するための総合倍率を決定する手段であり、倍率によって、レンズの移動、読み出し領域、読み出し規則（間引き読み出し）の設定、撮像後の画像の変倍（拡大処理）および、光学変倍の切り替えに伴う明るさの変化を補償するゲイン調整を制御する。また、総合倍率決定手段１００は、ズーム変更指定時の変化速度に応じて、上記光学変倍手段と、上記電子変倍手段の変更タイミングを制御する。また、総合倍率決定手段１００は、ズームを望遠方向に移動した場合と、広角方向に移動した場合を峻別し、光学変倍手段と電子変倍手段の変更タイミングを制御する。
【００３４】
図２（Ａ）〜（Ｃ）は、電子ズームによる倍率変換について説明するための図である。図２（Ａ）は縮小処理の例であり、図２（Ｂ）は全画素読み出しの例であり、図２（Ｃ）は拡大処理の例を示している。
【００３５】
図２（Ｂ）の全画素読み出しではイメージャ１０２上の領域を全画素サンプリングし、電子的な倍率変換を行わずに画像を形成する。これに対して、図２（Ａ）の間引き読み出しでは、図２（Ｂ）の読み出し領域２０３よりも広い読み出し領域２０１の画素データを間引き読み出しによって読み出し、最終的に図２（Ｂ）の場合と同じサイズの画像を形成する。したがって、図２（Ａ）のサンプリングでは縮小処理を行った事になる。
【００３６】
なお、間引き読み出しを行った場合の画像の歪み等の補正は図１のフィルタ処理部１０３で行う。
【００３７】
図２（Ｃ）の処理では、図２（Ｂ）と同様の全画素読み出しを行った後に、図１の変倍処理部１０５で倍率変換を行う。図２（Ｂ）の全画素読み出しで得られた画像データの一部の領域から、全画素読み出しを行って生成した画像と同じサイズの画像を形成する。従って図２（Ｃ）の処理では拡大処理を行っていることになる。
【００３８】
上記のように、電子変倍を行うときに拡大処理と縮小処理があるが、縮小処理を行う場合には、イメージャが出力する画像よりも多い画素数の領域を取り込み、補間処理等の変倍処理により出力画像を生成する。この場合は、撮像するエリアの大きさによって、取り込み画素の総クロック数が異なる。すなわち、変倍の倍率が広角側になるほど、多くのクロック数を必要とする。すなわち、１画面を得るための撮像のクロック数や処理時間が、画角（ズーミング）によって変化しても問題が無いような使用状況であれば、図２の様な画素混合による読み出しや、間引き読み出しを行う必要は無い。これに対して、図２の様に、間引き読み出し、画素混合による複数画素の同時読み出しを用いて、クロック数を変化させずに読み出し領域の広さだけを変化させることが出来る。
【００３９】
図３（Ａ）〜３（Ｃ）は、光学倍率を一定に保ち電子ズームによって像の変倍を行い、最終的な像倍率を変化させる様子を示している。図３（Ａ）は、イメージャ１．３Ｍ内の０．３７Ｍの画素から間引き読み出しにより０．３Ｍとしてメモリに記憶するとともに、出力する方法であり、広角（ワイド）の状態に相当する。図３（Ｂ）は、イメージャ１．３Ｍ内の０．３Ｍの画素から１画素読み出しを行い、そのままメモリに記憶するとともに出力する方法である。図３（Ｃ）は、イメージャ１．３Ｍ内の０．３Ｍの画素から１画素読み出しを行ってメモリに記憶し、このうち０．２５Ｍのデータを読み出して０．３Ｍに拡大し出力する方法であり、望遠（テレ）の状態に相当する。
【００４０】
このとき、１回取り込んだ画像に対して線形補間などによる拡大処理を行い、この倍率間隔を補間する。しかしながら、補間処理による電子変倍は、その変倍率が大きくなるにつれて、画像が劣化することが知られており、通常１〜１．３倍程度の小さい拡大率であれば問題が無いが、１．５から２倍程度以上の拡大処理を行うと、光学ズームに比べ、劣化が目立つ。
【００４１】
このような拡大処理のみによる画像の劣化を補償するために、イメージャ１０２の間引き読み出しと歪み補正処理による変倍を行う。
【００４２】
図４は、イメージャ１０２上の画素の間引き読み出しを行った後に、歪みの補正処理を行う手段を備えた撮像装置２００の構成を示している。撮像装置２００は、被写体の光学像を結像する電子変倍手段１１０と、この電子変倍手段１１０により結像された光学像の所定の領域の画像信号を出力するイメージャ１０２とを有している。
【００４３】
イメージャ１０２は、電子変倍手段１０１により結像された光学像を光電変換してデジタル画像データ（画素データの集合）を取得するエリア状の光電変換素子２２２と、光電変換素子２２２で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御部２２４とを有している。
【００４４】
さらに、領域設定部１３２は、イメージャ１０２のどの領域を画像として出力するかを設定する。読み出し規則選択部２３４は、設定された読み出し領域に基づいて読み出し規則を選択する部分である。読み出し位相制御部２３０は、読み出し制御部２２４が読み出す画素データの範囲の基準位置をシフトさせる部分である。
【００４５】
ここで、出力する画像のサイズとイメージャ１０２上の領域のサイズに差が有る場合には、イメージャ１０２上の画像を間引いて読み出し、さらに、歪み補正処理部１４０で歪みの補正を行う。歪み補正部１４０は、ＬＵＴ記憶部１４６と、フィルタ係数選択部１４８とを有するフィルタ係数設定部１４４と、フィルタ処理部１４２とを有する。
【００４６】
次に、間引き読み出しの歪み補正処理の詳細について説明する。図５は水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。図５の例による読み出し方法では画像に段差が出来てしまう、そこで、図６（Ａ）に示すように、読み飛ばした画素を周囲の画素を用いて線形補間によって埋めて８画素のデータとし、これを線形補間で６画素にする操作を考える。すなわち、図６（Ｂ）に示すように不均一な画素間隔でのサンプリングを均一なサンプリングに変換する処理を行う。
【００４７】
ここで、間引きを伴う１ラインの読み出しについて考える。図７は間引き読み出し処理のパイプライン構成を示しており、シフトレジスタ１６２と、一対のセレクタ１６４，１６６と、一対の乗算器１７４，１７６と、加算器１７８とから構成される。図７の左上を基準とすると読み出した画素位置は、Ｒｉ0 ，Ｇｉ1 ，Ｒｉ2 ，Ｇｉ3 ，Ｒｉ4 ，Ｇｉ5 ，Ｒｉ6 ，Ｇｉ7 となり、以下同じ規則の繰り返しになる。この例における歪み補正（変換）の行列表現は、
【数１】
2006129193.tif 000003
となる。
【００４８】
図７において、シフトレジスタ１６２は、クロックに従う一回の動作毎に、保持している画像データを右方向に１つシフトする。セレクタ１６４は、選択信号ｓ１の状態に従って、シフトレジスタ１６２に保持されている隣接している５つの画素データｉ０〜ｉ５のうちの１番目と３番目のいずれかを選択する。また、セレクタ１６６は、選択信号ｓ２の状態に従って、シフトレジスタ１６２に保持されている隣接している５つの画素データｉ０〜ｉ５のうちの３番目と５番目のいずれかを選択する。
【００４９】
乗算器１７４は、セレクタ１６４の出力ｄ１に重み付け加算の係数ｋ１を乗算し、乗算器１７６は、セレクタ１６６の出力ｄ２に重み付け加算の係数ｋ２を乗算し、加算器１７８は、乗算器１９４の出力と乗算器１９６の出力とを加算する。
【００５０】
図８は、図４に示したフィルタ処理部１４２のパイプライン処理の動作（状態遷移）を表している。
【００５１】
シフトレジスタ１６２に供給される画素データ列（ｉ０、ｉ１、ｉ２、…）は、Ｃ１＝ｉ０、Ｃ２＝ｉ１、Ｃ３＝ｉ２、…を初期状態として、クロックに従う一回の動作毎に右方向にシフトしていく。これに伴い、セレクタ１６４は、ｓ１が０のときはＣ１を選択し（従ってｄ１＝Ｃ１となり）、ｓ１が１のときはＣ３を選択する（従ってｄ１＝Ｃ３となる）。一方、セレクタ１６６は、ｓ２が０のときはＣ３を選択し（従ってｄ２＝Ｃ３となり）、ｓ２が１のときはＣ５を選択する（従ってｄ２＝Ｃ５となる）。
【００５２】
また、クロックに同期して図４のフィルタ係数設定部１４４内のメモリから係数ｋ１が乗算器１７４に、係数ｋ２が乗算器１７６に供給される。したがって、加算器１７８からはｏｕｔ＝ｋ１×ｄ１＋ｋ２×ｄ２が出力される。
【００５３】
図８から分かるように、逐次データのシフト、ｓ１とｓ２の状態に従ったセレクタの切り換え、式（１）に示した間引き規則に応じた重み付け係数ｋ１とｋ２の出力、重み付け加算演算を同期して行なうことによって、画素の位相操作（セレクタ切り換え）を含めたパイプライン処理が行なわれる。
【００５４】
本実施形態の撮像装置では、入力画像として動画の場合を想定し、インターレース操作が２つのフィールド間で互いの欠落している画素データを補間するように、連続する２つのフレーム間で互いの欠落している画素データを補間する。例えば、読み出し位相制御部２３０は、連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、読み出し制御部２２４が読み出す画素データの範囲の基準位置をシフトさせる。シフト量は２〜８画素程度が好ましい。
【００５５】
図９（Ａ）と図９（Ｂ）は、６／８の間引き読み出しの繰り返しによる読み出しにおける読み出し範囲の基準位置のシフトの様子を模式的に示している。図９（Ａ），図９（Ｂ）において、［ｘ，ｙ］は光電変換素子２２２の画素配列の画素位置、（ｘ，ｙ）は読み出し範囲の画素データ配列を表している。
【００５６】
図９（Ａ）と図９（Ｂ）に示されるように、光電変換素子２２２の画素数は水平方向にｋ画素、垂直方向にｌ画素である。従って、光電変換素子２２２の左上の画素の位置は［０，０］、右下の画素の位置は［ｋ，ｌ］と表せる。また、１フレームの読み出し範囲の画素数は水平方向にｍ画素、垂直方向にｎ画素である。従って、フレームの左上の読み出し開始位置は（０，０）、右下の読み出し終了位置は（ｍ，ｎ）と表せる。図９（Ｂ）のフレームの読み出し範囲は、図９（Ａ）のフレームの読み出し範囲に対して、水平方向に＋２画素、垂直方向に＋２画素シフトしている。
【００５７】
図９（Ａ）のフレームでは、左上の読み出し開始位置（０，０）は、光電変換素子２２２の左上の画素位置［０，０］に一致している。つまり、
（０，０）＝［０，０］                              …（３）
である。また、読み出し終了位置（ｍ，ｎ）は、
（ｍ，ｎ）＝［ｋ−２，ｌ−２］                      …（４）
である。
【００５８】
一方、図９（Ｂ）のフレームでは、左上の読み出し開始位置は、
（０，０）＝［２，２］                              …（５）
である。また、読み出しの終了位置は、
（ｍ，ｎ）＝［ｋ，ｌ］                              …（６）
である。
【００５９】
画像範囲選択処理部２４０は、図９（Ａ）のフレームと図９（Ｂ）のフレームに共通する範囲を選択する。すなわち、図９（Ｂ）のフレームに対しては、（２，２）と（ｍ，ｎ）を対角の頂点とする矩形の範囲を選択し、図９（Ａ）のフレームに対しては、（０，０）から（ｍ−２，ｎ−２）を対角の頂点とする矩形の範囲を選択する。画像範囲選択処理部２４０で選択された範囲は、常に（ｍ−２）×（ｎ−２）個の画素データを有している。
【００６０】
また、予めクロップする領域を考慮すると、イメージャ１０２から読み出す画像の総数は出力の画像サイズと位相シフト分を考慮する必要がある。画像範囲選択処理部２４０は、読み出し開始位置の情報に基づいて、クロップの範囲を変更する。
【００６１】
フレームメモリ２５２，２５４，２５６はＦＩＦＯ（First In First Out）のメモリとなっており、フレーム間演算処理部２６０はそれらのフレームメモリ２５２，２５４，２５６にある第１のフレームのデータと第１のフレームとは異なる第２のフレームでの同一位置の画素を用いて出力画像を生成する。
【００６２】
例えば、２フレームの場合、合成画像ｏｕｔ（ｉ，ｊ）は、
out(i,j)＝０．５ｌ(k,i,j)＋０．５ｌ(k-1,i,j)              …（７）
である。ここで、ｉ，ｊは画素位置を表し、ｌ（ｋ，ｉ，ｊ）はｋ番目のフレームの画素位置ｉ，ｊの画像信号の強度である。
【００６３】
また、３フレームの場合、合成画像ｏｕｔ（ｉ，ｊ）は、加重配分を用いて、
out(i,j)＝0.25ｌ(k,i,j)＋0.5ｌ(k-1,i,j)＋0.25ｌ(k-2,i,j)  …（８）
である。
【００６４】
複数のフレーム間で異なる読み出し規則で読み出され、歪み補正のフィルタ処理を行った画像データは画像範囲選択処理部２４０でフレーム間の画像の位置ずれを補正する。フレームメモリ２５２，２５４，２５６で所定のフレーム分のデータを蓄積し、フレーム間演算処理部２６０でフレーム間演算が行われ、画像信号処理部１５２で所定の処理を行った後、画像表示部１５４及び画像記録部１５６にデータを出力する。フレーム間補間を行なうことによって、１フレームの歪み補正の効果に加えて、ローパスによる画像の平滑化の効果が得られる。
【００６５】
図１０（Ａ）〜（Ｃ）は、デジタル画像の解像度を評価する際に用いられるＳＦＲ（空間周波数応答）の原理を説明するための図である。まず、図１０（Ａ）に示すような既知の傾きをもつエッジを有する画像を用意する。このエッジの位置を図１０（Ｂ）に示すような離散的にサンプリングした画素に適用する。そして、当該エッジの位置を基準に格子位置をエッジが直立した状態になるまでシフトさせ（図１０（Ｃ））、理想的なエッジが有ったと仮定した場合におけるサンプリング間隔で得られるデータの応答を示すことが出来る。このような方法によりデジタル画像の格子間隔に対応する周波数よりも高い周波数までの空間周波数応答特性を評価することが出来る。
【００６６】
図１１は、ＳＦＲによって測定した空間周波数応答の例を示している。横軸は画像の画素をサンプリング単位とした場合のナイキスト周波数を１として規格化した相対空間周波数であり、縦軸はＤＣの応答を１として規格化した空間周波数応答の相対利得である。デジタル画像の解像度の評価値としてナイキストでの利得を使用することが出来る。もちろん他の周波数を基準として用いることが出来るが、有効な範囲としてナイキストの１／３から１倍程度である。
【００６７】
図１２は、図２、図３に示したような電子ズームによる変倍操作を行ったときの解像度の変化を、図１１で示したような、ナイキスト周波数での利得を解像度の評価値として用いて示したものである。ここでは、変倍操作を行わない１倍のときの解像度の評価値を１として規格化している。このような解像度の評価を行うことで所定の解像度評価値の下限を設定し、所望の解像度以上を得るための有効な電子ズーム変倍率の範囲を設定することが出来る。
【００６８】
図１３は、離散的な２つの光学倍率Ａ，Ｂと、図５で示した電子変倍率の範囲を比較して示す図である。図１１の解像度の基準を用いて、電子ズームで有効な変倍率を０．７５から１．２とし０．０５倍ごとにステップを設ける。
【００６９】
0.75／0.8／0.85／0.9／0.95／1.0／1.05／1.1／1.15／1.2
これに対して、２群構成の光学ズームの倍率を１倍と１．７倍で設計すると、光学ズームと電子ズームの併用で以下の倍率が実現する。
【００７０】
光学１倍：
0.75／0.8／0.85／0.9／0.95／1.0／1.05／1.1／1.15／1.2
光学１．７倍：
1.275／1.36／1.45／1.53／1.62／1.7／1.79／1.87／1.96／2.04
従って総合変倍率が０．７５倍から２．０４倍のズーム倍率を持つ撮像装置になり、倍率のステップは２０段階になる。
【００７１】
図１４は光学ズームと電子ズームの組み合わせによる変倍に於いて、倍率の切り替え時の光学ズームの倍率変動に伴うＦ値の変動を補償するため、図１のゲイン調整部１１０によってゲイン調整を行う様子を示している。倍率がＡ，Ｂ，Ｃと有りそれぞれの開放ｆ値がａ１≧ｂ１≧ｃ１とすると、Ａ→Ｂの倍率切り替えで明るさはａ12／ｂ12倍になるので、この明るさに自然に接続するようにゲインを調整する。同じくＢ→Ｃの切り替えでは、ｂ12／ｃ12倍となり、これを補償する様にゲイン調整を行う、光学倍率がＣになったところでは、これよりＦ値が低い倍率に接続する必要が無いので、ゲインは一定のままにしておく。
【００７２】
このように、光学ズームと拡大縮小の電子ズームの組み合わせと解像度補償を行っても、切り替えの前後では解像度の段差は僅かながら残る。そこで、目標とするフレーミングより前に切り替えのポイントが来るように、Ｗ（ワイド）→Ｔ（テレ），Ｔ→Ｗで光学ズームの切り替えポイントを変更する。
【００７３】
図１５はその様子を示したもので、Ｗ→Ｔに於いては低倍率で高倍光学系に切り替え、Ｔ→Ｗでは高倍率で広角光学系に切り替える様にする。本実施形態ではこのように、Ｗ→Ｔ，Ｔ→Ｗで光学ズームの切り替えポイントを変更するので、目標のフレーミングになる前に光学ズームの切り替えが終了することになり、これによって解像度の段差感を低減することが出来る。
【００７４】
図１８あるいは図１９に示したように離散的な変倍率を有するような光学配置、鏡胴の構造を持つ光学ズーム手段を用いて電子ズームとの組み合わせることによって、多くの倍率のズームが可能となり、さらに、解像度の基準を補償するような電子ズームの変倍範囲と光学ズームの設計を行うことで、２つの変倍方式を具備し、解像度を補償するような撮像装置を提供することが可能となる。
【００７５】
さらに、段階的に焦点距離を変える方法としては、レンズ系の構成を切り替える方法が考えられる。図１６に示したように、ミラー１０４１を用いて望遠のレンズ系１０４２と広角のレンズ系１０４３の光路を切り替える。
【００７６】
同様に図１７に示すようなリレーレンズ系において、マスターレンズ１０５１に対して、負正の２群構成の広角レンズ１０５２と、正負の２群構成の望遠レンズ１０５３とを代替的に光路に挿入することにより広角と望遠を実現することができる。なお、図１７においては、前２群と集光レンズとマスターレンズの間は、ほぼ並行光束となっている。
【図面の簡単な説明】
【００７７】
【図１】本発明が適用される撮像装置の構成を示す図である。
【図２】イメージャ１０２上のサンプリング方式と電子的な倍率変換について説明するための図である。
【図３】光学倍率を一定に保ち電子変倍によって像の変倍を行い、最終的な像倍率を変化させる様子を示す図である。
【図４】イメージャ１０２上の画素の間引き読み出しを行った後に、歪みの補正処理を行う手段を備えた撮像装置２００の構成を示す図である。
【図５】水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示す図である。
【図６】歪み補正処理の概念図である。
【図７】間引き読み出し処理のパイプライン構成を示す図である。
【図８】図４に示したフィルタ処理部１４２のパイプライン処理の動作（状態遷移）を表す図である。
【図９】６／８の間引き読み出しの繰り返しによる読み出しにおける読み出し範囲の基準位置のシフトの様子を模式的に示す図である。
【図１０】デジタル画像の解像度を評価する際に用いられるＳＦＲ（空間周波数応答）の原理を説明するための図である。
【図１１】ＳＦＲによって測定した空間周波数応答の例を示す図である。
【図１２】図２、図３に示したような電子ズームによる変倍操作を行ったときの解像度の変化を、図１１で示したような、ナイキスト周波数での利得を解像度の評価値として用いて示す図である。
【図１３】離散的な２つの光学倍率Ａ，Ｂと、図５で示した電子変倍率の範囲を比較して示す図である。
【図１４】光学ズームと電子ズームの組み合わせによる変倍に於いてゲイン調整を行う様子を示す図である。
【図１５】Ｗ→Ｔ，Ｔ→Ｗで光学ズームの切り替えポイントを変更するようすを示す図である。
【図１６】ミラー１０４１により望遠のレンズ系１０４２と広角のレンズ系１０４３の光路を切り替える構成を示す図である。
【図１７】マスターレンズ１０５１に対して、負正の２群構成の広角レンズ１０５２と、正負の２群構成の望遠レンズ１０５３に切り替える構成を示す図である。
【図１８】第１群レンズ３０１が負、第２群レンズ３０２が正の２群構成において像側の第２群レンズ３０２のみが可動で光学系を示す図である。
【図１９】（Ａ）は、光学ズームレンズの駆動部を簡略化するために用いられるカムリング機構を示す図であり、（Ｂ）は、（Ａ）の鏡枠１０１３の内壁に設けられたカムリング展開図の概略を示す図である。
【符号の説明】
【００７８】
１００  結合倍率設定手段
１０１  変倍光学系
１０２  イメージャ
１０３  同次化処理／フィルタ処理部
１０４  画像メモリ
１０５  変倍処理部
１０６  表示・記録部
１０７  読み出し領域・規則設定手段
１０８  レンズ移動制御系
１１０  ゲイン調整部
１１１  像
【図１】
2006129193.tif 000004
【図２】
2006129193.tif 000005
【図３】
2006129193.tif 000006
【図４】
2006129193.tif 000007
【図５】
2006129193.tif 000008
【図６】
2006129193.tif 000009
【図７】
2006129193.tif 000010
【図８】
2006129193.tif 000011
【図９】
2006129193.tif 000012
【図１０】
2006129193.tif 000013
【図１１】
2006129193.tif 000014
【図１２】
2006129193.tif 000015
【図１３】
2006129193.tif 000016
【図１４】
2006129193.tif 000017
【図１５】
2006129193.tif 000018
【図１６】
2006129193.tif 000019
【図１７】
2006129193.tif 000020
【図１８】
2006129193.tif 000021
【図１９】
2006129193.tif 000022
【手続補正書】
【提出日】平成17年10月6日(2005.10.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
ここで、間引きを伴う１ラインの読み出しについて考える。図７は間引き読み出し処理のパイプライン構成を示しており、シフトレジスタ１６２と、一対のセレクタ１６４，１６６と、一対の乗算器１７４，１７６と、加算器１７８とから構成される。図７の左上を基準とすると読み出した画素位置は、Ｒｉ0 ，Ｇｉ1 ，Ｒｉ2 ，Ｇｉ3 ，Ｒｉ4 ，Ｇｉ5 ，Ｒｉ6 ，Ｇｉ7 となり、以下同じ規則の繰り返しになる。この例における歪み補正（変換）の行列表現は、
【数１】
2006129193.tif 000023
となる。