(57)【要約】【課題】  １フレームのクロック数の変動をせずに、電子的に撮像領域の大きさを変更し、取り込んだ領域に対して、超解像処理を行う撮像装置の提供。【解決手段】  光学系101はイメージャ102に光学像を結像し、読み出し制御部104は倍率指定部103によって指定した倍率に応じて、イメージャの読み出し規則を選択する。イメージャ102は読み出し規則に従って、指定の領域の光学像を電気信号に変換する。読み出された画像信号は、ｎ個の画像メモリ105-1から105-nに格納される。ここでnは超解像処理を行うのに必要な画像の枚数である。超解像処理はモーションの推定107と、高解像度の画素配列の画像データを推定する高解像度画像推定部108により構成されている。セレクタ106はモーション推定を行う基準の画像と、モーション推定の対象の画像を選択する。【選択図】    図１
2005352721.tif 000002
【特許請求の範囲】
【請求項１】
被写体の像を電子的に得る撮像装置において、
被写体の像を撮像デバイスに結像する光学的結像手段と、所定領域の画像信号を出力することができる撮像デバイスと、前記撮像デバイスからの出力領域を設定する領域設定部と、領域設定部で設定した領域の大きさに応じて前記撮像デバイスの読み出し規則を選択する手段と、前記撮像デバイスから出力される複数のフレームの画像信号から高解像度な画像を生成する手段とを備えた事を特徴とする撮像装置。
【請求項２】
前記撮像デバイスの読み出し規則は、前記出力領域の大きさによらず画素の読み出しの総クロック数が一定である事を特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像デバイスの読み出し規則を、フレーム毎に異ならせる手段を有することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記複数のフレームの画像信号から高解像度な画像を生成する手段が、複数フレーム間のモーションを推定する手段と、モーション推定がなされた複数フレームの画像信号を用いて高解像度画像信号を推定する手段よりなり、前記複数フレーム間のモーション推定を行うときに、互いに同一の読み出し規則を選択する手段を有することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記複数フレーム間のモーション推定を行うときに、同一の読み出し規則のフレームを選択してモーション推定を行い、さらに、連続するフレーム間のモーション推定演算を行う手段を有することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記撮像デバイスの読み出し規則が、画素を離間的に読み出す間引き読み出しであることを特徴とする請求項２ないし請求項５のいずれかに記載の撮像装置。
【請求項７】
前記撮像デバイスの間引き読み出しを行った後、間引き読み出しによる歪みの補正処理を行う手段を有することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記歪みの補正処理が同一フレーム内の画素演算処理であることを特徴とする請求項７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素数の少ない画像入力手段を利用して高解像度の画像を生成する撮像装置に関するものである。
【背景技術】
【０００２】
ビデオカメラなどの撮像装置を使用する際に、画素数の少ない画像データを用いて高解像度の画像を生成する方法が種々提案されている。その一例として、例えば特許文献１などで提案されているように、超解像技術を用いて、位置ずれを持った複数フレームの低解像度画像を用いて高解像度の画像を生成する方法がある。超解像処理は、サブピクセルレベルでの位置ずれのある画像を複数枚撮影し、これらの画像の劣化要因などをキャンセルした上で合成して、１枚の高精細な画像を形成する手法である。
【０００３】
ところで、ビデオ撮影のように１フレームのクロック数に制限があり、撮像デバイスの画素数が出力する画像の画素数よりも多くなるような撮像システムを用いる場合がある。このような撮像システムを用いる場合に、有効な超解像処理を行うためには、撮像デバイスの一部分のみのデータを読み出し、その領域に対して超解像処理を行う必要がある。しかしながらこの場合には、超解像処理を行う画角の変更は光学的な像倍率の変更を必要とする。
【０００４】
【特許文献１】特開平１０−６９５３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
画素数の少ない画像データを用いて高解像度の画像を生成する際に、特許文献１に開示されている手法では、前記のように超解像処理を行う画角の変更は光学的な像倍率の変更をしなければならず、処理が煩雑になるという問題があった。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、フレームのクロック数が変動することなく、電子的に撮像領域の大きさを変更し、さらに、取り込んだ領域に対して、超解像処理を行う構成とした撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
（１）．上記目的を達成するために、本発明の撮像装置は、被写体の像を電子的に得る撮像装置において、
被写体の像を撮像デバイスに結像する光学的結像手段と、所定領域の画像信号を出力することができる撮像デバイスと、前記撮像デバイスからの出力領域を設定する領域設定部と、領域設定部で設定した領域の大きさに応じて前記撮像デバイスの読み出し規則を選択する手段と、前記撮像デバイスから出力される複数のフレームの画像信号から高解像度な画像を生成する手段とを備えた事を特徴とする。
【０００８】
（１）の発明は、図１に示された実施形態が対応する。「被写体の像を撮像デバイスに結像する光学的結像手段」は、光学系101が該当する。「所定領域の画像信号を出力することができる撮像デバイス」は、イメージャ102が該当する。「前記撮像デバイスからの出力領域を設定する領域設定部」は、倍率指定部103が該当する。「領域設定部で設定した領域の大きさに応じて前記撮像デバイスの読み出し規則を選択する手段」は、読み出し制御部104が該当する。「撮像デバイスから出力される複数のフレームの画像信号から高解像度な画像を生成する手段」は、高解像度画像推定部108が該当する。（１）の発明の構成によれば、電子的に撮像領域の大きさを変更し、さらに、取り込んだ領域に対して超解像処理を行うことができる。
【０００９】
（２）．また、前記（１）の発明は、前記撮像デバイスの読み出し規則は、前記出力領域の大きさによらず画素の読み出しの総クロック数が一定である事を特徴とする。（２）の発明は、図２の実施形態が対応する。「前記撮像デバイスの読み出し規則は、前記出力領域の大きさによらず画素の読み出しの総クロック数が一定である事」は、「read/skipのパターンは倍率指定部103による倍率に対応して変更される」処理が該当する。この構成によれば、１フレームのクロック数を一定に保持しながら、イメージャの読み出し制御の機能で読み出しの領域の広さを変更できる。
【００１０】
（３）．また、前記（２）の発明は、前記撮像デバイスの読み出し規則を、フレーム毎に異ならせる手段を有することを特徴とする。（３）の発明は、図２の実施形態が対応する。「前記撮像デバイスの読み出し規則をフレーム毎に異ならせる手段」は、「読み出し制御部104により、ODD（奇数）,EVEN（偶数）の２フレームの周期で読み出しの規則を変更する処理」が該当する。この構成によれば、フレーム毎に画像情報を異ならせ、互いに欠落している情報を補完することができる。
【００１１】
（４）．また、前記（３）の発明は、前記複数のフレームの画像信号から高解像度な画像を生成する手段が、複数フレーム間のモーションを推定する手段と、モーション推定がなされた複数フレームの画像信号を用いて高解像度画像信号を推定する手段よりなり、前記複数フレーム間のモーション推定を行うときに、互いに同一の読み出し規則を選択する手段を有することを特徴とする。
【００１２】
（４）の発明は、図１、図８の実施形態が対応する。「複数フレーム間のモーションを推定する手段」は、モーション推定部107が該当する。また、「モーション推定がなされた複数フレームの画像信号を用いて高解像度画像信号を推定する手段」は、高解像度画像推定演算部108が該当する。モーション推定部107は、図８に示されているように、同一の読み出し規則によるフレームを選択してモーションを推定する。（４）の発明によれば、画像信号の特性に応じたモーション推定を行うことができる。
【００１３】
（５）．また、前記（４）の発明は、前記複数フレーム間のモーション推定を行うときに、同一の読み出し規則のフレームを選択してモーション推定を行い、さらに、連続するフレーム間のモーション推定演算を行う手段を有することを特徴とする。（５）の発明は、図１、図９の実施形態が対応する。モーション推定部107は、図９に示されているように、前記複数フレーム間のモーション推定を行うときに、同一の読み出し規則のフレームを選択してモーション推定を行い、さらに、連続するフレーム間のモーション推定演算を行う。（５）の発明によれば、モーション推定の形態を多様化することができる。
【００１４】
（６）．また、前記（２）、または（３）の発明は、前記撮像デバイスの読み出し規則が、画素を離間的に読み出す間引き読み出しであることを特徴とする。（６）の発明は、図２の実施形態が対応する。「前記撮像デバイスの読み出し規則が画素を離間的に読み出す間引き読み出しであること」は、図２のskip処理が該当する。このような間引き読み出しを行うことにより、出力する画素数よりも広い領域の読み出しをした場合でもクロック数を一定にすることができる。
【００１５】
（７）．また、前記（６）の発明は、前記撮像デバイスの間引き読み出しを行った後、間引き読み出しによる歪みの補正処理を行う手段を有することを特徴とする。（７）の発明は、図１３の実施形態が対応する。「前記撮像デバイスの間引き読み出しを行った後、間引き読み出しによる歪みの補正処理を行う手段」は、歪み補正処理部113が該当する。この構成により、間引き読み出しを行った画像の歪みを補正し、更に前記（３）のようにフレーム毎に異なる読み出し規則を使用している場合でも、連続するフレーム間でモーション推定ができる。
【００１６】
（８）．また、前記（７）の発明は、前記歪みの補正処理が同一フレーム内の画素演算処理であることを特徴とする。（８）の発明は、図１１、図１２の実施形態が対応する。「前記歪みの補正処理が同一フレーム内の画素演算処理であること」は、図１２の線形補間パラメータk1、k2による補正処理が該当する。この構成によれば、歪みの補正処理が簡略化される。
【発明の効果】
【００１７】
本発明の撮像装置においては、１フレームのクロック数が変動することなく、電子的に撮像領域の大きさを変更し、さらに、取り込んだ領域に対して、超解像処理を行うことができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態例について図を参照して説明する。図１は第１の実施形態例の構成図である。図１において、光学系101はイメージャ102に光学像を結像する。倍率指定部103によって指定した倍率に応じて、読み出し制御部104はイメージャの読み出し規則を選択する。読み出し規則とは、後述するように、イメージャ上での読み出しの開始位置と間引き読み出しの規則を表す。イメージャ102は読み出し規則に従って、指定の領域の光学像を電気信号に変換する。
【００１９】
読み出された画像信号は、ｎ個の画像メモリ105-1から105-nに格納される。ここでnは超解像処理を行うのに必要な画像の枚数である。超解像処理はモーションの推定107と、高解像度の画素配列の画像データを推定する高解像度画像推定部108により構成されている。セレクタ106はモーション推定を行う基準の画像と、モーション推定の対象の画像を選択する。
【００２０】
図２は、読み出し制御部104で選択される読み出し規則である、間引き読み出しの例を示す説明図である。この例では、出力する画素数に対してx方向に4/3倍、y方向の4/3倍の広さの領域の読み出しを行っている。図1-104の読み出し制御部では、フレーム毎に読み出しの規則を異ならせる機能を有する。図２では、ODD（奇数）,EVEN（偶数）の２フレームの周期で読み出しの規則を変更している。
【００２１】
ODDおよびのEVENの横方向画素は、１行目がＲＧＲＧ・・・の配列、２行目がＧＢＧＢ・・・の配列、３行目がＲＧＲＧ・・・の配列、４行目がＧＢＧＢ・・・の配列、と繰り返されている。また、縦方向の画素は、１列目がＲＧＲＧ・・・の配列、２列目がＧＢＧＢ・・・の配列、３列目がＲＧＲＧ・・・の配列、４列目がＧＢＧＢ・・・の配列、と繰り返されている。
【００２２】
図２でreadは画素の読み出しを行っている位置を示し、skip（太い斜線）は読み出しを行っていない位置を示している。skipの位置では読み出しのクロックは発生していない。read/skipのパターンは、倍率指定部103による倍率に対応して変更される。従って、このような読み出しを行うことで、１フレームのクロック数を一定に保持しながら、イメージャの読み出し制御の機能で読み出しの画角が変更できる。
【００２３】
図３は、モーション推定のアルゴリズムを示すフローチャートである。以下、図３のアルゴリズムの流れにそって説明する。Ｓ１：モーション推定の基準となる画像を1枚読み込む。Ｓ２：基準画像を複数のモーションで変形させる。Ｓ３：基準画像との間のモーション推定を行う参照画像を1枚読み込む。Ｓ４：基準画像を複数変形させた画像列と、参照画像の間の類似度値を算出する。Ｓ５：変形モーションのパラメータと算出した類似度値との関係を用いて、離散的な類似度マップを作成する。
【００２４】
Ｓ６：Ｓ５で作成した離散的な類似度マップを補完することで、類似度マップの極値を探索し、類似度マップの極値を求める。極値を持つ変形モーションが、推定したモーションとなる。類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法等がある。Ｓ７：全ての参照画像においてモーション推定を行っているかどうかを判定する。Ｓ８：全ての参照画像においてモーション推定を行っていない場合には、参照画像のフレーム番号を１つあげてＳ３の処理へ戻り、次の画像を読み込み処理を継続する。対象となる全ての参照画像においてモーション推定を行い、処理を終了する。
【００２５】
図４は、図１で説明したモーション推定部107で行うモーション推定の最適類似度の推定を示す概念図である。図では簡単のため、一次元の最適類似度を示しているが、二次元の最適類似度も同様の手法で推定される。図４においては、黒丸の３点を用いてモーション推定をパラボラフィッティングで行った例を示している。縦軸は類似度を表し、横軸は変形モーションパラメータを示している。縦軸の値が小さいほど類似度が高く、縦軸の値が最小値となる灰色の丸は類似度の極値となる。
【００２６】
図５は、高解像度画像推定処理の実施形態のアルゴリズムを示すフローチャートである。Ｓ１１：高解像度画像推定に用いるため複数枚の低解像度画像n枚を読み込む(n≧1)。Ｓ１２：複数枚の低解像度画像の中の任意の一枚をターゲットフレームと仮定し、補完処理を行うことで初期の高解像度画像を作成する。このステップは場合により省略することができる。Ｓ１３：あらかじめ何らかのモーション推定法で求められた、ターゲットフレームとその他のフレームの画像間のモーションにより、画像間の位置関係を明らかにする。Ｓ１４：光学伝達関数(OTF)、CCDアパーチャ等の撮像特性を考慮した点広がり関数(PSF)を求める。PSFは例えばGauss関数を用いる。Ｓ１５：Ｓ１３、Ｓ１４、の情報を元に、評価関数f(z)の最小化を行う。ただし、f(z)は（１）式のような形となる。
【００２７】
【数１】
2005352721.tif 000003
【００２８】
ここでyは低解像度画像、zは高解像度画像、Aは画像間モーション、PSF等を含めた撮像システムをあらわす画像変換行列である。g(z)は画像の滑らかさや色相関を考慮した拘束項等が入る。λは重み係数である。評価関数の最小化には、例えば最急降下法を用いる。Ｓ１６：Ｓ１５で求めたf(z)が最小化された場合、処理を終了し高解像度画像zを得る。Ｓ１７：f(z)がまだ最小化されていない場合には、高解像度画像zをアップデートしてＳ１５に戻る。
【００２９】
図６は、前記アルゴリズムを実施する際の超解像処理の構成を示す構成図である。図６において、高解像度画像推定演算部108は、補間拡大部61、畳込み積分部62、PSFデータ保持部63、画像比較部64、乗算部65、貼り合せ加算部66、蓄積加算部67、更新画像生成部68、画像蓄積部69、反復演算判定部610、反復判定値保持部611から構成される。
【００３０】
最初に、画像メモリ105-1〜105-ｎに記録された複数フレーム分の画像データのうち、基準となる任意の1枚の画像データを補間拡大部61に与え、補間拡大部61でこの画像の補間拡大を行う。ここで用いられる補間拡大の手法としては、例えば一般的なバイリニア補間やバイキュービック補間などが挙げられる。補間拡大された画像は、畳込み積分部62に与えられ、PSFデータ保持部63より与えられるPSFデータと畳込み積分される。ここでのPSFデータは、各フレームのモーションも考慮して与えられる。補間拡大された画像データは同時に画像蓄積部69に送られ、ここに蓄積される。
【００３１】
畳込み演算された画像データは画像比較部64に送られ、モーション推定部107で求められた各フレーム毎のモーションを元に、適切な座標位置で撮像部より与えられる撮影画像と比較される。比較された残差は乗算部65に送られ、PSFデータ保持部63より与えられるPSFデータの各画素毎の値に掛け合わされる。この演算結果は貼り合せ加算部66に送られ、それぞれ対応する座標位置に置かれる。ここで、乗算部65からの画像データは、重なりを持ちながら少しずつ座標位置がずれて行くことになるので重なる部分については加算していく。撮影画像1枚分のデータの貼り合せ加算が終ると、画像データは蓄積加算部67に送られる。
【００３２】
蓄積加算部67では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データを順次加算していく。加算された画像データは、更新画像生成部68に送られる。更新画像生成部68には、これと同時に画像蓄積部69に蓄積されていた画像データが与えられ、この2つの画像データに重みをつけて加算して更新画像データを生成する。
【００３３】
生成された更新画像データは反復演算判定部610に与えられ、反復判定値保持部611から与えられる反復判定値を元に、演算を反復するか否かを判断する。演算を反復する場合には、データを畳込み積分部62に送り前記の一連の処理を繰り返し、反復しない場合は生成された画像データを出力する。上記一連の処理を行い反復演算判定部610から出力される画像は、撮影画像よりも高解像度なものとなっている。また、前記PSFデータ保持部63で保持されるPSFデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、モーション推定部107より各フレーム毎のモーションが与えられるようになっている。
【００３４】
図２の様な間引き読み出しを行った画像に対して、モーション推定を行うには、以下の３つ実施形態がある。（１）同じ読み出し規則を行うフレーム間でモーションの推定を行い、連続するフレーム間でのモーション推定の補間を行わない。（２）同じ読み出し規則を行うフレーム間でモーションの推定を行い、連続するフレーム間でのモーション推定の補間を行う。（３）各フレーム内で欠落している画素データの推定を行い、連続するフレーム間でのモーションの推定を行う。
【００３５】
（１）,（２）の手法では、図２に示すように、ODD,EVENでそれぞれ同じ読み出し規則で読み出しており、これらのフレーム間で、モーションの推定を行う。モーション推定を行う場合に、図２の様な読み出し方で、画像信号を得た後に、画像メモリに蓄え、読み飛ばした位置を考慮してモーション推定を行う。すなわち、２フレームの間で被写体の像が読み飛ばした位置にかかる場合や、前のフレームでは読み飛ばした位置にあるものが、出現する場合を考慮してモーションの推定に拘束条件を付ける。
【００３６】
図７は、間引き読み出しに対するモーション推定の概念図である。図７に示されているように、（１）の場合、ODD、EVENのそれぞれのフレーム列だけで、高解像度画像の推定を行う。図８は、連続フレームのモーション推定の概念図である。図８に示されているように、（２）の場合、ODD,EVENのそれぞれでモーションの推定を行った後に、連続するフレームのモーションの推定を行う。
【００３７】
連続フレームのモーションの推定は、例えば平均化処理による補間処理でも良い。例えばIフレームとI+2フレームのモーションa、I+1,I+3のモーションa'がそれぞれベクトルとして求まり、I+2フレームからaの1/2の大きさのモーションを差し引き、これをI+1とI+2の間のモーションの候補値とする。これとa'の1/2のモーションとの加算平均をとり、平均値処理による連続フレームのモーションの推定値とする。
【００３８】
図９は、連続フレームのモーション推定の概念図である。図９に示すように、（３）の場合、連続するフレームの画像信号データからそれぞれのフレーム内での補間処理を行い、フレーム間のデータを対応させる。このように、図２に示した例の読み出し規則に対して、間引き読み出しによって生じた画像の歪みを補正する処理を歪み補正処理と称することにする。
【００３９】
図１０は、フレーム内補間（歪み補正）処理後に連続フレームのモーション推定を行う概念図である。図１０では、ｉフレームとｉ＋１フレームのそれぞれについて歪み補正処理を行い、その後モーションデータ補間処理部で連続フレームのモーション推定を行っている。すなわち、図１０の例では、歪み補正処理を含む実施の形態を示している。
【００４０】
図１１は、歪み補正処理の概念図である。図１１により歪み補正処理の詳細について説明する。図１１の例では、Bayer配列のR-Gラインの水平方向R0〜G7の８画素のうち、G3およびR6の２画素を飛び越して読み出した画像データから、等間隔のR-G-R-G…の配列を生成する処理の概念図を示している。処理の概要は、(1)読み出した画素データから欠落している画素のデータの推定値を算出し８画素のデータとして、(2)８画素から６画素のデータを生成する縮小処理を行う。
【００４１】
このとき、欠落した画素の値を推定する方法としては、図１１（ａ）のように補間・縮小の２段階処理でも良いが、図１１（ｂ）のように１回の補間処理を用いる方式でも良い。これは後述の（３）式のような線形変換で表せる。一方縮小処理としては、以下に述べるような１次補間でも良いし、３次補間を用いても良い。また、３次補間の場合も図１１（ｂ）や後述の（３）式と同様に、１回の線形変換に簡略化できる。間引き読み出し、歪み補正処理において、８画素中６画素を読み出しでいれば75%の縮小処理になる。あるいは、10画素中８画素で有れば80%、12画素中10画素であれば83%となる。
【００４２】
以下に、欠落した画素を線形補間で埋めて、サイズ変更として線形補間を用いる方法を行列形式で表したものを（２）式に示す。
【００４３】
【数２】
2005352721.tif 000004
【００４４】
（２）式の右辺の２項目の操作は、
R(i),G(i+1),R(i+2),R(i+4),G(i+5),G(i+7),R(i+8)・・・
のようにサンプリングした画像データを補間して、
R(i),G(i+1),R(i+2),G￣(i+3),R(i+4),G(i+5),R￣(i+8),G(i+7)・・・
を生成し、右辺１項目の操作は線形補間により８画素を６画素に変換する操作を示している。
【００４５】
これらの操作を合成すると（３）式のような線形変換になる。
【００４６】
【数３】
2005352721.tif 000005
【００４７】
図１２は、歪み補正処理のフィルタ構成を示す構成図である。図１２に示すように、この操作を実行する構成はパイプライン処理としている。図１２において、シフトレジスタ901は６タップのFIFOになっており、１画素毎にシフトするように構成されている。i-i5は画素データが入るシフトレジスタを表し、s1,s2はセレクタの信号を表している。s1,s2には-1,0,1,2の４種の値が入る。値の範囲に限定は無く４種の値で有れば良い。ｄ1,d2はセレクタ902、903の出力、k1,k2は線形補間のパラメータで、加算器904の出力値はk1・d1＋k2・d2となる。図１２の構成で、１画素クロック毎に演算を行うときの論理表を表１に示す。
【００４８】
【表１】
2005352721.tif 000006
【００４９】
表１の論理表は、行方向に１画素クロックの状態を示しており、画素データがC1 <= C2 <= C3の様にシフトしている。
【００５０】
また、欠落した画素の輝度レベルの推定においては、前述したような同一チャンネルの１次補間あるいは、同一チャンネルの３次補間、sinc関数等の線形補間以外にも、Ｒ、Ｇ、Ｂチャンネル間の相関関係を用いた補間方法を用いることが出来る。
【００５１】
欠落した画素の輝度レベルの推定値は、（４）式、あるいは（５）式で与えられる。
【００５２】
【数４】
2005352721.tif 000007
【００５３】
【数５】
2005352721.tif 000008
【００５４】
図２のような離間的な読み出しを行った後に、（４）式、あるいは（５）式により欠落画素の推定を行うことで、読み出し方式が異なる隣接フレーム間でのモーション推定が出来る。
【００５５】
図１３は、上述した歪み補正手段（歪補正処理部113）を備えた実施形態の構成を示す構成図である。歪み補正処理がなされた画像データは、画像メモリ105-1〜105-ｎに保持される。その後、前述のようにフレーム間のモーション推定が行われ、図６に示した構成の高解像度画像推定演算部108により、推定高解像度画像を得る。
【産業上の利用可能性】
【００５６】
以上説明したように、本発明によれば、１フレームのクロック数の変動をせずに、電子的に撮像領域の大きさを変更し、さらに、取り込んだ領域に対して、超解像処理を行う撮像装置を提供することができる。
【図面の簡単な説明】
【００５７】
【図１】第１の実施形態例の構成図である。
【図２】間引き読み出しの例を示す説明図である。
【図３】モーション推定アルゴリズムのフローチャートである。
【図４】モーション推定の最適類似度の推定を示す概念図である。
【図５】高解像度画像推定のフローチャートである。
【図６】超解像処理の構成を示す構成図である。
【図７】間引き読み出しに対するモーション推定の概念図である。
【図８】連続フレームのモーション推定の概念図である。
【図９】連続フレームのモーション推定の概念図である。
【図１０】フレーム内補間（歪み補正）処理後に連続フレームのモーション推定を行う概念図である。
【図１１】歪み補正処理の概念図である。
【図１２】歪み補正処理のフィルタ構成を示す構成図である。
【図１３】歪み補正処理部を含む実施形態の構成図である。
【符号の説明】
【００５８】
１０１・・・光学系、１０２・・・イメージャ、１０３・・・倍率設定器、１０４・・・読み出し制御部、１０５−１〜１０５−ｎ・・・画像メモリ、
１０５・・・帯域分離処理部、１０６・・・超解像目的フレーム選択部、１０７・・・モーション推定部、１０８・・・高解像度画像推定部、１０９・・・補間拡大処理部、１１０・・・合成演算処理部、１１２・・・高解像画像演算領域判定部、１１３・・・メモリ部、１０５１・・・ローパスフィルタ、１０５２・・・バイアス加算処理部、１０５３・・・差分演算処理部、１１０１・・・重み係数生成部
【図１】
2005352721.tif 000009
【図２】
2005352721.tif 000010
【図３】
2005352721.tif 000011
【図４】
2005352721.tif 000012
【図５】
2005352721.tif 000013
【図６】
2005352721.tif 000014
【図７】
2005352721.tif 000015
【図８】
2005352721.tif 000016
【図９】
2005352721.tif 000017
【図１０】
2005352721.tif 000018
【図１１】
2005352721.tif 000019
【図１２】
2005352721.tif 000020
【図１３】
2005352721.tif 000021