(57)【要約】    【課題】  電子ズームで拡大する場合でも、手ぶれの影響が少ない画像データを出力することができる撮像装置を提供する。    【解決手段】  電子カメラ１００は、複数の画像データを連続で生成する撮像素子２と、生成された複数の画像データから手ぶれによる動きベクトルを検出する動きベクトル検出部４と、所望の電子ズーム倍率に応じて複数の画像データから切り出すべき各領域を決定すると共に、検出された動きベクトルを打ち消すように決定された各領域の切り出し位置を夫々決定して、切り出し位置が決定された各領域を切り出す画像切り出し部５と、切り出された複数の画像データを画素同士が同じ位置とならないように重ね合わせ、且つ重ね合わされた複数の画像データから所望の解像度である１つの画像データを合成する画像合成部６とを備える。【選択図】      図１
2005176248.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像データを電子ズーム処理によって拡大して出力する撮像装置において、
前記被写体から連続撮影により複数の画像データを連続で生成する連続画像データ生成手段と、
前記生成された複数の画像データから手ぶれによる動きベクトルを検出する動きベクトル検出手段と、
所望の電子ズーム倍率に応じて前記複数の画像データから切り出すべき各領域を決定すると共に、前記検出された動きベクトルを打ち消すように前記決定された各領域の切り出し位置を夫々決定して、前記切り出し位置が決定された各領域を切り出す領域切出手段とを備えることを特徴とする撮像装置。
【請求項２】
前記切り出された各領域における画像データを画素同士が同じ位置とならないように重ね合わせる画像データ重合手段と、
前記重ね合わされた複数の画像データから所望の解像度である１つの画像データを合成する画像データ合成手段とを備えることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記合成された画像データを動画出力用の画像データに用いることを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記切り出された各領域のサイズに応じて、前記連続撮影をするときの画像枚数を変化させることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、電子ズーム機能を有したデジタルビデオカメラ、又はデジタルスチルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラやデジタルスチルカメラ等の撮像装置において、高ズーム倍率のものが求められている（例えば、特許文献１〜５参照）。
【０００３】
このために、レンズの焦点距離を変える光学ズームの開発が進められているが、高ズーム倍率を実現するためには光学ズーム装置のサイズが大きくなり、コストも増大する。
【０００４】
そこで、撮像素子の一部の領域で撮像される画像を拡大することによってズーム効果を得る電子ズーム機能を用いて、小型で低コストの高ズーム倍率を実現している。
【０００５】
図４は、従来の撮像装置の概略構成を示すブロック図である。
【０００６】
図４において、撮像装置としての電子カメラ１０１は、光学レンズ系１２、撮像素子１３、第１信号処理部１４、画像切り出し部１５、画素補間処理部１６、及び第２信号処理部１７をこの順で直列的に備える。
【０００７】
このような構成を備える電子カメラ１０１は、電子ズームを行うときは、以下のように処理を行う。
【０００８】
まず、被写体から電子カメラ１０１に入射した光が光学レンズ系１２を介して撮像素子１３で光電変換されて画像データとなり、第１信号処理部１４に送られる。第１信号処理部１４では画像データ中の画素のサンプリング、ＡＧＣなどの処理を行い、処理された画像データから画像切り出し部１５で、拡大したい領域を切り出す。切り出された画像データは画素補間処理部１６で画素補間され、所望の解像度に生成される。第２信号処理部１７では画素補間処理部１６で画素補間された画像データを出力形態に合わせて出力する。
【０００９】
この電子カメラ１０１は、電子ズームモードにおいて、画像切り出し部１５で切り出された画像データの一部の領域を、第２信号処理部１７で拡大して出力する場合に、その領域の画素情報に基づいて画素補間処理部１６により演算で画素補間を行う。
【特許文献１】特開平１０−１９１１３５号公報
【特許文献２】特開平０９−１３０６６３号公報
【特許文献３】特開平０８−１４９３６０号公報
【特許文献４】特開平０８−６５５６５号公報
【特許文献５】特開平０７−１０７４６６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の電子カメラ１０１による電子ズームは、少ない画素情報を画素補間で補った後に拡大して出力するので、解像度が低下するという問題がある。この問題は、電子ズーム倍率を高くするほど画素補間で補わなくてはならない割合が増加して顕著となる。
【００１１】
また、電子ズームで拡大して出力する場合、通常、画角が望遠側になるため、撮影者の手ぶれにより出力された画像データの品質が低下するという問題がある。
【００１２】
本発明の目的は、電子ズームで拡大する場合でも、手ぶれの影響が少ない画像データを出力することができる撮像装置を提供することにある。
【課題を解決するための手段】
【００１３】
請求項１記載の撮像装置は、被写体の画像データを電子ズーム処理によって拡大して出力する撮像装置において、前記被写体から連続撮影により複数の画像データを連続で生成する連続画像データ生成手段と、前記生成された複数の画像データから手ぶれによる動きベクトルを検出する動きベクトル検出手段と、所望の電子ズーム倍率に応じて前記複数の画像データから切り出すべき各領域を決定すると共に、前記検出された動きベクトルを打ち消すように前記決定された各領域の切り出し位置を夫々決定して、前記切り出し位置が決定された各領域を切り出す領域切出手段とを特徴とする。
【００１４】
請求項２記載の撮像装置は、請求項１記載の撮像装置において、前記切り出された各領域における画像データを画素同士が同じ位置とならないように重ね合わせる画像データ重合手段と、前記重ね合わされた複数の画像データから所望の解像度である１つの画像データを合成する画像データ合成手段とを備えることを特徴とする。
【００１５】
請求項３記載の撮像装置は、請求項１又は２記載の撮像装置において、前記合成された画像データを動画出力用の画像データに用いることを特徴とする。
【００１６】
請求項４記載の撮像装置は、請求項１乃至３のいずれか１項に記載の撮像装置において、前記切り出された画像のサイズに応じて、前記連続撮影をするときの画像枚数を変化することを特徴とする。
【発明の効果】
【００１７】
請求項１記載の撮像装置によれば、被写体から、連続撮影により生成された複数の画像データから手ぶれによる動きベクトルを検出し、所望の電子ズーム倍率に応じて複数の画像データから切り出すべき各領域を決定すると共に、検出された動きベクトルを打ち消すように決定された各領域の切り出し位置で各領域を切り出すので、手ぶれの影響が少ない画像データを得ることができる。
【００１８】
請求項２記載の撮像装置によれば、切り出された各領域における画像データを画素同士が同じ位置とならないように重ね合わせた画像から所望の解像度である１つの画像データを合成するので、高解像度の画像データを得ることができる。
【００１９】
請求項４記載の撮像装置によれば、切り出された各領域のサイズに応じて、連続撮影する画像枚数を変化させるので、高電子ズーム倍率時でも高い解像度の画像データを出力することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態を図面を用いて詳説する。
【００２１】
図１は、本発明の実施の形態に係る撮像装置の概略構成を示すブロック図である。
【００２２】
図１において、本発明の実施の形態に係る撮像装置である電子カメラ１００は、被写体からの光を導光すると共に結像する光学レンズ系１と、光学レンズ系１で結像した光から光電変換により画像データを生成する撮像素子２と、撮像素子２から画像データを受信してデータ中の画素のサンプリングやＡＧＣ等の信号処理を行う第１信号処理部３と、第１信号処理部３で信号処理された複数の画像データの夫々について拡大したい領域を切り出す画像切り出し部５と、画像切り出し部５で拡大したい領域が切り出された画像データを重ね合わせて所望の出力解像度に合成する画像合成部６と、画像合成部６で合成された画像データを出力形態に合わせて出力する第２信号処理部７とをこの順で直列的に備える。また、電子カメラ１００は、第１信号処理部３で信号処理された画像データから動きベクトルを検出すると共に、この動きベクトルを画像切り出し部５及び画像合成部６に送出する動きベクトル検出部４を備える。
【００２３】
以下、電子カメラ１００で実行される電子ズーム処理について説明する。
【００２４】
この処理において、電子カメラ１００は、１つの画像出力を得るために複数の画像を連続で撮影する。
【００２５】
まず、電子カメラ１００により連続で複数の画像が撮影されると、撮像素子２（連続画像データ生成手段）が、撮影毎に被写体から入射した光を光学レンズ系１を介して受光して、結像面での光電変換により画像データを生成し、生成された画像データを第１信号処理部３に出力する。第１信号処理部３は、撮像素子２から画像データが出力される毎に、その画像データ中の画素のサンプリング、ＡＧＣなどの処理を行い、処理後の画像データを画像切り出し部５と動きベクトル検出部４に同時に送る。
【００２６】
動きベクトル検出部４（動きベクトル検出手段）は、連続して第１信号処理部３から送られてくる画像データを比較、解析して、手ぶれによる動きベクトルを検出すると共に、この検出した動きベクトルを画像切り出し部５及び画像剛性部６に送出する。この手ぶれによる動きベクトルの検出には、例えば加速度センサーを用いた手法が用いられる。
【００２７】
画像切り出し部５は、第１信号処理部３から送られてくる複数の画像データの所望の電子ズーム倍率から切り出し領域を決定する。具体的には、所望の電子ズーム倍率が大きい程、切り出される領域は小さくなり、所望の電子ズーム倍率が小さいほど、切り出される領域は大きくなる。次に、画像切り出し部５（領域切出手段）は、各画像データの領域の切り出し位置を、夫々動きベクトル検出部４で検出された手ぶれによる動きベクトルが打ち消されるように決定して、各画像データを切り出す。
【００２８】
画像合成部６（画像データ重合手段）は、画像切り出し部５で切り出された複数の画像データを重ね合わせる後述する図２の重ね合わせ処理を行う。さらに、画像合成部６（画像データ合成手段）は、この重ね合わせ処理がなされた複数の画像データから所定の出力解像度となる画像データをサンプリングにより合成する。第２信号処理部７は、画像合成部６で合成された画像データを出力形態に合わせて出力する。これにより、電子ズームで拡大して出力する場合、画角が望遠側になるため、撮影者の手ぶれにより出力された画像データの品質が低下するという問題が生じるのを確実に防止し、高品質の画像データを出力することができる。
【００２９】
図２は、図１における画像合成部によって実行される画像処理のフローチャートである。
【００３０】
以下の処理においては、説明を簡略化するため、画像データが２つの場合（図３）について説明する。
【００３１】
図２において、まず、画像データ９，１０の夫々に対して、画像切り出し部５で拡大したい領域が切り出された画像データ９ａ，１０ａ（図３（ａ））を取得する（ステップＳ２１）。
【００３２】
次に、図３（ｂ）に示すように、画像データ９ａ，１０ａを画素単位以下の精度で重ねあわせる（ステップＳ２２）。この重ね合わせは、画像データ９ａ，１０ａの画素同士が同じ位置とならないように行う。より具体的には、画像９ａ，１０ａの画素が画素間隔の半分ずれるように行う。
【００３３】
その後、ステップＳ２２で重ね合わせられた画像データ９ａ，１０ａから所定の出力解像度の画像データ１１（図３（ｃ））をサンプリングにより合成して（ステップＳ２３）、本処理を終了する。
【００３４】
本処理によれば、画像合成部６は、画像切り出し部５で拡大したい領域が切り出された画像データ９ａ，１０ａを画素単位以下の精度で重ねあわせ（ステップＳ２２）、重ね合わせられた画像データ９ａ，１０ａから所定の出力解像度の画像データ１１をサンプリングにより合成するので（ステップＳ２３）、従来の電子カメラによる電子ズームのように、１つの画像データから少ない画素情報を画素補間で補った後に拡大することなく、高解像度の画像データを出力することができる。
【００３５】
また、本実施の形態によれば、電子カメラ１００を三脚に載せて撮影する場合は、手ぶれが生じ得ないためほとんど効果を得られないが、電子カメラ１００を手持ちで撮影する場合は、手ぶれにより出力画像データの品質が低下するのを効果的に防止することができる。特に、電子カメラ１００を手持ちで撮影する場合において、電子ズームを行うときは、画角が望遠になることからして手ぶれの影響は顕著となり十分な効果を得られる。
【００３６】
また、本実施の形態では、電子カメラ１００で撮影された画像データを静止画として出力するのに用いたが、これに限定されるものでなく、上記画像データを動画として出力するのに用いても、同様の効果を奏することができる。さらに、電子ズーム倍率を高くするにつれて、１つの出力画像を得るために撮影する回数を増やすことによって、高電子ズーム倍率時でも高い解像度の画像データを出力することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施の形態に係る撮像装置の概略構成を示すブロック図である。
【図２】図１における画像合成部によって実行される画像処理のフローチャートである。
【図３】（ａ）〜（ｃ）は、図１における画像合成部によって実行される画像処理を説明する図である。
【図４】従来の撮像装置の概略構成を示すブロック図である。
【符号の説明】
【００３８】
１００  電子カメラ
１  光学レンズ系
２  撮像素子
３  第１信号処理部
４  動きベクトル検出部
５  画像切り出し部
６  画像合成部
７  第２信号処理部
【図１】
2005176248.tif 000003
【図２】
2005176248.tif 000004
【図３】
2005176248.tif 000005
【図４】
2005176248.tif 000006