(57)【要約】【課題】  高速な処理回路を必要とすることなく、リアルタイムに動画の画像合成を行う。【解決手段】  撮像手段と、前記撮像手段から出力された動画信号のうちの、複数のフレームを合成し、１フレームの画像信号を生成する処理手段と、前記処理手段により生成された画像信号を含む動画信号を記録媒体に記録する記録手段と、前記撮像手段を制御する制御手段とを備え、前記制御手段は、第１のフレームの間に、所定の周期で前記第１のフレームよりも画素数が少ない第２のフレームを出力するように、前記撮像手段を制御し、前記処理手段は、前記撮像手段から出力された動画信号のうちの、二つの前記第２のフレームの画像の間の位置ずれ量を検出し、前記検出された位置ずれ量に基づいて、複数の前記第１のフレームの画像を合成することにより、１フレームの画像信号を生成する。【選択図】  図２
2015154354.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段から出力された動画信号のうちの、複数のフレームを合成し、１フレームの画像信号を生成する処理手段と、
前記処理手段により生成された画像信号を含む動画信号を記録媒体に記録する記録手段と、
前記撮像手段を制御する制御手段とを備え、
前記制御手段は、第１のフレームの間に、所定の周期で前記第１のフレームよりも画素数が少ない第２のフレームを出力するように、前記撮像手段を制御し、
前記処理手段は、前記撮像手段から出力された動画信号のうちの、二つの前記第２のフレームの画像の間の位置ずれ量を検出し、前記検出された位置ずれ量に基づいて、複数の前記第１のフレームの画像を合成することにより、１フレームの画像信号を生成することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記第１のフレームと、前記第２のフレームとで、独立にシャッタ速度の制御を行うことを特徴とする請求項１に記載に撮像装置。
【請求項３】
前記制御手段は、前記第１のフレームよりも、前記第２のフレームのシャッタ速度が高速になるように制御することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記第１のフレームの一部の領域を切り出した、所定のサイズの画像信号を前記第２のフレームとして出力するように、前記撮像手段を制御することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記制御手段は、前記第１のフレームのサイズを縮小した、所定のサイズの画像信号を前記第２のフレームとして出力するように、前記撮像手段を制御することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記制御手段は、前記第１のフレームと前記第２のフレームを、１フレームおきに交互に出力するように、前記撮像手段を制御することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記制御手段は、複数の前記第１のフレームを出力するごとに、前記第２のフレームを出力するように、前記撮像手段を制御することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関する。
【背景技術】
【０００２】
近年、複数枚の画像から一枚の画像を生成し、手ぶれ補正や、ダイナミックレンジの拡大、Ｓ／Ｎを改善するといった提案がされている（例えば、特許文献１参照）。静止画の場合は、撮影後の後処理において、時間をかけて処理してもよいため、ソフト処理での後処理による実現手段が多く提案されている。動画についても、同様に、複数フレームから１フレームを生成することが考えられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１１１７７３
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、一旦動画を記録した後、再生時に合成する構成とした場合、大量のデータを記録しておく必要があるため、そのままでは記録容量の増加につながってしまう。そのため、例えばデジタルカメラなどの撮像装置において、動画の撮影時に画像合成を行って記録することで、記録されるデータの容量の増加を避けることが可能となる。
【０００５】
しかし、記録時の画像合成を行う場合、大量のデータをリアルタイムに処理する必要があり、処理回路が必要となる。そのため、回路規模の増大による装置の大型化、或いは、消費電力の増加といった問題がある。
【０００６】
本発明はこのような課題を解決し、高速な処理回路を必要とすることなく、リアルタイムに動画の画像合成を行うことが可能な装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像手段と、前記撮像手段から出力された動画信号のうちの、複数のフレームを合成し、１フレームの画像信号を生成する処理手段と、前記処理手段により生成された画像信号を含む動画信号を記録媒体に記録する記録手段と、前記撮像手段を制御する制御手段とを備え、前記制御手段は、第１のフレームの間に、所定の周期で前記第１のフレームよりも画素数が少ない第２のフレームを出力するように、前記撮像手段を制御し、前記処理手段は、前記撮像手段から出力された動画信号のうちの、二つの前記第２のフレームの画像の間の位置ずれ量を検出し、前記検出された位置ずれ量に基づいて、複数の前記第１のフレームの画像を合成することにより、１フレームの画像信号を生成することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、高速な処理回路を必要とすることなく、リアルタイムに動画の画像合成を行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態における撮像装置の構成を示すブロック図である。
【図２】画像合成処理を説明する図である。
【図３】画像合成処理を説明する図である。
【図４】メインフレームと補助フレームの説明図である。
【図５】メインフレームと補助フレームの説明図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の好ましい実施例を詳細に説明する。
【実施例１】
【００１１】
図１は本発明の実施形態に係る撮像装置の構成を示す図である。図１において、制御部１０１はＣＰＵ、メモリ等を含み、撮像装置の各部を制御する。操作部１０７は、各種のスイッチを備え、ユーザが操作部１０７を操作することにより、撮像装置に対する指示を行うことができる。制御部１０１は、操作部１０７からの操作指示に応じて各部を制御する。撮像部１０２は、レンズや撮像素子、信号処理回路などを有する。本実施形態では、撮像素子としてＣＭＯＳセンサを用いる。また、撮像部１０２は、被写体像を撮影し、動画信号を出力する。撮像部１０２は、例えば、１画面（１フレーム）が横１９２０画素×縦１０８０画素で、２４０フレーム／秒（ｆｐｓ）の動画信号を出力することが可能である。
【００１２】
撮像部１０２からの動画信号は、バス１０９を介してメモリ１０３に記憶される。画像合成部１０４は、メモリ１０３に記憶された複数画面の画像信号を合成し、１フレームの画像信号を生成する。そのため、画像合成部１０４は、メモリ１０３から必要数の画像信号を読み出し、読み出した複数のフレームから、各フレームの画像の間の位置ずれを検出する。そして、検出したずれ量に基づいて、対象となるフレーム画像に対し、画像合成を行い、その結果をメモリ１０３に記録する。
【００１３】
記録再生部１０５は、メモリ１０３から、合成された画像信号を含む動画信号を読み出し、符号化圧縮処理などを施した後、記録媒体１０８に記録する。記録媒体１０８として、例えば、フラッシュメモリカード等を用いる。また、記録再生部１０５は、記録媒体１０８に記録された動画信号を読み出し、復号化処理などの信号処理を施し、再生データを出力する。出力部１０６は、画像合成部１０４により合成された画像、或いは、再生された画像を外部に出力する。
【００１４】
次に、動画信号の記録時における、画像合成処理を説明する。図２は、撮像部１０２から出力された複数フレームの動画信号の各フレームと、動画信号を用いた画像合成処理を説明するための図である。本実施形態では、記録媒体１０８に記録される動画信号のフレームレートを６０ｆｐｓとする。また、撮像部１０２が出力する動画信号のフレームレートは、前述のように２４０ｆｐｓである。撮像部１０２は、１／１２０秒間隔で、合成元フレーム（メインフレーム（第１のフレーム））を撮像し、出力する。メインフレームとは図２中のメインフレーム１、２、３、４がそれにあたる。また、メインフレームの画素数は、横１９２０画素×縦１０８０画素である。
【００１５】
一方、図２の補助フレーム（第２のフレーム）１、２、３、４はメインフレーム１、２、３、４のそれぞれが撮像される間に、撮像部１０２から出力されるフレームである。例えば図２の場合、メインフレームと補助フレームの時間間隔は１／２４０秒である。制御部１０１は、メインフレームの撮影時とは別に、補助フレームのシャッタ速度を制御する。ここで、シャッタ制御とは、例えばＣＭＯＳセンサの電子シャッタ制御のことを指す。また、補助フレームについては、手ぶれの少ない画像を得るため、メインフレームよりも、シャッタ速度が比較的、高速に設定される。
【００１６】
本実施形態では、この補助フレームを用いて、画像合成のための位置ずれ量を検出する。そして、検出されたずれ量に基づき、メインフレームの画像合成の際の位置ずれの補正値を決定する。フレームの画像の位置ずれ検出の手段は公知の方法を用いる。例えば、ブロックマッチング法や、テンプレートマッチング法を用いる。例えば、フレーム画像内のある一部の限定された領域や、特徴点に着目し、フレーム間でその特徴点のベクトルずれ量を求め、そのずれ量を用いて画像合成する際の位置ずれ補正を行う。或いは、ある限定された一部の領域ではなく、画像全体に渡り、フレーム間の位置ずれ誤差情報が最小となるように、フレーム間の相関が高くなるように、位置ずれ情報を求める。更に、両者を用いる場合もある。
【００１７】
このように、補助フレームを用いて検出したずれ量に基づき、メインフレームどうし画像合成を行う。図２の場合、補助フレーム１、２により求めた位置ずれ情報（（１）位置合わせパラメータ検索）にもとづき、メインフレーム１、２の位置合わせ（（２）位置合わせ情報）を行う。そして、画像合成処理（（３）複数枚合成処理）を行うことでメインフレーム１、２から合成フレーム１を生成する。また、この合成フレーム１が記録媒体１０８に記録される。
【００１８】
制御部１０１は、メインフレームについては、適正露出となるように、被写体光の蓄積時間を制御する。一方、補助フレームは、記録媒体１０８には記録されず、画像合成時に必要となる位置ずれ情報の検出のためだけに利用される。そのため、制御部１０１は、メインフレームの露出量とは独立に、位置ずれ情報を検出するのに適した蓄積時間、例えば手ぶれによる画像ぶれを減らすのに必要なシャッタ時間で撮像されるように、撮像部１０２を制御する。
【００１９】
すなわち、メインフレームと補助フレームとで、それぞれ撮像時のシャッタ速度を変える。これにより、記録される画像（メインフレーム）は適正露出で撮像し、合成条件（位置ずれ情報）を算出するための画像（補助フレーム）は画像ぶれを抑えるための条件で撮像される。また、位置あわせパラメータ検索においては、フレーム画像内のある一部の限定された領域や、特徴点に着目して探索してもよい。或いは、画像全体にわたりフレーム間の誤差情報が最小になるように、探索してもよい。一部の限定された領域に、探索エリアが限られる場合に関して、補足説明する。
【００２０】
この場合、補助フレームの画角は、メインフレームに対し１／４のサイズとなるように撮影する。補助フレームの各フレームの画素数は、横９６０画素×縦５４０画素としている。すなわち、メインフレームのうちの１／４のエリアを切り出したような、画像サイズとしている。制御部１０１は、補助フレームについては、このようなサイズの画像信号を出力するように、撮像部１０２を制御する。
【００２１】
これは限定された領域での探索を対象とする場合、メインフレーム相当の大きなサイズの画像を必要としないためである。ただし、この場合、補助フレーム内に必要とする特徴点等が含まれている必要がある。すなわち、補助フレームの撮像エリアをどのように選択するかが重要になる。
【００２２】
図３に、以上の点を考慮した、補助フレームを使った位置ずれ検出の一例を示す。図３では、メインフレーム２の画像データから、信号処理により特徴点（特異点やエッジ）が多く含まれるエリアを検出する（（４）特徴点検出エリア探索）。そして、その情報に基づいて、時間軸的にその後に撮像される補助フレーム３、４の撮像時の撮像エリアを制御する（（５）撮像エリアの制御）。
【００２３】
図４に補助フレームの撮像エリアの例を示す。メインフレームにおいて、例えば、エッジを多く含む領域を補助フレームの撮像領域として設定する場合、この例の場合、建物（家）を含む領域が多くのエッジを含むと判断し、補助フレーム例１のように、そのエリアを補助フレームの撮像エリアとする。または、メインフレームにおいて、例えば特徴点を多く含む領域を補助フレームの撮像領域として設定する場合、顔検出等の既知の技術を用いて人の顔を含むエリアを補助フレームのエリアとして判断する。そして、補助フレーム例２のように、そのエリアを補助フレームの撮像エリアとする。
【００２４】
これは、制御装置１０１がメモリ１０３からメインフレームの画像信号を読み出し、読み出した画像信号から、補助フレームの撮像エリアを判断し、撮像部１０２を制御することで実現できる。
【００２５】
ここでは、一部の限定された領域に、探索エリアが限られる場合に関して説明したが、次に、画像全体にわたってフレーム間の誤差情報が最小になるように、探索する場合に関して補足説明する。図５に補助フレームの撮像イメージの例を示す。この場合、例えば補助フレームの画角はメインフレームに対して等しく、１フレームの画素数は横９６０画素×５４０画素としている。すなわち、メインフレームの１／４の解像度の縮小画のイメージである。この縮小画を用いて、補助フレーム間の誤差が最小になるように位置ずれ情報をもとめ、メインフレームの画像合成を行う。
【００２６】
この場合、制御部１０１は、撮像部１０２を制御して、補助フレームの画像信号を出力する。例えば、ＣＭＯＳセンサからの画素読み出し時の水平ラインの間引き、画素の同時読み出しによる合成、後段のアナログ信号処理による合成を行う。または、撮像部１０２における信号処理部により、縮小された補助フレームの画像を生成する。
【００２７】
このように、本実施形態では、撮影された動画信号のうちの複数のフレームを合成し、合成された動画信号を記録する場合に、記録される動画のフレームの間で、位置ずれ検出のためのフレームを撮影する。そして、位置ずれ検出のためのフレームのサイズを、記録される動画信号よりも小さいサイズとしている。そのため、位置ずれ検出のための処理の負荷が少なくなり、高速な処理回路を用いることなく、リアルタイムに画像合成が可能となる。
【００２８】
なお、本実施例では、メインフレームと補助フレームとは一枚ずつ交互に撮影されるとしたが、これに限らない。即ち、１フレームごとに交互に撮影する必要はない。メインフレームの間に、所定の周期で補助フレームが出力されるようにすればよい。例えば、メインフレーム複数枚につき、補助フレームが一枚撮影される場合でも良い。あるいは、異なるメインフレームの撮像間に、補助フレームが１枚以上撮影されても良い。
【００２９】
例えば、メインフレーム複数枚につき、補助フレームが２枚撮影される場合、一枚目は、縮小画相当の画像、２枚目は切り出し相当の画像を撮像する。一枚目の縮小画相当の画像を用いて、時間軸的に後に撮像される切り出し相当の画像の切り出しエリアを制御しても良い。
【００３０】
また、補助フレームの例としてメインフレームの１／４の領域を切り出した画像と、メインフレームの１／４の解像度の画像の例を説明したが、これら二つの画像を共に補助フレームとして撮影しても良い。また、補助フレームの画素数をメインフレームの１／４としたが、これに限られるものではない。
【００３１】
また、本実施例では、動画撮影の場合を前提に説明を行ったが、近年、静止画撮影においても、高速連写などのフレームレートの高い撮像が要求される傾向にあり、本実施例は、動画のみならず、静止画撮影にも適応されるものである。
【図１】
2015154354.tif 000003
【図２】
2015154354.tif 000004
【図３】
2015154354.tif 000005
【図４】
2015154354.tif 000006
【図５】
2015154354.tif 000007