(57)【要約】【課題】  複数の静止画像データを用いることなく、動画を表示することを目的とする。【解決手段】  レリーズ時に第１の画像データを生成し、レリーズ時以外に第２の画像データを生成する撮像部と、前記撮像部により生成した前記第２の画像データに基づいて、被写体の動きを示す動きデータを生成する動きデータ生成部と、前記撮像部により生成した前記第１の画像データと前記動きデータ生成により生成した前記動きデータとを関連付けて記録する記録部と、前記記録部から前記第１の画像データと前記動きデータとを読み出し、擬似動画用の画像データを生成する擬似動画生成部と、前記擬似動画生成部により生成した前記擬似動画用の画像データに基づいて、擬似動画を表示する表示部とを備えることを特徴とする撮像装置。【選択図】      図１
2009284411.tif 000002
【特許請求の範囲】
【請求項１】
レリーズ時に第１の画像データを生成し、レリーズ時以外に第２の画像データを生成する撮像部と、
前記撮像部により生成した前記第２の画像データに基づいて、被写体の動きを示す動きデータを生成する動きデータ生成部と、
前記撮像部により生成した前記第１の画像データと前記動きデータ生成により生成した前記動きデータとを関連付けて記録する記録部と、
前記記録部から前記第１の画像データと前記動きデータとを読み出し、擬似動画用の画像データを生成する擬似動画生成部と、
前記擬似動画生成部により生成した前記擬似動画用の画像データに基づいて、擬似動画を表示する表示部と
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記動きデータ生成部は、前記撮像部により前後して生成した前記第２の画像データを比較することにより、前記第２の画像から動きがある領域を検出し、前記動きがある領域に含まれる画素の位置情報と色情報とで構成される前記動きデータを生成する
ことを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記擬似動画生成部は、前記動きデータ生成部により生成した前記動きデータに基づいて、前記撮像部により生成した前記第１の画像の一部領域を差し替えた複数フレームの画像データ、および前記第１の画像データを時系列に並べ、前記擬似動画用の画像データを生成する
ことを特徴とする撮像装置。
【請求項４】
請求項１に記載の撮像装置において、
前記動きデータ生成部は、前記動きデータに基づいて、レリーズ後の被写体の動きを予測する
ことを特徴とする撮像装置。
【請求項５】
請求項１に記載の撮像装置において、
撮像装置の動きを検出する検出部をさらに備え、
前記動きデータ生成部は、前記検出部により撮像装置が動いていると判定した場合には、前記動きデータを生成しない
ことを特徴とする撮像装置。
【請求項６】
請求項１に記載の撮像装置において、
前記動きデータ生成部は、前記撮像部により前後して生成した前記第２の画像データを比較することにより、前記第２の画像から動きがある領域を検出し、前記動きがある領域の大きさが閾値以上であると判定した場合には、前記動きデータを生成しない
ことを特徴とする撮像装置。
【請求項７】
請求項１から請求項６のいずれか一項に記載の撮像装置により生成した前記第１の画像を再生する画像再生装置であって、
前記記録部から前記第１の画像データと前記動きデータとを読み出し、擬似動画用の画像データを生成する第２の擬似動画生成部と、
前記第２の擬似動画生成部により生成した前記擬似動画用の画像データに基づいて、擬似動画を表示する第２の表示部と
を備えることを特徴とする画像再生装置。
【請求項８】
請求項７に記載の画像再生装置において、
前記第２の擬似動画生成部は、前記動きデータに基づいて、前記第１の画像の一部領域を差し替えた複数フレームの画像データ、および前記第１の画像データを時系列に並べ、前記擬似動画用の画像データを生成する
ことを特徴とする画像再生装置。
【請求項９】
請求項７に記載の画像再生装置において、
前記動きデータに基づいて、レリーズ後の被写体の動きを予測する第２の動きデータ生成部をさらに備える
ことを特徴とする画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して画像データを生成する撮像装置、および画像データを再生する画像再生装置に関する。
【背景技術】
【０００２】
従来から、動いている被写体を撮像し、動画をディスプレイ等に表示する撮像装置が知られる。
【０００３】
このような撮像装置の中には、撮像した連続する静止画像データを前回の静止画像データと比較し、前回の静止画像データに対する今回の静止画像データの差分を順次記録するものが提案されている（特許文献１など）。特許文献１の撮像装置は、撮像時のシャッタ間隔で画像データをディスプレイに順次出力することにより、連写撮像時の物体の動きを再現した動画をディスプレイに表示する。
【特許文献１】特開２００１−３２０６２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、上述した撮像装置において、連写撮像により得られた静止画像データは、差分だけ記録しても容量が大きい。そのため、メモリ等の記憶媒体に記録されるデータ量が増大し、記録する静止画像の撮像枚数が少なくなっていた。
【０００５】
そこで、本発明の撮像装置および画像再生装置は、複数の静止画像データを用いることなく、動画を表示することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、レリーズ時に第１の画像データを生成し、レリーズ時以外に第２の画像データを生成する撮像部と、前記撮像部により生成した前記第２の画像データに基づいて、被写体の動きを示す動きデータを生成する動きデータ生成部と、前記撮像部により生成した前記第１の画像データと前記動きデータ生成により生成した前記動きデータとを関連付けて記録する記録部と、前記記録部から前記第１の画像データと前記動きデータとを読み出し、擬似動画用の画像データを生成する擬似動画生成部と、前記擬似動画生成部により生成した前記擬似動画用の画像データに基づいて、擬似動画を表示する表示部とを備える。
【０００７】
なお、好ましくは、前記動きデータ生成部は、前記撮像部により前後して生成した前記第２の画像データを比較することにより、前記第２の画像から動きがある領域を検出し、前記動きがある領域に含まれる画素の位置情報と色情報とで構成される前記動きデータを生成しても良い。
【０００８】
また、好ましくは、前記擬似動画生成部は、前記動きデータ生成部により生成した前記動きデータに基づいて、前記撮像部により生成した前記第１の画像の一部領域を差し替えた複数フレームの画像データ、および前記第１の画像データを時系列に並べ、前記擬似動画用の画像データを生成しても良い。
【０００９】
また、好ましくは、前記動きデータ生成部は、前記動きデータに基づいて、レリーズ後の被写体の動きを予測しても良い。
【００１０】
また、好ましくは、撮像装置の動きを検出する検出部をさらに備え、前記動きデータ生成部は、前記検出部により撮像装置が動いていると判定した場合には、前記動きデータを生成しなくても良い。
【００１１】
また、好ましくは、前記動きデータ生成部は、前記撮像部により前後して生成した前記第２の画像データを比較することにより、前記第２の画像から動きがある領域を検出し、前記動きがある領域の大きさが閾値以上であると判定した場合には、前記動きデータを生成しなくても良い。
【００１２】
本発明の画像再生装置は、前記第１の画像を再生する画像再生装置であって、前記記録部から前記第１の画像データと前記動きデータとを読み出し、擬似動画用の画像データを生成する第２の擬似動画生成部と、前記第２の擬似動画生成部により生成した前記擬似動画用の画像データに基づいて、擬似動画を表示する第２の表示部とを備える。
【００１３】
なお、好ましくは、前記第２の擬似動画生成部は、前記動きデータに基づいて、前記第１の画像の一部領域を差し替えた複数フレームの画像データ、および前記第１の画像データを時系列に並べ、前記擬似動画用の画像データを生成しても良い。
【００１４】
また、好ましくは、前記動きデータに基づいて、レリーズ後の被写体の動きを予測する第２の動きデータ生成部をさらに備えても良い。
【発明の効果】
【００１５】
本発明の撮像装置および画像再生装置によれば、複数の静止画像データを用いることなく、動画を表示することができる。
【発明を実施するための最良の形態】
【００１６】
（第１実施形態）
以下、図面を用いて本発明の第１実施形態について説明する。図１は、本発明の第１実施形態における撮像装置１の構成を示すブロック図である。図１に示すように、撮像装置１は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４、画像処理部５、バッファメモリ６、制御部７、表示部８、ブレ検出部９、操作部１０、記録Ｉ／Ｆ部１１、記録媒体１２、バス１３を備える。
【００１７】
撮像レンズ２は、撮像素子３の撮像面に被写体像を結像する。撮像素子３は、撮像レンズ２を通過した光束による被写体像を光電変換し、Ｒ，Ｇ，Ｂの各色に対応するアナログ画像信号を出力する。静止画像撮像モードにおいて、撮像素子３は、後述のレリーズ釦が全押しされると静止画像を撮像する。また、撮像素子３は、撮影待機時にも所定間隔毎に間引き読み出しでスルー画像を撮像する。撮像素子３の出力は、Ａ／Ｄ変換部４に接続される。Ａ／Ｄ変換部４は、撮像素子３の出力信号のＡ／Ｄ変換を行う。
【００１８】
画像処理部５は、Ａ／Ｄ変換部４から出力されたデータに各種の画像処理（ホワイトバランス調整、色補間、階調変換処理、輪郭強調処理など）を施す。また、画像処理部５は、記録媒体１２に画像データを記録する前にＪＰＥＧ形式などで圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。また、画像処理部５は、制御部７の制御により、後述する擬似動画用の画像データを生成する。
【００１９】
バッファメモリ６は、画像処理部５による画像処理の前工程や後工程で画像データを一時的に記録する。制御部７は、所定のシーケンスプログラムにしたがって、撮像装置１の統括的な制御を行うプロセッサである。また、制御部７は、スルー画像データに基づいて、後述する動きデータを生成する。表示部８は、制御部７の制御により各種の画像を表示する。表示部８に表示される各種の画像は、静止画像、後述する擬似動画、スルー画像、記録媒体１２に記録した画像、メニュー画面などを含む。
【００２０】
ブレ検出部９は、撮像装置１の縦揺れを検出する縦方向角速度センサと、撮像装置１の横揺れを検出する横方向角速度センサとを備える。なお、ブレ検出部９の出力は制御部７に接続される。操作部１０は、レリーズ釦、操作釦などを有する。レリーズ釦は、レリーズ指示の入力をユーザーから受け付ける。操作釦は、上記のメニュー画面等での操作入力をユーザから受け付ける。なお、操作部１０の状態は制御部７により検知される。記録Ｉ／Ｆ部１１は、記録媒体１２を接続するためのコネクタが形成される。そして、記録Ｉ／Ｆ部１１は、コネクタに接続された記録媒体１２に対してデータの書き込み／読み出しを実行する。
【００２１】
なお、画像処理部５、バッファメモリ６、制御部７、記録Ｉ／Ｆ部１１はそれぞれバス１３を介して相互に接続される。Ａ／Ｄ変換部４の出力はバス１３を介して画像処理部５に接続される。また、画像処理部５、記録Ｉ／Ｆ部１１の出力はそれぞれバス１３を介して表示部８に接続される。
【００２２】
図２は、撮像装置１における静止画像撮像時の制御部７の動作を示すフローチャートである。なお、制御部７は、不図示のタイマーによりスルー画像および静止画像の撮像時刻を測定する。
【００２３】
ステップＳ１で、制御部７は、静止画像撮像モードを開始する。例えば、制御部７は、撮像素子３を制御して、スルー画像の撮像を開始する。そして、制御部７は、画像処理部５を制御して、Ａ／Ｄ変換部４を通過したスルー画像の画像信号に補間処理などを施し、バッファメモリ６に記録する。その後、制御部７は、スルー画像を表示部８にライブビュー表示する。
【００２４】
ステップＳ２で、制御部７は、レリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ）には、後述するステップＳ７に移行する。一方、レリーズ釦が全押しされない場合（ＮＯ）には、ステップＳ３に移行する。
【００２５】
ステップＳ３で、制御部７は、ステップＳ１で前後して撮像した２フレームのスルー画像を比較することにより、スルー画像から動きがある領域（以下、動き領域という）を検出する。例えば、制御部７は、前後して撮像した２フレームのスルー画像について、画像間で対応する画素ごとにＲ，Ｇ，Ｂの色別に出力差を算出する。そして、制御部７は、Ｒ，Ｇ，Ｂのうち、少なくとも１つの色の出力差が閾値以上である画素で構成される領域を動き領域として検出する。前後して撮像したスルー画像の例を図３（ａ）、（ｂ）に示す。図３（ａ）のスルー画像には自動車が撮像されていないが、（ｂ）のスルー画像の右側には自動車が撮像されている。
【００２６】
ステップＳ４で、制御部７は、ステップＳ３で動き領域を検出したか否かを判定する。動き領域を検出した場合（ＹＥＳ）には、ステップＳ５に移行する。一方、動き領域を検出しなかった場合（ＮＯ）には、ステップＳ６に移行する。
【００２７】
ステップＳ５で、制御部７は、動きデータを生成する。ここで、動きデータについて説明する。動きデータは、ステップＳ３で検出した動き領域に含まれる画素の位置情報と色情報とで構成される。例えば、制御部７は、図３（ａ）に示すように、画像の横方向をＸ軸、縦方向をＹ軸とし、動き領域に含まれる画素のＸ座標およびＹ座標を算出する。制御部７は、ステップＳ３で検出した動き領域に含まれる全ての画素の動きデータを生成し、バッファメモリ６に記録する。例えば、図３（ｂ）の画素Ａの動きデータは、座標（１２０，３０）、色情報（Ｒ＝２００，Ｇ＝１０，Ｂ＝１０）と表される。
【００２８】
なお、制御部７は、ブレ検出部９により撮像装置１全体が動いていると判定した場合や、動き領域の総面積が閾値以上の場合には、動きデータを生成しない。このような場合には、手ブレが大きい場合や、ユーザが構図を検討しているなど、撮像装置１全体が動いている可能性があるためである。
【００２９】
ステップＳ６で、制御部７は、レリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ）には、ステップＳ７に移行する。一方、レリーズ釦が全押しされない場合（ＮＯ）には、ステップＳ３に戻り、順次撮像される新たなスルー画像から動き領域を検出する。これにより、レリーズ釦が全押しされるまで動きデータの生成を繰り返し、被写体の動きを追従する。なお、バッファメモリ６に占める動きデータの割合が高くならないように、制御部７は、バッファメモリ６に記録した動きデータの容量が閾値以上になった場合には、古い順に動きデータを消去しても良い。
【００３０】
ステップＳ７で、制御部７は、撮像素子３を制御して、静止画像を撮像する。そして、制御部７は、画像処理部５を制御して、静止画像データに画像処理を施すとともに、バッファメモリ６に記録する。図３（ｂ）のスルー画像に比べて自動車が左側に動いている静止画像の例を図３（ｃ）に示す。
【００３１】
ステップＳ８で、制御部７は、バッファメモリ６に動きデータが記録されているか否かを判定する。動きデータが記録されている場合（ＹＥＳ）には、ステップＳ９に移行する。一方、動きデータが記録されていない場合（ＮＯ）には、ステップＳ１０に移行する。
【００３２】
ステップＳ９で、制御部７は、バッファメモリ６からステップＳ５で記録した動きデータ、およびステップＳ７で画像処理を施した静止画像データを読み出す。そして、制御部７は、図４に示す静止画像ファイルを生成するとともに、記録媒体１２に記録する。図４に示すように、静止画像ファイルは、静止画像データと付加情報とで構成される。付加情報は、静止画像の撮像時刻、動きデータ、スルー画像の撮像時刻などである。すなわち、動きデータは、各種情報とともに静止画像データの付加情報として静止画像ファイル内に記録される。そのため、ユーザは、動きデータが静止画像ファイル内に記録されていることを意識することなく、通常の静止画像ファイルとして取り扱うことができる。また、動きデータは、上述した通り、座標と色情報とで構成される。そのため、動きデータは、画像データと比べて容量が小さく、静止画像ファイルの容量を増大しない。
【００３３】
ステップＳ８で動きデータが記録されていない場合（ＮＯ）には、ステップＳ１０で、制御部７は、バッファメモリ６からステップＳ７で画像処理を施した静止画像データを読み出す。そして、制御部７は、上述した静止画像ファイルにおいて、動きデータおよびスルー画像の撮像時刻が記録されていない静止画像ファイルを生成するとともに、記録媒体１２に記録する。
【００３４】
次に、静止画像の表示について説明する。図５は、撮像装置１における静止画像表示時の制御部７の動作を示すフローチャートである。なお、制御部７は、操作部１０を介してユーザから予め表示の対象となる静止画像の指定を受け付けることを前提とする。
【００３５】
ステップＳ２１で、制御部７は、記録媒体１２から静止画像ファイルを読み出す。
【００３６】
ステップＳ２２で、制御部７は、ステップＳ２１で読み出した静止画像ファイル内に動きデータが記録されているか否かを判定する。動きデータが記録されている場合（ＹＥＳ）には、ステップＳ２３に移行する。一方、動きデータが記録されていない場合（ＮＯ）には、後述するステップＳ２９に移行する。
【００３７】
ステップＳ２３で、制御部７は、ステップＳ２１で読み出した静止画像ファイルから静止画像データ、動きデータ、スルー画像の撮像時刻を読み出す。
【００３８】
ステップＳ２４で、制御部７は、ステップＳ２３で読み出した静止画像データおよび動きデータに基づいて、静止画像から動き領域を検出する。
【００３９】
ステップＳ２５で、制御部７は、ステップＳ２４で検出した動き領域の動きデータを生成する。例えば、制御部７は、ステップＳ２４で検出した動き領域に含まれる画素の座標および色情報を算出する。
【００４０】
ステップＳ２６で、制御部７は、図２のステップＳ７で静止画像を撮像してから所定の時間後、すなわち、レリーズから所定の時間後の動きデータを生成する。例えば、制御部７は、ステップＳ２３で読み出したスルー画像の撮像時刻に基づいて、前後して撮像した２フレームのスルー画像の撮像間隔を算出する。また、制御部７は、ステップＳ２３で読み出した動きデータに基づいて、前後する２つの動き領域間で対応する画素の座標の差分を算出することにより、動き領域の移動量を算出する。そして、制御部７は、撮像間隔、および動き領域の移動量に基づいて、単位時間あたりの動き領域の移動量を算出する。
【００４１】
その後、制御部７は、ステップＳ２５で生成した動きデータ、および単位時間あたりの動き領域の移動量に基づいて、レリーズから所定の時間後の動きデータを生成する。なお、制御部７は、レリーズから所定の時間後ごとの動きデータを生成しても良い。
【００４２】
ステップＳ２７で、制御部７は、画像処理部５を制御して、ステップＳ２３で読み出した動きデータ、およびステップＳ２６で生成した動きデータに基づいて、動き領域に対応する静止画像の一部領域を差し替えた複数フレームの画像データを生成する。そして、制御部７は、上記の複数フレームの画像データ、および静止画像データを時系列に並べ、擬似動画用の画像データを生成する。
【００４３】
ステップＳ２８で、制御部７は、ステップＳ２７で生成した擬似動画用のデータに基づいて、擬似動画を表示部８に表示する。レリーズ後における擬似動画用の画像の例を図３（ｄ）に示す。例えば、制御部７は、図３（ａ）〜（ｄ）に示すように、自動車が画像の右側から左側に動いているように見える擬似動画を表示部８に表示する。
【００４４】
ステップＳ２２で動きデータが記録されていない場合（ＮＯ）には、ステップＳ２９で、制御部７は、ステップＳ２１で読み出した静止画像ファイルから静止画像データを読み出す。
【００４５】
ステップＳ３０で、制御部７は、ステップＳ２９で読み出した静止画像データに基づいて、静止画像を表示部８に表示する。
【００４６】
以上説明したように、第１実施形態の撮像装置１は、データ量を増大することなく、スルー画像データに基づいて生成した動きデータを記録媒体１２の静止画像ファイル内に記録する。したがって、第１実施形態の撮像装置１によれば、より多くの静止画像を撮像することができる。
【００４７】
また、撮像装置１は、静止画像データと動きデータとに基づいて、擬似動画用の画像データを生成するとともに、擬似動画を表示部に表示する。したがって、第１実施形態の撮像装置１によれば、ユーザは、静止画像を撮像するだけで、レリーズ前後の被写体の動きがわかる擬似動画を見ることができる。
【００４８】
なお、第１実施形態では、レリーズ釦が全押しされると静止画像を１回撮像する例を示したが、これに限らない。例えば、レリーズ釦が全押しされる間は、静止画像を繰り返し撮像する連写モードに適用しても良い。
【００４９】
また、図２のステップＳ９で、静止画像ファイル内に動きデータを記録したが、これに限らない。例えば、静止画像データを記録するファイルと動きデータを記録するファイルとを別々に生成しても良い。なお、この場合、静止画像データを記録するファイルと動きデータを記録するファイルとを関連付けて記録媒体１２に記録する。
【００５０】
（第２実施形態）
以下、本発明の第２実施形態について説明する。本発明の第２実施形態では、第１実施形態で生成した画像のファイルの再生をコンピュータで実現する。図６は、本発明の第２実施形態におけるコンピュータ２１の構成を示すブロック図である。
【００５１】
コンピュータ２１は、制御部２２、画像処理部２３、表示部２４、キーボードやマウスなどを含む操作部２５、記録部２６、第１実施形態の撮像装置１と相互に接続可能な外部Ｉ／Ｆ部２７を備え、操作部２５を介してユーザから指示を受け付けるとともに、第１実施形態の撮像装置１から取得した画像や、記録部２６に記録した画像を表示部２４に表示する。画像処理部２３は、画像処理プログラムにより第１実施形態の撮像装置１の画像処理部５と同様の画像処理（図５のフローチャート参照）を行う。
【００５２】
第２実施形態のコンピュータ２１によれば、第１実施形態と同様の処理を実施するため、擬似動画を再生することができる。
【図面の簡単な説明】
【００５３】
【図１】本発明の第１実施形態における撮像装置１の構成を示すブロック図である。
【図２】撮像装置１における静止画像撮像時の制御部７の動作を示すフローチャートである。
【図３】画像の例を示す図である。
【図４】動きデータが記録された静止画像ファイルの例を示す図である。
【図５】撮像装置１における静止画像表示時の制御部７の動作を示すフローチャートである。
【図６】本発明の第２実施形態におけるコンピュータ２１の構成を示すブロック図である。
【符号の説明】
【００５４】
１…撮像装置、３…撮像素子、５…画像処理部、７…制御部、８…表示部、９…ブレ検出部、１２…記録媒体、２１…コンピュータ、２２…制御部、２３…画像処理部、２４…表示部
【図１】
2009284411.tif 000003
【図２】
2009284411.tif 000004
【図３】
2009284411.tif 000005
【図４】
2009284411.tif 000006
【図５】
2009284411.tif 000007
【図６】
2009284411.tif 000008