(57)【要約】  【課題】  動画像撮像中に撮像した静止画像を動画像と共に表示できる画像処理装置および画像処理方法提供する。  【解決手段】  表示用メモリ６１内に撮像中の動画像を親画面として書き込み、その間に静止画像が撮像されると、所定の領域内に撮像した静止画像を上書きする。静止画像が書き込まれていない領域では、動画像が順次更新される。静止画像は所定の時間経過後に、動画像で上書きする。【選択図】  図２
2006246173.tif 000002
【特許請求の範囲】
【請求項１】
撮像中の動画像をディスプレイに表示する第１の工程と、
前記第１の工程で前記ディスプレイに前記動画像を表示中に静止画撮像指示を受けると、前記静止画撮像指示に応じて撮像した静止画像を、前記撮像中の前記動画像と同時に前記ディスプレイに表示する第２の工程と
を有する画像処理方法。
【請求項２】
前記第２の工程は、
前記撮像中の動画像の動画像データを表示用メモリ内の第１の記憶領域に順に書き込み、前記静止画撮像指示に応じて撮像した前記静止画像の静止画像データを前記表示用メモリ内の第２の記憶領域に書き込み、前記表示用メモリ内の前記１の記憶領域のうち前記第２の記憶領域以外の記憶領域に、前記静止画像を撮像した後に撮像した前記動画像データを順に上書きする
請求項１に記載の画像処理方法。
【請求項３】
撮像画像をディスプレイに表示する画像処理装置であって、
撮像中の動画像を前記ディスプレイに表示し、静止画が撮像されると、当該撮像された静止画を、前記動画像と同時に前記ディスプレイに表示する画像処理手段
を有する画像処理装置。
【請求項４】
前記ディスプレイと、
被写体からの入射光を受光素子に結像して画像データを生成する撮像手段と、
静止画撮像指示を入力する入力手段と、
前記ディスプレイに表示する画像の画像データを記憶する表示メモリと
をさらに有し、
前記画像処理手段は、
前記撮像手段が生成している前記画像データを動画像データとして前記表示用メモリ内の第１の記憶領域に順に書き込み、前記入力手段が前記静止画撮像指示を入力すると、当該入力したタイミングで前記撮像手段が生成した前記画像データを静止画像データとして前記表示用メモリ内の第２の記憶領域に書き込み、前記撮像手段が前記静止画像データを生成した後に生成した前記動画像データを前記表示用メモリ内の前記１の記憶領域のうち前記第２の記憶領域以外の記憶領域に順に上書きする
請求項３に記載の画像処理装置。
【請求項５】
画像データを記録する記録媒体
をさらに有し、
前記画像処理手段は、前記入力手段が入力した動画像録画指示により動画像録画状態であると、前記撮像手段が生成した前記画像データを動画像データとして前記記録媒体に書き込み、前記入力手段が前記静止画撮像指示を入力すると、当該入力したタイミングで前記撮像手段が生成した前記画像データを静止画像データとして前記記録媒体に書き込み、前記記録媒体に記録した前記静止画像データと、前記記録媒体に記録した前記動画像データ内での前記静止画像データが対応する位置を特定する対応データを前記記録媒体に書き込む
請求項４に記載の画像処理装置。
【請求項６】
前記撮像手段が生成した前記動画像データおよび前記静止画像データの表示サイズをそれぞれ縮小して縮小動画像データおよび縮小静止画像データを生成するサイズ縮小手段
をさらに有し、
前記画像処理手段は、
前記撮像手段が生成した前記動画像データおよび前記静止画像データと、前記サイズ縮小手段が生成した前記縮小動画像データおよび前記縮小静止画像データとを前記表示メモリに書き込み、
前記ディスプレイへの指定された表示パターンに応じてアドレスパターンで、前記表示メモリから画像データを読み出して前記ディスプレイに出力する
請求項４に記載の画像処理装置。
【請求項７】
動画像データおよび静止画像データを再生し、再生画像をディスプレイに表示する第１の工程と、
前記第１の工程で前記動画像データを再生して前記ディスプレイに表示中に、前記静止画像データを表示する条件を満たしたか否かを判断する第２の工程と、
前記第２の工程で前記条件を満たしたと判断すると、前記静止画像データを再生し、前記動画像データに応じた動画像と、前記静止画像データに応じた静止画像とを同時に表示する第３の工程と
を有する画像処理方法。
【請求項８】
動画像データおよび静止画像データを再生し、再生画像をディスプレイに表示する再生手段と、
前記再生手段が前記動画像データを再生して前記ディスプレイに表示中に、前記静止画像データを表示する条件を満たしたと判断すると、前記再生手段に前記静止画像データを再生させ、前記動画像データに応じた動画像と、前記静止画像データに応じた静止画像とを前記ディスプレイに同時に表示させる画像処理手段と
を有する画像処理装置。
【請求項９】
前記画像処理手段は、前記動画像データ内の所定位置と前記静止画像データとを対応付けた管理データを基に、前記動画像データの前記所定位置が再生されるタイミングで、前記所定位置に対応付けられた前記静止画像データに応じた静止画像を前記動画像と同時に前記ディスプレイに表示する
請求項８に記載の画像処理装置。
【請求項１０】
前記画像処理手段は、前記管理データを基に、前記動画像データの再生中の再生位置と前記所定位置との間の位置関係を示す案内画像を前記ディスプレイに表示する
請求項９に記載の画像処理装置。
【請求項１１】
前記画像処理手段は、
前記動画像データを縮小処理して縮小動画像データを生成し、前記静止画像データを縮小処理して縮小静止画像データを生成し、前記動画像データ、前記静止画像データ、前記縮小動画像データ、並びに前記縮小静止画像データを表示メモリに書き込み、
前記ディスプレイ表示時に、前記表示メモリから読み出しを行うアドレスを制御して、前記動画像データに応じた動画像と前記縮小静止画像データに応じた縮小静止画像とを同時に前記ディスプレイに表示する第１の表示処理と、前記縮小動画像データに応じた縮小動画像と前記縮小静止画像データに応じた縮小静止画像とを同時に前記ディスプレイに表示する第２の表示処理と、前記静止画像データに応じた静止画像と前記縮小動画像データに応じた縮小動画像とを同時に前記ディスプレイに表示する第３の表示処理との何れかの処理を行う
請求項９に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像中の動画像と静止画像とを表示する画像処理方法および画像処理装置に関する。
【背景技術】
【０００２】
従来、動画像と静止画像を同時に撮影することが可能な撮影装置が提案されている。このような撮影装置では、動画像撮影中に印象的なシーンを静止画像として、動画像撮影を途切れさせることなく記録することが可能である。
これらの撮影装置には液晶パネル等の表示装置が付属しており、この表示装置を利用して撮影中の被写体確認や撮影した静止画像の画質確認などを行っている。
【特許文献１】特開２００３−１５８６８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、動画像と静止画像を同時に撮影した場合、従来の撮影装置では静止画像と動画像を排他的に表示されるので、動画像撮影中は動画像のみ表示されて静止画像の画質確認ができなかったり、逆に、静止画像のみが数秒間表示されるので動画像の被写体確認ができないといった使用感の悪さがあった。
また、再生時においても動画像と静止画像は排他的に表示されているために、同時記録の機能を活かした魅力的な再生方法は提案されていない。
【０００４】
本発明は、このような従来技術の問題点を解決するものであり、動画像撮像中に撮像した静止画像を動画像と共に表示できる画像処理方法および画像処理装置を提供することを目的とする。
また、本発明は、動画像と静止画像を同時に再生表示できる画像処理方法および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の観点の発明の画像処理方法は、撮像中の動画像をディスプレイに表示する第１の工程と、前記第１の工程で前記ディスプレイに前記動画像を表示中に静止画撮像指示を受けると、前記静止画撮像指示に応じて撮像した静止画像を、前記撮像中の前記動画像と同時に前記ディスプレイに表示する第２の工程とを有する。
【０００６】
第２の観点の発明の画像処理装置は、撮像画像をディスプレイに表示する画像処理装置であって、撮像中の動画像を前記ディスプレイに表示し、静止画が撮像されると、当該撮像された静止画を、前記動画像と同時に前記ディスプレイに表示する画像処理手段を有する。
【０００７】
第３の観点の発明の画像処理方法は、動画像データおよび静止画像データを再生し、再生画像をディスプレイに表示する第１の工程と、前記第１の工程で前記動画像データを再生して前記ディスプレイに表示中に、前記静止画像データを表示する条件を満たしたか否かを判断する第２の工程と、前記第２の工程で前記条件を満たしたと判断すると、前記静止画像データを再生し、前記動画像データに応じた動画像と、前記静止画像データに応じた静止画像とを同時に表示する第３の工程とを有する。
【０００８】
第４の観点の発明の画像処理装置は、動画像データおよび静止画像データを再生し、再生画像をディスプレイに表示する再生手段と、前記再生手段が前記動画像データを再生して前記ディスプレイに表示中に、前記静止画像データを表示する条件を満たしたと判断すると、前記再生手段に前記静止画像データを再生させ、前記動画像データに応じた動画像と、前記静止画像データに応じた静止画像とを前記ディスプレイに同時に表示させる画像処理手段とを有する。
【発明の効果】
【０００９】
本発明によれば、動画像撮像中に撮像した静止画像を動画像と共に表示できる画像処理方法および画像処理装置を提供することができる。
また、本発明によれば、動画像と静止画像を同時に再生表示できる画像処理方法および画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態に係わる撮影装置について説明する。
＜第１実施形態＞
以下、本発明の第１実施形態を説明する。
先ず、本実施形態の構成要素と、本発明の構成要素との対応関係を説明する。
ディスプレイ６３が本発明のディスプレイの一例であり、カメラモジュール１０が本発明の撮像手段の一例であり、操作部６７が本発明の入力手段の一例であり、表示用メモリ６１が本発明の表示メモリの一例である。
また、制御回路６５等が本発明の画像処理手段の一例である。
【００１１】
図１は、本発明の第１実施形態に係わる撮影装置１の全体構成図である。
図１に示すように、撮影装置１は、例えば、カメラモジュール１０、信号処理部２１、フレームメモリ２３、静止画圧縮部２５、静止画解凍部２７、ストレージ３１、解像度変換部３３、動画圧縮部３５、動画解凍部３７、セレクタ４１、セレクタ４３、解像度変換部４５、セレクタ５１、解像度変換部５３、セレクタ５５、表示用メモリ６１、ディスプレイ６３、制御回路６５、並びに操作部６７を有する。
撮影装置１の各構成は、電子回路によって実現してもよいし、制御回路６５やその他の演算回路がプログラムを実行することで実現してもよい。
【００１２】
図１に示す撮影装置１では、カメラモジュール１０で動画像撮像中にその動画像データを表示用メモリ６１に順次書き込む。
そして、ユーザが操作部６７を操作して静止画シャッターボタンを操作すると、カメラモジュール１０で撮像された静止画像データを表示用メモリ６１に上書きする。
カメラモジュール１０で生成した動画像データおよび静止画像データは、ユーザの設定に応じて解像度変換部５３でサムネイル画像に変換された後に表示用メモリ６１に書き込まれる。
【００１３】
［カメラモジュール１０］
カメラモジュール１０は、例えば、レンズ１１、アイリス１２、シャッター１３、撮像素子１４、サンプリング回路１５、並びにＡ／Ｄ変換回路１６を有する。
レンズ１１は、撮像対象からの光を入射してアイリス１２に出射する。
アイリス１２は、レンズ１１から入射した光を絞ってシャッター１３に出射する。
シャッター１３は、図示しない露出制御部からの制御に基づいて、所定の時間（シャッター時間）だけ開口する。
シャッター１３は、開口時に、アイリス１２から入射した光を撮像素子１４に結像させる。
【００１４】
撮像素子１４は、CCD(Charge Coupled Device)やCMOS（Complementary Mental Oxide Semiconductor）等を用いて構成され、シャッター１３を介して入射した被写体の光を結像（受光）する。
撮像素子１４は、撮像面上の各受光素子に到達した受光量を光電変換により電気信号に変換し、その電気信号に変換された画像信号をサンプリング回路１５に出力する。
撮像素子１４は、例えば、単板センサであり、サンプリング回路１５に出力する電気信号は、１画素につきＲ信号、Ｇ信号、Ｂ信号のうちのいずれか１個の色信号（データ）である。
【００１５】
サンプリング回路１５は、撮像素子１４から供給される画像信号（電気信号）のノイズ成分を、例えば、相関２重サンプリングにより除去し、Ａ／Ｄ変換回路１６に供給する。
Ａ／Ｄ変換回路１６は、サンプリング回路１５から入力した画像信号をA/D変換、即ち、サンプリングして量子化する。その後、Ａ／Ｄ変換回路１６は、内蔵するシフト回路によって、適正露出以下の暗い画像であるA/D変換後の画像データを、例えば、ｎビットシフトすることなどによってＭｋ倍することにより、適正露出と同一の明るさ（値）の画像データに変換（ゲインアップ）する。
【００１６】
信号処理部２１は、Ａ／Ｄ変換回路１６から入力した画像データを画像処理して静止画像データ（フレームデータ）ＳＩを生成する。
信号処理部２１は、上記生成した静止画像データＳＩをフレームメモリ２３に書き込む。
また、信号処理部２１は、上記生成した静止画像データＳＩを解像度変換部３３に出力する。
【００１７】
静止画圧縮部２５は、フレームメモリ２３から読み出した静止画像データＳＩを可逆圧縮あるいは非可逆圧縮処理してストレージ３１に書き込む。
静止画解凍部２７は、ストレージ３１から読み出した圧縮された静止画像データを解凍して静止画像データＳＩ１を生成し、これをセレクタ４３に出力する。
本実施形態において、静止画圧縮部２５および静止画解凍部２７は、例えば、ＪＰＥＧ(Joint Photographic Experts Group)による圧縮・解凍処理を行う。
【００１８】
ストレージ３１は、例えば、フラッシュメモリやハードディスクなどの記録媒体である。
解像度変換部３３は、信号処理部２１から入力した静止画像データＳＩをＨＤ(High Definition)サイズあるいはＳＤ(Standard Definition)サイズの動画像データＩＭに変換する。
解像度変換部３３は、動画像データＩＭを動画圧縮部３５およびセレクタ４１に出力する。
【００１９】
動画圧縮部３５は、解像度変換部３３から入力した動画像データＩＭを可逆圧縮あるいは非可逆圧縮処理してストレージ３１に書き込む。
動画解凍部３７は、ストレージ３１から読み出した圧縮された動画像データを解凍して動画像データＩＭ１を生成し、これをセレクタ４１に出力する。
本実施形態において、動画圧縮部３５および動画解凍部３７は、例えば、ＭＰＥＧ(Moving Picture Experts Group)による圧縮・解凍処理を行う。
【００２０】
セレクタ４１は、制御回路６５からの制御信号に基づいて、解像度変換部３３からの動画像データＩＭと、動画解凍部３７からの動画像データＩＭ１とのうち一方を選択して動画像データＩＭ２としてセレクタ５１に出力する。
セレクタ４１は、制御信号によっては、動画像データＩＭ，ＩＭ１のどちらも選択しない場合もある。
セレクタ４３は、フレームメモリ２３から読み出された静止画像データＳＩと、静止画解凍部２７から入力した静止画像データＳＩ１とのうち一方を選択して解像度変換部４５に出力する。
セレクタ４３は、制御信号によっては、静止画像データＳＩ，ＳＩ１のどちらも選択しない場合もある。
【００２１】
解像度変換部４５は、セレクタ４３から入力した静止画像データをＨＤサイズあるいはＳＤサイズに変換して静止画像データＳＩ２を生成し、これをセレクタ５１およびセレクタ５５に出力する。
セレクタ５１は、制御回路６５からの制御信号に基づいて、セレクタ４１から入力した動画像データＩＭ２と、解像度変換部４５から入力した静止画像データＳＩ２とのうち一方を選択して解像度変換部５３に出力する。
なお、セレクタ５１は、制御信号によっては、動画像データＩＭ２および静止画像データＳＩ２のどちらも選択しない場合もある。
解像度変換部５３は、セレクタ５１から入力した動画像データＩＭ２あるいは静止画像データＳＩ２をサムネイルサイズに変換して表示用メモリ６１に書き込む。
【００２２】
セレクタ５５は、制御回路６５からの制御信号に基づいて、セレクタ４１から入力した動画像データＩＭ２と、解像度変換部４５から入力した静止画像データＳＩ２とのうち一方を選択して表示用メモリ６１に書き込む。
なお、セレクタ５５は、制御信号によっては、動画像データＩＭ２および静止画像データＳＩ２のどちらも選択しない場合もある。
【００２３】
表示用メモリ６１は、制御回路６５の制御に応じて、セレクタ５１が出力した画像データと、セレクタ５５が出力した画像データとを所定のアドレスに書き込む。
表示用メモリ６１に記憶された画像データに応じた画像（画面）が、ディスプレイ６３に出力されて表示される。
表示用メモリ６１には、例えば、セレクタ５５から出力された画像データ（動画像データあるいは静止画像データ）が親画面として書き込まれ、セレクタ５１から出力された画像データ（動画像データあるいは静止画像データ）が子画面として書き込まれる。
【００２４】
制御回路６５は、図示しないメモリに記憶されたプログラムに従って、図１に示す撮影装置１の各構成要素を統括的に制御する。
制御回路６５は、撮影装置１の構成要素に制御信号を出力し、以下に示す撮影装置１の動作を制御する。
操作部６７は、静止画シャッターボタン、動画録画指示ボタンなどの操作手段である。
操作部６７は、ユーザによって操作され、当該操作に応じた操作信号を制御回路６５に出力する。
制御回路６５は、操作部６７からの操作信号に基づいて、各種の処理を行う。
【００２５】
撮影装置１では、制御回路６５による制御によって、表示用メモリ６１に親画面の画像データに上書して子画面の画像データが書き込まれる。これにより、親画面に子画面を重ねた状態で表示できる。
親画面と子画面を重ね合わせる方法としては、例えば、上述したように、制御回路６５によって、表示用メモリ６１内に配置された親画面の任意アドレス領域を子画面のデータで上書きして重ね合わせる。
この場合には、制御回路６５は、図２（Ａ）に示すように、セレクタ５５で選択された親画面となる動画像データＩＭ２を水平方向サイズ（H0）と垂直方向サイズ(V0)、書き込み先頭アドレス（ＡＤＲ0）の情報をもとにして表示用メモリ６１に書き込む。
その後、制御回路６５は、同様の方法で、図２（Ｂ），図２（Ｃ）に示すように、セレクタ５１で選択された子画面となる静止画像データＳＭ２を前述の動画像データＩＭ２の記憶領域内に表示枚数分上書きすることで、親画面と子画面が重なった１枚のフレームデータが作成できる。
このフレームデータを、図２（Ｄ）に示すように、表示用メモリ６１から１枚の画像として順にディスプレイ６３に読み出すことで動画像と静止画像が重なった画像を表示できる。
【００２６】
別の例として、制御回路６５は、図３（Ａ）に示すように、図１に示すセレクタ４１，４３，５１，５５を順次切り換えて、解像度変換部５３によるサムネイル処理を用いて、静止画像データおよび動画像データの各々を親画面と子画面として表示用メモリ６１の異なる記憶領域に書き込む。
その後、制御回路６５は、親画像と子画像それぞれの水平方向サイズ（H0）、垂直方向サイズ(V0)、書き込み先頭アドレス情報をもとに、図３（Ｂ）に示すように、表示用メモリ６１からの画像データのリードアドレスを制御してライン毎に画像をブレンドすることで、図３（Ｃ）に示すように、動画像と静止画像が重なった画像を表示できる。
【００２７】
以下、撮影装置１の動画撮像時におけるディスプレイ６３の画面表示例を説明する。
先ず、撮影装置１は、制御回路６５の制御により、図４（Ａ）に示すように、撮像中の動画像データに応じた動画像を表示している。
この状態で、ユーザが操作部６７を操作して静止画シャッターボタンを操作して、静止画撮像指示が入力されると、制御回路６５は、図４（Ｂ）に示すように、静止画撮像指示を入力したタイミングで撮影した静止画像をディスプレイ６３に子画面として表示する。
ここで、子画面の表示位置や大きさはユーザが任意に選択することが可能であり、例えば、図４（Ｂ）〜図４（Ｅ）などの位置に表示される。
【００２８】
制御回路６５は、上記静止画像を子画面として表示した後、任意の時間が経過すると、図４（Ｆ）に示すように、当該子画面の表示を消去する。
【００２９】
また、制御回路６５は、動画像と静止画像の親子画面割り当ても任意に制御できる。
例えば、制御回路６５は、図５（Ａ）に示すように、動画像をディスプレイ６３に表示中に静止画像撮像指示を入力すると、図５（Ｂ）〜図５（Ｅ）のいずれかのように、それまで表示していた動画像を子画面として表示し、撮影した静止画像が親画面として全面表示してもよい。
この場合も、子画面の位置や大きさはユーザが任意に選択することが可能である。また、画面表示が図５（Ｆ）に示すように、元に戻るまでの時間も任意に選択することが可能である。
【００３０】
また、制御回路６５は、連写モードで静止画像撮像指示を入力した場合には、図６（Ａ）に示す動画像を親画面として表示中に、図６（Ｂ）に示すように、連写した複数の静止画像を順番に次々と子画面表示する。
このとき、制御回路６５は、ユーザが任意に設定した内容に応じて、子画面の並びを決定する。制御回路６５は、例えば、図６（Ｂ）に示すように、ディスプレイ６３の画面左上から右下に向かって順番に配置したり、親画面の外枠に沿って時計回りに並べたりすることができる。
また、制御回路６５は、図６（Ｃ），図６（Ｄ）に示すように、表示された子画面を選択することで子画面内の静止画像と親画面の動画像を入れ替えてディスプレイ６３に表示してもよい。一定時間経過すると、制御回路６５は、図６（Ｅ）に示すように、元の画像を表示する。
また、制御回路６５は、動画撮影時以外のモニタリング中でも、動画像と同様にモニタリング画像と静止画像を前記の方法で同時に表示することが可能である。これにより、図６（Ｆ）に示すように、連写中でも被写体を表示デバイスで確認しながら撮影することが可能となる。
【００３１】
以下、撮影装置１の動作例を説明する。
当該動作例では、動画像を撮像中に、静止画撮像指示を入力した場合を説明する。
図７は、当該動作例を説明するためのフローチャートである。
以下、図７に示す各ステップを説明する。
ステップＳＴ１１：
制御回路６５は、例えば、操作部６７からの動画録画指示に応じて、カメラモジュール１０が撮像して信号処理部２１が生成した静止画像データＳＩを解像度変換部３３に出力する。
解像度変換部３３は、静止画像データＳＩの解像度を変換して動画像データＩＭを生成し、これを動画圧縮部３５およびセレクタ４１に出力する。
動画圧縮部３５は、動画像データＩＭを圧縮してストレージ３１に書き込む。
また、セレクタ４１，５５が、動画像データＩＭ２を選択して表示用メモリ６１に親画面用に書き込む。
これにより、ディスプレイ６３には、撮像中に動画像データに応じた動画像が親画面として表示される。
【００３２】
ステップＳＴ１２：
制御回路６５は、操作部６７からの操作信号を基に、静止画シャッターボタンが操作されたか、すなわち静止画撮像指示を入力したか否かを判断し、入力したと判断するとステップＳＴ１３に進み、そうでない場合にはステップＳＴ１１に戻る。
【００３３】
ステップＳＴ１３：
制御回路６５は、静止画シャッターボタンが操作されたタイミングでカメラモジュール１０が撮像して信号処理部２１が生成した静止画像データＳＩを、フレームメモリ２３から読み出してセレクタ４３で選択させる。
解像度変換部４５は、セレクタ４３から入力した静止画像データＳＩをサイズ変換して静止画像データＳＩ２を生成し、これをセレクタ５１に出力する。
セレクタ５１は、静止画像データＳＩ２を選択して解像度変換部５３に出力する。
解像度変換部５３は、静止画像データＳＩ２をサムネイルに変換して表示用メモリ６１に子画面として書き込む。
このとき、表示用メモリ６１において、静止画像データＩＳ２は、動画像データＩＭ２に上書きされる。
また、このとき、制御回路６５は、上述した処理と並行して、撮像中の動画像データＩＭ２を表示用メモリ６１に書き込む処理、動画像データＩＭをストレージ３１に書き込む処理を並行して行う。
また、制御回路６５は、撮像した静止画像データＳＩをストレージ３１に書き込む処理も行う。
【００３４】
ステップＳＴ１４：
制御回路６５は、動画像データＩＭ内の上述した静止画シャッターボタンが操作された位置（あるいは、タイミングや静止画像データ）を特定し、当該タイミングと上記撮像した静止画像データＳＩとの対応関係を所定の管理テーブルデータＴＢＬに追加する。
本実施形態において、管理テーブルデータＴＢＬは、フレームメモリ２３あるいはストレージ３１に記憶される。
【００３５】
以上説明したように、撮影装置１によれば、動画撮像中に静止画を撮像した場合に、動画像と同時にその撮像した静止画をディスプレイ６３に自動的に表示できる。
これにより、ユーザは、自ら画面を切り換える操作を行うことなく、撮像中の動画を確認しながら、撮像した静止画像を確認できる。
そのため、撮影装置１によれば、撮影中の動画像の確認と同時撮影した複数枚の静止画像の画質確認を同時に行えることにより、動画の撮影ミスを防ぎつつ、失敗した静止画像をストレージに格納する前に消去可能となる。
また、撮影装置１によれば、図６に示すように、モニタリング中の画像と複数枚の静止画像を同時に表示できるので、静止画連射時でも動きのある被写体を表示デバイスで追跡して撮影することが可能となり、静止画撮影ミスを抑えられる。
また、撮影装置１によれば、親子画面表示により、動画撮影中に静止画を撮影したことが感覚的に分かり易いので、ユーザーの操作ミスを抑えられる。
また、撮影装置１によれば、動画像と静止画像をリンクさせて保存できるので、撮影後の管理が簡単である。
【００３６】
＜第２実施形態＞
上述した実施形態では、動画像撮像中における撮影装置１の動作を説明した。
本実施形態では、ストレージ３１に記録した動画像データおよび静止画像データの再生時の撮影装置１の動作を説明する。
上述した第１実施形態の図７に示すステップＳＴ１４において説明したように、撮影装置１では、動画像録画中に静止画像を撮像した場合に、制御回路６５は、動画像データＩＭ内の静止画シャッターボタンが操作された位置を特定し、当該タイミングと上記撮像した静止画像データＳＩとの対応関係を所定の管理テーブルデータＴＢＬに追加する。
撮影装置１は、管理テーブルデータＴＢＬに基づいて、動画像データの再生中に静止画像データを自動的に再生してディスプレイ６３に表示する。
例えば、図１に示す制御回路６５は、図８に示すように、動画像データＩＭ２を親画面として表示中に、タイムバー画像９０を表示する。
タイムバー画像９０は、例えば、図８中横方向を時間軸として、再生中に動画像データＩＭ２の全再生時間内における再生中にタイミングを示すカレントタイミング指示画像Ｍを含む。
また、タイムバー画像９０は、動画像データＩＭ２内の何れの位置（タイミング）で静止画像データＳＩが撮像されたかを示す静止画タイミング指示画像Ｓ１，Ｓ２，．．．を含む。
図８の例では、動画像データＩＭ２の録画中に、２枚の静止画像データＳＩが撮像され、その撮像タイミングが、静止画タイミング指示画像Ｓ１，Ｓ２によって表示されている。
【００３７】
ユーザは、ディスプレイ６３に表示された図８の画面を見ることで、動画像データの現在の再生タイミングに対してどのタイミングで、静止画像データが記録されているかを容易に特定できる。
【００３８】
以下、図１に示す撮影装置１において、ストレージ３１に記録された動画像データＩＭおよび静止画像データＳＩを同時に再生する動作例を説明する。
図９は、当該動作例を説明するためのフローチャートである。
以下、図９に示す各ステップを説明する。
ステップＳＴ３１：
制御回路６５は、ストレージ３１から動画解凍部３７に動画像データを読み出す。
動画解凍部３７は、動画像データを解凍して動画像データＩＭ１を生成し、これをセレクタ４１に出力する。
その後、セレクタ４１およびセレクタ５５が、動画像データＩＭ２（ＩＭ１）を選択して、動画像データＩＭ２が表示用メモリ６１に書き込まれ、動画像がディスプレイ６３に親画面として表示される。
【００３９】
ステップＳＴ３２：
制御回路６５は、フレームメモリ２３あるはストレージ３１から読み出した管理テーブルデータＴＢＬを基に、ステップＳＴ３１で行っている動画像データの再生タイミングに対応した静止画像データが存在するか否かを判断する。
制御回路６５は、静止画像データが存在すると判断するとステップＳＴ３３に進み、そうでない場合にはステップＳＴ３１に戻る。
【００４０】
制御回路６５は、管理テーブルデータＴＢＬを基に、動画像データの再生中のタイミングに対応付けられた静止画像データを特定し、その静止画像データをストレージ３１から静止画解凍部２７に読み出す。
静止画解凍部２７は、上記読み出された静止画像データを伸張して静止画像データＳＩ１を生成し、これをセレクタ４３に出力する。
セレクタ４３は、静止画像データＳＩ１を選択して解像度変換部４５に出力する。
解像度変換部４５は、静止画像データＳＩ１のサイズを変換して静止画像データＳＩ２を生成し、これをセレクタ５１に出力する。
セレクタ５１は、静止画像データＳＩ２を選択して解像度変換部５３に出力する。
解像度変換部５３は、静止画像データＳＩ２のサムネイル画像を生成し、子画面として動画像データに上書きして表示用メモリ６１に書き込む。
これにより、図８（Ｂ），（Ｃ）に示すように、親画面として再生中の動画像が表示され、子画面として再生タイミングの静止画像が表示される。
【００４１】
図８に示す画面表示において、子画面の表示位置や大きさ、表示時間はユーザーが任意に設定できる。
また、制御回路６５は、図８に示す動画像と静止画像として、静止画像の表示タイミングにおいて、例えば、再生中の動画像および静止画像の双方の子画面として表示してもよいし、静止画像を親画面として表示し、動画像を子画面として表示してもよい。
【００４２】
以上説明したように、撮影装置１によれば、動画像の再生中に、再生タイミングの動画像に対応して撮像された静止画像を子画面に自動的に表示できる。
これにより、撮影装置１によれば、動画像と静止画像をリンクさせて再生可能になり、従来にはなかった魅力的な再生方法が可能となる。
【００４３】
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
例えば、本実施形態で説明した撮影装置１の表示画面は一例であり、静止画像の撮像あるいは再生タイミングにおいて、動画像と静止画像とを同時に表示するものであれば特に限定されない。
【図面の簡単な説明】
【００４４】
【図１】図１は、本発明の第１実施形態の撮影装置の構成図である。
【図２】図２は、撮像時における表示用メモリの記憶状態を説明するための図である。
【図３】図３は、図２に示す表示用メモリの記憶状態の変形例を説明するための図である。
【図４】図４は、動画撮像中に静止画を撮像した場合のディスプレイの画面表示の一例を説明するための図である。
【図５】図５は、動画撮像中に静止画を撮像した場合のディスプレイの画面表示のその他の例を説明するための図である。
【図６】図６は、動画撮像中に静止画を撮像した場合のディスプレイの画面表示のその他の例を説明するための図である。
【図７】図７は、図１に示す撮影装置の撮像時の動作例を説明するためのフローチャートである。
【図８】図８は、本発明の第２実施形態において、図１に示す撮影装置がディスプレイに表示する再生動作時の画面を説明するための図である。
【図９】図９は、本発明の第２実施形態における図１に示す撮影装置の再生動作を説明するためのフローチャートである。
【符号の説明】
【００４５】
１０…カメラモジュール、１１…レンズ、１２…アイリス、１３…シャッター、１４…撮像素子、１５…サンプリング回路、１６…Ａ／Ｄ変換回路、２１…信号処理部、２３…フレームメモリ、２５…静止画圧縮部、２７…静止画解凍部、３１…ストレージ、３３…解像度変換部、３５…動画圧縮部、３７…動画解凍部、４１…セレクタ、４３…セレクタ、４５…解像度変換部、５１…セレクタ、５３…解像度変換部、５５…セレクタ、６１…表示用メモリ、６３…ディスプレイ、６５…制御回路、６７…操作部
【図１】
2006246173.tif 000003
【図２】
2006246173.tif 000004
【図３】
2006246173.tif 000005
【図４】
2006246173.tif 000006
【図５】
2006246173.tif 000007
【図６】
2006246173.tif 000008
【図７】
2006246173.tif 000009
【図８】
2006246173.tif 000010
【図９】
2006246173.tif 000011