(57)【要約】【課題】  ユーザーが意識して切り替えなくても動画撮像中に静止画を撮像したタイミングで、動画再生中に静止画データを表示させられる画像記録再生装置を提供する。【解決手段】  データ保持部２０９から読み出されたデータは、分離部３０１において動画データ、静止画データ、静止画情報に分離され、それぞれ、動画符号部３０３、静止画復号部３０４、静止画情報指示部３０２に供給される。動画符号部３０３および静止画復号部３０４で復号された動画データおよび静止画データは、静止画情報に基づいた静止画情報指示部３０２から指示によって選択部３１１で選択される。選択された動画データまたは静止画データの一方が表示制御部３６に供給される。【選択図】  図４
2006222771.tif 000002
【特許請求の範囲】
【請求項１】
動画像を撮像して動画データを生成する動画撮像手段と、
静止画像を撮像して静止画データを生成する静止画撮像手段と、
前記動画データと前記静止画データとを撮像時刻によって関連付けた静止画情報を生成する静止画情報生成手段と、
前記動画データと前記静止画データと前記静止画情報とを記録媒体に記録する記録手段と
を具備することを特徴とする画像記録装置。  
【請求項２】
前記記録手段において、前記静止画情報をビデオオブジェクトユニット中に含まれる追加記録情報として記録することを特徴とする請求項１に記載の画像記録装置。
【請求項３】
前記静止画情報は、前記静止画データのファイル識別子と静止画を撮像した静止画撮像時刻とを対応付けた情報を含むことを特徴とする請求項１に記載の画像記録装置。
【請求項４】
動画データと静止画データとを撮像時刻によって関連付けた静止画情報に基づいて表示すべき前記動画データまたは前記静止画データの指示をする静止画情報指示手段と、
前記静止画情報指示手段からの指示に基づいて表示すべき前記動画データまたは前記静止画データを選択する選択手段と、
前記選択手段によって選択された前記動画データまたは前記静止画データを表示させる表示制御手段と
を具備することを特徴とする画像再生制御装置。
【請求項５】
前記静止画データを表示させる時間を設定する表示時間設定手段をさらに具備し、
前記選択手段は、前記表示時間設定手段によって設定された時間に相当する期間前記静止画データを選択することを特徴とする請求項４に記載の画像再生制御装置。
【請求項６】
表示させる前記静止画データを設定する静止画表示設定手段をさらに具備し、
前記選択手段は、前記静止画表示設定手段によって設定された前記静止画データを対象として選択を行うことを特徴とする請求項４に記載の画像再生制御装置。
【請求項７】
前記静止画データを表示させる際に画像エフェクトデータを前記静止画データに重ねて表示させる第１の重ね合わせ手段をさらに具備することを特徴とする請求項４に記載の画像再生制御装置。
【請求項８】
前記静止画データを表示中に前記画像エフェクトデータを前記静止画データに重ねて表示させる第２の重ね合わせ手段をさらに具備することを特徴とする請求項４に記載の画像再生制御装置。
【請求項９】
前記静止画情報は、ビデオオブジェクトユニット中に含まれる追加記録情報であることを特徴とする請求項４に記載の画像再生制御装置。
【請求項１０】
前記静止画情報は、前記静止画データのファイル識別子と静止画を撮像した静止画撮像時刻とを対応付けた情報を含むことを特徴とする請求項４に記載の画像再生制御装置。
【請求項１１】
前記動画データに同期した音声データを再生させる音声制御手段をさらに具備することを特徴とする請求項４に記載の画像再生制御装置。
【請求項１２】
前記静止画データを表示させる際に音声エフェクトデータを所定時間供給する音声エフェクト供給手段をさらに具備することを特徴とする請求項１１に記載の画像再生制御装置。
【請求項１３】
前記静止画データを表示させている間に前記音声データを供給するか否かを指示する音声信号指示手段と、
前記音声信号指示手段による指示に応じて前記音声データの切替えを行う音声切替手段と
をさらに具備することを特徴とする請求項１１に記載の画像再生制御装置。
【請求項１４】
動画データと静止画データとを撮像時刻によって関連付けた静止画情報に基づいて表示すべき前記動画データまたは前記静止画データの指示をする静止画情報指示手段と、
前記静止画情報指示手段からの指示に基づいて表示すべき前記動画データまたは前記静止画データを選択する選択手段と、
前記選択手段によって選択された前記動画データまたは前記静止画データを表示する表示手段と
を具備することを特徴とする画像再生装置。
【請求項１５】
動画像を撮像して動画データを生成する動画撮像手段と、
静止画像を撮像して静止画データを生成する静止画撮像手段と、
前記動画データと前記静止画データとを撮像時刻によって関連付けた静止画情報を生成する静止画情報生成手段と、
前記動画データを符号化する動画符号化手段と、
前記静止画データを符号化する静止画データ符号化手段と、
符号化された前記動画データと符号化された前記静止画データと前記静止画情報とを記録媒体に記録する記録手段と、
記録された符号化された前記動画データと符号化された前記静止画データと前記静止画情報とを分離する分離手段と、
符号化された前記動画データを復号する動画復号手段と、
符号化された前記静止画データを復号する静止画復号手段と、
前記静止画情報に基づいて表示すべき前記動画データまたは前記静止画データの指示をする静止画情報指示手段と、
前記静止画情報指示手段からの指示に基づいて表示すべき前記動画データまたは前記静止画データを選択する選択手段と、
前記選択手段によって選択された前記動画データまたは前記静止画データを表示させる表示制御手段と
を具備することを特徴とする画像記録再生制御装置。
【請求項１６】
動画像を撮像して動画データを生成する動画撮像手順と、
静止画像を撮像して静止画データを生成する静止画撮像手順と、
前記動画データと前記静止画データとを撮像時刻によって関連付けた静止画情報を生成する静止画情報生成手順と、
前記動画データと前記静止画データと前記静止画情報とを記録媒体に記録する記録手順と
を具備することを特徴とする画像記録方法。
【請求項１７】
動画データと静止画データとを撮像時刻によって関連付けた静止画情報に基づいて表示すべき前記動画データまたは前記静止画データの指示をする静止画情報指示手順と、
前記静止画情報指示手順からの指示に基づいて表示すべき前記動画データまたは前記静止画データを選択する選択手順と、
前記選択手順によって選択された前記動画データまたは前記静止画データを表示させる表示制御手順と
を具備することを特徴とする画像再生制御方法。
【請求項１８】
動画像を撮像して動画データを生成する動画撮像ステップと、
静止画像を撮像して静止画データを生成する静止画撮像ステップと、
前記動画データと前記静止画データとを撮像時刻によって関連付けた静止画情報を生成する静止画情報生成ステップと、
前記動画データと前記静止画データと前記静止画情報とを記録媒体に記録する記録ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項１９】
動画データと静止画データとを撮像時刻によって関連付けた静止画情報に基づいて表示すべき前記動画データまたは前記静止画データの指示をする静止画情報指示ステップと、
前記静止画情報指示ステップからの指示に基づいて表示すべき前記動画データまたは前記静止画データを選択する選択ステップと、
前記選択ステップによって選択された前記動画データまたは前記静止画データを表示させる表示制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画再生中に静止画を表示させるように記録媒体に記録させる機能を有する画像記録装置、その記録されたデータの再生を制御する画像再生制御装置およびこれらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、動画と静止画の両方が撮像可能で、従来のビデオカメラとデジタルスチルカメラの双方の機能を有するビデオカメラが増えてきている。また、動画撮像中に静止画を同時に記録できるビデオカメラも増えてきている。動画撮像中に静止画を同時に記録できるビデオカメラにおいて、その撮像したデータを再生させる時は、例えば、サムネイル形式で表示されたメニュー画面から、再生させたい動画もしくは表示させたい静止画を選択し、それぞれ独立して動画は動画だけ再生させ、静止画は静止画だけ表示させるビデオカメラがほとんどである。
【０００３】
撮影者は実際に動画と静止画を同時に撮影する際、動画撮影中の決定的瞬間に静止画の撮影を行う場合がほとんどである。従来のビデオカメラの場合、同時記録したはずの動画と静止画がそれぞれ別々に独立に再生され、撮影時の臨場感を体感することが難しい。同時記録した動画と静止画を、例えば、動画撮像中に静止画を撮像したタイミングで、ユーザーが意識しなくても動画再生から静止画に切り替わって表示されるようにできれば、撮影時の臨場感を味わえる。
【０００４】
このような問題を解決するため、動画撮影中に静止画を撮影した際、それらのデータを関連付けて保存し、再生時にその情報をユーザーに明示して、ユーザーが自由に動画と静止画を切り替えることで、再生時にも同時記録され動画と静止画との関連を持たせて表示させる技術が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００４−３１２２１８号公報（図１２）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記技術では、同時記録した静止画の検索性は向上しているが、動画と静止画をユーザーが意識して切り替えなくてならない。動画撮像中に静止画を撮像したタイミングで、ユーザーが意識しなくても動画から静止画に切り替わって表示されるようにされなければ、撮影時の臨場感は半減する。
【０００６】
そこで、本発明は、同時に記録した動画と静止画に対して、ユーザーが意識して切り替えなくても、動画撮像中に静止画を撮像したタイミングで、動画再生中に静止画データを表示させられる画像記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、動画像を撮像して動画データを生成する動画撮像手段と、静止画像を撮像して静止画データを生成する静止画撮像手段と、上記動画データと上記静止画データとを撮像時刻によって関連付けた静止画情報を生成する静止画情報生成手段と、上記動画データと上記静止画データと上記静止画情報とを記録媒体に記録する記録手段とを具備することを特徴とする。これにより、動画撮像中に静止画を撮像したタイミングで動画データ再生中に静止画データを表示させられる形式で記録媒体にデータを記録させるという作用をもたらす。
【０００８】
また、この第１の側面において、上記記録手段において、上記静止画情報をビデオオブジェクトユニット中に含まれる追加記録情報として記録することを特徴とする。これにより、ＤＶＤ−Ｖｉｄｅｏ規格で記録されたＤＶＤディスクに動画データ、静止画データおよび静止画情報を一緒に記録させ、かつ動画再生中に静止画を撮像したタイミングで動画データ再生中に静止画データを表示させる形式でデータを記録媒体に記録させるという作用をもたらす。
【０００９】
また、この第１の側面において、上記静止画情報は、上記静止画データのファイル識別子と静止画データの撮像時刻とを対応付けた情報を含むことを特徴とする。これにより、動画データおよび音声データと、静止画データと、静止画情報とをそれぞれ別の記録媒体に記録させても、動画データおよび音声データと、静止画データとを関連付けさせるという作用をもたらす。
【００１０】
また、この第２の側面において、動画データと静止画データとを撮像時刻によって関連付けた静止画情報に基づいて表示すべき上記動画データまたは上記静止画データの指示をする静止画情報指示手段と、上記静止画情報指示手段からの指示に基づいて表示すべき上記動画データまたは上記静止画データを選択する選択手段と、上記選択手段によって選択された上記動画データまたは上記静止画データを表示させる表示制御手段とを具備することを特徴とする。これにより、動画撮像中に静止画を撮像したタイミングで動画データ再生中に静止画データを表示させるという作用をもたらす。
【００１１】
また、この第２の側面において、上記静止画データを表示させる時間を設定する表示時間設定手段をさらに具備し、上記選択手段は、上記表示時間設定手段によって設定された時間に相当する期間上記静止画データを選択することを特徴とする。これにより、動画データ再生中に静止画データを表示させられる時間を自由に設定させるという作用をもたらす。
【００１２】
また、この第２の側面において、表示させる上記静止画データを設定する静止画表示設定手段をさらに具備し、上記選択手段は、上記静止画表示設定手段によって設定された上記静止画データを対象として選択を行うことを特徴とする。これにより、動画データ再生中に表示したい静止画データと表示したくない静止画データを設定させるという作用をもたらす。
【００１３】
また、この第２の側面において、上記静止画データを表示させる際に画像エフェクトデータを上記静止画データに重ねて表示させる第１の重ね合わせ手段をさらに具備することを特徴とする。これにより、静止画データを表示させる際に画像エフェクトデータを静止画データと一緒に表示させるという作用をもたらす。
【００１４】
また、この第２の側面において、上記静止画データを表示中に上記画像エフェクトデータを上記静止画データに重ねて表示させる第２の重ね合わせ手段をさらに具備することを特徴とする。これにより、静止画データを表示中に画像エフェクトデータを静止画データと一緒に表示させるという作用をもたらす。
【００１５】
また、この第２の側面において、上記静止画情報は、ビデオオブジェクトユニット中に含まれる追加記録情報であることを特徴とする。これにより、ＤＶＤ−Ｖｉｄｅｏ規格に基づいて動画データ、静止画データおよび静止画情報が一緒に記録されたＤＶＤディスクを再生しても、動画撮像中に静止画を撮像したタイミングで動画データ再生中に静止画データを表示させるという作用をもたらす。
【００１６】
また、この第２の側面において、上記静止画情報は、上記静止画データのファイル識別子と上記撮像時刻とを対応付けた情報を含むことを特徴とする。これにより、それぞれ別の記録媒体に記録された動画データおよび音声データと、静止画データと、静止画情報とを動画データおよび音声データと、静止画データとを関連付けさせるという作用をもたらす。
【００１７】
また、この第２の側面において、上記動画データに同期した音声データを再生させる音声制御手段をさらに具備することを特徴とする。これにより、動画撮像中に静止画を撮像したタイミングで動画再生中に静止画データを表示させ、かつ音声を再生させるという作用をもたらす。
【００１８】
また、上記音声制御手段に加えて、上記静止画データを表示させる際に音声エフェクトデータを所定時間供給する音声エフェクト供給手段をさらに具備することを特徴とする。これにより、音声エフェクトデータを静止画データ表示の際に再生させるという作用をもたらす。
【００１９】
また、上記音声制御手段に加えて、上記静止画データを表示させている間に上記音声データを供給するか否かを指示する音声信号指示手段と、上記音声信号指示手段による指示に応じて上記音声データの切替えを行う音声切替手段とをさらに具備することを特徴とする。これにより、静止画データ表示中に音声データの再生を抑制させるという作用をもたらす。
【００２０】
また、この第３の側面において、動画データと静止画データとを撮像時刻によって関連付けた静止画情報に基づいて表示すべき上記動画データまたは上記静止画データの指示をする静止画情報指示手段と、上記静止画情報指示手段からの指示に基づいて表示すべき上記動画データまたは上記静止画データを選択する選択手段と、上記選択手段によって選択された上記動画データまたは上記静止画データを表示する表示手段とを具備することを特徴とする。これにより、動画撮像中に静止画を撮像したタイミングで動画データ再生中に静止画データを表示させるという作用をもたらす。
【００２１】
また、この第４の側面において、動画像を撮像して動画データを生成する動画撮像手段と、静止画像を撮像して静止画データを生成する静止画撮像手段と、上記動画データと上記静止画データとを撮像時刻によって関連付けた静止画情報を生成する静止画情報生成手段と、上記動画データを符号化する動画符号化手段と、上記静止画データを符号化する静止画データ符号化手段と、符号化された上記動画データと符号化された上記静止画データと上記静止画情報とを記録媒体に記録する記録手段と、記録された符号化された上記動画データと符号化された上記静止画データと上記静止画情報とを分離する分離手段と、符号化された上記動画データを復号する動画復号手段と、符号化された上記静止画データを復号する静止画復号手段と、上記静止画情報に基づいて表示すべき上記動画データまたは上記静止画データの指示をする静止画情報指示手段と、上記静止画情報指示手段からの指示に基づいて表示すべき上記動画データまたは上記静止画データを選択する選択手段と、上記選択手段によって選択された上記動画データまたは上記静止画データを表示させる表示制御手段とを具備することを特徴とする。これにより、動画データと静止画データとを関連付けて記録させ、動画データ再生時には、動画撮像中に静止画を撮像したタイミングで静止画データを表示させるという作用をもたらす。
【００２２】
また、この第５の側面において、動画像を撮像して動画データを生成する動画撮像手順と、静止画像を撮像して静止画データを生成する静止画撮像手順と、上記動画データと上記静止画データとを撮像時刻によって関連付けた静止画情報を生成する静止画情報生成手順と、上記動画データと上記静止画データと上記静止画情報とを記録媒体に記録する記録手順とを具備することを特徴とする。これにより、動画撮像中に静止画を撮像したタイミングで動画データ再生中に静止画データを表示させる形式でデータを記録媒体に記録させるという作用をもたらす。
【００２３】
また、この第６の側面において、動画データと静止画データとを撮像時刻によって関連付けた静止画情報に基づいて表示すべき上記動画データまたは上記静止画データの指示をする静止画情報指示手順と、上記静止画情報指示手順からの指示に基づいて表示すべき上記動画データまたは上記静止画データを選択する選択手順と、上記選択手順によって選択された上記動画データまたは上記静止画データを表示させる表示制御手順とを具備することを特徴とする。これにより、動画撮像中に静止画を撮像したタイミングで動画再生中に静止画データを表示させるという作用をもたらす。
【００２４】
また、この第７の側面において、動画像を撮像して動画データを生成する動画撮像ステップと、静止画像を撮像して静止画データを生成する静止画撮像ステップと、上記動画データと上記静止画データとを撮像時刻によって関連付けた静止画情報を生成する静止画情報生成ステップと、上記動画データと上記静止画データと上記静止画情報とを記録媒体に記録する記録ステップとをコンピュータに実行させることを特徴とする。これにより、動画撮像中に静止画を撮像したタイミングで動画再生中に静止画データを表示させる形式でデータを記録媒体に記録させるという作用をもたらす。
【００２５】
また、この第８の側面において、動画データと静止画データとを撮像時刻によって関連付けた静止画情報に基づいて表示すべき上記動画データまたは上記静止画データの指示をする静止画情報指示ステップと、上記静止画情報指示ステップからの指示に基づいて表示すべき上記動画データまたは上記静止画データを選択する選択ステップと、上記選択ステップによって選択された上記動画データまたは上記静止画データを表示させる表示制御ステップとをコンピュータに実行させることを特徴とする。これにより、動画撮像中に静止画を撮像したタイミングで動画再生中に静止画データを表示させるという作用をもたらす。
【発明の効果】
【００２６】
本発明によれば、動画撮像中に静止画を撮像したタイミングで動画再生中に静止画データを表示させることができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００２７】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２８】
図１は、本発明の実施の形態における画像記録再生装置１００の外観の一例を示したものである。画像記録再生装置１００は、レンズ部１０１と、ビューファインダー部１０２と、液晶表示部１０３と、静止画撮像釦部１０４と、動画撮像釦１０５と、電源スイッチ１０６と、記録媒体格納部１０７と、把持補助部材１０８と、バッテリ部１０９とを備える。
【００２９】
レンズ部１０１は、撮像しようとする被写体を、例えばＣＣＤ（Charge Coupled Device）などの撮像素子に結像させるなどの役割を果たす。ビューファインダー部１０２は、撮像者が撮像中に被写体を覗く役割を果たす。このビューファインダー部１０２は、光学式と電子式のどちらでも可能である。液晶表示部１０３は、レンズ部１０１でとらえた被写体の画像を表示させ、また画像データ再生中は画像データを表示させる役割を果たす。また、液晶表示部１０３は、液晶表示部の画面表面を指などで押下することによって画像記録再生装置を操作させるタッチパネル操作機能が付加されることが多いが、本発明の実施の形態においても液晶表示部１０３にタッチパネル操作機能を付加するようにしてもよい。液晶表示部１０３は、例えば、ＬＣＤ（Liquid Crystal Display）により構成されるが、その他有機ＥＬディスプレイ（organic electroluminescence display）により構成してもよい。
【００３０】
静止画撮像釦部１０４は、静止画像を撮像する際に押下する釦である。動画撮影釦１０５は、動画像を撮像する際に押下する釦である。電源スイッチ１０６は、本発明の実施の形態における画像記録再生装置１００を起動させるためのスイッチである。記録媒体格納部１０７は、例えば、ＤＶＤディスクなどの記録媒体を格納する。把持補助部材１０８は、本発明の実施の形態における画像記録再生装置１００を把持するための補助部材である。バッテリ部１０９は、本発明の実施の形態における画像記録再生装置１００に電力を供給する。
【００３１】
図２は、本発明の実施の形態における画像記録再生装置１００の一構成例を示す図である。この画像記録再生装置１００は、カメラ部１０と、記録再生処理部２０と、制御部３０とを備える。
【００３２】
カメラ部１０は、光学ブロック１１と、カメラ制御部１２と、信号変換器１３と、撮像信号処理部１４と、音声入力部１５と、音声信号処理部１６とを備える。光学ブロック１１は、内部に、被写体を撮像するためのレンズ群、絞り調整機構、フォーカス調整機構、ズーム機構、シャッター機構、フラッシュ機構および手ぶれ補正機構などを備える。カメラ制御部１２は、制御部３０からの制御信号を受けて、光学ブロック１１に供給する制御信号を生成する。生成した制御信号を光学ブロック１１に供給して、ズーム制御、シャッター制御および露出制御などを行う。
【００３３】
信号変換器１３は、例えばＣＣＤなどの撮像素子により構成され、その結像面に、光学ブロック１１を通じた像が結像される。この信号変換器１３は、シャッター操作に応じて制御部３０から供給される画像取り込みタイミング信号を受けて、結像面に結像されている被写体像を撮像信号に変換し、撮像信号処理部１４に供給する。
【００３４】
撮像信号処理部１４は、制御部３０からの制御信号に基づいて、撮像信号についてのガンマ補正やＡＧＣ（Auto Gain Control）などの処理を行なうとともに、撮像信号をデジタル信号としての画像信号に変換する処理も行なう。音声入力部１５は、撮影時の被写体周辺の音声を収集する。この音声入力部１５からの音声信号は音声信号処理部１６に供給される。音声信号処理部１６は、制御部３０からの制御信号に基づいて、音声信号についての補正やＡＧＣなどの処理を行なうとともに、音声信号をデジタル信号に変換する処理も行なう。
【００３５】
記録再生処理部２０は、符号化／復号回路２１と、ディスクインターフェース２３と、バッファメモリ２５とを備える。
【００３６】
符号化／復号回路２１は、カメラ部１０からの画像信号および音声信号などを符号化し多重化して圧縮データに変換する符号化機能を有する。一方、符号化／復号回路２１は、圧縮データから画像信号および音声信号などを分離して復号する復号機能を有する。また、符号化／復号回路２１は、制御部３０からの制御信号に基づき、撮像信号処理部１４からの画像信号に対して、自動ホワイトバランス制御、露出補正制御、デジタルズーム倍率に応じた拡大制御などをさらに行なう。
【００３７】
ディスクインターフェース２３は、符号化／復号回路２１から圧縮データを受けてディスク４９に書き込む。また、ディスクインターフェース２３は、ディスク４９から圧縮データを読み出して符号化／復号回路２１に供給する。バッファメモリ２５は、例えばＳＤＲＡＭなどにより構成され、符号化／復号回路２１における符号化または復号のための作業領域として利用される。
【００３８】
制御部３０は、処理装置３１と、ＲＯＭ（Read Only Memory）３３と、ＲＡＭ（Random Access Memory）３４と、操作入力部４１を接続するための操作入力インターフェース３５と、表示部４２を接続するための表示制御部３６と、メモリカード４３を装填するためのメモリカードインターフェース３７と、スピーカ４４を接続するための音声制御部３８と、撮影時刻を記録するための時計回路３９とがシステムバス３２を介して接続されることにより構成される。
【００３９】
処理装置３１は制御部３０全体の処理を司るものであり、作業領域としてＲＡＭ３４を使用する。ＲＯＭ３３には、カメラ部１０を制御するためのプログラムや、画像信号や音声信号の記録制御および再生制御などを実行するためのプログラムが書き込まれている。
【００４０】
操作入力インターフェース３５に接続される操作入力部４１には、撮影モードと再生モードなどの他のモードとを切り換えるモード切り換えキー、ズーム調整キー、露出調整のためのキー、シャッターキー、動画撮影用キー、表示部４２における表示調整キーなどの複数のキーが設けられている。操作入力インターフェース３５は、操作入力部４１からの操作信号を処理装置３１に伝える。処理装置３１は、操作入力部４１においていずれのキーが操作されたかを判別し、その判別結果に応じた制御処理を行なう。
【００４１】
表示制御部３６に接続される表示部４２は、例えばＬＣＤなどにより構成され、処理装置３１の制御の下に、カメラ部１０からの画像信号や、ディスク４９から読み出された画像信号を表示する。なお、表示部４２は、図１の液晶表示部１０３の機能の一部を構成する。
【００４２】
メモリカードインターフェース３７は、符号化／復号回路２１からの圧縮データをメモリカード４３に書き込む。また、メモリカードインターフェース３７は、メモリカード４３から圧縮データを読み出して符号化／復号回路２１に供給する。時計回路３９は、年、月、日、時間、分、秒などを表わす時間情報を生成する。
【００４３】
音声制御部３８に接続されるスピーカ４４は、処理装置３１の制御の下に、カメラ部１０からの音声信号や、ディスク４９から読み出された音声信号を再生する。
【００４４】
図３は、本発明の実施の形態における画像記録機能の構成の一例を示す図である。この画像記録機能は、音声データ供給部２０１と、音声データ符号化部２０２と、動画撮像部２０３と、動画データ符号化部２０４と、静止画撮像部２０５と、静止画データ符号化部２０６と、静止画情報生成部２０７と、記録制御部２０８と、データ保持部２０９とを備える。
【００４５】
音声データ供給部２０１は、撮影時の被写体周辺の音声を収集し、音声をデジタル信号に変換した音声データを作成する。また、音声データ供給部２０１は、作成した音声データを音声符号化部２０２に供給する。音声データ符号化部２０２は、音声データ供給部２０１から供給された音声データを符号化する。音声データは、例えばＡＣ−３（Audio Code number 3）規格にしたがって符号化される。
【００４６】
動画撮像部２０３は、撮像した動画をデジタル信号に変換し、動画データを作成する。また、動画撮像部２０３は、作成した動画データを動画データ符号化部２０６へ供給する。動画データ符号化部２０４は、動画撮像部２０３から供給された動画データを符号化する。動画データは、例えば、ＭＰＥＧ−２（Moving Picture Expert Group-2）規格にしたがって符号化される。
【００４７】
静止画撮像部２０５は、撮像された静止画をデジタル信号に変換し、静止画データを作成する。また、静止画撮像部２０５は、作成した静止画データを静止画データ符号化部２０６へ供給する。静止画データ符号化部２０６は、静止画撮像部２０５から供給された静止画データを符号化する。静止画データは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）規格にしたがって符号化される。また、静止画データ符号化部２０６は、静止画データのファイル名も作成し、記録制御部２０８および静止画情報生成部２０７に静止画データのファイル名を供給する。
【００４８】
静止画情報生成部２０７は、動画像データと静止画像データを関連付ける静止画情報を生成する。そして、静止画情報生成部２０７は、静止画データ符号化部２０６から静止画データのファイル名を供給され、この静止画情報に静止画データのファイル名を含める。
【００４９】
以上のようにして、生成された動画データ、静止画データ、音声データおよび静止画情報は、記録制御部２０８を介して、データ保持部２０９において保持される。データ保持部２０９は、例えば、ＤＶＤディスクとしてもよい。また、後述するが、動画データと音声データは、ＤＶＤディスクに記録し、静止画データと静止画情報は、フラッシュメモリなどの外部メモリに記録させるようにしてもよい。
【００５０】
なお、音声データ供給部２０１は、例えば、図２における音声入力部１５および音声信号処理部１６により実現することができる。動画撮像部２０３および静止画撮像部２０５は、例えば、図２の光学ブロック１１と、カメラ制御部１２と、信号変換器１３および撮像信号処理部１４により実現することができる。この場合において、動画撮像部２０３は、例えば、数十万画素程度の撮像能力を持ち、静止画撮像部２０５は、例えば、百万画素以上の撮像能力を持つことが多い。また、音声データ符号化部２０２と、動画データ符号化部２０４および静止画データ符号化部２０６は、例えば、図２の符号化／復号回路２１により実現することができる。静止画情報生成部２０７は、例えば、主として図２の処理装置３１により実現することができる。記録制御部２０８は、例えば、図２のディスクインターフェース２３、またはメモリカードインターフェース３７により実現することができる。データ保持部２０９は、例えば、図２のディスク４９、またはメモリカード４３により実現することができる。
【００５１】
図４は、本発明の実施の形態における画像再生制御機能の一構成例を示す図である。本発明の実施の形態における画像再生制御機能は、読出し制御部３１６と、分離部３０１と、静止画情報指示部３０２と、動画復号部３０３と、静止画復号部３０４と、音声復号部３０５と、画像エフェクト供給部３０６と、音声エフェクト供給部３０７と、音声スイッチ３０８と、音声信号指示部３０９と、画像重ね合わせ部３１０と、選択部３１１と、表示時間制御部３１２と、静止画表示設定部３１３と、表示時間設定部３１４と、表示制御部３６と、音声制御部３８とを備える。
【００５２】
読出し制御部３１６は、データ保持部３１５からデータを読み出し、分離部３０１に読み出したデータを供給する。分離部３０１は、読出し制御部３１６から供給されたデータを動画データ、静止画データ、音声データおよび静止画情報に分離する。分離された動画データ、静止画データ、音声データおよび静止画情報は、それぞれ動画復号部３０３、静止画復号部３０４、音声復号部３０５および静止画情報指示部３０２へ供給される。
【００５３】
動画復号部３０３は、例えば、ＭＰＥＧ規格に基づいて符号化された動画データを復号する。静止画復号部は、例えば、ＪＰＥＧ規格に基づいて符号化された静止画データを復号する。音声復号部３０５は、例えば、ＡＣ−３規格に基づいて符号化された音声データを復号する。静止画情報指示部３０２は、静止画情報に基づいて画像エフェクト供給部３０６、音声エフェクト供給部３０７、音声スイッチ３０８、画像重ね合わせ部３１０、表示時間制御部３１２および選択部３１１を制御する。
【００５４】
画像エフェクト供給部３０６には、画像再生時に視覚的に特殊効果を与える画像データ（以下、画像エフェクトデータと呼ぶ。）が複数保持されており、静止画情報指示部３０２から指示されたタイミングで画像重ね合わせ部３１０に所定の画像エフェクトデータを供給する。音声エフェクト供給部３０７には、画像再生時に聴覚的に特殊効果を与える音声データ（以下、音声エフェクトデータと呼ぶ。）が複数保持されており、静止画情報指示部３０２から指示されたタイミングで音声復号部３０５に所定の音声エフェクトデータを供給する。
【００５５】
画像重ね合わせ部３１０は、静止画情報指示部３０２から指示されたタイミングで、静止画復号部３０４から供給された静止画データと画像エフェクト供給部３０６から供給された画像エフェクトデータを重ね合わせ、その重ね合わせたデータを選択部３１１に供給する。重ね合わせられたデータは、後に説明する図１０および図１１に示すように、図２の表示部４２において、同時に表示される。なお、静止画データと画像エフェクトデータを重ね合わせたデータを以下、重ね合わせデータと呼ぶ。
【００５６】
選択部３１１は、動画復号部３０３から供給された動画データと画像重ね合わせ部３１０から供給された重ね合わせデータのどちらか一方を表示制御部３６に供給する。画像重ね合わせ部３１０から供給された重ね合わせデータを選択し、表示制御部３６に供給する開始のタイミングは静止画情報指示部から指示される。
【００５７】
表示時間設定部３１４は、表示部４２に静止画データを表示させる時間（以下、静止画表示時間と呼ぶ。）の設定をする。静止画表示時間は、静止画情報指示部３０２から指示されたタイミングで開始し、表示時間制御部３１２において時間をカウントする。表示時間制御部３１２は、設定された時間経過時、選択部３１１に期間終了の指示をする。設定された静止画表示時間の間は、選択部３１１において動画復号部３０３から供給される動画データは選択されず、画像重ね合わせ部３１０から供給された重ね合わせデータが選択され、表示制御部３６に供給される。
【００５８】
音声信号指示部３０９は、音声復号部３０５から音声制御部３８へ供給される音声データを所定時間遮断するか否かの設定をする。音声信号指示部３０９において、音声データを遮断すると設定した場合は、音声スイッチ３０８において、静止画情報指示部３０２からの指示にしたがって所定時間音声復号部３０５から供給された音声データを遮断する。ここにおける遮断すべき時間として、例えば、表示時間設定部３１４において設定した時間を利用して、静止画表示中には音声データを遮断するようにすることができる。
【００５９】
静止画表示設定部３１３は、データ保持部３１５に保持されているデータ中の静止画情報に対して、動画再生時に表示したい静止画データの設定をする。静止画情報が複数ある場合、動画再生時に静止画を表示させるか否かそれぞれの静止画情報に対して設定可能である。
【００６０】
なお、読出し制御部３１６は、例えば、主として、図２のディスクインターフェース２３により実現することができる。分離部３０１、静止画情報指示部３０２、動画復号部３０３、静止画復号部３０４、音声復号部３０５、音声スイッチ３０８、画像重ね合わせ部３１０、選択部３１１および表示時間制御部３１２は、それぞれ、例えば、図２の符号化／復号回路２１により実現することができる。画像エフェクト供給部３０６および音声エフェクト供給部３０７は、例えば、主として図２の処理装置３１とＲＯＭ３３により実現することができる。音声信号指示部３０９、静止画表示設定部３１３および表示時間設定部３１４は、例えば、主として図２の操作入力部４１、操作入力インターフェース３５、処理装置３１により実現することができる。
【００６１】
図５は、本発明の実施の形態において、ディスク４９に、ＤＶＤ−Ｖｉｄｅｏ規格によるディスクを用いた場合のディスクのデータ構造を示す図である。ディスクは円盤上の構造をしており、内周側から順にリードイン領域５０１、ファイルシステム領域５０２、管理情報領域５０３、データ記録領域５０４、リードアウト領域５０５が設けられている。ファイルシステム領域５０２は、ファイルシステムの管理領域であり、ＩＳＯ９６６０およびＵＤＦ（Ｕｎｉｖｅｒｓａｌ  Ｄｉｓｋ  Ｆｏｒｍａｔ）の規格に準拠するように設けられている。管理情報領域５０３は、ディスク上に記録されているビデオコンテンツ全体の管理情報を保持する領域である。データ記録領域５０４は、各ビデオタイトルセットの内容およびその制御情報を保持する領域である。
【００６２】
管理情報領域５０３には、ＶＭＧ（Video ManaGer）５１０が保持される。このＶＭＧ５１０は、ＶＭＧＩ（ＶＭＧ Information）５１１と、ＶＭＧＭ＿ＶＯＢＳ（Video OBject Set for ＶＭＧ Menu）５１２と、ＶＭＧＩ＿ＢＵＰ（ＶＭＧＩ for Back UP）５１３とを備えている。ＶＭＧＩ５１１は、ディスク上に記録されているビデオコンテンツのタイトル毎の管理情報やトップメニューの制御情報などを保持する。ＶＭＧＭ＿ＶＯＢＳ５１２は、トップメニューのデータを保持する。また、ＶＭＧＩ＿ＢＵＰ５１３は、ＶＭＧＩ５１１のバックアップ用コピーである。
【００６３】
データ記録領域５０４には、ＶＴＳ（Video Titles Set）５２０が少なくとも１つ保持される。各ＶＴＳ５２０は、それぞれＶＴＳＩ（ＶＴＳ Information）５２１と、ＶＴＳＭ＿ＶＯＢＳ（Video OBject Set for ＶＴＳ Menu）５２２と、ＶＴＳＴＴ＿ＶＯＢＳ（Video Object Set for Titles in a ＶＴＳ）５２３と、ＶＴＳＩ＿ＢＵＰ（ＶＴＳＩ for Back UP）５２４とを備えている。ＶＴＳＩ５２１は、そのビデオタイトルセットに含まれるタイトルのチャプター毎の管理情報や制御情報およびチャプターメニューの制御情報などを保持する。ＶＴＳＭ＿ＶＯＢＳ５２２は、チャプターメニューのデータを保持する。ＶＴＳＴＴ＿ＶＯＢＳ５２３は、そのビデオタイトルセットに含まれるタイトルのデータを保持する。また、ＶＴＳＩ＿ＢＵＰ５２４は、ＶＴＳＩ５２１のバックアップ用コピーである。
【００６４】
図６は、ビデオオブジェクトセット（ＶＯＢＳ）の構成要素を示す図である。図５のＶＭＧＭ＿ＶＯＢＳ５１２、ＶＴＳＭ＿ＶＯＢＳ５２２、および、ＶＴＳＴＴ＿ＶＯＢＳ５２３は、それぞれのデータをビデオオブジェクトセット（ＶＯＢＳ）として保持するものであり、共通の形式を有する。このＶＯＢＳ５３０は、１個以上のビデオオブジェクト（ＶＯＢ）５３１の集合である。このＶＯＢ５３１は、１個以上のセル（Ｃｅｌｌ）５３２により構成される。
【００６５】
セル５３２は、１個以上のビデオオブジェクトユニット（ＶＯＢＵ）５３３を含む。このＶＯＢＵ５３３は、ナビゲーションパック（ＮＶ＿ＰＣＫ）５３４を先頭とするパック列である。パックとは、２０４８バイトの固定データであり、先頭のＮＶ＿ＰＣＫ５３４の他、映像データを保持する映像パック（Ｖ＿ＰＣＫ）５３５、音声データを保持する音声パック（Ａ＿ＰＣＫ）５３６、サブピクチャデータを保持するサブピクチャパック（ＳＰ＿ＰＣＫ）５３７、追加記録情報を保持する追加記録情報パック（ＡＲＩ＿ＰＣＫ）５３８などを必要に応じて備える。
【００６６】
ＮＶ＿ＰＣＫ５３４は、パックヘッダ５４１に続いて、再生制御情報（ＰＣＩ：Presentation Control Information）５４２およびデータ検索情報（ＤＳＩ：Data Search Information）５４３を保持する。ＰＣＩ５４２は、再生表示に関する制御情報である。ＤＳＩ５４３は、ディスクにアクセスするための制御情報である。
【００６７】
図７は、ビデオオブジェクトユニット（ＶＯＢＵ）と符号化画像との関係を示す図である。ＶＯＢＳ５３０内の画像データは、ＭＰＥＧ−２符号化方式により符号化されている。このＭＰＥＧ−２符号化方式では、ＧＯＰ（Group Of Pictures）と呼ばれる１５枚の画像により０．５秒程度の動画像を表している。図７（ａ）では、１枚のＩピクチャと、４枚のＰピクチャと、１０枚のＢピクチャとにより計１５枚の画像６１１によりＧＯＰ６１０を構成する様子が示されている。ここで、Ｉピクチャは、フレーム内符号化画像であり、他のＰピクチャやＢピクチャとは独立して符号化される完結画像である。一方、Ｐピクチャは、時間的に先行するＩピクチャまたはＰピクチャとの差分を利用して符号化される。また、Ｂピクチャは、時間的に前後両方向のＩピクチャまたはＰピクチャとの差分を利用して符号化される。従って、ＧＯＰにおいて独立して復号化できるのはＩピクチャだけである。
【００６８】
ＧＯＰ内の１５枚の画像は、ディスク上では図７（ｂ）のように一部の順序が入れ替えされて記録される。これは、上述の符号化方式の特徴に基づくものであり、復号の際に時間的に後続の画像を待つことを回避するためである。例えば、Ｂピクチャ（Ｂ５）を復号化するためにはＩピクチャ（Ｉ３）とＰピクチャ（Ｐ６）を参照する必要があるが、図７（ｂ）のような入れ替えを行うことにより、Ｂピクチャ（Ｂ５）を復号化する時点で必要な画像データ（Ｉ３およびＰ６）が揃っていることになる。なお、このような画像６２１の順序関係を維持するために、ＰＴＳ（Presentation Time Stamp）６２２およびＤＴＳ（Decoding Time Stamp）６２３というタイムスタンプが付与される。ＰＴＳ６２２は再生出力の時刻管理情報であり、そのタイムスタンプが付与された単位画像をいつ再生出力するかを示す。一方、ＤＴＳ６２３は復号の時刻管理情報であり、そのタイムスタンプが付与された単位画像をいつ復号するかを示す。
【００６９】
符号化された各画像は、図７（ｃ）のように、それぞれ１つ以上のパックに収められる。例えば、Ｉピクチャ（Ｉ３）はＶ＿ＰＣＫ＿Ｉ３（６３２）として保持され、Ｂピクチャ（Ｂ１）はＶ＿ＰＣＫ＿Ｂ１（６３３）として保持される。そして、ＮＶ＿ＰＣＫ６３１やＡＲＩ＿ＰＣＫ６３９などと共にＶＯＢＵを構成する。
【００７０】
図８は、本発明の実施の形態における追加記録情報（ＡＲＩ＿ＰＣＫ）のデータ構造を示す図である。このＡＲＩ＿ＰＣＫ６３９に含まれる情報は、追加記録情報識別子、アプリケーション情報、記録時間情報、カメラ情報、静止画情報の５種類に大別される。
【００７１】
追加記録識別子は、パケット内データが追加記録情報であることを認識させるための識別子であり、追加記録情報データ識別子（ＡＲＩ＿ＤＡＴ＿ＩＤ）と、そのバージョン番号（ＡＲＩ＿ＤＡＴ＿ＶＥＲ）が記録される。
【００７２】
アプリケーション情報には、製品の製造元であるベンダー名（ＶＮＤ＿ＮＡＭＥ）、製品名であるプロダクト名（ＰＲＤ＿ＮＡＭＥ）などが含まれる。
【００７３】
記録時間情報には、当該追加記録情報が含まれるＶＯＢＵについての追加記録情報データ（ＡＲＩ＿ＤＡＴＡ）の記録時のタイムゾーン（ＶＯＢＵ＿ＬＣＬ＿ＴＭ＿ＺＯＮＥ）と、ＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）とが記録される。ＶＯＢＵ＿ＲＥＣ＿ＴＭは、例えば、Ｉピクチャのフレームの撮影時間として、年、月、日、時、分、秒で記述される。ＶＯＢＵ＿ＬＣＬ＿ＴＭ＿ＺＯＮＥは、ＶＯＢＵ＿ＲＥＣ＿ＴＭに対するタイムゾーンが記録される。ここで、タイムゾーンとは、ユーザが機器に設定したＵＴＣ（Ｃｏｏｒｄｉｎａｔｅｄ  Ｕｎｉｖｅｒｓａｌ  Ｔｉｍｅ）からのオフセット時間である。すなわち、記録装置を使用する国の時刻（ローカルタイム）に対応した時差である。ＶＯＢＵ＿ＲＥＣ＿ＴＭとして、ユニバーサルタイム（全世界で時刻を記録する際に使用される公式の時刻）を用いることもでき、その場合には、ＶＯＢＵ＿ＬＣＬ＿ＴＭ＿ＺＯＮＥは、ゼロに設定される。
【００７４】
カメラ情報には、撮影時の設定条件などの情報として、Ｆナンバー（Ｆ＿ＮＵＭ）、露出時間（ＥＸＰ＿ＴＭ）などの情報が含められている。
【００７５】
静止画情報には、静止画表示（ＰＣＴ＿ＤＰ）、静止画データファイル名（ＰＣＴ＿ＮＡＭＥ）などが含まれる。静止画表示は、対応する静止画を再生時に表示させるかどうかを示す情報である。静止画データファイル名は、静止画データを含むファイルのファイル名である。静止画データがＪＰＥＧ規格によって符号化された場合、静止画データファイル名は、例えば、「ＩＭＧ１．ｊｐｇ」のような形式になる。この静止画情報は、図３における静止画情報生成部２０７で生成される。
【００７６】
図９は、動画データおよび静止画データならびに音声データの再生時の時間関係を示す図である。図９（ａ）は、本発明の実施の形態における画像再生制御機能において、データ保持部２０９に保持されているデータを再生した時の動画データフレームと静止画データフレーム６５０の並びを示す図である。なお、図９（ａ）においては、静止画データフレーム６５０は、動画データフレームの集まりであるＧＯＰ＃１の最後の動画フレームＢピクチャ６５１と動画データフレームの集まりであるＧＯＰ＃２の最初の動画フレームＩピクチャ６５２の間に位置しているものと想定している。
【００７７】
図９（ｂ）は、静止画データ再生時の時間関係を示す図である。静止画データは、時間Ｔ１から時間Ｔ２の間だけ表示される。時間Ｔ１に供給された図７（ｃ）に示したＶＯＢＵの中のＡＲＩ＿ＰＣＫに静止画情報が含まれている場合、その静止画情報に記録されている静止画データを含むファイルのファイル名が参照される。そのファイル名を有する静止画データフレーム６５０は、ＧＯＰ＃１の最後の動画フレームＢピクチャ６５１の次に並べられ、表示されることになる。この静止画フレーム６５０は、図４に示す表示時間設定部３１４で設定された時間表示される。
【００７８】
図９（ｃ）は、動画データ再生時の時間関係を示す図である。動画データは、静止画表示中も再生は継続されている。つまり、図９（ａ）において、静止画が表示されている時間（Ｔ２−Ｔ１）の間もＩピクチャ６５２、Ｂピクチャ６５３、Ｂピクチャ６５４は、動画復号部３０３で復号されている。
【００７９】
図９（ｄ）は、表示部４２に表示されているデータと時間の関係を示す図である。時間Ｔ１までは、動画データが表示部４２に表示され、時間Ｔ１から時間Ｔ２までは静止画データが表示部４２に表示され、時間Ｔ２以降は動画データが表示部４２に表示される。表示部４２でこのように表示されるのは、上述のように本発明の画像再生制御装置の選択部３１１において、表示部４２に表示させるデータを選択しているからである。
【００８０】
図９（ｃ）に示すように静止画データが表示されている時間（Ｔ２−Ｔ１）の間、動画データは表示されないが再生は継続している。ユーザーからは、時間（Ｔ２−Ｔ１）の間の動画データは見られない。したがって、静止画表示される場合、静止画データの表示が終了する時間Ｔ２の後に表示される動画データと時間Ｔ１の直前までに表示されていた動画データには連続性がないことになる。つまり、図９（ａ）において、Ｉピクチャ６５２、Ｂピクチャ６５３、Ｂピクチャ６５４に相当する動画データは表示されず、Ｉピクチャ６５５に相当する動画データ以降の動画データが表示されることになる。なお、時間（Ｔ２−Ｔ１）は、例えば、約２．５秒程度とすることが想定される。
【００８１】
図９（ｅ）は、音声データの流れと時間の関係を示す図である。図９（ｅ）では、音声データは、静止画データ表示に無関係に流れており、ユーザーは、静止画データが表示されている間も音声データは通常の動画データ再生の時と同様に聞こえることになる。なお、図３に示す音声スイッチ３０８と音声信号指示部３０９の機能により、静止画データが表示されている間は音声データを再生しないようにしてもよい。
【００８２】
図１０は、本発明の実施の形態における画像エフェクトデータとしてシャッター幕を用いた場合の表示形態を示す図である。表示画面７１０中には、バッテリ部１０９のバッテリ残量を表すバッテリ残量表示７１１と、再生中である表示の再生表示７１２と、再生時間表示７１３と、シャッター幕７１４が表示される。このシャッター幕７１４は、静止画データが表示される際に表示されるものであり、具体的には、図９の時間Ｔ１の直前に表示されるものである。シャッター幕が図示の矢印の方向に開いていくと静止画全体が表示される。
【００８３】
静止画データを表示させる前にシャッター幕７１４のような画像エフェクトデータを表示させることにより静止画が表示されていることを強調し、静止画データを視覚的に引き立てることが可能である。
【００８４】
また、このシャッター幕に合わせて音声エフェクトデータの一例として、シャッター音も図９の時間Ｔ１の直前に再生させてもよい。シャッター音のような音声エフェクトデータを再生させることにより、聴覚的にも静止画データが引き立てることが可能である。
【００８５】
図１１は、本発明の実施の形態における再生中の静止画データの表示形態の一例を示す図である。表示画面７１０中には、バッテリの残量を表すバッテリ残量表示７１１と、再生中である表示の再生表示７１２と、再生時間表示７１３と、カメラマーク７２１と、静止画撮日時７２２が表示されている。カメラマーク７２１は、本発明の実施の形態における画像再生制御機能の画像エフェクト供給部３０６中に保持された画像エフェクトデータの一例である。また、静止画撮日時７２２は、例えば、追加記録情報（ＡＲＩ＿ＰＣＫ）中のＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）を利用することができる。このようなカメラマーク７２１ならびに静止画撮日時７２２は、例えば、オン・スクリーン・ディスプレイ技術によって静止画データと同時に表示される。
【００８６】
カメラマーク７２１のような画像エフェクトデータを、静止画データと一緒に表示させることによって、表示されているのが静止画データであるとユーザーは認識できる。また静止画撮日時７２２を静止画データと一緒に表示させることによって、その静止画データがいつ撮像されたか認識できる。
【００８７】
図１２は、本発明の実施の形態における静止画表示設定機能をサムネイル画像形式の表示形態によって示した図である。表示画面７１０中には、サムネイル画像７４１と、静止画撮像日時７４２と、静止画表示設定確認ボックス７４３が表示される。ユーザーが動画再生中に表示させたい静止画をタッチパネル等により選択すると、静止画表示設定確認ボックス７４３にチェックマーク７４４が入り、このチェックマーク７４４が入った静止画像データのみが動画再生時に表示される。
【００８８】
このように静止画表示設定をサムネイル画像形式で設定できるようにすれば、サムネイル画像を参照することによって、どの静止画データを表示させるかを決定するのに便宜である。
【００８９】
次に本発明の実施の形態における動作について図面を参照して説明する。
【００９０】
図１３は、本発明の実施の形態における動画データと、静止画データと、静止画情報の撮像から記録までの処理の手順の一例を示す図である。まず、動画撮像釦１０５が押下され、動画の撮像が開始されたか否か判断される（Ｓ９１１）。動画の撮像を開始すると動画データが生成され、その動画データが符号化される（Ｓ９１２）。符号化された動画データは、データ保持部に記録される（Ｓ９１３）。
【００９１】
動画を撮像中に静止画像を撮像するか否か判断される（Ｓ９１４）。静止画像を撮像した場合、静止画データが生成され、その静止画データが符号化される（Ｓ９１５）。符号化された静止画データはデータ保持部に記録される（Ｓ９１６）。
【００９２】
静止画像が記録されると、静止画情報が作成され、記録される（Ｓ９１７）。次に静止画データのファイル名が生成され、記録される（Ｓ９１８）。この静止画データのファイル名は、静止画情報に含められる。動画の撮像が開始されると、動画の撮像が終了するまで（Ｓ９１９）、以上のステップＳ９１２からステップＳ９１８までが繰り返される。
【００９３】
図１４は、本発明の実施の形態における動画データおよび静止画データを表示する処理の手順の一例を示した図である。まず、データを再生させたか否かが判断される（Ｓ９３１）。再生させると、データ保持部から動画データが読み出された後、動画データが復号化され、表示部に表示される（Ｓ９３２）。
【００９４】
データ保持部から読み出されたデータ中に静止画情報があるか否かが判断される（Ｓ９３３）。図５から図８で説明したデータ構造により、データが記録された場合は、追加記録情報（ＡＲＩ＿ＰＣＫ）中に静止画情報が含まれているか否か判断される。静止画情報がなければ、再生を終了しない限り（Ｓ９３９）、ステップ９３２の動作が継続される。静止画情報がある場合、次に静止画を表示させるように設定してあるか否か判断される（Ｓ９３４）。これも同様に、追加記録情報（ＡＲＩ＿ＰＣＫ）中の静止画情報が参照される。静止画を表示させるように設定していない場合は、再生を終了しない限り（Ｓ９３９）、ステップ９３２の動作が継続される。
【００９５】
静止画を表示させるように設定してある場合、静止画データ自体が存在するか否か判断される（Ｓ９３５）。これは、静止画情報中の静止画データのファイル名を参照して、そのファイル名を有する静止画データが存在する否か判断される。静止画データ自体が存在しないと判断された場合、再生を終了しない限り（Ｓ９３９）、ステップ９３２の動作が継続される。
【００９６】
静止画データ自体が存在すると判断された場合、音声エフェクトデータおよび画像エフェクトデータが所定のタイミングで供給され、再生および表示される（Ｓ９３６）。所定のタイミングとは、例えば、図９において静止画データが表示される際の時間Ｔ１の直前が好ましい。ステップＳ９３６においては、静止画データが表示される直前に、例えば、シャッター音のような音声エフェクトデータや例えば、シャッター幕のような画像エフェクトデータが再生および表示される。
【００９７】
次に静止画データ及び画像エフェクトデータが供給され、表示される（Ｓ９３７）。静止画データは、静止画情報中の静止画データのファイル名を参照して、その表示されるべき静止画データが供給される。静止画データ及び画像エフェクトデータが、設定された時間表示されたか否か判断される（Ｓ９３８）。設定された時間表示されると、再生を終了しない限り（Ｓ９３９）、ステップ９３２の動作が継続される。
【００９８】
次に本発明の別の実施の形態における画像記録再生制御装置について説明する。
【００９９】
図１５は、本発明の別の実施の形態における画像記録機能の構成の一例を示す図である。図３に示す本発明の実施の形態においては、符号化された音声データ、符号化された動画データ、符号化された静止画データおよび静止画情報は、記録制御部２０８を介してデータ保持部２０９でデータが保持されたのに対し、図１５に示す本発明の別の実施の形態においては、符号化された音声データと符号化された動画データは、動画音声データ記録制御部８６８を介して動画音声データ保持部８７０でデータが保持される。符号化された静止画データおよび静止画データのファイル名は、静止画データ記録制御部８６９を介して静止画データ保持部８７１で保持される。静止画情報は、静止画対応テーブル８７２において保持される。その他の図３に示す本発明の実施の形態の画像記録機能と同一名称の機能については、同一の機能であるので、説明を省略する。
【０１００】
なお、図１５に示す本発明の別の実施の形態における静止画情報は、静止画表示情報と静止画データのファイル名の他に、静止画像を撮像した撮像日時も含まれる。なお、静止画像を撮像した撮像日時に代わりに、動画音声データ保持部８７０中の図８に示す追加記録情報（ＡＲＩ＿ＰＣＫ）に含まれるＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）を含めてもよい。また、動画データおよび音声データが動画音声データ保持部８７０においてＤＶＤ−Ｖｉｄｅｏ規格によるディスクに記録された場合のディスクのデータ構造は、図８の追加記録情報（ＡＲＩ＿ＰＣＫ）のデータ構造中の静止画情報を省略したものになり、その他のデータ構造については、図３に示す本発明の実施の形態と同様である。
【０１０１】
図１６は、静止画対応テーブルについて示す図である。静止画対応テーブル８７２中において、静止画撮像日時８８１、静止画データファイル名８８２および静止画表示８８３が対応付けられて保持されている。静止画撮像日時８８１は、静止画像を撮像した日時であり、日時は百分の一秒単位で保持できる。なお、静止画像を撮像した撮像日時に代わりに、図８に示す追加記録情報（ＡＲＩ＿ＰＣＫ）に含まれるＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）を静止画情報に含める場合は、そのＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）が静止画対応テーブル８７２に保持される。静止画データファイル名８８２は、静止画データを含むファイルのファイル名である。静止画表示８８３は、静止画データを再生中に表示させるか否かを表すものである。それぞれの静止画ごとに表示非表示の情報を保持できる。
【０１０２】
図１７は、本発明の別の実施の形態における画像再生制御機能の構成の一例を示す図である。図４に示す本発明の実施の形態中のデータ保持部２０９中で保持されていたデータが、図１７に示す本発明の別の実施の形態では、動画音声データ保持部８７０、静止画データ保持部８７１および静止画対応テーブル８７２によって保持される。また、図３に示す本発明の実施の形態における静止画情報指示部３０２が静止画情報に基づいて、その他の各機能部を制御したのと違って、図１７に示す本発明の別の実施の形態における静止画情報指示部８０２は、追加記録情報（ＡＲＩ＿ＰＣＫ）に含まれるＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）に基づいてその他の各機能部へ指示をする。その他の図４に示した本発明の実施の形態の画像再制御機能と同一名称の機能については、同一の機能であるので、説明を省略する。
【０１０３】
図１７に示す本発明の別の実施の形態における動画データならびに静止画データを表示する処理の手順について図１４を参照して説明する。ステップ９３１およびステップ９３２は、本発明の別の実施の形態においても同様であるので、説明を省略する。ステップＳ９３３において、動画音声データ中に含まれるＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）に対応する静止画撮像日時が、静止画対応テーブル８７２中にあるか否かが判断される。ここでＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）に対応する静止画撮像日時とは、例えばＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）と同日時の静止画撮像日時またはＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）より後、かつ最も近い静止画撮像日時をいう。また、静止画対応テーブル８７２に静止画撮像日時の代わりにＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）を記録した場合は、例えば動画データ中に含まれるＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）と同日時の記録が静止画対応テーブル８７２中にあるかどうかが判断される。
【０１０４】
ステップＳ９３３において、ＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）に対応する静止画撮像日時が、静止画対応テーブル８７２中にあると判断された場合、ステップ９３４において、静止画表示情報があるか否か判断される点は図４に示す本発明の実施の形態と同様である。この点について、図４に示す本発明の実施の形態においては、追加記録情報（ＡＲＩ＿ＰＣＫ）中に静止画表示情報が保持されていたのに対し、本発明の別の実施の形態においては、静止画表示情報は、静止画対応テーブル８７２中に保持されているので、ステップ９３４において、静止画対応テーブル８７２を参照することになる。
【０１０５】
ステップ９３４において、静止画表示するとされていた場合、ステップ９３５において静止画データが存在するか否かを判断される点も図４に示す本発明の実施の形態と同様である。図１７に示す本発明の別の実施の形態においては、静止画表示するとされていた静止画データのファイル名に対応する静止画データが静止画データ保持部において保持されているかどうかが判断される。保持されていると判断された場合、図４に示す本発明の実施の形態と同様にステップ９３６を経て、ステップ９３７の処理がされる。ここで図１７に示す本発明の別の実施の形態においては、静止画データは、静止画データ保持部８７１に保持されているので、ステップ９３７における静止画データは、静止画情報指示部８０２を介して静止画データ保持部８７１から供給される。その他の点の処理は図４に示す本発明の実施の形態と同様であるので説明を省略する。
【０１０６】
なお、動画音声データ保持部８７０は、例えば、主として図２のディスク４９により実現することができる。静止画データ保持部８７１、静止画対応テーブルは、例えば、主として図２のメモリカード４３により実現することができる。
【０１０７】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１０８】
すなわち、請求項１において、動画撮像手段は、例えば動画撮像部２０３、８６３に対応する。また、静止画撮像手段は、例えば静止画撮像部２０５、８６５に対応する。また、静止画情報生成手段は、例えば静止画情報生成部２０７、８６７に対応する。また、記録手段は、例えば記録制御部２０８、動画音声データ記録制御部８６８、静止画データ記録制御部８６９に対応する。
【０１０９】
また、請求項４において、静止画情報指示手段は、例えば静止画情報指示部３０２、８０２に対応する。また、選択手段は、例えば選択部３１１、８１１に対応する。表示制御手段は、例えば表示制御部３６に対応する。
【０１１０】
また、請求項５において、表示時間設定手段は、例えば表示時間設定部３１４、８１４に対応する。
【０１１１】
また、請求項６において、静止画表示設定手段は、例えば静止画表示設定部３１３、８１５に対応する。
【０１１２】
また、請求項７において、第１の重ね合わせ手段は、例えば画像重ね合わせ部３１０、８１０に対応する。
【０１１３】
また、請求項８において、第２の重ね合わせ手段は、例えば画像重ね合わせ部３１０、８１０に対応する。
【０１１４】
また、請求項１１において、音声制御手段は、例えば音声制御部３８に対応する。
【０１１５】
また、請求項１２において、音声エフェクト供給手段は、例えば音声エフェクト供給部３０７、８０７に対応する。
【０１１６】
また、請求項１３において、音声信号指示手段は、例えば音声信号指示部３０９、８０９に対応する。また、音声切替手段は、例えば音声スイッチ３０８、８０８に対応する。
【０１１７】
また、請求項１４において、静止画情報指示手段は、例えば静止画情報指示部３０２、８０２に対応する。また、選択手段は、例えば選択部３１１、８１１に対応する。表示手段は、例えば表示制御部３６および表示部４２に対応する。
【０１１８】
また、請求項１５において、動画撮像手段は、例えば動画撮像部２０３、８６３に対応する。また、静止画撮像手段は、例えば静止画撮像部２０５、８６５に対応する。また、静止画情報生成手段は、例えば静止画情報生成部２０７、８６７に対応する。また、動画符号化手段は、例えば動画データ符号部２０４、８６４に対応する。また、静止画符号化手段は、例えば静止画データ符号化部２０６、８６６に対応する。また、記録手段は、例えば記録制御部２０８、動画音声データ記録制御部８６８および静止画データ記録制御部８６９に対応する。また、分離手段は、例えば分離部３０１、８０１に対応する。また、動画復号手段は、例えば動画復号部３０３、８０３に対応する。また、静止画復号手段は、例えば静止画復号部３０４、８０４に対応する。また、静止画情報指示手段は、例えば静止画情報指示部３０２、８０２に対応する。また、選択手段は、例えば選択部３１１、８１１に対応する。また、表示制御手段は、例えば表示制御部３６に対応する。
【０１１９】
請求項１６において、動画撮像手順は、例えばステップＳ９１１およびステップＳ９１２に対応する。また、静止画撮像手順は、例えばステップＳ９１４およびステップＳ９１５に対応する。また、静止画情報生成手順は、例えばステップＳ９１７およびステップＳ９１８に対応する。また、記録手順は、例えばステップＳ９１３、ステップＳ９１６、ステップＳ９１７およびステップＳ９１８に対応する。
【０１２０】
また、請求項１７において、静止画情報指示手順は、例えばステップＳ９３３乃至ステップＳ９３７に対応する。また、選択手順は、例えばステップＳ９３６乃至ステップＳ９３８に対応する。表示制御手順は、例えばステップＳ９３６およびステップＳ９３７に対応する。
【０１２１】
請求項１８において、動画撮像ステップは、例えばステップＳ９１１およびステップＳ９１２に対応する。また、静止画撮像ステップは、例えばステップＳ９１４およびステップＳ９１５に対応する。また、静止画情報生成ステップは、例えばステップＳ９１７およびステップＳ９１８に対応する。また、記録ステップは、例えばステップＳ９１３、ステップＳ９１６、ステップＳ９１７およびステップＳ９１８に対応する。
【０１２２】
また、請求項１９において、静止画情報指示ステップは、例えばステップＳ９３３乃至ステップＳ９３７に対応する。また、選択ステップは、例えばステップＳ９３６乃至ステップＳ９３８に対応する。表示制御ステップは、例えばステップＳ９３６およびステップＳ９３７に対応する。
【０１２３】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【産業上の利用可能性】
【０１２４】
本発明の活用例として、例えば、子供の運動会において、競争を撮像中にゴールの瞬間に静止画を撮像したタイミングで、ゴールの瞬間に静止画を表示させる映像を記録再生したい場合に本発明を適用することができる。
【図面の簡単な説明】
【０１２５】
【図１】本発明の実施の形態における画像記録再生装置１００の外観の一例を示したものである。
【図２】本発明の実施の形態における画像記録再生装置１００の一構成例を示す図である。
【図３】本発明の実施の形態における画像記録機能の構成の一例を示す図である。
【図４】本発明の実施の形態における画像再生制御機能の一構成例を示す図である。
【図５】本発明の実施の形態において、ディスク４９に、ＤＶＤ−Ｖｉｄｅｏ規格によるディスクを用いた場合のディスクのデータ構造を示す図である。
【図６】ビデオオブジェクトセット（ＶＯＢＳ）の構成要素を示す図である。
【図７】ビデオオブジェクトユニット（ＶＯＢＵ）と符号化画像との関係を示す図である。
【図８】本発明の実施の形態における追加記録情報（ＡＲＩ＿ＰＣＫ）のデータ構造を示す図である。
【図９】動画データおよび静止画データならびに音声データの再生時の時間関係を示す図である。
【図１０】本発明の実施の形態における画像エフェクトデータとしてシャッター幕を用いた場合の表示形態を示す図である。
【図１１】本発明の実施の形態における再生中の静止画データの表示形態の一例を示す図である。
【図１２】本発明の実施の形態における静止画表示設定機能をサムネイル画像形式の表示形態によって示した図である。
【図１３】本発明の実施の形態における動画データと、静止画データと、静止画情報の撮像から記録までの処理の手順の一例を示す図である。
【図１４】本発明の実施の形態における動画データならびに静止画データを表示する処理の手順の一例を示した図である。
【図１５】本発明の別の実施の形態における画像記録機能の構成の一例を示す図である。
【図１６】静止画対応テーブルについて示す図である。
【図１７】本発明の別の実施の形態における画像再生制御機能の構成の一例を示す図である。
【符号の説明】
【０１２６】
１００  画像記録再生装置
２０１  音声データ供給部
２０２  音声符号化部
２０３  動画撮像部
２０４  動画データ符号化部
２０５  静止画撮像部
２０６  静止画データ符号化部
２０７  静止画情報生成部
２０８  記録制御部
２０９  データ保持部
３０１  分離部
３０２  静止画情報指示部
３０３  動画復号部
３０４  静止画復号部
３０５  音声復号部
３０６  画像エフェクト供給部
３０７  音声エフェクト供給部
３０８  音声スイッチ
３０９  音声信号指示部
３１０  画像重ね合わせ部
３１１  選択部
３１２  表示時間制御部
３１３  静止画表示設定部
３１４  表示時間設定部
３１５  データ保持部
【図１】
2006222771.tif 000003
【図２】
2006222771.tif 000004
【図３】
2006222771.tif 000005
【図４】
2006222771.tif 000006
【図５】
2006222771.tif 000007
【図６】
2006222771.tif 000008
【図７】
2006222771.tif 000009
【図８】
2006222771.tif 000010
【図９】
2006222771.tif 000011
【図１０】
2006222771.tif 000012
【図１１】
2006222771.tif 000013
【図１２】
2006222771.tif 000014
【図１３】
2006222771.tif 000015
【図１４】
2006222771.tif 000016
【図１５】
2006222771.tif 000017
【図１６】
2006222771.tif 000018
【図１７】
2006222771.tif 000019