(57)【要約】【課題】静止画が同時撮影されていた動画について、その内容を示すより適切な代表画像の取得が可能な電子カメラ、及びその様な代表画像の再生が可能な画像再生装置を提供する。【解決手段】動画撮影した動画をファイルとして記録するとき、その動画ファイルに、動画の内容を示すための代表画像を生成して埋め込む。その際、動画撮影中に静止画が同時撮影されなければ、動画フレームの先頭のフレーム画像を代表画像として使用し、動画撮影中に静止画が同時撮影されたら、その静止画撮影で取得した画像を代表画像として使用する。記録画像の再生モードでは、画像選択用に表示する選択画面Ｇに静止画の代表画像ｓ１〜ｓ４と、動画の代表画像ｍ１，ｍ２を表示する。静止画が同時撮影されていた動画の代表画像ｍ２は、動画撮影中におけるユーザーの関心が他の場面よりも高かった場面の画像である、同時撮影された静止画の代表画像ｓ４と同一となる。【選択図】    図６
2004304642.tif 000002
【特許請求の範囲】
【請求項１】
動画撮影中における任意のタイミングでの静止画撮影が可能であるとともに、各々の撮影により取得した撮影画像を画像記録手段に記録する同時撮影機能を備えた電子カメラにおいて、
動画撮影中に静止画撮影が実行された場合、その静止画撮影の実行時期に撮影された画像に基づく画像を、撮影途中の動画の代表画像として前記画像記録手段に記録させる制御手段を備えたことを特徴とする電子カメラ。
【請求項２】
前記制御手段は、動画撮影中の静止画撮影により取得された静止画像に基づき生成された画像を前記代表画像として前記画像記録手段に記録させることを特徴とする請求項１記載の電子カメラ。
【請求項３】
前記画像記録手段に記録されている動画の前記代表画像を再生する再生手段を備えたことを特徴とする請求項１又は２記載の電子カメラ。
【請求項４】
動画撮影中における任意のタイミングでの静止画撮影が可能であるとともに、各々の撮影により取得した撮影画像を画像記録手段に記録する同時撮影機能を備えた電子カメラにおいて、
動画撮影中に静止画撮影が実行された場合、撮影により取得された動画の先頭画像として、静止画撮影の実行時期に撮影された画像に基づく画像を前記画像記録手段に記録させる制御手段を備えたことを特徴とする電子カメラ。
【請求項５】
動画撮影中における任意のタイミングでの静止画撮影が可能であるとともに、各々の撮影により取得した撮影画像を画像記録手段に記録する同時撮影機能を備えた電子カメラにおいて、
動画撮影中における静止画撮影が実行された時期を特定する特定情報を、当該動画撮影により取得された動画に関連付けて記録する特定情報記録手段と、
前記画像記録手段に記録されている動画から、当該動画と関連付けられて前記特定情報記録手段に記録されている特定情報により特定される時期に対応するフレーム画像を抽出し、抽出したフレーム画像を当該動画の代表画像として再生する再生手段と
を備えたことを特徴とする電子カメラ。
【請求項６】
動画撮影中における任意のタイミングでの静止画撮影が可能であるとともに、各々の撮影により取得した撮影画像を画像記録手段に記録する同時撮影機能を備えた電子カメラにおいて、
前記各々の撮影により取得した撮影画像を互いに関連付けて前記画像記録手段に記録させる制御手段と、
前記画像記録手段に前記動画と関連付けられて記録されている静止画を、その静止画と関連付けられて前記画像記録手段に記録されている動画の代表画像として再生する再生手段と
を備えたことを特徴とする電子カメラ。
【請求項７】
画像記録手段に記録されている動画の代表画像を再生する画像再生装置において、
撮影中に静止画撮影が実行されていた動画の代表画像として、前記静止画撮影の実行時期に取得された撮影画像に基づく画像を再生する再生手段を備えたことを特徴とする画像再生装置。
【請求項８】
前記代表画像は前記動画の先頭画像であり、前記再生手段はその先頭画像を再生することを特徴とする請求項７記載の画像再生装置。
【請求項９】
前記再生手段は、撮影中に静止画撮影が実行されていた動画の代表画像として、前記画像記録手段に記録されているとともに代表画像の再生対象となる動画と関連付けられている静止画に基づく画像を再生することを特徴とする請求項７記載の画像再生装置。
【請求項１０】
前記再生手段は、撮影中に静止画撮影が実行されていた動画から、静止画撮影の実行時期に対応する画像を抽出し、抽出した画像を当該動画の代表画像として再生することを特徴とする請求項７記載の画像再生装置。
【請求項１１】
動画撮影中における任意のタイミングでの静止画撮影が可能であるとともに、各々の撮影により取得した撮影画像を画像記録手段に記録する同時撮影機能を備えた電子カメラが有するコンピュータを、
動画撮影中に静止画撮影が実行された場合、その静止画撮影の実行時期に撮影された画像に基づく画像を、撮影途中の動画の代表画像として前記画像記録手段に記録させる制御手段として機能させるためのプログラム。
【請求項１２】
動画撮影中における任意のタイミングでの静止画撮影が可能であるとともに、各々の撮影により取得した撮影画像を画像記録手段に記録する同時撮影機能を備えた電子カメラが有するコンピュータを、
動画撮影中に静止画撮影が実行された場合、撮影により取得された動画の先頭画像として、静止画撮影の実行時期に撮影された画像に基づく画像を前記画像記録手段に記録させる制御手段として機能させるためのプログラム。
【請求項１３】
画像記録手段に記録されている動画を示す代表画像を再生する画像再生装置が有するコンピュータを、
撮影中に静止画撮影が実行されていた動画の代表画像として、前記静止画撮影の実行時期に取得された撮影画像に基づく画像を再生する再生手段として機能させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画撮影中に静止画撮影が可能な電子カメラ、及び記録されている動画を示す代表画像を再生する画像再生装置に関する。
【０００２】
【従来の技術】
従来、例えばデジタルスチルカメラやデジタルビデオカメラ等の電子カメラにおいては、動画撮影中における静止画撮影を可能としたものがある。また、そうした電子カメラにおいて、動画における所定位置（先頭、中間、末尾）のフレーム画像や、ズーム操作があった位置のフレーム画像をその動画を示す代表画像（以下、インデックス画像という。）として自動的に抽出し、係るインデックス画像によって、撮影した動画の内容をユーザーに示す技術が知られている（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平１０−２８２５０号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、前述した技術により得られるインデックス画像つまり静止画像は、動画の先頭、中間、末尾の画像やズーム操作があった時点の画像であるため、そのインデックス画像が、動画を撮影したユーザーが印象に残っている場面等と一致するとは限らない。そのため、例えば記録されている複数の動画の再生に先立ちユーザーに所望する動画を選択させるとき、各動画のインデックス画像を表示したとしても、ユーザーに各々の動画の内容を思い出させることが難しいという問題があった。
【０００５】
無論、かかる問題は、動画を構成するフレーム画像の中からインデックス画像としての使用を望む画像をユーザーに予め選択させるようにすれば生じないが、それでは、ユーザーが、フレーム画像の選択操作といった煩雑な操作を強いられるという問題がある。
【０００６】
本発明は、かかる従来の課題に鑑みてなされたものであり、静止画が同時撮影されていた動画について、その内容を示すより適切な代表画像の取得が可能な電子カメラ、及びその様な代表画像の再生が可能な画像再生装置と、それらの実現に使用されるプログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
前記課題を解決するために本発明の請求項１の発明にあっては、動画撮影中における任意のタイミングでの静止画撮影が可能であるとともに、各々の撮影により取得した撮影画像を画像記録手段に記録する同時撮影機能を備えた電子カメラにおいて、動画撮影中に静止画撮影が実行された場合、その静止画撮影の実行時期に撮影された画像に基づく画像を、撮影途中の動画の代表画像として前記画像記録手段に記録させる制御手段を備えたものとした。
【０００８】
かかる構成においては、その撮影中に静止画撮影があった動画の代表画像として、静止画撮影の実行時期に撮影された画像、つまり動画撮影中におけるユーザーの関心が他の場面よりも高かった場面の画像に基づく画像が記録される。
【０００９】
また、請求項２の発明にあっては、前記制御手段は、動画撮影中の静止画撮影により取得された静止画像に基づき生成された画像を前記代表画像として前記画像記録手段に記録させるものとした。
【００１０】
かかる構成においては、その撮影中に静止画撮影があった動画の代表画像として、静止画撮影により取得された静止画像に基づき生成された画像、つまり動画撮影中におけるユーザーの関心が他の場面よりも高かった場面の画像に基づく画像が記録される。
【００１１】
また、請求項３の発明にあっては、前記画像記録手段に記録されている動画の前記代表画像を再生する再生手段を備えたものとした。
【００１２】
かかる構成においては、その撮影中に静止画撮影があった動画の代表画像を、自己において表示することができる。
【００１３】
また、請求項４の発明にあっては、動画撮影中における任意のタイミングでの静止画撮影が可能であるとともに、各々の撮影により取得した撮影画像を画像記録手段に記録する同時撮影機能を備えた電子カメラにおいて、動画撮影中に静止画撮影が実行された場合、撮影により取得された動画の先頭画像として、静止画撮影の実行時期に撮影された画像に基づく画像を前記画像記録手段に記録させる制御手段を備えたものとした。
【００１４】
かかる構成においては、その撮影中に静止画撮影があったとき、撮影された動画は、その先頭画像を、静止画撮影の実行時期に撮影された画像に基づく画像、つまり動画撮影中におけるユーザーの関心が他の場面よりも高かった場面の画像に基づく画像に変更された状態で記録される。
【００１５】
また、請求項５の発明にあっては、動画撮影中における任意のタイミングでの静止画撮影が可能であるとともに、各々の撮影により取得した撮影画像を画像記録手段に記録する同時撮影機能を備えた電子カメラにおいて、動画撮影中における静止画撮影が実行された時期を特定する特定情報を、当該動画撮影により取得された動画に関連付けて記録する特定情報記録手段と、前記画像記録手段に記録されている動画から、当該動画と関連付けられて前記特定情報記録手段に記録されている特定情報により特定される時期に対応するフレーム画像を抽出し、抽出したフレーム画像を当該動画の代表画像として再生する再生手段とを備えたものとした。
【００１６】
かかる構成においては、その撮影中に静止画撮影があった動画の代表画像の再生時には、静止画撮影の実行時期に対応するフレーム画像、つまり動画撮影中におけるユーザーの関心が他の場面よりも高かった場面の画像が代表画像として再生される。
【００１７】
また、請求項６の発明にあっては、動画撮影中における任意のタイミングでの静止画撮影が可能であるとともに、各々の撮影により取得した撮影画像を画像記録手段に記録する同時撮影機能を備えた電子カメラにおいて、前記各々の撮影により取得した撮影画像を互いに関連付けて前記画像記録手段に記録させる制御手段と、前記画像記録手段に前記動画と関連付けられて記録されている静止画を、その静止画と関連付けられて前記画像記録手段に記録されている動画の代表画像として再生する再生手段とを備えたものとした。
【００１８】
かかる構成においては、その撮影中に静止画撮影があった動画の代表画像の再生時には、静止画撮影により撮影された静止画、つまり動画撮影中におけるユーザーの関心が他の場面よりも高かった場面の画像が代表画像として再生される。
【００１９】
また、請求項７の発明にあっては、画像記録手段に記録されている動画の代表画像を再生する画像再生装置において、撮影中に静止画撮影が実行されていた動画の代表画像として、前記静止画撮影の実行時期に取得された撮影画像に基づく画像を再生する再生手段を備えたものとした。
【００２０】
かかる構成においては、撮影中に静止画撮影が実行されていた動画の代表画像の再生時には、前記静止画撮影の実行時期に取得された撮影画像に基づく画像、つまり動画撮影中におけるユーザーの関心が他の場面よりも高かった場面の画像が代表画像として再生される。
【００２１】
また、請求項８の発明にあっては、前記代表画像は前記動画の先頭画像であり、前記再生手段はその先頭画像を再生するものとした。
【００２２】
かかる構成においては、撮影中に静止画撮影が実行されていた動画の代表画像の再生時には、静止画撮影の実行時期に取得された撮影画像に基づく先頭画像、つまり動画撮影中におけるユーザーの関心が他の場面よりも高かった場面の画像が代表画像として再生される。
【００２３】
また、請求項９の発明にあっては、前記再生手段は、撮影中に静止画撮影が実行されていた動画の代表画像として、前記画像記録手段に記録されているとともに代表画像の再生対象となる動画と関連付けられている静止画に基づく画像を再生するものとした。
【００２４】
かかる構成においては、撮影中に静止画撮影が実行されていた動画の代表画像の再生時には、その動画と関連付けられて記憶されている静止画に基づく画像、つまり動画撮影中におけるユーザーの関心が他の場面よりも高かった場面の画像が代表画像として再生される。
【００２５】
また、請求項１０の発明にあっては、前記再生手段は、撮影中に静止画撮影が実行されていた動画から、静止画撮影の実行時期に対応する画像を抽出し、抽出した画像を当該動画の代表画像として再生するものとした。
【００２６】
かかる構成においては、撮影中に静止画撮影が実行されていた動画の代表画像の再生時には、その動画における静止画撮影の実行時期に対応するフレーム画像、つまり動画撮影中におけるユーザーの関心が他の場面よりも高かった場面の画像が代表画像として再生される。
【００２７】
また、請求項１１の発明にあっては、動画撮影中における任意のタイミングでの静止画撮影が可能であるとともに、各々の撮影により取得した撮影画像を画像記録手段に記録する同時撮影機能を備えた電子カメラが有するコンピュータを、動画撮影中に静止画撮影が実行された場合、その静止画撮影の実行時期に撮影された画像に基づく画像を、撮影途中の動画の代表画像として前記画像記録手段に記録させる制御手段として機能させるためのプログラムとした。
【００２８】
また、請求項１２の発明にあっては、動画撮影中における任意のタイミングでの静止画撮影が可能であるとともに、各々の撮影により取得した撮影画像を画像記録手段に記録する同時撮影機能を備えた電子カメラが有するコンピュータを、動画撮影中に静止画撮影が実行された場合、撮影により取得された動画の先頭画像として、静止画撮影の実行時期に撮影された画像に基づく画像を前記画像記録手段に記録させる制御手段として機能させるためのプログラムとした。
【００２９】
また、請求項１３の発明にあっては、画像記録手段に記録されている動画を示す代表画像を再生する画像再生装置が有するコンピュータを、撮影中に静止画撮影が実行されていた動画の代表画像として、前記静止画撮影の実行時期に取得された撮影画像に基づく画像を再生する再生手段として機能させるためのプログラムとした。
【００３０】
【発明の実施の形態】
以下、本発明の一実施の形態を図にしたがって説明する。図１は、通常の静止画撮影機能と動画撮影機能を備えるとともに、動画撮影中における静止画撮影が可能な電子スチルカメラ１の概略構成を示すブロック図である。電子スチルカメラ１は、ＣＣＤ２とＤＳＰ／ＣＰＵ３とを有している。ＤＳＰ／ＣＰＵ３は、画像データの圧縮・伸張処理を含む各種のデジタル信号処理機能を有するとともに電子スチルカメラ１の各部を制御するワンチップマイコンである。
【００３１】
ＤＳＰ／ＣＰＵ３には、ＣＣＤ２を駆動するＴＧ（Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｏｒ）４が接続されており、ＴＧ４には、ＣＣＤ２から出力される被写体の光学像に応じたアナログの撮像信号が入力するユニット回路５が接続されている。ユニット回路５は、ＣＣＤ２から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅後の撮像信号をデジタル信号に変換するＡ／Ｄ変換器（ＡＤ）から構成されており、ＣＣＤ２の出力信号はユニット回路５を経てデジタル信号としてＤＳＰ／ＣＰＵ３に送られる。
【００３２】
ＤＳＰ／ＣＰＵ３には、表示装置６、キー入力部７が接続されるとともに、アドレス・データバス８を介してＤＲＡＭ９、内蔵フラッシュメモリ１０、カード・インターフェイス１１が接続されており、カード・インターフェイス１１には、電子スチルカメラ１の本体の図示しないスロットルに装着された着脱自在なメモリ・カード１２が接続されている。メモリ・カード１２は、撮影された静止画や動画のデータを記憶する本発明の画像記録手段である。
【００３３】
表示装置６はカラーＬＣＤとその駆動回路とを含み、撮影待機状態にあるときにはＣＣＤ２によって撮像された被写体画像をスルー画像として表示し、記録画像の再生時には保存用メモリであるメモリ・カード１２から読み出され伸張された記録画像（静止画又は動画）を表示する。また、後述するマルチ再生モードでは、メモリ・カード１２に記録されている画像の一覧をサムネイル表示する。
【００３４】
キー入力部７はシャッターボタン、動画撮影に使用する録画開始／終了ボタン、記録画像の再生時に使用される画像選択キー、電源キー、ＭＥＮＵキー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＤＳＰ／ＣＰＵ３に出力する。
【００３５】
ＤＲＡＭ９は、ＣＣＤ２により撮像された後、デジタル化された被写体の画像データ等を一時記憶するバッファメモリであるとともに、ＤＳＰ／ＣＰＵ３のワーキングメモリとしても使用される。ＤＲＡＭ９に一時記憶された画像データは、例えばシャッターボタンが押された静止画撮影時には、ＤＳＰ／ＣＰＵ３により圧縮・伸張処理を含む各種のデジタル信号処理が行われた後、最終的には、ＪＰＥＧ等の所定のフォーマット形式の画像ファイルとしてメモリ・カード１２に記録される。
【００３６】
内蔵フラッシュメモリ１０には、ＤＳＰ／ＣＰＵ３による各部の制御に必要な制御プログラム、すなわちＡＦ（オートフォーカス制御）やＡＥ（自動露出制御）等を含む各種の制御に必要なプログラム、及び各制御に必要なデータが記憶されており、ＤＳＰ／ＣＰＵ３は前記プログラムに従い動作することにより、本発明の、制御手段、再生手段として機能する。
【００３７】
次に、以上の構成からなる電子スチルカメラ１における動作を説明する。図２及び図３は、ユーザーがＭＥＮＵキーの操作によって所定の撮影モードを設定したときのＤＳＰ／ＣＰＵ３の処理手順を示すフローチャートである。
【００３８】
ＤＳＰ／ＣＰＵ３は、上記撮影モードが設定されると、ＣＣＤ２による撮像を開始して被写体のスルー画像を表示装置６に表示させ（ステップＳＡ１）、録画開始ボタンの操作や、シャッターボタンの操作があるまでの間、スルー画像の表示処理を繰り返す（ステップＳＡ２，ＳＡ３が共にＮＯ）。
【００３９】
その間に、シャッターボタンが押されると（ステップＳＡ２でＮＯ、ＳＡ３でＹＥＳ）、通常の静止画撮影モードに移行し、ＡＦ及びＡＥ動作による撮影条件の設定、ＣＣＤ２による被写体画像の記録用の撮像といった静止画撮影処理を開始する（ステップＳＡ４）。次に、係る処理が完了したら（ステップＳＡ５でＹＥＳ）、ここで取得した静止画データに基づきバッファメモリ（ＤＲＡＭ９）上でインデックス画像のデータを作成する（ステップＳＡ６）。インデックス画像は、後述する再生モードでの再生画像の選択操作や、記録画像の確認操作に応じて前記表示装置６に画面表示される画像であり、一般にサムネイル画像と呼ばれる画素数を減少させた縮小画像である。しかる後、作成したインデックス画像を含むｊｐｅｇ形式等の静止画ファイルを生成して、それをメモリ・カード１２に記録する（ステップＳＡ７）。図４（ａ）は、ここで記録する静止画ファイル１０１を示した図であり、静止画ファイル１０１は、静止画ファイル名１０１ａと、圧縮データであるインデックス画像データ１０１ｂ及び静止画データ１０１ｃとから構成される。そして、ステップＳＡ１へ戻りスルー画像を表示する。
【００４０】
また、スルー画像を表示する間に、録画開始ボタンが押されたら（ステップＳＡ２でＹＥＳ）、動画撮影モードに移行し、所定のフレームレート（１／３０秒等の固定周期）で画像（動画フレーム）を撮像し記憶する動画撮影処理を開始する（ステップＳＡ８）。なお、動画撮影処理における動画フレームの撮像に際しては、ＣＣＤ２に、比較的短い出力タイミングで１画面中の奇数ラインの画素信号のみを出力させ、その奇数ラインの画素データをバッファメモリ（ＤＲＡＭ９）に取り込み、取り込んだ画像データを所定の画素数に間引く処理を行う。以後、シャッターボタンが押されたり、録画終了ボタンが押されるまでは動画記録処理を継続する（ステップＳＡ９，ＳＡ１８が共にＮＯ）。
【００４１】
そして、上記の動画記録処理を行う間にシャッターボタンが押された場合には（ステップＳＡ９でＹＥＳ）、割込み処理による静止画撮影モードに移行し、以下に述べるステップＳＡ１４までの処理を実行する。まずシャッターボタンが押された時点で通常の動画記録処理を一時停止して、直前のフレーム画像を繰り返し使用する動画記録処理に切り替える（ステップＳＡ１０）。つまり後述する割り込みによる静止画撮影処理を行うまでの間に所定のフレームレートでバッファメモリに蓄積すべきフレームデータを、撮像により得られるフレームデータから、シャッターボタンが押される直前に蓄積したフレームデータのコピーである代替フレームとする動画記録処理に切り替える。そして、前述したステップＳＡ４〜ＳＡ７と同様の静止画撮影処理を行い、バッファメモリ（ＤＲＡＭ９）上でインデックス画像のデータを作成した後、インデックス画像を含む図４（ａ）に示したデータからなる静止画ファイル１０１を生成し、それをメモリ・カード１２に記録する（ステップＳＡ１１〜ＳＡ１４）。
【００４２】
引き続き、上記静止画撮影処理が、割込み処理による静止画撮影モードに移行してから１回目であるか否かを判別する（ステップＳＡ１５）。なお、係る判別は、例えば内部に確保した所定のレジスタに上記静止画撮影モードへ移行した後の静止画撮影の回数を記憶しておくことにより行う。そして、その判別結果がＹＥＳであって１回目の静止画撮影であれば、バッファメモリにインデックス画像用の所定領域を確保し、そこにステップＳＡ１３で作成したインデックス画像を保持する処理を行った後（ステップＳＡ１６）、ステップＳＡ１０で切り換えた動画撮影処理を通常の動画撮影処理に戻して（ステップＳＡ１７）、動画撮影を続行する。また、１回目の静止画撮影でなければ（ステップＳＡ１５でＮＯ）、そのまま通常の動画撮影処理を再開する（ステップＳＡ１７）。なお、これに伴い、バッファメモリの前述したインデックス画像は消失することとなる。
【００４３】
以後、動画撮影処理を継続する間には（ステップＳＡ１８でＮＯ）、シャッタボタンが押される毎にステップＳＡ１１〜ＳＡ１４の処理により新たな静止画ファイル１０１をメモリ・カード１２に記録する。やがて、録画終了ボタンが押されたら（ステップＳ１８でＹＥＳ）、動画撮影処理を停止する（ステップＳＡ１９）。引き続き、前述した動画撮影処理中に割込みによる静止画撮影が１度でも行われており、バッファメモリの前述した所定領域にインデックス画像が保持されていたときには（ステップＳＡ２０でＹＥＳ）、保持されているインデックス画像、つまりステップＳＡ１４で記録した静止画ファイルに埋め込んだものと同一のインデックス画像を含むｍｏｔｉｏｎ−ｊｐｅｇ形式等の動画ファイルを生成して、それをメモリ・カード１２に記録し（ステップＳＡ２１）、１回の動画撮影処理を完了する。
【００４４】
図４（ｂ）は、ここで記録する動画ファイル１０２を示した図であり、動画ファイル１０２は、動画ファイル名１０２ａと、圧縮データであるインデックス画像データ１０２ｂ及び動画データ１０２ｃとから構成される。なお、この場合における動画データ１０２ｃは、所定のフレームレートで実際に撮像された画像から生成され記憶されていた複数のフレーム画像と、各静止画撮影処理の開始直前に撮像された画像から生成され記憶されていた複数のフレーム画像とを用いて生成された圧縮データである。
【００４５】
また、前述したステップＳＡ２０の判別結果がＮＯであって、動画撮影処理中に割込みによる静止画撮影がなく、バッファメモリの前述した所定領域にインデックス画像が保持されていないときには、まず、バッファメモリに記憶されている複数のフレーム画像のうちの１枚目の画像に基づきインデックス画像を作成する（ステップＳＡ２２）。しかる後、作成したインデックス画像を含む図４（ｂ）に示した構成の動画ファイル１０２を生成して、それをメモリ・カード１２に記録し（ステップＳＡ２３）、１回の動画撮影処理を完了する。なお、この場合における動画データ１０２ｃは、所定のフレームレートで実際に撮像された画像から生成され記憶されていたフレーム画像のみを用いて生成された圧縮データである。そして、以上のように動画撮影処理が完了したら、ステップＳＡ１へ戻りスルー画像を表示し、以後、前述した処理を繰り返す。
【００４６】
また、図５は、ユーザーがＭＥＮＵキーの操作によって所定のマルチ再生モードを設定したときのＤＳＰ／ＣＰＵ３の処理手順を示すフローチャートである。
【００４７】
ＤＳＰ／ＣＰＵ３は、マルチ再生モードが設定されると、メモリ・カード１２に記録されている画像をユーザーに選択させるための選択画面Ｇ（図６）を表示装置６の画面上に表示させる。すなわちメモリ・カード１２に記録されている１又は複数の動画ファイル１０２からインデックス画像データ１０２ｂを読出し、それに基づくインデックス画像を所定のムービーマークと共に表示装置６の画面上に表示させ、かつメモリ・カード１２に記録されている１又は複数の静止画ファイル１０１からインデックス画像データ１０１ｂを読出し、それに基づくインデックス画像を所定のスチルマークと共に表示装置６の画面上に表示させる（ステップＳＢ１）。これにより、ユーザーに所望する画像の選択操作を行わせる。
【００４８】
図６は、そのときの表示装置６における選択画面Ｇの一例を示す図であって、本実施の形態では、動画のインデックス画像ｍ１，ｍ２，・・・と静止画のインデックス画像ｓ１，ｓ２，・・・とを横４×縦３に配置してマルチ表示する。なお、図中の［ムービー］が前記ムービーマークであり、［スチル］が前記スチルマークであり、各インデックス画像の並び順は左上から右下に向かう撮影順（記録順）である。なお、この例ではインデックス画像ｍ２が、撮影中に前述した割込み処理による静止画撮影があった動画のインデックス画像であり、かつインデックス画像ｓ４が、その静止画撮影により記録された静止画のインデックス画像であり、図示したように双方のインデックス画像ｍ２，ｓ４は同一画像となる。
【００４９】
このとき、静止画が同時撮影されていた動画については、そのインデックス画像ｍ２が、それと同時撮影された静止画と同一画像、つまり動画撮影中におけるユーザーの関心が他の場面よりも高かった場面の画像である。したがって、係るインデックス画像ｍ２によって、静止画が同時撮影されていた動画動画の内容をユーザーに容易に思い出させることができる。
【００５０】
なお、ＤＳＰ／ＣＰＵ３は、１画面に収まらない数の画像（動画、静止画）がメモリ・カード１２に記録されて場合には、選択画面Ｇの表示している間、ユーザーによるカーソル移動に応じインデックス画像のスクロール表示等を行う。やがてユーザーによりいずれかの画像が選択されたら（ステップＳＢ２でＹＥＳ）、選択された動画又は静止画のファイルをメモリ・カード１２から読出し、動画データや静止画データをバッファメモリ上に展開し、それに基づく画像の再生を開始する（ステップＳＢ３）。その後、ユーザーによる終了操作があったら（ステップＳＢ４でＹＥＳ）、１回の再生処理を終えステップＳＢ１へ戻り、再びユーザーに画像選択を行わせる。なお、ステップＳＢ４ではユーザーによる終了操作を待たずに、例えば静止画の場合には所定時間の経過とともに、また動画場合には全ての動画フレームを表示した時点で、それぞれ自動的に再生を終了するようにしてもよい。
【００５１】
ここで、以上説明した本実施の形態では、動画撮影中に静止画撮影を行う手法として、動画撮影中に静止画撮影が指示された場合に動画撮影処理を一時中断して静止画撮影処理を実行する（割込み撮影を行う）ことにより同時撮影を可能にする手法を用いた場合について説明したが、動画撮影処理を中断することなく静止画撮影処理を並行して実行する手法を用いてもよい。動画撮影処理と静止画撮影処理を並行して実行する手法の一例としては、動画撮影中に静止画撮影が指示された場合に指示タイミングのフレーム画像を動画中から抽出して静止画として記録することにより同時撮影を可能にするカメラや、静止画撮影用の撮像素子と動画撮影用の撮像素子とを別個に設けることにより同時撮影を可能にするカメラが考えられる。
【００５２】
また、本実施の形態では、動画の撮影時にはインデックス画像（ｍ２）を作成し動画ファイル１０２中にインデックス画像のデータ１０２ｂを埋め込むようにしたが、動画撮影中に静止画撮影が実行された場合、得られた静止画を動画の先頭画像として記録するようにし、前述したマルチ再生モード等で動画のインデックス画像（代表画像）を再生する際、動画の先頭画像をインデックス画像として再生するようにしてもよい。この場合、従来と同様の処理により動画のインデックス画像を再生するので再生プログラムを変更することなく実現することができる。
【００５３】
また、本実施の形態では、撮影時にインデックス画像を作成し動画ファイル中にインデックス画像を埋め込むようにしたが、動画撮影中に静止画撮影が実行された場合、得られた動画と静止画を関連付けて記録するようにし、動画のインデックス画像を再生する際、動画と関連付けて記録されている静止画（静止画ファイル中のインデックス画像データ又は静止画データ）を読み出して動画のインデックス画像として再生するようにしてもよい。
【００５４】
また、本実施の形態では、撮影時にインデックス画像を作成し動画ファイル中にインデックス画像を埋め込むようにしたが、動画撮影中に静止画撮影が実行された場合、動画データ中における静止画撮影タイミングの動画フレームに対応付けてフラグ情報を記憶させ、動画のインデックス画像を再生する際、フラグ情報が対応付けて記憶されている動画フレームのフレームデータを動画データ中から抽出して動画のインデックス画像として再生するようにしてもよい。その場合、上記フラグ情報が本発明の特定情報であるとともに、メモリ・カード１２が本発明の特定情報記録手段として機能することとなる。
【００５５】
また、本実施の形態では、撮影時にインデックス画像を作成し動画ファイル中にインデックス画像を埋め込むようにしたが、動画撮影中に静止画撮影が実行された場合、本発明の特定情報として、動画中の静止画撮影タイミングを特定することが可能な情報（例えば、動画撮影開始時刻と静止画撮影時刻、動画撮影を開始してから静止画撮影が行なわれるまでの経過時間、静止画撮影タイミングの動画フレーム番号等）を動画データと関連付けて記録し、動画のインデックス画像を再生する際、前記情報に基づき特定される動画データ中のフレームデータを抽出してインデックス画像として再生するようにしてもよい。
【００５６】
また、本実施の形態では、静止画ファイルのインデックス画像と動画ファイルのインデックス画像とを混在させて表示するマルチ再生モードに本発明を適用した場合について説明したが、静止画のインデックス画像のみを表示するマルチ再生モードと動画のインデックス画像のみを表示するマルチ再生モードとを別個に設けるようにしてもよい。このようにした場合、静止画のインデックス画像と動画のインデックス画像とを識別可能に表示させる必要がなくなる。
【００５７】
また、本実施の形態では、マルチ再生モードに本発明を適用した場合について説明したが、静止画や動画のインデックス画像をオート又はマニュアルにより切り換え表示する単独再生モードに本発明を適用してもよい。
【００５８】
また、本実施の形態では、動画撮影中における１回目の静止画撮影タイミングの画像をインデックス画像として記録するようにしたが、所定回数目の静止画撮影タイミングの画像や最後の静止画撮影タイミングの画像をインデックス画像として記録するようにしてもよい。
【００５９】
また、本実施の形態では、動画撮影中の静止画撮影により得られた静止画を用いて動画のインデックス画像を生成して動画ファイル中に埋め込むようにしたが、動画中の静止画撮影タイミングの動画フレームのフレームデータを用いて動画のインデックス画像を生成して動画ファイル中に埋め込むようにしてもよい。
【００６０】
また、本実施の形態では、動画撮影機能付き電子スチルカメラに本発明を適用したが、静止画撮影機能付きムービーカメラ、カメラ付き携帯竜話、カメラ付きＰＤＡ、カメラ付きパソコン等でもよく、要は、動画撮影機能と静止画撮影機能を兼ね備えた機器であれば本発明を適用することができる。
【００６１】
【発明の効果】
以上説明したように請求項１及び２，４の電子カメラにあっては、その撮影中に静止画撮影があった動画の代表画像として、その撮影中におけるユーザーの関心が他の場面よりも高かった場面の画像に基づく画像が記録されるようにした。よって、静止画が同時撮影されていた動画について、その内容を示すより適切な代表画像の取得が可能となる。
【００６２】
また、請求項３の電子カメラにあっては、その撮影中に静止画撮影があった動画の代表画像を、自己において表示することができるようにした。よって、他の装置を必要とすることなく前記動画の代表画像をユーザーに示すことができ、使い勝手がよい。
【００６３】
また、請求項５，６の電子カメラにあっては、その撮影中に静止画撮影があった動画の代表画像の再生時には、動画撮影中におけるユーザーの関心が他の場面よりも高かった場面のフレーム画像が代表画像として再生されるようにした。よって、静止画が同時撮影されていた動画について、その内容を示すより適切な代表画像を取得するとともに、それを他の装置を必要とすることなくユーザーに示すことが可能となる。
【００６４】
また、請求項７〜１０の画像再生装置にあっては、撮影中に静止画撮影が実行されていた動画の代表画像の再生時には、動画撮影中におけるユーザーの関心が他の場面よりも高かった場面の画像が代表画像として再生されるようにした。よって、静止画が同時撮影されていた動画について、その内容を示すより適切な代表画像をユーザーに示すことが可能となる。
【００６５】
また、請求項１１，１２，１３のプログラムにあっては、それらを用いることにより、請求項１の電子カメラ、請求項４の電子カメラ、請求項７の画像再生装置をそれぞれ実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示す電子スチルカメラのブロック図である。
【図２】同電子スチルカメラの撮影モードでの動作を示すフローチャートである。
【図３】図２に続くフローチャートである。
【図４】撮影モードで記録される静止画ファイル（ａ）と、動画ファイル（ｂ）のデータ構造を示す模式図である。
【図５】電子スチルカメラによるマルチ再生モードでの動作を示すフローチャートである。
【図６】マルチ再生モードが設定されたときの表示装置が表示する選択画面の一例を示す図である。
【符号の説明】
１    電子スチルカメラ
２    ＣＣＤ
３    ＤＳＰ／ＣＰＵ
６    表示装置
７    キー入力部
９    ＤＲＡＭ
１０    内蔵フラッシュメモリ
１２    メモリ・カード
１０１    静止画ファィル
１０１ｂ    インデックス画像データ
１０１ｃ    静止画データ
１０２    動画ファイル
１０２ｂ    インデックス画像データ
１０２ｃ    動画データ
Ｇ    選択画面
ｓ１〜ｓ４    静止画のインデックス画像
ｍ１    静止画の同時撮影がなかった動画のインデックス画像
ｍ２    静止画の同時撮影があった動画のインデックス画像
【図１】
2004304642.tif 000003
【図２】
2004304642.tif 000004
【図３】
2004304642.tif 000005
【図４】
2004304642.tif 000006
【図５】
2004304642.tif 000007
【図６】
2004304642.tif 000008