(57)【要約】【課題】  記録された画像の中から一部の画像を抽出して再生する場合に、適切な画像を選択して再生できるようにする。【解決手段】  記録媒体に記録されている動画データを再生する再生手段と、前記記録媒体に記録されている動画データから、所定の条件に基づいて選択された動画データを再生するように前記再生手段を制御する制御手段とを有し、前記制御手段は、前記記録媒体に記録されている前記動画データの中で、該動画データを撮影した記録装置の姿勢が、前記動画データの撮影中に所定以上変化している動画データを選択しない。【選択図】  図１
2015126392.tif 000002
【特許請求の範囲】
【請求項１】
記録媒体に記録されている動画データを再生する再生手段と、
前記記録媒体に記録されている動画データから、所定の条件に基づいて選択された動画データを再生するように前記再生手段を制御する制御手段とを有し、
前記制御手段は、前記記録媒体に記録されている前記動画データの中で、該動画データを撮影した記録装置の姿勢が、前記動画データの撮影中に所定以上変化している動画データを選択しないことを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記記録媒体に記録されている前記動画データの中で、該動画データの撮影中に合焦処理の動作が行われている動画データを選択しないことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
静止画データの撮影指示に応じて撮影された静止画データと、前記静止画データの撮影指示前に撮影された動画データの少なくとも一方を用いて動画データを生成する生成手段を有し、
前記制御手段は、前記生成手段で生成された動画データの中から動画データを選択することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
静止画データの撮影指示に応じて撮影された前記静止画データと、前記静止画データの撮影指示前に撮影された動画データと、前記動画データの撮影中における、前記動画データを撮影する装置の姿勢に関する情報とを、前記記録媒体に記録する記録手段を有することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
記録媒体に記録されている動画データから、所定の条件に基づいて選択された動画データを再生する画像処理装置の制御方法であって、
前記記録媒体に記録されている前記動画データの中で、該動画データを撮影した記録装置の姿勢が、前記動画データの撮影中に所定以上変化している動画データを選択しないことを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理装置の制御方法に関するものである。
【背景技術】
【０００２】
従来、動画や静止画の画像の中から一部の画像を抽出して再生する、いわゆるダイジェスト再生機能を備えた画像処理装置が提案されている。特許文献１には、ユーザにより指定された人物が写っている画像と、指定された人物と関係性が高い人物が写っている画像を抽出して再生する情報処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−８２９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方で、デジタルカメラで撮影した動画や静止画の中には、撮影条件によっては、ダイジェスト再生に不適切な画像が存在し、画像の選択条件によっては、ダイジェスト再生に不適切な画像を選択してしまうことがあった。
【０００５】
そこで本発明は、記録された画像の中から一部の画像を抽出して再生する場合に、適切な画像を選択して再生できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る画像処理装置は、記録媒体に記録されている動画データを再生する再生手段と、前記記録媒体に記録されている動画データから、所定の条件に基づいて選択された動画データを再生するように前記再生手段を制御する制御手段とを有し、前記制御手段は、前記記録媒体に記録されている前記動画データの中で、該動画データを撮影した記録装置の姿勢が、前記動画データの撮影中に所定以上変化している動画データを選択しないことを特徴とする。
【発明の効果】
【０００７】
記録された画像の中から一部の画像を抽出して再生する場合に、適切な画像を選択して再生できるようにすることができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態における画像処理装置の構成を示すブロック図である。
【図２】本実施形態における動画・静止画記録モードにおける記録制御に関するフローチャートである。
【図３】本実施形態における撮影後処理を説明するフローチャートである。
【図４】レビュー表示時の表示部１０４に表示される画像例を示す図である。
【図５】動画・静止画記録モードにおいて、記録される動画及び静止画に関する概略図である。
【図６】撮影指示前の付加情報を示す図である。
【図７】本実施形態における動画・静止画記録モードで記録したデータの再生処理に関するフローチャートである。
【図８】再生モードにおけるアイコンの表示例を示す図である。
【図９】アルバム再生モードにおけるアルバム再生処理に関するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明の実施形態を説明する。
【００１０】
図１は、画像処理装置としてのカメラ１００の構成例を示すブロック図である。カメラ１００は、第１撮像部１０１、第２撮像部１０２、表示制御部１０３、表示部１０４、音声入力部１０５、音声処理部１０６、音声出力部１０７を有する。また、カメラ１００は、姿勢検出部１０８、画像処理部１０９、操作部１１０、制御部１１１、メモリ１１２、記録再生部１１３、記録媒体１１４、信号処理部１１５、通信部１１６を有する。内部バス１１７は、カメラ１００の各ブロックの間で、各種のデータやコマンドを転送するために用いられる。
【００１１】
第１撮像部１０１及び第２撮像部１０２は、例えば、レンズユニット、絞り、シャッター、撮像素子などからなる。第１撮像部１０１及び第２撮像部１０２は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、得られたアナログ画像信号をデジタル画像信号に変換する。変換されたデジタル画像信号は、一時的にメモリ１１２に記憶される。
【００１２】
本実施形態では、第１撮像部１０１はメインカメラとして、カメラ１００の使用者が被写体を撮影するために用いるものであり、第２撮像部１０２はサブカメラとして、第１撮像部１０１とは反対方向で、カメラ１００の使用者に向けられているものとする。第２撮像部１０２の設置される向きは、第１撮像部１０１の反対方向に限られず、第１撮像部１０１と異なる方向に設置されていればよい。
【００１３】
表示制御部１０３は、表示部１０４に画像を表示するための表示制御を行うマイクロコンピュータであって、メモリ１１２に一時的に記憶されたデジタル画像信号を読み出して、表示部１０４に表示させる処理を行う。また、表示制御部１０３は、記録媒体１１４から記録再生部１１３によって読み出された動画ファイルや静止画ファイルに含まれる画像データを表示部１０４に表示させる処理も行う。表示部１０４は、例えばカメラ１００に搭載された液晶パネルや有機ＥＬパネル等であってもよいし、カメラ１００とは別の表示装置（例えばテレビ、モニタ、プロジェクタ等）であってもよい。
【００１４】
音声入力部１０５は、例えば、内蔵された無指向性のマイクにより、カメラ１００の周囲の音声を集音（収音）し、得られたアナログ音声信号を不図示のＡ／Ｄ変換部によりデジタル化してデジタル音声信号を取得する。そして音声入力部１０５で取得されたデジタル音声信号は、音声処理部１０６に送信される。
【００１５】
音声処理部１０６は、記録時においては、音声入力部１０５から送信されたデジタル音声信号に対して、レベルの適正化処理や周波数制限処理、雑音低減処理等の処理を行い、処理したデジタル音声信号をメモリ１１２に記憶させる。必要に応じて、音声処理部１０６は処理したデジタル音声信号を、例えばＡＣ３、ＡＡＣ等の公知の一般的な音声圧縮方式を用いて圧縮する処理を行う。また、音声処理部１０６は、再生時においては、記録媒体１１４から記録再生部１１３によって読み出された音声ファイルや動画ファイルに含まれる圧縮音声データを復号する処理を行う。
【００１６】
音声出力部１０７は、例えばスピーカや音声出力端子（アナログ端子／デジタル端子）である。例えば音声出力部１０７がスピーカであれば、音声処理部１０６で復号されたデジタル音声信号をアナログ音声信号に変換し、外部に音声として出力する。音声出力部１０７が音声出力端子の場合、音声処理部１０６が復号したデジタル音声信号をアナログ音声信号に変換して外部装置（外付けスピーカ等）に出力するか、デジタル音声信号をそのまま外部装置（光デジタル端子搭載のオーディオコンポ等）に出力する。
【００１７】
姿勢検出部１０８は、カメラ１００の姿勢を検知するための角度センサや縦横センサなどであり、制御部１１１は、姿勢検出部１０８により得られたカメラ１００の姿勢に関する情報に基づいて、カメラ１００が横位置であるか縦位置であるかを判定する。本実施形態で姿勢情報は、カメラ１００が横位置（正位置）の場合に０度、カメラ１００が横位置のときの右側面である第１面を下にした縦位置の場合に９０度、第１面と反対側のカメラ１００の左側面である第２面を下にした縦位置の場合に−９０度とする。
【００１８】
画像処理部１０９は、メモリ１１２に記憶された画像信号に対し、ホワイトバランスや色、明るさなどをユーザに設定された設定値や、画像の特性から判定した設定値に基づいて画質調整処理を行うためのプログラムを搭載したマイクロコンピュータである。また、画像処理部１０９は、画像信号の示す画像の画素数を減らして、画像の大きさ（画角）を小さくしたり、画像を回転させたり、色変換することも可能で、ＲＧＢデータである画像信号をＹＵＶデータに変換したり、またその逆の変換を行うことも可能である。処理された画像信号はメモリ１１２に再び記憶される。
【００１９】
また画像処理部１０９は、ＹＵＶデータに変換された画像信号から、パターンマッチング等を用いて、被写体の情報として、写っている人物の数や、それぞれの顔の大きさや位置、笑顔度、人物部分の画像の輝度などを検出する。更に画像処理部１０９は、同じタイミングで出力される第１撮像部１０１から出力される画像信号と、第２撮像部１０２から出力される画像信号とを、合成処理することも可能である。また、画像処理部１０９は、メニュー画面やアイコン等を生成し、更に第１撮像部１０１や第２撮像部１０２から出力される画像信号と、メニュー画面やアイコン等を合成することも可能である。
【００２０】
操作部１１０は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタン、再生ボタンなどの、画像の撮影・再生に関連する各種操作を入力するスイッチ等を有する。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等を備え、ユーザによりこれらのキーやボタン、タッチパネルが操作されると、制御部１１１に操作信号を送信する。
【００２１】
制御部１１１は、不図示のＲＯＭ等に記録されたカメラ１００の制御プログラムをメモリ１１２に展開し、カメラ１００の各ブロックを制御する。また、メモリ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納する。
【００２２】
記録再生部１１３は、下記の各処理を実行するプログラムを搭載したマイクロコンピュータである。記録再生部１１３は、動画記録時においては、信号処理部１１５により圧縮された動画データや音声処理部１０６により圧縮された音声データ、メモリ１１２に記憶された撮影日等の各種情報と共に、動画ファイルとして記録媒体１１４に記録する処理を行う。記録再生部１１３は、圧縮された動画データと音声データとから成るデータストリームを形成し、順次記録媒体１１４に記録し、ファイルヘッダ等を付加してＦＡＴやｅｘＦＡＴ等のファイルフォーマットに適合した形で記録する。また記録再生部１１３は、静止画記録時においては、メモリ１１２に記憶されている静止画データを撮影日等の各種情報と共に、静止画ファイルとして記録媒体１１４に記録する処理を行う。再生時において、記録再生部１１３は、記録媒体１１４に記録された動画ファイルや静止画ファイルをファイルフォーマットに従って読み出す。
【００２３】
記録媒体１１４は、カメラ１００に内蔵された記録媒体でもよいし、取り外し可能な記録媒体でもよい。記録媒体１１４は、例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリなどのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部１１３は、それらの取り外し可能な記録媒体を装着するためのインターフェースを含む。
【００２４】
信号処理部１１５は、第１撮像部１０１や第２撮像部１０２にて撮影された画像信号に対して、ＭＰＥＧ、ＪＰＥＧ等の公知の符号化方式に従う符号化処理を施し、その情報量を圧縮する。また、信号処理部１１５は、記録再生部１１３により記録媒体１１４から読み出された動画ファイルや静止画ファイルから、圧縮された動画データや静止画データを抽出し、復号化処理を行う。
【００２５】
通信部１１６は、カメラ１００と外部装置との間で、制御信号や動画ファイル、静止画ファイル、各種データ等を送受信するものであり、外部装置と有線または無線で接続する。なお、通信方式はどのような方式であってもよい。内部バス１１７は、カメラ１００の各部の間で、各種のデータやコマンドを転送するために用いられる。
【００２６】
なお、表示制御部１０３、音声処理部１０６、画像処理部１０９、記録再生部１１３、信号処理部１１５の処理は、制御部１１１が不図示のＲＯＭ等に記録された前述の処理を実行するためのプログラムをメモリ１１２に展開して実行する構成にしてもよい。
【００２７】
ここで、本実施形態のカメラ１００の静止画記録動作について説明する。制御部１１１は、ユーザが操作部１１０の電源ボタンを操作し、操作部１１０のモード切り換えスイッチが、例えば、「静止画記録モード」「動画記録モード」、「再生モード」等のどのモードであるかを操作部１１０からの指示信号により確認する。「静止画記録モード」であると判定すると、制御部１１１は以下の動作を開始する。
【００２８】
制御部１１１は、カメラ１００の各ブロックに、静止画記録の準備をさせる。操作部１１０から撮影開始の指示が入力されるまで、制御部１１１は、第１撮像部１０１や第２撮像部１０２から得られた画像信号をメモリ１１２に記憶させる。そして、制御部１１１は、メモリ１１２に記憶された画像信号を読み出させて表示部１０４に画像を表示させるように、表示制御部１０３を制御する。なお、画像処理部１０９により処理され、メモリ１１２に記憶された画像信号を読出させて表示部１０４に画像を表示させるように表示制御部１０３を制御しても良い。なお、本実施形態では、第１撮像部１０１や第２撮像部１０２から出力される画像信号のフレームレートは、３０フレーム／秒であるとするが、任意に設定することができる。また、本実施形態では、記録する静止画のサイズ（画素数）を複数のサイズから選択した一つのサイズに設定することができる。
【００２９】
本実施形態においては、カメラ１００は、同じタイミングで出力される第１撮像部１０１からの画像信号と、第２撮像部１０２からの画像信号とを、画像処理部１０９において合成処理して、１つの画像信号として処理を行うことが可能である。また、カメラ１００は、第１撮像部１０１から出力される画像信号と、第２撮像部１０２から出力される画像信号とをそれぞれ別々に処理することも可能である。
【００３０】
制御部１１１は、操作部１１０により撮影開始の指示が入力されたか否かを判定する。撮影開始の指示があると、制御部１１１は、第１撮像部１０１や第２撮像部１０２から得られた画像信号をメモリ１１２に記憶させ、メモリ１１２に記憶された画像信号に対して設定値に基づいて画質調整処理を施すように画像処理部１０９を制御する。また、制御部１１１は、画像処理部１０９で処理された画像信号をメモリ１１２に記憶させ、メモリ１１２に記憶された画像信号を符号化して静止画データを生成するように信号処理部１１５を制御する。次に制御部１１１は、信号処理部１１５で生成された静止画データをメモリ１１２に再び記憶させ、記憶された静止画データを静止画ファイルとして記録媒体１１４に記録するように記録再生部１１３を制御する。以上の処理が終了すると、制御部１１１は、再び静止画記録の準備状態に各ブロックを戻す。
【００３１】
ここで、本実施形態のカメラ１００の動画記録動作について説明する。本実施形態のカメラ１００は、ユーザが操作部１１０の電源ボタンを操作し、操作部１１０のモード切り換えスイッチが、例えば、「動画記録モード」、「再生モード」等のどのモードであるかを操作部１１０からの指示信号により確認する。そして、「動画記録モード」であると判定すると以下の動作を開始する。
【００３２】
制御部１１１は、カメラ１００の各ブロックに、動画記録の準備をさせる。操作部１１０から撮影開始の指示が入力されるまで、制御部１１１は、第１撮像部１０１や第２撮像部１０２から得られた画像信号を順次メモリ１１２に記憶させる。そして、制御部１１１は、メモリ１１２に記憶された画像信号を読み出させて表示部１０４に画像を表示させるように、表示制御部１０３を制御する。なお、画像処理部１０９により処理され、メモリ１１２に記憶された画像信号を読出させて表示部１０４に画像を表示させるように表示制御部１０３を制御しても良い。なお、本実施形態では、第１撮像部１０１や第２撮像部１０２から出力される画像信号のフレームレートは、３０フレーム／秒であるとする。また、本実施形態では、記録する動画のサイズ（画素数）を複数のサイズから選択した一つのサイズに設定することができる。
【００３３】
そして制御部１１１は、操作部１１０により撮影開始の指示が入力されたか否かを判定する。撮影開始の指示があると、制御部１１１は、第１撮像部１０１や第２撮像部１０２から得られた画像信号をメモリ１１２に記憶させ、メモリ１１２に記憶された画像信号に対して設定値に基づいて画質調整処理を施すように画像処理部１０９を制御する。制御部１１１は動画記録を継続している間、３０フレーム／秒で第１撮像部１０１や第２撮像部１０２から出力される画像信号を順次、画像処理部１０９に処理させる。
【００３４】
本実施形態においては、カメラ１００は、同じタイミングで出力される第１撮像部１０１からの画像信号と、第２撮像部１０２からの画像信号とを、画像処理部１０９において合成処理して、１つの画像信号として処理を行うことが可能である。第１撮像部１０１と第２撮像部１０２のフレームレートが異なる場合、例えば第１撮像部１０１が３０フレーム／秒で第２撮像部１０２が１５フレーム／秒の場合は、２フレーム分の第１撮像部１０１の画像信号に、同じ第２撮像部１０２の画像信号を合成する。また、カメラ１００は、ユーザ等の設定により、第１撮像部１０１から出力される画像信号と、第２撮像部１０２から出力される画像信号とをそれぞれ別々に処理することも可能である。そして、制御部１１１は、画像処理部１０９で処理された画像信号を、順次メモリ１１２に記憶させる。
【００３５】
次に、制御部１１１は、メモリ１１２に記憶された複数フレームの画像信号を順次圧縮して動画データを生成するように信号処理部１１５を制御する。制御部１１１は、このとき、各フレーム画像をフレーム内予測符号化フレーム、フレーム間予測符号化フレームとして圧縮符号化をするように信号処理部１１５を制御する。そして、制御部１１１は、信号処理部１１５で符号化された各フレーム画像を順次メモリ１１２に記憶させていく。
【００３６】
一方、撮影開始の指示があると、制御部１１１は、音声に関する処理を行うように各ブロックを制御する。制御部１１１は、音声入力部１０５から出力されるアナログ音声信号を順次音声処理部１０６に転送し、デジタル信号への変換、音質調整処理等を施すように音声処理部１０６を制御する。また、音声圧縮の設定がされている場合には、制御部１１１は設定に従って、例えばＡＣ３、ＡＡＣの音声圧縮方式で音声信号を圧縮するように音声処理部１０６を制御する。そして、制御部１１１は、音声処理部１０６で処理した音声データをメモリ１１２に順次記憶させていく。
【００３７】
次に制御部１１１は、メモリ１１２に記憶された動画データ、音声データを順次、記録媒体１１４に記録するように、記録再生部１１３を制御する。例えば、１５フレーム分（０．５秒分）の動画データと、０．５秒分の音声データとを一組にし、必要な各種情報を付加したデータストリームを形成し、ファイルシステムに従って記録媒体１１４に記録するように、制御部１１１は記録再生部１１３を制御する。なお、記録再生部１１３は、３０フレーム分（１秒分）の動画データと、１秒分の音声データとを一組としてデータストリームを形成しても良い。制御部１１１は、これらの動作を動画記録の停止の指示があるまで継続する。
【００３８】
そして、操作部１１０により撮影停止の指示が入力されると、制御部１１１は、画像処理部１０９の処理を停止させ、メモリ１１２に記憶された画像信号の圧縮符号化が終了した時点で信号処理部１１５の圧縮符号化処理を停止させる。そして、制御部１１１は、メモリ１１２に記憶されている圧縮済みの動画データ及び音声データを最後まで記録媒体１１４に記録してから動作を停止するように記録再生部１１３を制御する。必要に応じて、動画ファイルの動画データの先頭のフレームや先頭から数フレームの画像データを信号処理部１１５に送信して復号させ、復号されたデジタル画像信号の画素数を間引いたサムネイル画像データを生成して動画ファイルに関連づけて記録しても良い。この処理が終了すると、制御部１１１は、再び動画記録の準備状態に各ブロックを戻す。
【００３９】
本実施形態においてカメラ１００は、画像データの記録モードとして、少なくとも通常記録モードと、動画・静止画記録モードを有する。通常記録モードは、ユーザ等により動画または静止画の記録指示を受け、指示に応じた動画または静止画のデータを、記録媒体に記録するモードである。一方動画・静止画記録モードは、ユーザ等からの１回の記録指示に対して、記録指示に対応した静止画データ、及び記録指示に対応した動画データを記録するモードである。図２は、動画・静止画記録モードが設定された状態における、カメラ１００の記録制御を示すフローチャートである。図２の処理は、制御部１１１がカメラ１００の各部を制御することにより実行される。記録待機状態にて動画・静止画記録モードが有効に設定され、操作部１１０からの指示により、動画・静止画記録モードが選択された場合に、図２の処理が開始される。
【００４０】
ステップＳ２０１において制御部１１１は、静止画データの撮影指示前（記録指示前）の付加情報を取得する。取得する撮影指示前（記録指示前）の付加情報は、例えば姿勢検出部１０８から出力されるカメラ１００の姿勢情報、第１撮像部１０１におけるオートフォーカス（ＡＦ）に関する情報やズーム動作の情報、画像処理部１０９から出力される被写体の情報等である。これらの撮影指示前の付加情報の各項目については後述する。撮影指示前の付加情報は、本実施形態においては１秒単位で取得してメモリ１１２に記憶されるが、撮影指示前の付加情報を記憶する時間間隔は任意に設定可能である。撮影指示前の付加情報を記憶する時間間隔は例えば０．５秒単位や２秒単位であってもよい。
【００４１】
ステップＳ２０２において制御部１１１は、メモリ１１２に記憶されている第２撮像部１０２（サブカメラ）の設定情報を取得する。サブカメラの設定情報には、現在のサブカメラの撮影設定が有効か無効かの情報や、第２撮像部１０２から取得した画像を、第１撮像部１０１（メインカメラ）から取得した画像に重畳して表示する際の表示位置や表示サイズの設定が含まれる。第２撮像部１０２から取得した画像の表示位置や表示サイズは、操作部１１０を介してユーザ等が設定可能である。ステップＳ２０３において制御部１１１は、取得したサブカメラの設定情報に基づいて、第２撮像部１０２（サブカメラ）の撮影設定が有効になっているかどうかを判定する。サブカメラの撮影設定の有効／無効は、操作部１１０により設定可能である。
【００４２】
サブカメラの撮影設定が有効になっている場合、制御部１１１はステップＳ２０４に処理を進める。ステップＳ２０４で制御部１１１は、ステップＳ２０３で取得したサブカメラの設定情報に基づいて、第１撮像部１０１から取得した画像信号と第２撮像部１０２から取得した画像信号とを合成した画像信号を生成するように、画像処理部１０９を制御する。サブカメラの撮影設定が無効になっている場合には（ステップＳ２０３でＮｏ）、ステップＳ２０５において制御部１１１は、第１撮像部１０１から取得した画像信号から、メモリ１１２に記憶するための画像信号を生成するように画像処理部１０９を制御する。
【００４３】
ステップＳ２０６において制御部１１１は、ステップＳ２０４またはＳ２０５で生成された画像信号を順次メモリ１１２に記憶し、メモリ１１２に記憶された複数フレームの画像信号を順次圧縮して動画データを生成するように信号処理部１１５を制御する。音声信号について、制御部１１１は、音声入力部１０５から取得した音声データを圧縮するように音声処理部１０６を制御する。圧縮された動画データ及び音声データはメモリ１１２に記憶される。また制御部１１１は、ステップＳ２０４またはステップＳ２０５で生成された画像信号の表示サイズを調整するように画像処理部１０９を制御し、調整済みの画像信号を表示部１０４へ表示するように表示制御部１０３を制御する。
【００４４】
次にステップＳ２０７において制御部１１１は、操作部１１０を介して、動画・静止画記録モード以外の記録モードや再生モードなどへの変更指示があるかどうかを判定する。モードの変更があった場合（ステップＳ２０７でＹｅｓ）、ステップＳ２０８において制御部１１１は、信号処理部１１５の画像信号の圧縮処理を停止させる。そしてステップＳ２０９において制御部１１１は、メモリ１１２に記憶した動画データ及び音声データと撮影指示前の付加情報とを消去して、動画・静止画記録モードの処理を終了し、変更されたモードの処理へ移る。
【００４５】
モードの変更がない場合（ステップＳ２０７でＮｏ）には、ステップＳ２１０において制御部１１１は、取得している撮影指示前の付加情報と、メモリ１１２に記憶されているサブカメラの設定情報とのうち、変更された項目があるかどうかを判定する。ここでは、取得している撮影指示前の付加情報及びサブカメラの設定情報の項目全てについて、変更されたかどうかを判定してもよいし、所定の項目のみについて変更されたかどうかを判定してもよい。本実施形態においては、取得している撮影指示前の付加情報のカメラ１００の姿勢情報と、サブカメラの設定情報のサブカメラの撮影設定が有効か無効かの情報と、第２撮像部１０２の画像の表示位置や表示サイズについての変更を判定する。
【００４６】
変更された項目がある場合（ステップＳ２１０でＹｅｓ）、ステップＳ２１１において制御部１１１は、メモリ１１２に記憶した動画データ及び音声データと撮影指示前の付加情報とを消去し、ステップＳ２０１の処理へ戻る。例えば、撮影中にカメラ１００の姿勢が横位置（０度）から縦位置（９０度）に変わった場合、メモリ１１２に記憶した動画データ及び音声データと撮影指示前の付加情報とを消去し、ステップＳ２０１で制御部１１１は、撮影指示前の付加情報を新たに取得する。本実施形態においては、制御部１１１は、動画データの撮影中に、カメラ１００の姿勢が所定以上変化した場合（例えば９０度以上変化した場合）に、カメラ１００の姿勢情報が変更したと判定する。
【００４７】
撮影指示前の付加情報やサブカメラの設定情報が変更されたとき、それまでに記憶したデータを消去するのは、データに設定の変更が記録されてしまうからである。例えば、カメラ１００の姿勢が変更された場合、画像の向きが変化した（画像が回転した）動画データが記録され、第２撮像部１０２の画像の表示位置が変更された場合、第２撮像部１０２の表示位置が変更される様子が動画データに記録される。このように設定の変更が記録された動画データは見づらくなってしまうため、撮影指示前の付加情報とサブカメラの設定情報とのうち、動画データの記録中に変更された項目がある場合、メモリ１１２に記憶したデータは消去される。
【００４８】
撮影指示前の付加情報やサブカメラの設定情報で変更された項目がない場合（ステップＳ２１０でＹｅｓ）、ステップＳ２１２で制御部１１１は、操作部１１０に含まれるシャッタースイッチ（ＳＷ）１が押下されたかどうかを判定する。本実施形態においてシャッタースイッチは、２段スイッチ構造となっており、１段目（半押し）をＳＷ１とし、２段目（全押し）をＳＷ２とする。ＳＷ１が押下状態になると、合焦処理またはオートフォーカス（ＡＦ）処理、自動露出処理、オートホワイトバランス（ＡＷＢ）調整処理、ＡＦ補助光の発光処理等の動作開始を、ステップＳ２１３で制御部１１１が第１撮像部１０１に指示する。
【００４９】
ステップＳ２１２でＳＷ１が押下されている状態でも、継続して撮影指示前の付加情報はメモリ１１２に記憶されている。ステップＳ２１２でＳＷ１が押下されている状態では、撮影指示前の付加情報またはサブカメラの設定情報が変更されても、メモリ１１２に記憶されている動画データ及び音声データと撮影指示前の付加情報は消去されない。
【００５０】
次にステップＳ２１４において制御部１１１は、シャッタースイッチ（ＳＷ）２が押下されたかどうか、つまり静止画の撮影（記録）指示がされたかどうかを判定する。ＳＷ２が押下（シャッタースイッチが全押し）状態になると、ステップＳ２１５において制御部１１１は、カメラ１００の表示部１０４の画像表示を停止するように表示制御部１０３を制御する。更に、制御部１１１は、信号処理部１１５に動画の圧縮処理とメモリ１１２への圧縮した動画データの記憶処理を一時停止させる。そして、制御部１１１は、ＳＷ２が押下されたタイミングに対応した静止画の撮影を行うように、第１撮像部１０１を制御する。
【００５１】
このとき、すでにメモリ１１２に記憶されている動画データ及び音声データと、撮影指示前の付加情報は保持しておく。ステップＳ２１２においてＳＷ１が押下されない場合、及びステップＳ２１４においてＳＷ２が押下されない場合には、制御部１１１は継続してステップＳ２０１以下の処理を行う。
【００５２】
本実施形態においては、ＳＷ２はＳＷ１と同一部材で構成され、ＳＷ１とＳＷ２の押下動作それぞれに異なる動作（ステップＳ２１３とステップＳ２１５）が割り当てられている。これに限らず、ＳＷ１及びＳＷ２をタッチパネル等の所定ボタンで構成し、所定ボタンの選択動作で静止画撮影を行うための、ＳＷ１を押下状態にしたときの処理（ステップＳ２１３）とＳＷ２を押下状態にしたときの処理（ステップＳ２１５）が行われてもよい。
【００５３】
次にステップＳ２１６において、制御部１１１は撮影後処理を行ってから本処理を終了する。図３を用いて、制御部１１１による撮影後処理について説明する。
【００５４】
ステップＳ３０１にて制御部１１１は、ステップＳ２１４のＳＷ２が押下されたタイミングに対応して、ステップＳ２１５で撮影された静止画である第１撮像部１０１の画像信号を、圧縮して静止画データを生成するように、信号処理部１１５を制御する。制御部１１１は、信号処理部１１５で処理された静止画データ、図２のステップＳ２０１で取得し記憶していた撮影指示前の付加情報、後述する静止画データの属性情報を静止画ファイルとして記録媒体１１４に記録するように記録再生部１１３を制御する。
【００５５】
本実施形態において、ステップＳ３０１において生成される静止画データは、ＳＷ２が押下されたタイミングに対応した第１撮像部１０１からの画像信号とした。これに限らず、ＳＷ２が押下されたタイミングに対応した第２撮像部１０２（サブカメラ）からの画像信号を、第１撮像部１０１からの画像信号に合成して静止画データが生成されて記録されてもよい。また、第１撮像部１０１からの画像信号から生成される静止画データとは別に、第２撮像部１０２からの画像信号の静止画データが生成されて記録されてもよい。
【００５６】
ステップＳ３０２において制御部１１１は、ＳＷ２の押下前にメモリ１１２に記憶された動画データの記録時間がｔ０以上かどうかを判定する。ｔ０は所定値であり任意に設定可能である。ＳＷ２の押下前にメモリ１１２に記憶された動画データの記録時間がｔ０以上である場合、ステップＳ３０３において制御部１１１は、ＳＷ２の押下前の動画データを、音声データと共に記録媒体１１４に記録するように、記録再生部１１３を制御する。
【００５７】
ステップＳ３０２において、ＳＷ２の押下前の動画データの記録時間がｔ０未満だった場合には、ステップＳ３０４において制御部１１１は、ＳＷ２の押下前の動画データ及び音声データと撮影指示前の付加情報とを消去する。
【００５８】
次にステップＳ３０５において制御部１１１は、サブカメラの撮影設定が有効か無効かを判定する。本実施形態のカメラ１００では、ＳＷ２の押下前にメモリ１１２に記憶された動画データの記録時間や、サブカメラの撮影設定が有効か無効かで、静止画撮影後に、静止画データの記録に対応して生成する動画データの生成方法を異ならせる。
【００５９】
サブカメラの撮影設定が有効だった場合、画像処理部１０９は、各フレームが、ＳＷ２が押下されたタイミングに対応して記録された画像信号を含む画像信号からなる、ストップモーション動画データを生成する。
【００６０】
サブカメラの撮影設定が無効だった場合で、ＳＷ２の押下前にメモリ１１２に記憶された動画データの記録時間がｔ０以上であり、ストップモーション動画の設定が有効になっている場合には、画像処理部１０９はストップモーション動画データを生成する。一方、サブカメラの撮影設定が無効だった場合で、ＳＷ２の押下前にメモリ１１２に記憶された動画データの記録時間がｔ０未満の場合や、ストップモーション設定が無効の場合には、画像処理部１０９はストップモーション動画データを生成しない。
【００６１】
本実施形態の動画・静止画記録モードで、画像処理部１０９が静止画データの記録に対応して生成する動画データは、以下の３つのうちのいずれかとなる。すなわち、画像処理部１０９は、ＳＷ２押下前の動画データのみの動画データ、ＳＷ２押下前の動画データとストップモーション動画データとからなる動画データ、ストップモーション動画データのみの動画データのうちのいずれかの動画データを生成する。
【００６２】
サブカメラの撮影設定が有効だった場合（ステップＳ３０５でＹｅｓ）、ステップＳ３０６において制御部１１１は、ストップモーション動画データを生成するための画像信号を生成するように画像処理部１０９を制御する。静止画データと動画データのアスペクト比が異なる場合、画像処理部１０９は、ＳＷ２が押下されたタイミングに対応して記録された静止画データを、動画データのアスペクト比になるように処理してストップモーション動画データ用の画像信号を生成する。例えば、静止画のアスペクト比が４：３で、動画のアスペクト比が１６：９の場合、画像処理部１０９は、ストップモーション動画データ用の画像信号として、静止画の左右の領域を黒塗りにしてアスペクト比を１６：９にした画像信号を生成する。
【００６３】
ステップＳ３０７で制御部１１１は、ステップＳ３０６で生成したストップモーション動画データ用の画像信号とＳＷ２押下のタイミングに対応した第１撮像部１０１の画像信号とに、第２撮像部１０２の画像信号を合成するように画像処理部１０９を制御する。ストップモーション動画データは、ステップＳ３０６で生成したストップモーション動画データ用の画像信号と、第２撮像部１０２の画像信号とを合成したストップモーション動画データ用の合成画像信号を用いて生成される。
【００６４】
また、ＳＷ２の押下のタイミングに対応した第１撮像部１０１の画像信号と、第２撮像部１０２の画像信号とが合成された画像信号は、表示部１０４でレビュー表示するための、レビュー表示用の合成画像信号である。ストップモーション動画データ用の合成画像信号及びレビュー表示用の合成画像信号の生成に用いられる第２撮像部１０２の画像信号は、静止画撮影後に表示部１０４でレビュー表示をする間に順次第２撮像部１０２で取得される画像信号である。本実施形態においては、制御部１１１は、ステップＳ２１５において静止画撮影後も、第２撮像部１０２に画像信号の取得を継続させる。
【００６５】
ステップＳ３０８で制御部１１１は、ステップＳ３０７で生成したレビュー表示用の合成画像信号をリサイズ処理するように画像処理部１０９を制御し、リサイズ処理した画像信号を表示部１０４へ表示するように表示制御部１０３を制御する。図４（ａ）は表示部１０４に表示されるレビュー表示の例を示しており、画像４０１は、ＳＷ２の押下のタイミングに対応した第１撮像部１０１の画像信号、画像４０２は第２撮像部１０２の画像信号である。画像４０１は、第１撮像部１０１から取得した静止している画像であるが、画像４０２は、レビュー表示をしている間に順次第２撮像部１０２で取得される画像信号が合成されるので、表示部１０４のうちの画像４０２の領域は動画が表示されることになる。
【００６６】
ステップＳ３０９において制御部１１１は、ステップＳ３０７で生成したストップモーション動画データ用の合成画像信号を圧縮して、ストップモーション動画データを生成するように信号処理部１１５を制御する。
【００６７】
ステップＳ３１０において制御部１１１は、ステップＳ３１０で生成されたストップモーション動画データの所用時間が所定の時間ｔ１以上であるかどうかを判定する。時間ｔ１は任意に設定可能である。ストップモーション動画データの所用時間が時間ｔ１以上でない場合には、ストップモーション動画データの所用時間が時間ｔ１になるまで、制御部１１１は、ステップＳ３０７からステップＳ３０９の処理を繰り返す。
【００６８】
ステップＳ３１７で制御部１１１は、所用時間が時間ｔ１になったストップモーション動画データを、ステップＳ３０３で記録したＳＷ２の押下前の動画データに追記する形で記録媒体１１４へ記録するように記録再生部１１３を制御し、図３の処理を終了する。
【００６９】
サブカメラの撮影設定が無効だった場合、ステップＳ３１１において制御部１１１は、ステップＳ３０４の処理によって、ＳＷ２の押下前に記憶された動画データ及び音声データと撮影指示前の付加情報が消去されているか否かを判定する。ＳＷ２の押下前の動画データ及び音声データと撮影指示前の付加情報が消去されている場合には、静止画の撮影後に動画データを生成することなく、本処理を終了する。ＳＷ２の押下前にメモリ１１２に記憶された動画データの記録時間がｔ０未満で、サブカメラの撮影設定が無効だった場合には、撮影された静止画データのみが記録され、静止画データに対応する動画データは記録されない。
【００７０】
ＳＷ２の押下前の動画データ及び音声データと撮影指示前の付加情報が消去されていない場合、ストップモーション動画の設定が有効かどうかを制御部１１１が判定する（ステップＳ３１２）。ストップモーション動画の設定が有効な場合は、制御部１１１の処理はステップＳ３１３へ進め、ストップモーション動画の設定が無効な場合には、静止画の撮影後に動画データを生成することなく、本処理を終了する。ストップモーション動画の設定については、操作部１１０を介してユーザが任意に設定可能である。
【００７１】
ステップＳ３１３において制御部１１１は、上述のステップＳ３０６における処理と同様に、ストップモーション動画データ用の画像信号（アスペクト比が動画用）を生成するように画像処理部１０９を制御する。ステップＳ３１４で制御部１１１は、ＳＷ２押下のタイミングの第１撮像部１０１の画像信号、つまりステップＳ３０１で記録した静止画データをリサイズ処理するように画像処理部１０９を制御する。更に制御部１１１は、地サイズ処理した静止画データを、表示部１０４にレビュー表示するように表示制御部１０３を制御する。図４（ｂ）は表示部１０４に表示される画像信号の例を示しており、画像４０１は、ＳＷ２の押下のタイミングに対応した第１撮像部１０１の画像信号（ステップＳ３０１で記録した静止画データ）である。
【００７２】
ステップＳ３１５において制御部１１１は、ステップＳ３１３で生成されたストップモーション動画データ用の画像信号を圧縮して、ストップモーション動画データを生成するように信号処理部１１５を制御する。ステップＳ３１６において制御部１１１は、ステップＳ３１５で生成されたストップモーション動画データの所用時間が所定の時間ｔ２以上であるかどうかを判定する。時間ｔ２は任意に設定可能である。ストップモーション動画データの所用時間が時間ｔ２以上でない場合には、ストップモーション動画データの所用時間が時間ｔ２になるまで、制御部１１１はステップＳ３１５の処理を行う。
【００７３】
ステップＳ３１７で制御部１１１は、所用時間が時間ｔ２になったストップモーション動画データを、記録媒体１１４へ記録するように記録再生部１１３を制御し、図３の処理を終了する。
【００７４】
本実施形態ではステップＳ３１０の判定で用いる時間ｔ１と、ステップＳ３１６の判定で用いる時間ｔ２は、時間ｔ１が時間ｔ２以上となるように設定されている。ステップＳ３０９で生成されるストップモーション動画では、レビュー表示中の第２撮像部１０２の画像が動画で合成されているため、レビュー表示中のカメラ１００の使用者の表情を残すことができる。それに対し、ステップＳ３１５で生成されるストップモーション動画は、静止画のみからなるストップモーション動画であるため、ステップＳ３０９で生成されるストップモーション動画の方をより長く記録する構成としているが、特にこれに限定されない。
【００７５】
図５は動画・静止画記録モードにおいて、記録される動画及び静止画に関する概略図である。図５（ａ）は、動画・静止画記録モードにおいて、ＳＷ２が押下されたタイミング（レリーズ）と、メモリ１１２に記憶されるデータを示す概略図である。２０１３年１０月１０日に、１５時１６分２０秒にレリーズ１の撮影指示によって、動画データＭ１（５０１）と、静止画データＰ１（５０２）が、メモリ１１２に記憶される。更に、１５時３０分４５秒にレリーズ２の撮影指示で、動画データＭ２（５０３）と静止画データＰ２（５０４）が、１５時４０分３０秒にレリーズ３の撮影指示で、動画データＭ３（５０５）と静止画データＰ３（５０６）がそれぞれメモリ１１２に記憶される。
【００７６】
図５（ｂ）は、本実施形態において記録媒体１１４に記録されたデータを示す概略図である。ＳＷ２が押下された後、メモリ１１２に記憶された図５（ａ）に示す各データは、図３の処理を経て、静止画ファイルまたは動画ファイルとして、記録再生部１１３により記録媒体１１４に記録される。本実施形態においては、同じ日に記録されたデータを含むファイルは、１つのディレクトリ５１１（ディレクトリ名：１００＿１０１０）に格納される。ディレクトリ名及び各ファイル名はＤＣＦ（Ｄｅｓｉｇｎ  ｒｕｌｅ  ｆｏｒ  Ｃａｍｅｒａ  Ｆｉｌｅ  Ｓｙｓｔｅｍ）に則って決定される。同一ディレクトリ内に格納される、動画・静止画記録モードで記録された動画ファイルと静止画ファイルについて、動画ファイル名に用いられる番号が、静止画ファイル名に用いられる番号より必ず小さくなるように、各ファイル名は決定される。通常の動画記録モードまたは静止画記録モードで記録された動画ファイルや静止画ファイルについては、ファイル名に使用されていない最も小さい番号を用いて、ファイルが記録される順にファイル名が決定される。
【００７７】
本実施形態においては、同日に動画・静止画記録モードで記録された動画データは、一連の動画ストリームデータとして、所定のディレクトリ内に１つの動画ファイルに格納される。動画ファイル５１２（動画ファイル名：ＭＤＧ＿０００１．ＭＯＶ）には、図５（ａ）に示した、同日に行われた動画・静止画記録モードでの３回の撮影にそれぞれ対応した動画データが格納され、それぞれの動画データにはチャプタ番号が設定される。動画データの格納方法は、上述した方法に限らず、例えばそれぞれの撮影に対応した動画データを、別々の動画ファイルとしてディレクトリ内に格納してもよい。
【００７８】
本実施形態において、動画・静止画記録モードで記録された動画データが格納された動画ファイルには、文字列「ＭＤＧ」を含むファイル名が付与される。動画・静止画記録モードではない、通常の動画記録モードで記録された動画データは、他の動画データとは異なる１つの独立した動画ファイル（ファイル名に文字列「ＭＤＧ」を含まない）としてディレクトリ内に格納される。
【００７９】
チャプタ１（５１４）は、レリーズ１の撮影指示でメモリ１１２に記憶された動画データＭ１のみの動画データを示す。チャプタ２（５１５）は、レリーズ２の撮影指示でメモリ１１２に記憶された動画データＭ２と、静止画データＰ２から生成したストップモーション動画データの動画データを示す。チャプタ３（５１６）は、レリーズ３の撮影指示でメモリ１１２に記憶された静止画データＰ３から生成されたストップモーション動画データのみの動画データを示す。
【００８０】
動画ストリームデータに関するチャプタ参照情報が、動画ファイル５１２のヘッダ部分等に記録される。チャプタ参照情報の詳細について図５（ｃ）を用いて説明する。チャプタ参照情報には、動画ファイルのサイズ（５２１）、動画ストリームデータの総フレーム数（５２２）が記録される。更に、設定されたチャプタ番号（５２３）と、各チャプタの撮影時間（５２４）、各チャプタの先頭のフレーム番号（５２５）、各チャプタのフレーム数（５２６）が記録される。更に、第２撮像部１０２（サブカメラ）の画像の表示位置（５２７）、各チャプタ中のストップモーション動画データの位置（５２８）が記録される。
【００８１】
チャプタ番号（５２３）は、動画・静止画記録モードでＳＷ２が押下され、動画データが記録される度に追加される。各動画ストリームの撮影日時（５２４）は、動画・静止画記録モードでＳＷ２が押下された日時、つまり、動画・静止画記録モードで記録された対応する静止画データの撮影日時と同じである。このように動画ストリームの撮影時間を、対応する静止画データの撮影日時と同じにして記録することで、動画・静止画記録モードで記録された動画データと対応する静止画データとが容易に認識可能となる。
【００８２】
各チャプタの先頭のフレーム番号（５２５）は、動画ファイル５１２に記録された動画ストリーム全体における、各チャプタの先頭フレームのフレーム番号であり、これを用いると各チャプタの頭出し再生が容易に可能となる。第２撮像部１０２の画像の表示位置（５２７）は、第１撮像部１０１の画像の左上の座標を（Ｘ，Ｙ）＝（０，０）としたときに、重畳する第２撮像部１０２の画像の左上の座標Ｘ，Ｙと、第２撮像部１０２の画像の横幅Ｗ、縦幅Ｈからなる。チャプタ１のように、第２撮像部１０２の画像の横幅Ｗ及び縦幅Ｈの値が０の場合は、サブカメラの撮影設定が無効で、第２撮像部１０２の画像が重畳されていないことを示している。この第２撮像部１０２の画像の表示位置（５２７）の情報を用いて、第２撮像部１０２の画像のみをトリミングして再生することが可能になる。
【００８３】
ストップモーション動画データの位置（５２８）は、各チャプタの先頭フレームを０としたときの、ストップモーション動画部分のフレーム番号を示す。チャプタ１では、ストップモーション動画の部分は存在しない。そしてチャプタ２では、フレーム数１８０の動画データのうち、後半の９０フレーム目から１７９フレーム目がストップモーション動画である。チャプタ３では、動画データのフレーム数１８０のうちの全てがストップモーション動画である。このようにストップモーション動画データの位置がわかることで、各動画データの中のストップモーション動画の部分のみを再生したり、ストップモーション動画以外の部分のみを再生したりすることが容易になる。
【００８４】
それぞれの静止画の撮影に対応した動画データを、別々の動画ファイルとしてディレクトリ内に格納する場合には、それぞれの動画ファイルのヘッダ部分に、チャプタ番号（５２３）以外のチャプタ参照情報が格納される。
【００８５】
ディレクトリ内に格納される静止画ファイル５１７（ファイル名：ＩＭＧ＿０００２．ＪＰＧ）、５１８（ＩＭＧ＿０００３．ＪＰＧ）、５１９（ＩＭＧ＿０００４．ＪＰＧ）は、レリーズ１、２、３のそれぞれの撮影指示で撮影された静止画データを含む。動画・静止画記録モードで記録されたそれぞれの静止画ファイルには、静止画データと共に、静止画データの属性情報と、動画・静止画記録モードでメモリ１１２に記憶していた撮影指示前の付加情報とが、ヘッダ部分に記録されている。通常の静止画記録モードで記録された静止画データを含む静止画ファイルには、静止画データと共に静止画データの属性情報が記録されている。
【００８６】
本実施形態において、動画・静止画記録モードで記録された動画データは、一連の動画ストリームデータとして１つの動画ファイルに格納されるため、静止画撮影の度にチャプタ参照情報及び格納するチャプタが増えて、動画ファイルの容量が大きくなる。よって、動画・静止画記録モードで記録された動画データに関する情報である撮影指示前の付加情報を、容量の大きなファイルのヘッダ部分に格納すると、検出に時間がかかる。そのため、本実施形態においては、動画・静止画記録モードで記録された対応する静止画データのヘッダ部分に、撮影指示前の付加情報を記録しておくことで、撮影指示前の付加情報の検出にかかる時間を短縮することができる。
【００８７】
静止画データの属性情報とは、具体的には、静止画データを記録した撮像装置のメーカ名や機種名、撮影日時、画像の白とびや黒つぶれを判断できる被写体輝度、オートフォーカスによる焦点合わせの精度を示す合焦度、撮影時のサブカメラの設定情報等である。また、ユーザにより付与された画像の優先度を示すお気に入り度や、撮影時に合焦のためのＡＦ補助光を発光したかどうかの情報、ユーザにより設定された任意の文字列（イベント名）等の情報を付加して、属性情報として記録してもよい。また、静止画データを画像処理部１０９で解析することにより、静止画データに含まれる人物やその数、人物の位置、顔の大きさ等の情報を属性情報として記録してもよい。その他撮影時の設定やサムネイル画像も、静止画データの属性情報として記録されている。
【００８８】
ここで撮影指示前の付加情報について、図６を用いて説明する。図６（ａ）に示すように、本実施形態において撮影指示前の付加情報は１秒単位で記録される。時間軸はＳＷ２が押下された静止画撮影時を０とし、本実施形態では、撮影指示前の付加情報を静止画撮影の３秒前から保持しているが、撮影指示前の付加情報を保持する時間は任意に設定可能である。撮影指示前の付加情報を保持する時間は、例えば、動画・静止画記録モードにおいて、静止画撮影までに動画データが記録される時間に対応して決定される。
【００８９】
撮影指示前の付加情報として記録される項目は、カメラ１００の姿勢情報、第１撮像部１０１におけるＡＦ動作の有無の情報、ズーム動作の有無の情報、被写体の情報としてメインカメラに写っている人物の笑顔度の情報を例としてあげている（図６（ａ））。
【００９０】
カメラ１００の姿勢情報は、前述したように、カメラ１００が横位置（正位置）の場合に０度、カメラ１００が横位置のときの右側面である第１面を下にした縦位置の場合に９０度として、姿勢検出部１０８から取得したカメラ１００の姿勢情報が記録される。第１撮像部１０１におけるＡＦ動作の有無の情報は、合焦処理を行うために、第１撮像部１０１のフォーカスレンズや絞り等が動作中か停止しているかを示す。また、ズーム動作の有無の情報は、光学ズーム処理を行うために第１撮像部１０１のズームレンズ等が動作中か停止しているか、または、電子ズーム処理を行うための第１撮像部１０１で取得した画像信号の処理が行われている（動作中）か停止しているかを示す。第１撮像部１０１におけるＡＦ動作の有無の情報、及びズーム動作の有無の情報は、制御部１１１から取得される。
【００９１】
人物の笑顔度は、ＹＵＶデータに変換された画像信号からパターンマッチング等を用いて人物の顔部分が検出され、検出された顔部分の口角のあがり具合等から、被写体の人物が笑顔かどうかを示す値として、画像処理部１０９により検出される。本実施形態では、第１撮像部１０１から得られた画像信号から検出した人物の笑顔度を撮影指示前の付加情報として記録するが、加えて第２撮像部１０２から得られた画像信号から検出した人物の笑顔度を記録してもよい。また、撮影指示前の付加情報に記録する笑顔度は、複数人の笑顔度をそれぞれ記録してもよいし、複数人の笑顔度を考慮して算出した値を記録してもよい。本実施形態の人物の笑顔度は、第１撮像部１０１から得られた画像の画角に対して顔部分の面積が大きい所定の人数の笑顔度から求めた値に応じて、高（よく笑っている）、中（ある程度笑っている）、低（あまり笑っていない）の３段階で表わされる。
【００９２】
撮影指示前の付加情報として、上述した項目以外の情報を記録してもよい。例えば、動画データを構成する各フレームを画像処理部１０９で解析することにより、動画データに含まれる人物や、人物の位置、顔の大きさ等が、撮影指示前の付加情報の項目として記録されていてもよい。
【００９３】
図６（ａ）から、カメラ１００の姿勢情報は、静止画撮影までずっと横位置（０度）で保持されていたことがわかる。また、ＡＦ動作は静止画撮影の２秒前に動作したのみであり、ズーム動作は３秒前に動作したのみであって、あとは動作が停止し、記録している画像が安定していることがわかる。また人物の笑顔度は、静止画撮影の３秒前から徐々に高くなっていることが分かる。
【００９４】
次に、動画・静止画記録モードで記録したデータの再生処理について、図７を用いて説明する。図７の処理は、制御部１１１がカメラ１００の各部を制御することにより実行される。
【００９５】
再生モードにおいて、通常の静止画記録モードや動画記録モードで記録された静止画ファイルや動画ファイルについては、静止画や動画のサムネイル画像等が撮影日時順に順次再生されて、表示部１０４に表示される。そして、動画のサムネイル画像が表示された際に、該サムネイル画像を選択すると、選択されたサムネイル画像に対応する動画データの再生が開始される。また静止画が表示された際には、操作部１１０を介して、表示された静止画の拡大縮小表示等が可能になる。
【００９６】
それらに対して、動画・静止画記録モードで記録されたデータは、再生モードにおいて、記録された静止画データまたはそのサムネイル画像が再生されて、制御部１１１が表示制御部１０３を制御することにより表示部１０４に表示される（ステップＳ７０１）。このとき再生モードでは、動画・静止画記録モードで記録された動画データのサムネイル画像は表示されない。
【００９７】
そして、ステップＳ７０２において制御部１１１は、表示された静止画データに関連した動画データを検索する。静止画データに関連した動画データとは、静止画データの動画・静止画記録モードでの記録に対応して生成された動画データ（対応チャプタ）と、静止画データと同日に、動画・静止画記録モードで記録した動画データ（関連チャプタ）を指す。
【００９８】
まず制御部１１１は、表示された静止画データと同日に、動画・静止画記録モードで記録した動画データ（関連チャプタ）が格納されている動画ファイルを検索する。具体的には、まず制御部１１１は、記録媒体１１４に記録されている表示された静止画データを含む静止画ファイルと、同じディレクトリ内に格納されている動画ファイルを検索する。そして、制御部１１１は、同じディレクトリ内に格納されている動画ファイルのファイル名が文字列「ＭＤＧ」を含むファイル名かどうかを判定する。表示された静止画データを含む静止画ファイルと、同じディレクトリ内に格納されている、ファイル名に文字列「ＭＤＧ」が含む動画ファイルには、表示された静止画データと同日に、動画・静止画記録モードで記録した動画データが格納されている。
【００９９】
本実施形態では、動画・静止画記録モードで記録された動画ファイルかどうかを判定するのにファイル名を用いたが、これに限らず、動画ファイルのヘッダ部分等に図５（ｃ）に示すチャプタ参照情報が記録されているかどうかで判定してもよい。
【０１００】
表示された静止画データと同日に、動画・静止画記録モードで記録された動画データを格納した動画ファイルが記録されていた場合、更に制御部１１１は、表示された静止画データの記録に対応して生成された動画データ（対応チャプタ）を検索する。具体的には、制御部１１１は、表示された静止画データと同日に、動画・静止画記録モードで記録された動画データを格納した動画ファイルのヘッダ部分等に記録されたチャプタ参照情報を用いて、対応チャプタを検索する。
【０１０１】
ステップＳ７０３で制御部１１１は、表示された静止画データに関連した動画データが記録媒体１１４に記録されているかどうかを、ステップＳ７０２の検索結果に基づいて判定する。記録媒体１１４に、表示された静止画データの対応チャプタか、表示された静止画データの関連チャプタのいずれかが記録されている場合、制御部１１１は処理をステップＳ７０４へ進める。表示された静止画データの対応チャプタと、表示された静止画データの関連チャプタのいずれも、記録媒体１１４に記録されていない場合、制御部１１１は処理をステップＳ７０７へ進める。
【０１０２】
ステップＳ７０４で制御部１１１は、ステップＳ７０２の検索結果に基づいて、表示された静止画データに関連した動画データが記録されていることを示すアイコン等を、表示部１０４に表示するように、表示制御部１０３を制御する。
【０１０３】
図８は、ステップＳ７０４におけるアイコンの表示例を示す。表示された静止画データの関連チャプタが記録媒体１１４に記録されている場合、表示された静止画データの関連チャプタの存在を示すアイコン（図８の８０２）が、表示部１０４に表示される。また、表示された静止画データの対応チャプタが記録媒体１１４に記録されている場合、表示された静止画データの対応チャプタの存在を示すアイコン（図８の８０３）が、表示部１０４に表示される。画像処理部１０９はこれらの各アイコンは生成して、表示する静止画データ（図８の８０１）に重畳する。制御部１１１はアイコンを重畳した静止画データを表示部１０４に表示するように、表示制御部１０３を制御する。
【０１０４】
図８（ａ）は、表示された静止画データの対応チャプタ、及び表示された静止画データの関連チャプタが、記録媒体１１４に記録されている場合の表示例である。図８（ｂ）は、表示された静止画データの関連チャプタのみが、記録媒体１１４に記録されている場合の表示例である。また図８（ｃ）は、表示された静止画データの対応チャプタと、表示された静止画データの関連チャプタのいずれも、記録媒体１１４に記録されていない場合の表示例である。
【０１０５】
ステップＳ７０５において制御部１１１は、ステップＳ７０４で表示したアイコンに対応する動画データの再生指示が、ユーザによりなされたかどうかを判定する。本実施形態においては、ステップＳ７０４で表示した各アイコンは選択可能に構成されており、ユーザがアイコンを選択すると、アイコンに対応する動画データが再生されて、表示部１０４に表示される。
【０１０６】
例えば、表示された静止画データの関連チャプタの存在を示すアイコン（図８の８０２）が選択されると、制御部１１１は、アイコンに対応する動画データである、表示された静止画データの関連チャプタを再生するように、記録再生部１１３を制御する。また、表示された静止画データの対応チャプタの存在を示すアイコン（図８の８０３）が選択されると、制御部１１１は、アイコンに対応する動画データである、表示された静止画データの対応チャプタを再生するように、記録再生部１１３を制御する。
【０１０７】
アイコンに対応する動画データの再生指示がなされた場合（ステップＳ７０５でＹｅｓ）は、ステップＳ７０６で制御部１１１は、上述したように、再生指示がなされたアイコンに対応する動画データを再生するように、記録再生部１１３を制御する。そして、動画データの再生終了後、表示部１０４の表示が、静止画データと関連する動画を示すアイコンを表示している状態（ステップＳ７０４）に戻るように、制御部１１１は表示制御部１０３を制御する。
【０１０８】
ステップＳ７０５において、アイコンに対応する動画データの再生指示がなされない場合、ステップＳ７０７において制御部１１１は、表示部１０４に表示する静止画データを変更する指示がなされたかどうかを判定する。ユーザは、操作部１１０を介して表示する静止画データを変更する指示を行うことが可能である。表示する静止画データを変更する指示を受けると（ステップＳ７０７でＹｅｓ）、制御部１１１は、表示制御部１０３に表示する静止画データを変更させ、処理をステップＳ７０１へ戻す。表示する静止画データを変更する指示を受けていない場合（ステップＳ７０７でＮｏ）、ステップＳ７０８において制御部１１１は、操作部１１０を介して、再生モード以外のモードへの変更指示やその他の処理の指示があるかどうかを判定する。制御部１１１は、モードの変更やその他の処理の指示がない場合には、処理をステップＳ７０４へ戻し、モードの変更やその他の処理の指示がある場合は、本処理を終了して、モードの変更やその他の処理を行う。
【０１０９】
例えば図５に示す静止画データＰ２では、静止画データＰ２と同日に動画・静止画記録モードで記録された動画データ（関連チャプタ）と、静止画データＰ２の記録に対応して生成された動画データ（対応チャプタ）が共に記録媒体１１４に記録されている。静止画データＰ２を表示部１０４に表示した場合、図８（ａ）に示すように、静止画データＰ２（図８の８０１）と共に、アイコン８０２及びアイコン８０３が表示される。静止画データＰ２の関連チャプタは、動画ファイル５１２に格納されているチャプタ１（５１４）、チャプタ２（５１５）、チャプタ３（５１６）である。また、静止画データＰ２の対応チャプタは、チャプタ２（５１５）である。
【０１１０】
アイコン８０２が選択されると、静止画データＰ２の関連チャプタである、動画ファイル５１２に格納されている動画データ（チャプタ１（５１４）、チャプタ２（５１５）、チャプタ３（５１６））が再生される。また、アイコン８０３が選択されると、静止画データＰ２の対応チャプタである、チャプタ２（５１５）が再生される。
【０１１１】
本実施形態では、ステップＳ７０４で、表示された静止画データに関連した動画データが記録媒体１１４に記録されている場合に、各アイコンを表示するように制御部１１１は処理を行った。これに限らず、ステップＳ７０４において制御部１１１は、表示された静止画データが動画・静止画記録モードで記録された際のサブカメラの撮影設定によって、表示するアイコンを変える制御を行ってもよい。表示された静止画データが動画・静止画記録モードで記録された際のサブカメラの撮影設定は、静止画データが格納されている静止画ファイルに格納された、静止画データの属性情報に記録されている。
【０１１２】
例えば制御部１１１は、動画・静止画記録モードでサブカメラの撮影設定を有効にして記録した静止画データには、記録媒体１１４に記録された対応チャプタに応じて、対応チャプタの存在を示すアイコンを重畳して表示するように表示制御部１０３を制御する。
【０１１３】
一方制御部１１１は、動画・静止画記録モードでサブカメラの撮影設定を無効にして記録した静止画データの表示では、対応チャプタが記録媒体１１４に記録されていても、対応チャプタの存在を示すアイコンを表示しないように、表示制御部１０３を制御する。つまり、サブカメラの撮影設定を無効にして記録した静止画データでは、静止画データの関連チャプタのみを記録している場合も、関連チャプタと共に対応チャプタを記録している場合も、図８（ｂ）のように関連チャプタの存在を示すアイコンのみが表示される。
【０１１４】
このような表示するアイコンを変える制御は、本実施形態のように、動画・静止画記録モードで記録された静止画データにサブカメラの画像が合成されない場合、サブカメラの画像が合成されている対応チャプタを容易に再生できるようにするためである。
【０１１５】
次に、アルバム再生処理について図９を用いて説明する。本実施形態においてカメラ１００は、再生モードとして、通常の再生モードとは別にアルバム再生モードを有する。アルバム再生モードでは、動画・静止画記録モードで記録媒体１１４に記録された動画データ、または記録媒体１１４に記録された静止画データの少なくとも一方を用いて、快適な画像の確認を行えるような再生処理（ダイジェスト再生処理）が行われる。
【０１１６】
アルバム再生モードでは、動画・静止画記録モードで記録媒体１１４に記録された動画データ、または記録媒体１１４に記録された静止画データの中で、アルバム再生を行うのに適さないデータは除外して再生を行う。アルバム再生を行うのに適さないデータは、例えば、撮影指示前の付加情報でカメラの姿勢が変化していたり、ＡＦ動作が安定していなかったりする動画データや、被写体輝度が低い静止画データなどである。本実施形態においては、アルバム再生モードで用いるデータは、動画・静止画記録モードで記録媒体１１４に記録された動画データ、及び動画・静止画記録モードを含む記録モードで記録媒体１１４に記録された静止画データから選択される。
【０１１７】
図９の処理は、操作部１１０を介してアルバム再生モードを開始する指示を受けて開始される。図９の処理は、制御部１１１が各部を制御することにより実行される。
【０１１８】
ステップＳ９０１において制御部１１１は、動画・静止画記録モードで記録媒体１１４に記録された動画データ、または記録媒体１１４に記録された静止画データの中から、アルバム再生モードに用いる動画データまたは静止画データを抽出する条件を決定する。抽出条件は、ユーザにより任意で選択された動画データや静止画データとしてもよいし、静止画ファイルに格納されている静止画データの属性情報や撮影指示前の付加情報を用いて決定されてもよい。静止画データの属性情報や撮影指示前の付加情報を用いる場合は、抽出条件として、撮影日、写っている人物、静止画データまたは動画データに付加したイベント名等があげられる。例えば、アルバム再生モードを開始する指示を受けた際に表示部１０４に表示していた静止画データに基づいて、静止画データの撮影日、静止画データに含まれる人物、静止画データに付加されたイベント名等から、ユーザが選択して抽出条件を決定してもよい。
【０１１９】
ステップＳ９０２において制御部１１１は、動画・静止画記録モードで記録媒体１１４に記録された動画データ、または記録媒体１１４に記録された静止画データの中から、ステップＳ９０１で決定された抽出条件に合致するデータを検出する。ステップＳ９０１で決定された抽出条件に合致する動画データまたは静止画データであるかどうかは、記録媒体１１４に記録された静止画データを含む静止画ファイルに格納された静止画データの属性情報や撮影指示前の付加情報を用いる。
【０１２０】
例えばステップＳ９０１で決定された抽出条件が「撮影日が２０１３年１０月１０日」の場合、図５に示すディレクトリ５１１内に格納されている、動画・静止画記録モードで記録された動画データ及び全静止画データが、抽出条件に合致するデータとなる。図５では具体的には、動画データでは、チャプタ１（５１４）、チャプタ２（５１５）、チャプタ３（５１６）が、静止画データでは、静止画データＰ１、静止画データＰ２、静止画データＰ３が、抽出条件に合致するデータとなる。
【０１２１】
次に、ステップＳ９０２においてステップＳ９０１の抽出条件に基づいて検出されたデータが、ステップＳ９０３及びステップＳ９０４で、アルバム再生の対象データ（ステップＳ９０５）と非対象データ（ステップＳ９０６）とに振り分けられる。
【０１２２】
ステップＳ９０３において制御部１１１は、ステップＳ９０２で検出されたデータの中の動画データにおいて、各動画データに関する撮影指示前の付加情報から、カメラ１００の姿勢情報が変化している動画データかどうかを判定する。図６（ｂ）に示す撮影指示前の付加情報のように、カメラ１００の姿勢情報が所定以上（９０度以上）変化している動画データは、アルバム再生の非対象データとする（ステップＳ９０６）。このような動画データは、例えば図２のステップＳ２１２でＳＷ１が押下されている状態で、カメラ１００の姿勢情報が変化した場合に記録される。記録中にカメラの姿勢が変化している（カメラの向きが回転している）動画データは、再生中に画像の向きが変化して見づらいので、アルバム再生に不適切として、アルバム再生の対象から除外する。
【０１２３】
制御部１１１は、カメラ１００の姿勢情報が変化していない動画データと、ステップＳ９０２で検出されたデータの中の静止画データにおいて、カメラ１００の姿勢情報の変化以外のアルバム再生の非対象条件に合致するか否かを判定する（ステップＳ９０４）。カメラ１００の姿勢情報の変化以外のアルバム再生の非対象条件について、動画データに関しては、例えば、ＡＦ動作またはズーム動作が安定していないもの（図６（ｃ）、（ｄ））、被写体の人物の笑顔度が低いもの（図６（ｅ））が挙げられる。更に、静止画撮影時にＡＦのためのＡＦ補助光を発光した静止画データに対応して生成された動画データも、アルバム再生の非対象条件としてもよい。これらの判定は、各動画データに対応した静止画データの付属情報や撮影指示前の付加情報に基づいて行われる。
【０１２４】
アルバム再生の非対象条件について、静止画データに関しては、例えば、被写体輝度が極端に高いものまたは低いもの（白とびまたは黒つぶれしているもの）や、合焦度が低いもの、お気に入り度が低いものが挙げられる。これらの判定は、各静止画データの属性情報に基づいて行われる。
【０１２５】
ステップＳ９０３及びステップＳ９０４の判定を経て、アルバム再生の対象データと判定されたデータ（ステップＳ９０５）について、制御部１１１は、ステップＳ９０７の処理を行う。ステップＳ９０７において制御部１１１は、動画・静止画記録モードで記録された静止画データと、その静止画データの記録に対応して生成されたストップモーション動画データを含む動画データとが、アルバム再生の対象データに含まれるものを検索する。そして、アルバム再生の対象データに含まれる、動画・静止画記録モードで記録された静止画データか、その静止画データの記録に対応して生成された動画データのストップモーション動画部分かのどちらを、アルバム再生の対象データから除外する。
【０１２６】
例えば、アルバム再生の対象データに、図５に示す静止画データＰ２と、チャプタ２（５１５）が含まれていた場合を考える。静止画データＰ２もチャプタ２（５１５）もアルバム再生に使用すると、静止画データＰ２と、静止画データＰ２を使用して生成されたチャプタ２（５１５）のストップモーション動画部分とが再生されることになり、シーンが重複して冗長な再生になってしまう。
【０１２７】
そこで、アルバム再生の対象データに含まれる、静止画データＰ２か、チャプタ２（５１５）のストップモーション動画部分かのどちらを、アルバム再生の対象データから除外する。つまり、静止画データＰ２、または、チャプタ２（５１５）のうちの動画データＭ２の部分のみの動画データの、どちらかのみがアルバム再生の対象データに含まれるようにする。チャプタ２（５１５）のストップモーション動画部分は、動画ファイル５１２のヘッダ部分等に格納されているチャプタ参照情報（図５（ｃ）の５２８）から検出可能である。
【０１２８】
また、静止画データＰ３とチャプタ３（５１６）が、アルバム再生の対象データに含まれていた場合を考える。チャプタ３（５１６）は、チャプタ参照情報から、静止画データＰ３を使用して生成されたストップモーション動画データのみからなる。よって、静止画データＰ３か、チャプタ３（５１６）のどちらが、アルバム再生の対象データから除外される。例えば、チャプタ３（５１６）のストップモーション動画部分に第２撮像部１０２の画像が合成されている場合、第２撮像部１０２の画像が合成されていない静止画データＰ３をアルバム再生の対象データから除外する。
【０１２９】
次にステップＳ９０８において制御部１１１は、アルバム再生の対象データの中から、アルバム再生に使用する動画データまたは静止画データを選択する。アルバム再生の対象データ全てを選択してもよいし、撮影指示前の付加情報や静止画データの属性情報に基づいて、任意の基準でアルバム再生の対象データの中から、所定数のデータを選択、または再生時間が所定時間になるようにデータを選択してもよい。任意の基準とは、例えば、写っている人物の笑顔度が高いかどうか、人物が複数含まれるかどうか、お気に入り度が高いかどうか等が挙げられる。
【０１３０】
ステップＳ９０９で制御部１１１は、ステップＳ９０８で選択されたデータを連続再生するアルバム再生データを生成するように信号処理部１１５を制御し、アルバム再生データを表示部１０４に表示（プレビュー表示）するように表示制御部１０３を制御する。連続再生するデータの順番は、撮影前の付加情報や静止画データの属性情報に基づいて任意に設定可能である。プレビュー表示中、操作部１１０を介して、アルバム再生データの再生の一時停止や再生の再開等の指示が可能である。続いてステップＳ９１０において制御部１１１は、生成したアルバム再生データを記録媒体１１４に記録して保存するかどうかを、ユーザに選択させる。制御部１１１は、生成したアルバム再生データを保存するかどうかを、ユーザに選択させる画面を生成するように画像処理部１０９を制御し、生成した画面を表示部１０４に表示するように表示制御部１０３を制御する。
【０１３１】
生成したアルバム再生データを記録媒体１１４に記録して保存することが選択された場合、ステップＳ９１１において制御部１１１は、アルバム再生データを記録媒体１１４に記録して保存するように記録再生部１１３を制御して、アルバム再生処理を終了する。アルバム再生データを記録媒体１１４に記録して保存しない場合は、制御部１１１は、アルバム再生データを破棄してアルバム再生処理を終了する。
【０１３２】
以上のように、記録された画像の中から一部の画像を抽出して再生する場合に、適切な画像を選択して再生できるようにして、快適な画像の確認を行うことができる。本実施形態においては、撮影中にカメラの姿勢が回転して変化している動画データや、アルバム再生に不適切な動画データ、または静止画データをアルバム再生の対象から除外することで、快適なアルバム再生を行うことができる。
【符号の説明】
【０１３３】
１０１  第１撮像部
１０２  第２撮像部
１０８  姿勢検出部
１１１  制御部
１１３  記録再生部
１１４  記録媒体
１１５  信号処理部
【図１】
2015126392.tif 000003
【図２】
2015126392.tif 000004
【図３】
2015126392.tif 000005
【図４】
2015126392.tif 000006
【図５】
2015126392.tif 000007
【図６】
2015126392.tif 000008
【図７】
2015126392.tif 000009
【図８】
2015126392.tif 000010
【図９】
2015126392.tif 000011