(57)【要約】【課題】より撮影者の印象に近いダイジェストを再生する。【解決手段】画像の被写体情報である画像属性情報を取得する手段と、画像属性情報の各々またはその組み合わせに応じて画像を選抜する画像選抜手段と、選抜された動画像から所定の期間をトリミングするトリミング手段と、選抜された動画像から付随する音声データを解析する音声データ解析手段と、選抜された動画像から、動き量を解析する動き量データ解析手段と、前記音声データ解析手段から得られた結果と前記動き量解析手段から得られた結果から、静止画と動画の配分比を決定する配分比決定手段と、選抜された画像を並べ替えて動画化する順番を決定する画像配列手段と、前記所定のトリミング期間を決定する、トリミング期間決定手段と、画像配列に基づき、動画を生成する動画生成手段と、を有することを特徴とする。【選択図】図８
2019075629.tif 000002
【特許請求の範囲】
【請求項１】
画像の被写体情報である画像属性情報を取得する手段と、
画像属性情報の各々またはその組み合わせに応じて画像を選抜する画像選抜手段と、
選抜された動画像から所定の期間をトリミングするトリミング手段と、
選抜された動画像から付随する音声データを解析する音声データ解析手段と、
選抜された動画像から、動き量を解析する動き量データ解析手段と、
前記音声データ解析手段から得られた結果と前記動き量解析手段から得られた結果から、静止画と動画の配分比を決定する配分比決定手段と、
選抜された画像を並べ替えて動画化する順番を決定する画像配列手段と、
前記所定のトリミング期間を決定する、トリミング期間決定手段と、
前記画像配列手段で得られた画像配列と前記トリミング期間に基づき、動画を生成する動画生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記音声データ解析手段は、前記動画音声データを解析して、ビートの周期を検出し、検出結果を用いて、動画の配分比を増やすことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記音声データ解析手段は、前記動画音声データを解析して、ビートの強度を検出し、検出結果を用いて、動画の配分比を増やすことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記動き量データ解析手段は、動画像の中から主被写体を検出し、前記主被写体の動き量を検出し、検出結果を用いて、動画の配分比を増やすことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記動き量データ解析手段は、動画の中の動き量が多いことを検出した場合は、動画の配分比を増やすことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記配分比とは、トリミングされた動画の数および静止画の数の比率であることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記配分比とは、トリミングされた動画のトータル動画再生時間と、静止画一枚当たりの再生時間と静止画の枚数の積から求められるトータル静止画再生時間との比率、であることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記画像配列手段は、同じ調子の画像が続いている場合、画像を入れ替えて構成が単調にならないよう変化をつけることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記判断基準として、動画動き量、動画音声の大きさ、動画音声に含まれるテンポの速さを使うことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記トリミング期間決定手段は、動画の中の動き量の多い部分を優先してトリミングすることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記トリミング期間決定手段は、動画の中のビートの周期の検出結果に基づいてトリミングすることを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記トリミング期間決定手段は、動画の中のビートの強度の検出結果に基づいてトリミングすることを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来、記録媒体に記録された動画や静止画をダイジェスト再生する機能を持つ装置が知られている。特許文献１は、入力された動画データの複数のシーンから撮影者の印象に残る重要シーンを判別してダイジェスト再生する動画再生装置であって、前記動画データの重要シーンをダイジェスト再生する際の再生テーマを設定し、前記設定された再生テーマに応じて重要シーンを判別するための複数の判別処理（顔の有無、顔の数、声の大きさ、動き量の大小）を持ち、前記判別処理のうち少なくとも１つを使用して重要シーンを判別していた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−３０１０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、前記判別処理はどのシーンを選抜するかの判断に使われるものの、シーンの並べ替えや再生効果など、ダイジェスト再生の全体構成には影響を与えていないという点で不十分であった。
【０００５】
そこで、本発明は、重要シーンの出現比率を増やし、撮影者の印象により近いダイジェストを再生可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明に係る画像処理装置は、
画像の被写体情報である画像属性情報を取得する手段と、
画像属性情報の各々またはその組み合わせに応じて画像を選抜する画像選抜手段と、
選抜された動画像から所定の期間をトリミングするトリミング手段と、
を有する画像処理装置において、
選抜された動画像から付随する音声データを解析する音声データ解析手段と、
選抜された動画像から、動き量を解析する動き量データ解析手段と、
前記音声データ解析手段から得られた結果と前記動き量解析手段から得られた結果から、静止画と動画の配分比を決定する配分比決定手段と、
選抜された画像を並べ替えて動画化する順番を決定する画像配列手段と、
前記所定のトリミング期間を決定する、トリミング期間決定手段と、
画像配列に基づき、動画を生成する動画生成手段と、
を有することを特徴とする。
【発明の効果】
【０００７】
本発明に係る画像処理装置によれば、重要シーンの出現比率を増やし、撮影者の印象により近いダイジェストが再生可能となる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成を示す図である。
【図２】ダイジェストムービーモードの撮像装置の制御を示すフロー図である。
【図３】静止画ファイル、動画ファイルの状態を説明するための図である。
【図４】動画ファイルのフォーマットを示す図である。
【図５】画像ファイルの情報を示す図である。
【図６】再生モードにおける動作フローを示す図である。
【図７】再生モードにおける動作フローを示す図である。
【図８】ストーリーハイライトにおける動作フローを示す図である。
【図９】画像並べ替えを説明する説明図である。
【図１０】動画静止画配分比を変更した時の動作を説明する説明図である。
【図１１】動画アルバムの構成を示す、一例である。
【図１２】「ストーリーハイライト」の動画アルバムの一例を示す図である。
【図１３】「ストーリーハイライト」の動画アルバムの一例を示す図である。
【図１４】動画アルバムの作成モードを説明する図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施例を詳細に説明する。この発明は以下の実施の形態に限定されない。
【００１０】
なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。また、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。
【００１１】
本実施例では、画像処理装置として撮像装置を例にとって説明する。
【００１２】
本実施例の撮像装置１００は、通常の「動画撮影モード」においては、１回の動画撮影の開始から終了までに撮影された動画データを１つのファイルとして記録媒体に記録することができる。また、通常の「静止画撮影モード」においては、１回の撮影指示に応じて撮影された静止画データを１つのファイルとして記録媒体に記録することができる。さらに、本実施例の撮像装置は、「ダイジェストムービーモード」を有する。この「ダイジェストムービーモード」では、静止画撮影の指示に応じて、撮影された静止画データを記録媒体に記録するだけでなく、静止画撮影の指示が入力されるまでに撮影された所定時間分の動画データを動画ファイルとして記録媒体に記録することができる。動画データについては、撮像装置に備えられたメモリに、エンコードした状態で一時的に記憶しておく。
【００１３】
また、「ダイジェストムービーモード」においては、たとえば、同一日付に撮影された動画データをすべて連結した一つの動画データを作成し、記録媒体に記録することができる。この場合には、記録媒体に既に記録されている動画ファイルの動画データに対して、新規に撮影された動画データを静止画撮影の指示のあるごとに連結（追記）していく。また、連結されるたびに、各静止画撮影に対応する動画データを一つのチャプタに対応するものとして取り扱う。そのために、動画ファイルにはチャプタを示すためのチャプタデータが記録されることになる。また、チャプタデータには、静止画撮影の行われたタイミングを示す時間情報が記録されている。
【００１４】
撮像装置１００は、「ダイジェストムービーモード」にモードが遷移すると、撮像部により得られた複数の画像を動画の各フレーム画像とした符号化動画データを作成し、メモリに順次記憶していく。所定時間以上過去の動画データについては、メモリ上で破棄または、上書きする。そして、静止画撮影の指示が入力されると、撮像部により得られた画像信号に基づいて、静止画データを作成し、記録媒体に記録する。このとき、それまでメモリに記憶していた所定時間分の動画データを動画ファイルとして記録媒体に記録するのである。記録媒体に既に記録されている動画ファイル（既存動画ファイル）の動画データに、この所定時間分の動画データを連結する場合には、メモリに一時的に記憶されている所定時間分の動画データを記録媒体に先に記録する。そして、その後、既存動画ファイルの動画データを解析し、連結位置を特定してから動画データの連結編集を行う。
【００１５】
なお、本実施例の撮像装置１００は、静止画撮影の指示に対応する動画をそれぞれ別々のチャプタとして区別するために、チャプタ情報を動画ファイルに格納する。このとき、チャプタデータには、静止画撮影の行われたタイミングを示す時間情報をテキストデータとして記載する。
【００１６】
また、本実施例の撮像装置１００は、再生モードにおいて、「ダイジェストムービーモード」で記録された動画ファイルと静止画ファイルとを互いに関連づけることができる。しかも、静止画ファイルを再生しているときに、関連している動画ファイルを再生し、再生終了後に、再生していた静止画ファイルを再表示することができる。以下、このような撮像装置について、説明する。まず、図１を用いて本実施例の撮像装置１００の全体構成を説明する。
【００１７】
本実施例の撮像装置１００は、図１に示すように、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、操作部１０４とを有する。また、撮像装置１００は、撮像部１１０と、画像処理部１１１と、マイクユニット１２０と、音声処理部１２１と、スピーカユニット１２２とを有する。また、撮像装置１００は、符号化復号化処理部１３０と、表示部１４０と、表示制御部１４１と、記録再生部１５０と、記録媒体１５１と、通信部１６０とを有する。なお、ＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。
【００１８】
本実施例の撮像装置１００において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとしてＲＯＭ１０３に記録された各種プログラムをＲＡＭ１０２に展開し、プログラムに応じて撮像装置１００の各ブロックを制御する。
【００１９】
操作部１０４は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタン、メニュー表示ボタン、モード切替スイッチ、決定ボタン等の各種操作を入力するスイッチ類を有する。また、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等のどのようなタイプの操作子であってもよい。操作部１０４は、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとＣＰＵ１０１に操作信号を送信する。操作部１０４の各操作部材は、表示部に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部に表示される。利用者は、表示部に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２０】
なお、操作部１０４は、表示部に対する接触を検知可能なタッチパネルであってもよい。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。
【００２１】
撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、得られたアナログ画像信号をデジタル画像信号に変換して一時的にＲＡＭ１０２に記憶する。
【００２２】
ＲＡＭ１０２に記憶されたデジタル画像信号は、その後、画像処理部１１１に送信される。
【００２３】
画像処理部１１１は、デジタル画像信号のホワイトバランスや色、明るさなどをユーザに設定された設定値や画像の特性から自動的に判定した設定値に基づいて調整する画質調整処理を行い、処理をしたデジタル画像信号を再びＲＡＭ１０２に記憶する。また、画質調整処理済みまたは未処理のデジタル画像信号を、後述の表示制御部１４１に送信し、表示部１４０に撮像中の画像として表示することもできる。また、再生時においては、画像処理部１１１は、記録媒体１５１から記録再生部１５０によって読出され、符号化復号化処理部１３０において復号化された静止画ファイルや動画ファイルに含まれる画像データの画質調整等を行う。そして、画質調整済みまたは未処理のデジタル画像信号を、後述の表示制御部１４１に送信し、表示部１４０に画像として表示することもできる。
【００２４】
符号化復号化処理部１３０では、記録時においては、画像処理部１１１により処理されＲＡＭ１０２に記憶されたデジタル画像信号に対して、画像圧縮処理を行い、圧縮された動画データや静止画データを生成し、ＲＡＭ１０２に一時的に記憶する処理を行う。また、再生時においては、記録媒体１５１から読出された画像ファイルの圧縮された動画データや静止画データを復号してデジタル画像信号を抽出し、ＲＡＭ１０２に記憶していく処理を行う。
【００２５】
たとえば、動画データを生成する際は、動画データの各フレームをフレーム内符号化して圧縮符号化された動画データを生成する。また、動画データの複数のフレーム間での差分や動き予測などを利用して圧縮符号化された動画データを生成してもよい。たとえばＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４（ＭＰＥＧ４−Ｐａｒｔ１０  ＡＶＣ）、Ｈ．２６５／ＨＥＶＣ等の様々な圧縮符号化方式の動画データを生成することができる。一般に、フレーム内符号化されたフレーム画像データをＩピクチャと呼び、前方のフレームとの差分を用いてフレーム間符号化された画像データをＰピクチャと呼び、前方後方のフレームとの差分を用いてフレーム間符号化された画像データをＢピクチャと呼ぶ。これらの圧縮方式は、公知の方式を用いており、本発明の特徴とは関係ないので説明を省略する。また、静止画データを生成する際には、ＪＰＥＧ等の一般的な圧縮符号化方式を用いるが、これらの圧縮符号化方式は、公知の方式を用いており、本発明の特徴とは関係ないので説明を省略する。なお、静止画データについては、撮像部１１０により得られたデジタル画像信号をそのまま記録する、いわゆるＲＡＷ画像データとしてもよい。
【００２６】
マイクユニット１２０は、たとえば、撮像装置１００のハウジング内に内蔵された無指向性のマイクとＡＤ変換部を有する。マイクユニット１２０では、マイクにより周囲の音声を集音（収音）し、取得したアナログ音声信号をＡＤ変換部で、デジタル信号に変換してＲＡＭ１０２に一時的に記憶させる。ＲＡＭ１０２に記憶されたデジタル音声信号は、その後、音声処理部１２１に送信される。
【００２７】
音声処理部１２１では、記録時においては、ＲＡＭ１０２に記憶されたデジタル音声信号の、レベルの適正化処理や雑音低減処理等の処理を行い、処理をしたデジタル音声信号を再びＲＡＭ１０２に記憶する。また、必要に応じて、音声信号を圧縮する処理を行う。音声圧縮方式については、ＡＣ３、ＡＡＣ等の一般的な音声圧縮方式を用いているため説明を省略する。また、再生時においては、記録媒体１５１から記録再生部１５０によって読出された音声ファイルや動画ファイルに含まれる圧縮音声データの復号化処理や音声レベルの適正化処理なども行い、順次ＲＡＭ１０２に記憶する処理も行う。スピーカユニット１２２は、スピーカとＤＡ変換部とを有する。スピーカユニット１２２では、音声処理部１２１によりＲＡＭ１０２に記憶されたデジタル音声信号を読出してアナログ音声信号に変換し、アナログ音声信号によりスピーカから音声を出力する。
【００２８】
表示部１４０は、例えば、液晶パネルとバックライトとからなり、表示制御部１４１の制御により画像を表示する。表示部１４０は液晶表示装置に限られず、例えば有機ＥＬディスプレイ、ＬＥＤディスプレイなど、ユーザに画像を提供することができればどのようなものであっても良い。表示制御部１４１では、画像処理部１１１により処理され、ＲＡＭ１０２に記憶されたデジタル画像信号に基づいて、表示部１４０に画像を表示する。
【００２９】
記録再生部１５０では、動画記録時においては、ＲＡＭ１０２に記憶されている、符号化復号化処理部１３０により生成された圧縮動画データ及び、音声処理部１２１で生成された音声データ、撮影日等の各種情報とともに、動画ファイルとして記録媒体１５１に書き込む。また静止画記録時においては、ＲＡＭ１０２に記憶されている静止画データを撮影日等の各種情報とともに静止画ファイルとして記録媒体１５１に記録する。動画ファイルを記録媒体１５１に記録する際は、圧縮動画データと音声データとからなるデータストリームを形成し、順次記録媒体１５１に記録していき、ファイルヘッダ等を付加してＦＡＴやｅｘＦＡＴ等のファイルフォーマットに適合した形で動画ファイルを記録媒体に記録する。また、再生時においては、記録媒体１５１に記録された動画ファイルや静止画ファイルを前述のファイルフォーマットに従って読み出す。読み出された動画ファイルや静止画ファイルは、ＣＰＵ１０１によりヘッダが解析され、圧縮された動画データ、静止画データが抽出される。抽出された圧縮動画データ、静止画データは、ＲＡＭ１０２に記憶されて、符号化復号化処理部１３０により復号される。
【００３０】
また、記録媒体１５１は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部１５０は、それらの取り外し可能な記録媒体を装着、排出するための機構を含む。
【００３１】
また、通信部１６０は、撮像装置１００とは異なる外部装置との間で、制御信号や動画ファイル、静止画ファイル、各種データ等を送受信するものであり、有線接続、無線接続を問わず接続可能である。なお、通信方式はどのような方式であっても良い。
【００３２】
ここで、前述の画像処理部１１１、音声処理部１２１、符号化復号化処理部１３０、表示制御部１４１、記録再生部１５０は、それぞれ、前述の各機能を実行するプログラムを搭載したマイクロコンピュータであってもよい。また、ＣＰＵ１０１がＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。なお、本実施例の撮像装置１００は、一例として、「ＱｕｉｃｋＴｉｍｅ（登録商標）フォーマット」で動画ファイルを記録するものとするが、どのようなフォーマットであっても良い。
【００３３】
なお、本実施例では記録媒体１５１のファイル管理システムは組み込み機器で一般的に使用されているＦＡＴファイルシステムを使用するものとして説明をする。ＦＡＴファイルシステムの技術自体は広く公知であるので、本実施例の特徴的な動作でのみその説明をする。また、ＦＡＴファイルフォーマットであるＮＴＦＳフォーマットやｅｘＦＡＴフォーマットなどを用いても良い。次に、本実施例の撮像装置１００の動作について説明する。
【００３４】
本実施例の撮像装置１００は、ユーザによって操作部１０４を操作して電源を投入する指示が出されたことに応じて、不図示の電源供給部から、撮像装置の各ブロックに電源を供給する。
【００３５】
電源が供給されると、ＣＰＵ１０１は、操作部１０４により設定されたカメラのモードが、再生モードであるか、「ダイジェストムービーモード」、静止画記録モード、動画記録モードであるかを判定する。なお、本実施例において、静止画記録モード、動画記録モードは、特徴的な構成に関わらないので説明を割愛する。
【００３６】
次に、「ダイジェストムービーモード」について、図２のフロー図を用いて説明する。
【００３７】
図２のフロー図は、ダイジェストムービーモードに設定されたときをスタートとするフロー図であり、ＣＰＵ１０１がＲＡＭ１０２に展開したプログラムに基づいて、撮像装置１００の各部を制御することにより、実行される処理である。
【００３８】
なお、本実施形態において、動画データを順次追記していくか否かは、静止画記録の指示があった後で、動画データを記録媒体１５１に記録する前に行うものとする。すなわち、ＣＰＵ１０１が、記録再生部１５０より、最後にダイジェストムービーモードで撮影された動画ファイルを読み出して撮影された日付の情報を確認する。そして、読み出された動画ファイルが当日に撮影されたものであれば、追記するものとし、異なる日に撮影されたものであれば、追記しないものとする。ダイジェストムービーモードにおいて撮影された動画は、たとえばダイジェストムービーモードで撮影された動画であることを示すための識別子「ＭＤＧ」に４桁の整数を順次数字をインクリメントしたファイル名とする。このようにすることで、記録媒体１５１に記録されている識別子ＭＤＧを含む数字のもっとも大きい動画が最後に撮影されたものであることが容易に識別可能である。追記するか否かの条件については後述するが、追記するか否かの確認は、撮像装置１００の起動時または、ダイジェストムービーモードへの切り替え時等に行ってもよい。
【００３９】
また、本実施形態においては、サムネイル画像の生成は、静止画撮影の指示が入力される毎に生成されるものとして説明する。この場合、追記した動画ファイルには複数のサムネイル画像が関連づけられることになる。しかし、追記する場合にはサムネイル画像を生成せずに、新規に動画ファイルを生成する場合にのみ、サムネイル画像を生成するようにしても良い。操作部１０４によりダイジェストムービーモードが設定されると、ＣＰＵ１０１は、撮像装置１００の各ブロックを制御し、以下の動作を実行させる。
【００４０】
まず、撮像部１１０は、得られたデジタル画像信号をＲＡＭ１０２に送信し、一時的に記憶させる。そうすると、表示制御部１４１は、ＲＡＭ１０２に記憶されたデジタル画像信号を読み出して表示部１４０に表示させる。また、画像処理部１１１は、ＲＡＭ１０２に記憶されたデジタル画像信号を順次読み出して、前述の各種画質調整処理を行い、処理をしたデジタル画像信号を再びＲＡＭ１０２に記憶する。画像処理部１１１は、撮像部１１０で画像が撮像される度にこの処理を繰り返す。
【００４１】
また、符号化復号化処理部１３０は、画像処理部１１１によって処理されたデジタル画像信号を動画データとして符号化するための符号化処理を行う（Ｓ２０１）。例えば、符号化処理としては、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４（ＭＰＥＧ４−Ｐａｒｔ１０  ＡＶＣ）、等の様々な公知の圧縮符号化方式処理がある。本実施例においては、例えば、Ｈ．２６４におけるフレーム内予測符号化画像を含む動画データとなるように符号化処理を行うものとする。
【００４２】
また、このときＣＰＵ１０１は音声処理部１２１に、マイクユニット入力されたデジタル音声信号に対して種々の調整処理を適用した後、予め設定された音声用の符号化方式に従って符号化処理を実行し、得られた符号化された音声信号をＲＡＭ１０２に記憶させる。
【００４３】
そして、符号化復号化処理部１３０、音声処理部１２１は、符号化された動画データと音声データをＲＡＭ１０２記憶していく（Ｓ２０２）。以後の説明では、音声データについては説明を省略するが、動画データとともに処理されるものとする。
【００４４】
本実施形態の撮像装置１００においては、ＲＡＭ１０２には、常に直前の予め定められた時間分の動画データが記憶されるようにＲＡＭ１０２に記憶されている動画データのうち、予め定められた時間より前に撮像された動画データを削除するようにしている。そのため、ＣＰＵ１０１は、所定時間分以上の動画データがＲＡＭ１０２に記憶されたか否かを判定し（Ｓ２０３）、所定時間以上記憶されている場合（Ｓ２０３で、Ｙｅｓ）、所定時間よりも過去の時点で撮影された画像を示す動画データを破棄するようにしている。削除するデータのサイズは符号化単位で規定されるため、符号化方式によっては当該削除するデータのサイズをフレームまたは再生時間として決定することもできる。また、所定時間以上記憶されていない場合（Ｓ２０３で、Ｎｏ）、動画データの破棄を行わない。本実施例では所定時間は任意の時間であってよいが、例えば４秒、６秒、８秒など、ユーザが選択できるようにしても良い。そして、ＣＰＵ１０１は、静止画撮影の指示が操作入力部１１２から入力されたか否かを判定し（Ｓ２０５）、静止画撮影の指示が入力されていない場合（Ｓ２０５でＮｏ）、再びＳ２０１に戻り、動画データの生成処理、一時記憶を継続する。
【００４５】
なお、本実施形態では常に直前の予め定められた時間分の動画データがＲＡＭ１０２には記憶されるものとして説明するが、本発明の実施はこれに限らない。即ち、ＲＡＭ１０２に記憶される動画データのサイズは定量化可能なものであればよく、例えばフレーム数、ＧＯＰ数（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）、データサイズ等で規定される、予め定められた量であってよい。つまり、ＲＡＭ１０２に記憶されている動画データは、当該動画データのサイズが予め定められたサイズ以上となった場合に、当該予め定められたサイズ未満のサイズとなるまで、動画データのフレームのうちの撮影時刻が古いフレームから順に削除されるようにしてもよい。
【００４６】
ここで、静止画撮影の指示が入力された場合（Ｓ２０５でＹｅｓ）、ＣＰＵ１０１は、記録媒体１５１の記録可能容量をチェックするように記録再生部１５０を制御し、ＲＡＭ１０２に一時的に記憶されている動画データの記録が可能であるか否かを判定しても良い。この判定は、ＲＡＭ１０２に一時的に記憶されている動画データのサイズと、記録する静止画データの見込みサイズとの和が、記録媒体１５１の記録可能容量よりも小さいか否かを比較することにより判定される。静止画データの見込みサイズはたとえば４ＭＢとしても良いし、記録サイズや画質等に応じて変更してもよい。
【００４７】
この判定により、動画データと、静止画データとを記録媒体１５１に記録できない場合には、静止画撮影のみを行い、動画データを記録しないようにしても良い。また、Ｓ２０５で静止画撮影の指示が入力されたときに、ＲＡＭ１０２に例えば１秒未満や２秒未満等の短い時間分の動画データしか記憶されていない場合には、静止画撮影の指示を無効とするようにしても良い。この時間もユーザが設定できるようにしても良い。
【００４８】
次に、静止画撮影の指示が入力された場合（Ｓ２０５でＹｅｓ）、ＣＰＵ１０１は、撮像部１１０に静止画データ用の撮影を実行させる（Ｓ２１０）。ＣＰＵ１０１は、このとき並行して符号化復号化処理部１３０に、ＲＡＭ１０２に記憶されている動画データの先頭フレームの画像を復号させ、サムネイル画像生成処理を実行させる（Ｓ２１１）。
【００４９】
なお、本実施形態では記録される動画データのサムネイル画像は先頭フレームの画像から生成されるものとして説明するが、本発明の実施はこれに限らず、記録される動画データのフレームのうちのいずれかのフレームの画像から生成されてもよい。すなわち、静止画撮影の指示があったときに、ＲＡＭ１０２に記憶されている動画データのいずれかのフレームを用いたサムネイル画像が生成されればよい。このようにすることで、一度動画データの記録媒体へのファイル記録が終了してから、記録媒体から動画ファイルを読み出したりすることなく、動画データのサムネイルを生成することができるので、処理が早くなる。なお、静止画の撮影指示がなされたと判断した場合、ＣＰＵ１０１は更なる静止画の撮影指示がなされても、指示を受け付けないよう制御する。
【００５０】
次に、ＣＰＵ１０１は、符号化復号化処理部１３０によるサムネイル画像生成処理が完了したか否かを判定し（Ｓ２１２）、処理が完了している場合には、次に、（Ｓ２１０）で撮影されたデジタル画像信号を静止画データとするべく、画像処理部１１１に現像処理を、符号化復号化処理部１３０に符号化処理を順次実行させる（Ｓ２２０）。このとき、ＣＰＵ１０１は並行して、サムネイル生成処理で生成されたサムネイル画像をＲＡＭ１０２に一時記憶されている符号化済みの動画データのヘッダ情報に含めて、記録媒体１５１に記録するように記録再生部１５０を制御する（Ｓ２２１）。ここで、静止画の現像処理（Ｓ２２０）とは、撮影時に各画素に対してその周辺画素から足りない色情報を集め与えることで色情報を補完し、フルカラー画像を作り出す「デモザイク」処理等を含む処理で、このほかに、ガンマ補正、ホワイトバランス調整などの処理を含んでも良い。
【００５１】
ＣＰＵ１０１は、前述した現像処理が終了すると、現像したデジタル画像データを再びＲＡＭ１０２に記憶させ、表示制御部１４１に読み出させて、表示部１４０に表示させる。これは、一般にデジタルカメラで撮影を行った直後に表示部１４０に、撮影画像を表示させる、所謂「レックレビュー」表示である。ちなみに、静止画撮影の指示がなされてから静止画の現像処理が終了するまでの間、表示部１４０には、何の画像も表示されておらず、黒画像が表示されている。また、代わりに「処理中」などの状態をユーザに提示するための表示をさせても良い。
【００５２】
また、現像処理が終了すると、ＣＰＵ１０１は、予め設定された静止画記録用の符号化方式に従って符号化復号化処理部１３０に符号化処理を実行させる。次にＣＰＵ１０１は、静止画の現像処理、符号化処理が終了したか否かを判定する（Ｓ２２２）。静止画の符号化処理が終了したと判定すると（Ｓ２２２でＹｅｓ）、ＣＰＵ１０１は、生成された静止画データを記録再生部１５０に送り、記録媒体１５１に記録させる（Ｓ２２３）。そして、ユーザが操作入力部１０２を操作してダイジェストムービーモードを抜ける指示をしていないかぎり（Ｓ２２４でＮｏ）、ＣＰＵ１０１は、静止画の記録と並行して、動画の撮影、符号化処理（Ｓ２０１）を開始する。このとき、ＣＰＵ１０１は、表示制御部１４１に、ＲＡＭ１０２に記憶されたデジタル画像信号を読み出させ、再びスルー画像を表示部１４０に表示させる。
【００５３】
以上のように、本実施例の撮像装置１００は、「ダイジェストムービーモード」において、動画ファイルと、静止画ファイルを記録する。
【００５４】
ここで、本実施例の「ダイジェストムービーモード」において、記録媒体１５１に既に記録されている動画ファイル（既存動画ファイル）の動画データに対して、新たに撮影された動画データ（新規動画データ）を連結（追記）する場合の例について説明する。たとえば、既存動画ファイルの記録された日付と、新規動画データの取得した日付（撮影時点でのカメラの日付設定でも良い）とが同じ場合には、動画データを連結するものとすると、図３に示すように記録される。図３は、撮影タイミングと、動画ファイル、静止画ファイルの記録状態を示すものである。
【００５５】
同一の撮影日を有する静止画ファイルＰ１、Ｐ２、及びＰ３は記録媒体１５１の１つのフォルダ（同一フォルダ内）に記録され、各静止画の撮影直前にＲＡＭ１０２に記憶された動画データは同じフォルダに１つの連結された動画ファイルとして記録される。また、静止画ファイルＰ１からＰ３とは異なる撮影日を有するＰ４及びＰ５は、静止画ファイルＰ１が記録されたフォルダとは異なるフォルダに記録されるものとする。このとき、静止画ファイルＰ４の撮影直前にＲＡＭ１０２に記憶された動画データが、当該動画データの途中で撮影日が変更された場合であっても、静止画ファイルＰ４の撮影日と同一のフォルダに記録されるように制御するものとする。すなわち、撮影指示の入力されたタイミングの日付情報によって、動画データを連結するか新規に保存するかのいずれかを決定することにもなる。
【００５６】
また、本実施形態では、静止画撮影の指示が入力される毎に、動画データに対応するサムネイル画像を生成するものとして説明したが、たとえばＰ１の静止画データの撮影時に生成される動画データＭ１に対応するサムネイルは生成し、追記されるＭ２、Ｍ３の動画データのサムネイル画像を生成しないようにしても良い。このようにすると、動画ファイル１つについて、サムネイル画像を１つとすることができる。
【００５７】
次に、記録媒体１５１に記録される動画ファイルのファイルフォーマットについて説明する。図４は、本実施例の動画のファイルフォーマットを説明するための図である。
【００５８】
本実施例において、動画ファイルはＭＯＶフォーマットで記録されている。なおＭＯＶフォーマットでは、ファイルに記録されるデータは「アトム」と呼ばれるデータ構造の内部に記述され、アトムを単位としてファイルに記録される。各アトムはそれぞれ、「Ｓｉｚｅフィールド」、「Ｔｙｐｅフィールド」を有する。「Ｓｉｚｅフィールド」は、Ｓｉｚｅフィールドを含む、アトム全体のデータサイズを表す４バイトのフィールドである。「Ｔｙｐｅフィールド」は、アトムの種類を表す４バイトのタイプ識別子のフィールドである。
【００５９】
なお、各アトムにおいて「Ｔｙｐｅフィールド」以降のフィールドはアトムによってはオプションであるため、ここでは説明を省略する。また、アトム内に他のアトムを包含することが可能であり、それにより入れ子構造を実現している。ＭＯＶフォーマットで記録された動画ファイルは、図６に示すような構造で各アトムを格納している。
【００６０】
図４に示すように、ＭＯＶフォーマットの動画ファイルは、以下のアトムを有する。ファイルの種別を表す、ｆｔｙｐ（ファイルタイプアトム）７０１。後述のｍｖｈｄ（ムービーヘッダアトム）７０６やｔｒａｋ（トラックアトム）７０７、７０８、７０９などを含む、音声や映像に関する情報を格納した、ｍｏｏｖ（ムービーアトム）７０２。音声や映像、テキストなどの実データが格納した、ｍｄａｔ（ムービーデータアトム）７０３。
【００６１】
また、ｍｏｏｖ（ムービーアトム）７０２には、以下のアトムが格納される。任意のデータが格納された、ｕｄｔａ（ユーザーデータアトム）７０４。撮像装置１００のモデル名や通信部１５２で受信した撮像装置１００の位置情報やＵＴＣ時刻などのメタデータが格納された、ｍｅｔａ（メタデータアトム）７０５。動画の作成日時や修正日時、タイムスケール、Ｄｕｒａｉｏｎなどが格納された、ｍｖｈｄ（ムービーヘッダアトム）７０６。映像用のｔｒａｋ（トラックアトム）７０７。音声用のｔｒａｋ（トラックアトム）７０８。テキスト用のｔｒａｋ（トラックアトム）７０９。さらに、各ｔｒａｋ（トラックアトム）７０７〜７０９には、以下のアトムが格納される。
【００６２】
そのトラックの作成日時やＤｕｒａｔｉｏｎ（後述のチャンク内の各サンプルの間の時間的間隔）、そしてＩＤなどが格納した、ｔｋｈｄ（トラックヘッダアトム）７１０。なお、本実施例では、映像トラックのＩＤは１、音声トラックのＩＤは２、テキストトラックのＩＤは３、とする。トラック間の参照情報を格納したｔｒｅｆ７１１。本実施例では、映像トラックがテキストトラックをチャプタとして参照するため、映像用のｔｒｅｆ７１１には、テキストトラックのＩＤである３が記載され、それをチャプタとして参照するため、識別子として‘ｃｈａｐ’と記載されている。音声トラックにおいても同様である。本実施例では、テキストトラックにはｔｒｅｆは存在しなくて良い。
【００６３】
また、各ｔｒａｋ（トラックアトム）７０７〜７０９には、以下のアトムも格納される。１チャンクがいくつのサンプル（映像の場合はフレーム）数で構成されているかを示すｓｔｓｃ（サンプルチャンクアトム）７１２。本実施例では全ての映像チャンクが１チャンク＝１サンプル（フレーム）から構成されるものとする。サンプル数と各サンプル間の時間的間隔（Ｄｕｒａｔｉｏｎ）を格納した、ｓｔｔｓ（同期サンプルアトム）７１３。各サンプルのデータサイズを格納した、ｓｔｓｚ（サンプルサイズアトム）７１４。各チャンクのファイルオフセットを格納したｓｔｃｏ（チャンクオフセット）７１５。
【００６４】
音声や映像、テキストなどの実データが格納した、ｍｄａｔ（ムービーデータアトム）７０３には、以下のアトムが格納される。各チャプタのタイトルをテキストデータとして格納したテキストチャンク７１６、７１７。テキストチャンク７１６、７１７は、最初の領域には、後に続くテキストデータのデータサイズ（１６進数）を示すデータが格納される。テキストデータ領域にはテキストデータがＡＳＣＩＩコードで格納される。本実施例では、「ダイジェストムービーモード」において静止画の撮影された撮影時刻をテキストデータとして記載する。すなわち、「ダイジェストムービーモード」で、１２時３４分５６秒に静止画撮影の指示があった場合、記録媒体に記録される動画は、１２時３４分５２秒〜１２時３４分５６秒に対応する動画である。しかし、この動画のチャプタのタイトルを示すテキストチャンクのテキストデータとして、静止画撮影の指示があった１２時３４分５６秒に対応するテキストデータが書き込まれる。また、音声や映像、テキストなどの実データを格納した、ｍｄａｔ（ムービーデータアトム）７０３には、以下のアトムも格納される。
【００６５】
音声データチャンク７１８、７１９。映像データチャンク７２０、７２１、７２２等。図７において、アルファベットはピクチャの種類を示す。すなわち、フレーム内予測符号化されたＩピクチャであるか、前方予測のフレーム間予測符号化されたＰピクチャ、双方向予測のフレーム間予測符号化されたＢピクチャのいずれかを示す。本実施例では、フレーム内予測符号化されたＩピクチャであるためＩが付されている。さらに、アルファベットの添え字の数字は先頭からのフレーム番号を表している。つまり、映像データチャンク７２０は、１番目のフレームがＩピクチャ（フレーム内予測符号化ピクチャ）であることを表している。
【００６６】
ここで、ｍｄａｔアトム７０３のデータの格納状態について説明する。前述したようにｍｄａｔアトム７０３には、テキストチャンク、音声チャンク、映像チャンクが格納されている。なお、本実施例においては、音声チャンク１個と、映像チャンクを１５個とを組として格納している。これは、音声データ０．５秒と、映像の１５フレームが対応するようにするためにこのように記録している。しかし、格納方法はこの方式に限られない。さらに、本実施例のようにチャプタごとに、テキストチャンク７１６、７１７が格納される。これは、チャプタ１つにつき一つのテキストチャンクが対応する。すなわち、本実施例のように「ダイジェストムービーモード」で撮影を繰り返すと、撮影される度にテキストチャンクがｍｄａｔアトムに格納されることになる。テキストチャンクは、チャプタ一つに対応するものとなる。また、テキスト用のｔｒａｋアトムのテキスト用のｓｔｔｓアトムにも、テキストチャンクのサンプルの再生間隔（Ｄｕｒａｔｉｏｎ）が格納されている。
【００６７】
動画ファイルはこのようなフォーマットで記録されている。そのため、たとえば、ｍｄａｔ内の任意の映像フレームや音声データ、またはチャプタにアクセスする場合には、ｍｏｏｖ７０２のｓｔｓｚ７１４およびｓｔｃｏ７１５に格納されている情報を用いればよい。
【００６８】
ここで、静止画と動画のヘッダやチャプタに記録されている情報について説明する。図５は、記録媒体１５１に記録された動画ファイル、静止画ファイルの内容を説明するためのものである。図５において、本実施例を説明するのに不要なヘッダ情報などは省略している。
【００６９】
図５に示すように、「ダイジェストムービーモード」で撮影された静止画ファイルのヘッダ領域には、撮影日時の情報と、「ダイジェストムービーモード」で撮影されたことを示す「ＭＤＧフラグ」が記載されている。また、「ダイジェストムービーモード」で撮影された動画ファイルのヘッダ領域には、動画ファイルの撮影日時の情報が記録されている。しかし、この撮影日時情報も、「ダイジェストムービーモード」で最初に撮影された静止画の撮影日時の情報と同じ日時が記載されている。また、本実施例の撮像装置１００では、「ダイジェストムービーモード」で、静止画が撮影される度に動画を連結するが、連結される動画データは、それぞれ異なるチャプタとして取り扱う。そのために、「ダイジェストムービーモード」で撮影された動画ファイルのヘッダ領域には、各チャプタに対応する動画データのフレーム番号が記載されている。本実施例では、これらのチャプタ番号にさらに、静止画が撮影された日時情報を関連づけて記載している。再生時には、指定されたチャプタ番号や撮影日時の情報に対応するフレーム番号を特定し、特定されたフレーム番号から再生を行うことができる。また、動画データと共に記録されるテキストデータとしても、静止画撮影のされた日時を示す情報が記録されている。
【００７０】
次に、再生モードについて、説明する。
【００７１】
本実施例の撮像装置１００は、再生モードにおいて、静止画ファイルや動画ファイルの一覧画面を表示部１４０に表示する。なお、一覧画面は、静止画ファイルのみの一覧画面、動画ファイルのみの一覧画面、静止画ファイルと動画ファイルの混在した一覧画面などを表示する。そして、指定された静止画ファイルを再生して、静止画ファイルの画像を表示部１４０に表示する。このとき、「ダイジェストムービーモード」で撮影された静止画ファイルを再生している場合は、対応する「ダイジェストムービーモード」で撮影された動画ファイルの存在を示す情報を表示する。ユーザによって対応する動画ファイルの再生を指示されると、対応する動画ファイルの再生を開始して良いか確認する画面を表示し、ユーザによって許可されると、対応する動画ファイルの再生を開始する。対応する動画ファイルの再生が終了すると、動画ファイルの一覧画面を表示し、最後に表示された動画ファイルを選択した状態で、ユーザの指示を待つ。
【００７２】
操作部１０４により再生モードが指定されると、ＣＰＵ１０１は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、図６、図７に示す再生制御フローを開始する。なお、図６、図７のフロー図に示す処理は、ＣＰＵ１０１がＲＡＭ１０２に展開したプログラムに基づいて、撮像装置１００の各部を制御することにより、実行される処理である。
【００７３】
ＣＰＵ１０１は、再生モードが指定されると、記録媒体１５１からファイルの一覧情報を読出すように記録再生部１５０を制御し、各ファイルを示す情報を表示部１４０に表示するように表示制御部１４１を制御する。各ファイルを示す情報としては、例えば、各ファイルに含まれる代表画像などである。また、ＣＰＵ１０１は、各ファイルの選択状態を示す選択画像を表示部１４０に表示するように表示制御部１４１を制御する（Ｓ６０１）。  なお、本実施例においては、撮影モードにおいて撮影が行われた後に、再生モードに移行した場合は、最後に撮影された画像ファイルを選択した状態になるように選択画像を表示する。また、再生モードにおいて、再生が行われると、最後に再生していた画像を選択した状態になるように選択画像を表示する。
【００７４】
次に、ＣＰＵ１０１は、操作部１０４からの操作信号に基づいて選択された静止画ファイルや動画ファイルの静止画データや動画データを記録媒体１５１から読出すように記録再生部１５０を制御する。そして、ＣＰＵ１０１は、静止画データや動画データを復号するように符号化復号化処理部１３０を制御し、それらの画像を表示部１４０に表示するように表示制御部１４１を制御する（Ｓ６０２）。
【００７５】
このとき、ＣＰＵ１０１は、読出したファイルが静止画ファイルである場合には、静止画ファイルのヘッダにＭＤＧフラグが含まれているか否かを判定する。すなわち、選択した静止画ファイルが「ダイジェストムービーモード」で撮影された静止画であるか否かを判定する（Ｓ６０３）。
【００７６】
判定の結果、静止画ファイルのヘッダにＭＤＧフラグが含まれていない場合（「ダイジェストムービーモード」で撮影された静止画でない場合）、ＣＰＵ１０１は、他の指示があるまでは指定されたファイルの再生を継続する（Ｓ６０４でＮｏ）。また、他の指示がある場合は、他の処理または、他の指定された画像ファイルに含まれる静止画データや動画データを示す画像を表示部１４０に表示するように表示制御部１４１を制御する（Ｓ６０４でＹｅｓ）。
【００７７】
一方、判定の結果、静止画ファイルのヘッダにＭＤＧフラグが含まれている場合（「ダイジェストムービーモード」で撮影された静止画である場合）、ＣＰＵ１０１は、関連する動画ファイルが存在する旨を表示するように表示制御部１４１を制御する（Ｓ６１１）。  そして、ＣＰＵ１０１は、操作部１０４から関連する動画ファイルを再生する指示が入力されているか否かを判定する（Ｓ６１２）。判定の結果、入力がなければＳ６０４に処理を移す。判定の結果、関連する動画ファイルを再生する指示が入力されている場合（Ｓ６１２でＹｅｓ）、関連する動画ファイルを再生するか否かを問うための確認画面を表示するように表示制御部１４１を制御する（Ｓ６１３）。そして、ＣＰＵ１０１は、Ｓ６１３で確認画面を表示しているときに、動画ファイルを再生することを許可する指示が操作部１０４から入力されるかを判定する（Ｓ６１４）。Ｓ６１４で動画ファイルを再生することを許可する指示が入力されない場合には、処理をＳ６１１に移行する（Ｓ６１４でＮｏ）。また、Ｓ６１４で動画ファイルを再生することを許可する指示が入力された場合には、関連する動画ファイルを再生するように、記録再生部１５０を制御する（Ｓ６２１）。このように、「ダイジェストムービーモード」で撮影された静止画を再生中に、関連する動画ファイルを再生するか否かを問い合わせるのは以下の理由がある。
【００７８】
例えば、「ダイジェストムービーモード」で、多回数の撮影を行った場合。本実施例の撮像装置は、動画ファイルの再生終了後に再生終了した動画ファイルを選択した状態で停止し、元の画像を選択した状態に戻らない。そのため、元の静止画ファイルを選択する状態に戻すには、再度画像を探し出すために多くの操作を行わなくてはならなくなるからである。そのため、関連する動画ファイルを再生する場合は、Ｓ６１３のように、確認画面を表示するのである。なお、確認画面において、さらに、「現在表示している静止画ファイルの再生が、動画ファイルの再生後、自動的に行われない」旨の通知をしても良い。
【００７９】
Ｓ６２１の処理が終了すると、ＣＰＵ１０１は、再生モードが終了されたか否かを判定し（Ｓ６２２）、終了されていなければ、処理をＳ６０２から繰り返す。
【００８０】
次に、再生中の静止画ファイルに対応する動画を再生する場合の処理（Ｓ６２１）を図７のフロー図を用いて説明する。
【００８１】
再生中の静止画ファイルに対応する動画ファイルの再生の要求があると、ＣＰＵ１０１は、静止画ファイルのヘッダに記録されている撮影日時情報を読出すように記録再生部１５０を制御する（Ｓ７０１）。次に、ＣＰＵ１０１は、記録媒体１５１に記録されている動画ファイル（拡張子「ＭＯＶ」のファイル）のうち、ファイル名に「ＭＤＧ」が含まれる動画ファイルを特定する。次に、ＣＰＵ１０１は、特定された動画ファイルの撮影日時情報を解析し、再生中の静止画ファイルの撮影日時情報と同じ日付の動画ファイルを特定する（Ｓ７０２）。
【００８２】
次に、ＣＰＵ１０１は、特定された動画ファイルの動画データを読出すように記録再生部１５０を制御し、読出された動画データを先頭から順次復号するように符号化復号化処理部１３０を制御すると共に、復号された画像を表示するように表示制御部１４１を制御する（Ｓ７０３）。
【００８３】
次に、ＣＰＵ１０１は、再生された動画ファイルの動画データの再生が最後まで終了したか、またはユーザの操作部１０４の指示により中断したかを判定する（Ｓ７０４）。中断または終了していない場合（Ｓ７０４でＮｏ）、ＣＰＵ１０１は、動画の再生を継続するように記録再生部１５０、符号化復号化処理部１３０、表示制御部１４１をそれぞれ制御する。中断または終了した場合、Ｓ６０１と同様に、ＣＰＵ１０１は、記録媒体１５１からファイルの一覧情報を読出すように記録再生部１５０を制御し、各ファイルを示す情報を表示部１４０に表示するように表示制御部１４１を制御する。このとき、動画ファイルを再生した後であるため、本実施例においては、最後に再生していた動画ファイルを選択した状態になるように選択画像を表示する（Ｓ７０５）。
【００８４】
このように、本実施例の撮像装置１００は、「ダイジェストムービーモード」で撮影された静止画ファイルを再生している時に、関連する動画ファイルを再生することができる。そして、再生していた画像ファイルの再生が終了すると、再生していた画像ファイルを選択した状態で画像選択画面に戻るため、関連する動画ファイルを再生する直前に、動画ファイルの再生を行うか否かの問合せ画面を表示する。このようにすることで、複数の静止画ファイルが動画ファイルと関連付いているときに、関連付いている動画ファイルの再生後に元々再生していた静止画ファイルを自動的に再生できない場合に、意図しないファイル選択が行われないようにすることができる。
【００８５】
次に、再生モードで実行される、本発明の動画アルバム作成機能「ストーリーハイライト」について説明する。
【００８６】
本実施例で説明する「ストーリーハイライト」の動作は、従来の「ストーリーハイライト」に対して、動画音声解析（Ｓ８０７）、動画動き量解析（Ｓ８０８）、動画／静止画配分比（Ｓ８１０）、の３つのステップ（図８）が追加／変更されている。
【００８７】
以下、動画アルバム作成機能「ストーリーハイライト」の動作について、図８を用いて詳しく説明する。
【００８８】
撮像装置１００が再生モードで、記憶媒体１５１内に保持された任意の画像が表示部１４０に表示（Ｓ８０１）された状態で、「ストーリーハイライト」メニューを選択（Ｓ８０２）すると、動画アルバム作成のホーム画面Ｓ８０３に移動する。次に、ホーム画面のメニューから動画アルバムの作成モード（図１４）から任意のモードを選択（Ｓ８０４）して、動画アルバムの作成を開始（Ｓ８０５）する。前記作成モードには、例えば一日の出来事を再生する『日付』、撮像装置で個人認証した人物が写っている画像を指定する『人物』、そして日付をまたいで撮られた多くの画像を関連付けて再生する『イベント』、そして過去に作成した動画アルバムを選んで再編集可能な『アルバム一覧』が挙げられる。
【００８９】
動画アルバムの作成を開始すると、前記作成モードに従って記憶媒体１５１内の画像群にアクセスし、クラスタリング（Ｓ８０６）により画像をいくつかのカテゴリに分類する。例えば動画アルバムの作成モードが『日付』であれば、指定した日付のファイルにアクセスし、静止画ファイルの数と、動画ファイルの数および再生時間が判明する。クラスタリングでは、時間毎にファイルを分類し、選別する画像は特定の時間帯に偏らないようにしつつ、多くの写真を取った時間帯は多くの写真を選別する。クラスタリングの手法自体は一般的な技術なので、ここでの説明は割愛する。
【００９０】
次に、各動画データに付随する動画音声を解析（Ｓ８０７）して、動画音声の評価値を算出する。なお、動画記録時に算出した評価値が参照できるなら、参照しても良い。
【００９１】
動画音声解析では、入力された動画音声を解析して、ビートの周期とビートの強さを算出する。ビートの周期が音楽で使われるものであり、ビートの強さが大きいほど、動画音声の評価値は大きくなる。ビートの検出方法自体は一般的な技術を使うため、ここでの説明は割愛する。
【００９２】
次に、各動画データの動画動き量を解析（Ｓ８０８）して、動画動き量の評価値を算出する。動きが大きいほど評価値は大きくなる。なお、動画記録時に算出した評価値が参照できるなら、参照しても良い。
【００９３】
動画動き量の検出は、動画像の中から主被写体を検出し、前記主被写体の動き量を算出することで得られる。動き量検出方法自体は一般的な技術を使うため、ここでの説明は割愛する。
【００９４】
次に動画アルバムの再生時間を決定し（Ｓ８０９）、動画／静止画配分を決定する（Ｓ８１０）。本発明では動画アルバムの再生時間は２分とする。動画静止画配分比は、前記動画音声の評価値、前記動画動き量の評価値が大きい画像がある時に変更される。動画静止画配分比を変更する形態としては、トリミングされた動画の数を増やす、静止画の数を減らす、もしくは両方を選んでも良い。また別の形態としては、トリミングされた動画のトリミング期間を変更して動画の配分比を増やしても良い。
【００９５】
図１０を用いて、従来、静止画ａ、動画ｂ、動画ｃ、静止画ｄの順に並んでいた画像配列に対して、どのように動画配分比を増やすか具体例を示す。
変更例１）クラスタリングで分類された異なる画像群、例えば異なる時間帯に撮影された画像群の中に評価値の大きい動画ｅが見つかり、動画ｅを追加した場合。
変更例２）動画ｃの評価値が大きく、動画ｃの再生時間のトリミング幅を広げた場合。
変更例３）評価値の大きい動画ｅが見つかったが、動画アルバム全体の再生時間を変更したくない場合、各動画の再生期間をトリミングして時間に収まるようにした例。
【００９６】
次に、前記再生時間、動画／静止画配分に基づき、動画アルバムに入れる画像を選抜する（Ｓ８１１）。画像選別の次に、画像の並べ替え（Ｓ８１２）を行い、動画アルバムに書き込む順番と同じ最終画像配列にする。画像の並び順のままでは調子が単調と判断された場合、別のシーンと入れ替えて、構成が単調にならないよう変化をつける。ここで、調子を判定する判断基準としては、動画動き量（動きの激しさ）、動画音声の大きさ、動画音声に含まれるテンポの速さなどを使う。
【００９７】
図９を用いて、画像がどのように並べ替えられるか、具体例を示す。当初、静止画ａ、静止画ｂ、静止画ｃ、動画ｄ、動画ｅの順に並んでいたが、動画動き量と動画音声の評価値を算出した結果、動画ｄ、動画ｅの評価値が近い（すなわち調子が似ている）ことが判明したため、構成が単調になるのを避けるため、間に静止画ｂを入れて並べ替えた。
【００９８】
画像の並べ替えが終わったら、前記最終画像配列に沿って動画を生成Ｓ８１３し、動画アルバム画像を作成する。動画アルバムのファイルフォーマットは、ダイジェスト動画と同じである。
【００９９】
動画アルバム画像が出来たら、次はＢＧＭ設定Ｓ８１４を行う。ＢＧＭ設定の設定パラメータの例は、ＢＧＭを使用する／しない、ＢＧＭの再生方法（音声のみ／ＢＧＭと音声のＭＩＸ／ＢＧＭのみ）、ＢＧＭの選曲（曲１／曲２／曲３）などがある。なお、ＢＧＭ設定は、過去のアルバム一覧に保存Ｓ８１７した後に再編集することも可能である。
【０１００】
続いて、アルバム動画再生Ｓ８１５で作成した動画の内容を確認し、これで良ければ「動画として保存」Ｓ８１６を選択して保存する。「動画として保存」を選択すると、過去のアルバム一覧に保存されＳ８１７，保存した動画アルバムを再度読みだすことが可能となる。
【０１０１】
図１１は、動画アルバムの構成を示す、一例である。
【０１０２】
動画アルバムは、オープニング、本編、エンディングの３部構成からなり、オープニングは動画アルバムの中の代表的な静止画を２〜３秒間隔で表示、本編はストーリーの中心となる動画を順次再生、エンディングは本編で再生した各動画のサマリとしての静止画を２〜３秒間隔で表示する。
【０１０３】
図１２は、従来の「ストーリーハイライト」の動画アルバムの一例、図１３は本発明の「ストーリーハイライト」の一例を示す。
【０１０４】
図１３中、動画３−１と動画３−３は画像の調子（画像の動き量の大きさ（動きの激しさ）、音量の大きさ、テンポの速さ）が似ているものの、動画音声の評価値と動画動き量の評価値が大きいため、動画３−３を追加し、動画の配分を増やしている。
【０１０５】
なお、本実施例においては、常に関連する動画ファイルを再生する直前に、動画ファイルの再生を行うか否かの問合せ画面を表示するものとした。しかし、たとえば、動画ファイルに関連付けられた静止画ファイル数が所定の閾値よりも少ない場合や、関連付けられた動画ファイルのファイル名に付加された番号の差が所定の閾値よりも小さい場合には問い合わせ画面を表示しなくても良い。
【０１０６】
なお、本実施例において、「ストーリーハイライト」で動画アルバムを作成する例について説明した。しかし、例えば、素材となる画像が複数の静止画ファイルだけであれば、静止画を組み合わせて動画アルバムを作成し、音声にはＢＧＭを適用することができる。
【０１０７】
本実施例では、動画アルバム作成機能「ストーリーハイライト」で解析対象となる動画素材として静止画とダイジェスト動画を説明したが、ダイジェスト動画の代わりに通常動画を指定しても良い。画像解析の単位は、静止画（単独）は１枚単位、静止画（グループ：連写、画像効果のブラケット、ＨＤＲなど）はグループ単位で解析する。ダイジェスト動画は１チャプタ単位で解析、ショート動画（再生時間は２／４／８秒）は、１チャプタ単位で解析、通常動画は、画像解析によるシーン判別で複数のチャプタに分割し、１チャプタ単位で解析する。本実施例では、撮像装置を例にとって説明した。しかし、本実施例の再生処理を実行することができるものであれば、本発明を適用することができる。例えば、コンピュータ、タブレット型端末、スマートフォン、携帯電話、テレビ、等であっても良い。また、本実施例の削除処理をコンピュータに実行させる為のプログラムも本発明の思想に含まれる。
【符号の説明】
【０１０８】
１００  撮像装置、１０１  ＣＰＵ、１０２  ＲＡＭ、１０３  ＲＯＭ、
１０４  操作部
【図１】
2019075629.tif 000003
【図２】
2019075629.tif 000004
【図３】
2019075629.tif 000005
【図４】
2019075629.tif 000006
【図５】
2019075629.tif 000007
【図６】
2019075629.tif 000008
【図７】
2019075629.tif 000009
【図８】
2019075629.tif 000010
【図９】
2019075629.tif 000011
【図１０】
2019075629.tif 000012
【図１１】
2019075629.tif 000013
【図１２】
2019075629.tif 000014
【図１３】
2019075629.tif 000015
【図１４】
2019075629.tif 000016