(57)【要約】【課題】  動画像の１フレームを代表画像として使うと、動画像の全体を把握することが困難である。【解決手段】  画像処理装置は、ユーザが動画像から複数のフレームを選択する選択手段と、前記複数のフレームから合成画像を生成する合成手段と、前記合成画像を、前記動画像の代表画像として用いる制御手段と、を有する。【選択図】  図６
2020170998.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが動画像から複数のフレームを選択する選択手段と、
前記複数のフレームから合成画像を生成する合成手段と、
前記合成画像を、前記動画像の代表画像として用いる制御手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記代表画像は、サムネイル画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段が、前記合成画像を圧縮するものを前記代表画像として用いることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記合成手段は、前記複数のフレームから背景と被写体とを認識し、前記被写体を切り出して前記合成画像を生成することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項５】
前記合成画像は、前記合成画像に、切り出された複数の前記被写体を加えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記合成手段は、前記複数のフレームが予め定められた条件に満たす場合に、前記合成画像を生成することを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
前記複数のフレームが予め定められた条件に満たさない場合に、警告を行う警告手段を有することを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項８】
前記予め定められた条件は、前記複数のフレームのうちの最初のフレームと最後のフレームの時刻との差が予め定められた値より小さいこと、および、前記複数のフレームのうちの最初のフレームと最後のフレームの違いが予め定められた閾値より小さいことの、少なくともいずれかであることを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記予め定められた値は、前記動画像の再生時間に基づいて定められることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
表示手段を有し、
前記表示手段は、前記代表画像を表示することを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
【請求項１１】
動画像を撮像する撮像手段と、
ユーザが前記動画像から複数のフレームを選択する選択手段と、
前記複数のフレームから合成画像を生成する合成手段と、
前記合成画像を、前記動画像の代表画像として用いる制御手段と、を有することを特徴とする画像処理装置。
【請求項１２】
ユーザが動画像から複数のフレームを選択する選択ステップと、
前記複数のフレームから合成画像を生成する合成ステップと、
前記合成画像を、前記動画像の代表画像として用いる制御ステップと、を有することを特徴とする画像処理方法。
【請求項１３】
画像処理装置をコンピュータに動作させるコンピュータのプログラムであって、
ユーザが動画像から複数のフレームを選択する選択ステップと、
前記複数のフレームから合成画像を生成する合成ステップと、
前記合成画像を、前記動画像の代表画像として用いる制御ステップと、を行わせることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画の代表画像の作成を行う画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルカメラなどの画像処理装置には、ユーザが動画の内容を簡単に認識できるように、動画から代表画像（サムネイル画像）を生成する機能が設けられることがある。たとえば、特許文献１には、動画の１つのフレームを使って代表画像を生成する内容が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８―２５１５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、特定の１フレームを使って代表画像とするので、動画の内容を把握するのは不十分な場合がある。たとえば、ある動体がある軌跡に沿って動くような動画で、特定の１フレームを使って代表画像とすると、代表画像では動体の軌跡を把握できない。
【０００５】
本発明は、上記の課題を鑑みてなされたものであり、動画の複数のフレームの内容を表せる代表画像を作成する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本願発明は、ユーザが動画像から複数のフレームを選択する選択手段と、前記複数のフレームから合成画像を生成する合成手段と、前記合成画像を、前記動画像の代表画像として用いる制御手段とを有することを特徴とする画像処理装置を提供する。
【発明の効果】
【０００７】
本発明の構成によれば、動画の代表画像を生成するとき、動画の複数のフレームの内容を表せる代表画像を生成する画像処理装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態における撮像装置のハードウェア構成を示すブロック図である。
【図２】本発明の実施形態における動画ファイルのフォーマットを説明するための図である。
【図３】本発明の実施形態における静止画像のファイルのデータの構造例を説明するための図である。
【図４】本発明の実施形態における表示部１３０に表示する画面の一例を説明するための図である。
【図５】本発明の実施形態における代表画像の生成を説明するための図である。
【図６】本発明の実施形態における画像の合成を説明するための図である。
【図７】本発明の実施形態における代表画像を代替した後の表示部１３０に表示する画面の一例を説明するための図である。
【発明を実施するための形態】
【０００９】
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００１０】
図１は、本実施形態における撮像装置のハードウェア構成を示すブロック図である。本実施形態での撮像装置は、たとえばデジタルカメラを例として挙げられるが、これ以外にも撮像可能な携帯電話などであってもよい。
【００１１】
制御部１０１は、例えば、ＣＰＵ（ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ）、不揮発性メモリ（ＥＥＰＲＯＭ）などからなり、各種処理（プログラム）を実行して撮像装置１００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、制御部１０１は、ユーザからの操作を受け付ける操作部１０２からの操作信号に応じて、撮像装置１００の各ブロックを制御する。また、制御部１０１は、後述の画像処理部１１１によって得られた画像を解析し、その解析結果に応じて、撮像装置１００の各ブロックを制御する。
【００１２】
操作部１０２は、例えば、電源ボタン、静止画記録ボタン、動画記録開始ボタン、ズーム調整ボタン、オートフォーカスボタンなどの撮像に関連する各種操作を入力するスイッチ類からなる。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等からなり、ユーザによりこれらのキーやボタンが操作されると制御部１０１に操作信号を送信する。
【００１３】
また、バス１０３は、各種データ、制御信号、指示信号などを撮像装置１００の各ブロックに送るための汎用バスである。
【００１４】
不揮発性メモリ１０５は、電気的に消去・記録可能なメモリであり、制御部１０１の動作用の定数、プログラム等が記憶される。
【００１５】
撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をして、画像処理部１１１に送信する。
【００１６】
画像処理部１１１は、入力されたデジタル画像信号に、設定値に基づいてホワイトバランスや色、明るさなどを調整する画質調整処理を行う。そして、画像処理部１１１で処理された画像信号は、制御部１０１により、メモリ１０４や後述の映像出力部１５０や表示制御部１３１に送信される。
【００１７】
本実施形態においては、例えば、撮像部１１０は、「光学ズーム」機能、「光学防振」機能を有し、画像処理部１１１は、「電子ズーム」機能、「電子防振」機能を有している。ここで、「光学ズーム」機能、「電子ズーム」機能は、ユーザの操作に応じて、得られる画像を拡大する機能である。また、「光学防振」機能、「電子防振」機能は、撮像装置１００本体の振動による画像の揺れを防止する機能である。そして、これらの機能は、制御部１０１の制御の元、同時に使用されたり交互に使用されたり、単独で使用されたりする。
【００１８】
ここで、「光学ズーム」機能とは、ユーザにより操作部１０２のズームキーが操作されたことに応じて、撮像部１１０のレンズを移動させ、取り込まれる被写体の光学像を拡大／縮小する機能である。また、「電子ズーム」機能とは、ユーザにより操作部１０２のズームキーが操作されたことに応じて、画像処理部１１１が、撮像部１１０により生成された画像のうち一部を切り出した画像を拡大した画像信号を生成する処理である。また、「光学防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、レンズの移動量を算出し、レンズを移動させることで、取得される画像の揺れを防止する機能である。また、「電子防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、撮像部１１０により取得された画像信号の位置を調整することにより、画像の揺れを防止する機能である。また、「電子防振」機能は、不図示の振動検出部からの加速度信号の値に基づいて、撮像部１１０の撮像素子における読み出し位置をずらすことによっても実現できる。
【００１９】
また、音声入力部１２０は、例えば、内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、撮像装置１００の周囲の音声を集音（収音）し、アナログデジタル変換をして音声処理部１２１に送信する。音声処理部１２１は、入力されたデジタル音声信号のレベルの適正化処理等の音声に関する処理を行う。そして、音声処理部１２１で処理された音声信号は、制御部１０１によりメモリ１０４に送信される。メモリ１０４は、画像処理部１１１、音声処理部１２１により得られた画像信号及び音声信号を一時的に記憶する。
【００２０】
画像処理部１１１及び音声処理部１２１は、メモリ１０４に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号等を生成する。制御部１０１は、これらの圧縮画像信号、圧縮音声信号を、記録再生部１４０に送信する。
【００２１】
記録再生部１４０は、記録媒体１４１に対して画像処理部１１１及び音声処理部１２１で生成された圧縮画像信号、圧縮音声信号、その他撮像に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、制御部１０１は、音声処理部１２１により生成された音声信号と画像処理部１１１により生成された圧縮画像信号とを、記録再生部１４０に送信し記録媒体１４１に記録させる。
【００２２】
記録媒体１４１は、撮像装置１００に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体１４１は、撮像装置１００で生成した圧縮画像信号、圧縮音声信号、音声信号を含む各種データなどを記録することができ、不揮発性メモリ１０５よりも大容量な媒体が一般的に使用される。例えば、記録媒体１４１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。
【００２３】
また、記録再生部１４０は、記録媒体１４１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出して再生する。そして読み出した圧縮画像信号、圧縮音声信号を、制御部１０１は画像処理部１１１及び音声処理部１２１に送信する。画像処理部１１１及び音声処理部１２１は、圧縮画像信号、圧縮音声信号を一時的にメモリ１０４に記憶させ、所定の手順で復号し、復号した音声信号を音声出力部１５１へ、復号化した画像信号を映像出力部１５０や表示制御部１３１に送信する。また、音声信号が記録媒体１４１に非圧縮記録されている場合には、制御部１０１は、音声信号を直接音声出力部１５１に送信する。
【００２４】
音声出力部１５１は、例えば音声出力端子からなり、接続されたイヤホンやスピーカなどから音声を出力させるために音声信号を送信する。また、音声出力部１５１は、撮像装置１００に内蔵され、音声信号にかかる音声を出力するスピーカであってもよい。映像出力部１５０は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部１５１、映像出力部１５０は、統合された１つの端子、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）端子のような端子であってもよい。
【００２５】
また、表示制御部１３１は、画像処理部１１１から送信された画像信号による映像や、撮像装置１００の操作をするための操作画面（メニュー画面）等を表示部１３０に表示させる。表示部１３０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスであれば何でもよい。
【００２６】
通信部１５２は、撮像装置１００と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮像開始や終了コマンド等の、撮像にかかる制御信号や、その他の情報を送信したり受信したりする。通信部１５２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。
【００２７】
次に、本実施形態の撮像装置１００の通常の動作について説明する。
【００２８】
本実施形態の撮像装置１００は、ユーザが操作部１０２の電源ボタンを操作すると、操作部１０２から制御部１０１に起動の指示が出される。この指示を受けて、制御部１０１は、不図示の電源供給部を制御して、撮像装置１００の各ブロックに対して電源を供給させる。
【００２９】
電源が供給されると、制御部１０１は、例えば、操作部１０２のモード切り換えスイッチが、例えば、静止画撮像モード、動画撮像モード、再生モード等のどのモードであるかを操作部１０２からの指示信号により確認する。
【００３０】
静止画撮像モードでは、撮像装置１００は撮像待機状態でユーザが操作部１０２の静止画記録ボタンを操作することで撮像を行い、圧縮画像信号が記録媒体１４１に記録される。そして再び撮像待機状態になる。動画撮像モードでは、撮像装置１００は撮像待機状態でユーザが操作部１０２の動画記録開始ボタンを操作することで撮像を開始し、その間、圧縮画像信号と圧縮音声信号または音声信号が記録媒体１４１に記録される。そしてユーザが操作部１０２の動画記録終了ボタンを操作することで撮像を終了し、再び撮像待機状態になる。再生モードでは、ユーザが選択したファイルに関する圧縮画像信号や圧縮音声信号または音声信号を記録媒体１４１から再生して、音声出力部１５１から音声信号を出力し、表示部１３０に映像を表示させる。
【００３１】
まず、静止画撮像モードについて説明する。操作部１０２により静止画撮像モードが設定されると前述のようにまず、制御部１０１は、撮像装置１００の各ブロックを撮像待機状態に設定させる。
【００３２】
撮像待機状態では、画像処理部１１１は、画像信号を表示制御部１３１に送信し表示部１３０に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮像の準備を行う。
【００３３】
撮像待機状態で、ユーザが操作部１０２の静止画記録ボタンを操作することにより撮像指示信号が送信されると、制御部１０１は撮像制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。
【００３４】
撮像部１１０、１１２は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、画像処理部１１１に送信する。画像処理部１１１は、入力されたデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさなど）を設定値に基づいて処理する。そして、画像処理部１１１で処理された画像信号は、制御部１０１によりメモリ１０４や映像出力部１５０や表示制御部１３１に送信される。ここで、表示部１３０に表示された映像を見ることで、ユーザは撮像した静止画を確認することができる。
【００３５】
そして、画像処理部１１１は、メモリ１０４に一時的に記憶された画像信号を読み出して所定の符号化を行い、圧縮画像信号を生成し、記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、圧縮画像信号を静止画ファイルとして記録媒体１４１に書き込んでいく。
【００３６】
なお、制御部１０１は、画像処理部１１１による符号化の動作が終了すると、撮像待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮像待機状態に戻る。
【００３７】
次に、動画撮像モードについて説明する。操作部１０２により動画撮像モードが設定されると前述のようにまず、制御部１０１は、撮像装置１００の各ブロックを撮像待機状態に設定させる。
【００３８】
撮像待機状態では、画像処理部１１１は、画像信号を表示制御部１３１に送信し表示部１３０に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮像の準備を行う。
【００３９】
撮像待機状態で、ユーザが操作部１０２の動画記録開始ボタンを操作することにより撮像開始の指示信号が送信されると、制御部１０１は撮像開始の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。
【００４０】
撮像部１１０、１１２は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、画像処理部１１１に送信する。画像処理部１１１は、入力されたデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさなど）を設定値に基づいて処理する。そして、画像処理部１１１で処理された画像信号は、制御部１０１により表示制御部１３１、メモリ１０４に送信される。表示制御部１３１は、受信した画像信号に関する映像を表示部１３０に表示させる。
【００４１】
一方、音声入力部１２０は、マイクにより得られたアナログ音声信号をデジタル変換し、得られたデジタル音声信号を音声処理部１２１に送信する。音声処理部１２１は、入力されたデジタル音声信号のレベルの適正化処理等をして音声信号を出力する。制御部１０１は、音声処理部１２１により処理された音声信号をメモリ１０４に送信する。
【００４２】
そして、画像処理部１１１及び音声処理部１２１は、メモリ１０４に一時的に記憶された画像信号や音声信号を読み出して所定の符号化を行い、圧縮画像信号、圧縮音声信号等を生成する。そして、制御部１０１は、これらの圧縮画像信号、圧縮音声信号を合成し、データストリームを形成し、記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。また、音声を圧縮しない場合には、制御部１０１は、音声処理部１２１で生成した音声信号を画像処理部１１１で生成された圧縮画像信号とともに、記録再生部１４０に出力する。そして、記録再生部１４０は、前述したように、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。
【００４３】
以上の動作を撮像中は継続する。
【００４４】
また、撮像の間、ユーザによる操作部１０２の操作に応じて、または画像処理部１１１により生成された画像信号の解析結果に応じて、制御部１０１は、撮像部１１０、１１２や画像処理部１１１、音声処理部１２１などに各種制御信号を送信している。例えば、レンズの移動や絞り調整などをさせるための制御信号を撮像部１１０、１１２に送信するとともに、画像や音声を調整するための制御信号を画像処理部１１１、音声処理部１２１に送信する。
【００４５】
また、同様に撮像の間、ユーザにより操作部１０２のズームキーを操作することで、制御部１０１により、撮像部１１０、１１２の「光学ズーム」機能や、画像処理部１１１の「電子ズーム」機能を動作させることができる。また、不図示の振動検出部により検出された加速度信号に基づいて、制御部１０１により、撮像部１１０、１１２の「光学防振」機能や、画像処理部１１１の「電子防振」機能が動作している。
【００４６】
そして、ユーザが操作部１０２の動画記録終了ボタンを操作することにより撮像終了の指示信号が制御部１０１に送信されると、制御部１０１は、撮像終了の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。
【００４７】
画像処理部１１１、音声処理部１２１は、それぞれ画像信号、音声信号のメモリ１０４への送信を停止する。そして、メモリ１０４に記憶されている残りの画像信号と音声信号とを読み出して所定の符号化を行い、圧縮画像信号、圧縮音声信号等を生成する。
【００４８】
制御部１０１は、これらの最後の圧縮画像信号、圧縮音声信号を合成し、データストリームを形成し、記録再生部１４０に出力する。音声を圧縮しない場合には、制御部１０１は、音声処理部１２１により生成された音声信号と、圧縮画像信号とを記録再生部１４０に出力する。
【００４９】
記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。そして、データストリームの供給が停止したら、制御部１０１はサムネイルを生成するために以下のような動作をさせるように制御する。
【００５０】
記録再生部１４０は記録媒体１４１に記録した動画ファイルの先頭フレームの圧縮画像信号を読み出し、画像処理部１１１に送信する。画像処理部１１１は、圧縮画像信号を一時的にメモリ１０４に記憶させ、所定の手順で復号する。次に画像処理部１１１は得られた画像信号に対してサムネイル用の所定の符号化を行い、サムネイル用圧縮画像信号を生成する。そして、制御部１０１はサムネイル用圧縮画像信号を記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、サムネイル用圧縮画像を、基となる動画ファイルに結合させるように記録媒体１４１に書き込み、動画ファイルを完成させるとともに記録動作を停止する。
【００５１】
制御部１０１は、記録動作が停止すると、撮像待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮像待機状態に戻る。
【００５２】
ユーザによる操作部１０２の操作に応じて、著作権者名および作成者名を不揮発性メモリ１０５に記憶させることが可能である。また、操作部１０２が操作されるたびに、不揮発性メモリ１０５に記憶された著作権者名および作成者名を変更することが可能である。不揮発性メモリ１０５に記憶された著作権者名および作成者名は、撮像処理に応じて静止画ファイルまたは動画ファイルにメタデータとして記録される。
【００５３】
以上説明した静止画撮像モードおよび動画撮像モードで記録される静止画ファイルおよび動画ファイルは、ＤＣＦ（Ｄｅｓｉｇｎ  ｒｕｌｅ  ｆｏｒ  Ｃａｍｅｒａ  Ｆｉｌｅ  ｓｙｓｔｅｍ）に従って記録されるものとする。
【００５４】
次に、再生モードについて説明する。操作部１０２により再生モードが設定されると、制御部１０１は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。
【００５５】
記録再生部１４０は、記録媒体１４１に記録された圧縮画像信号からなる静止画ファイル、または圧縮画像信号と圧縮音声信号または音声信号とからなる動画ファイルを読み出す。制御部１０１は読み出された圧縮画像信号、圧縮音声信号を、画像処理部１１１及び音声処理部１２１に送る。圧縮されていない音声信号であれば、制御部１０１は、音声出力部１５１に音声信号を送信する。
【００５６】
画像処理部１１１及び音声処理部１２１は、圧縮画像信号、圧縮音声を一時的にメモリ１０４に記憶させ、所定の手順で復号する。そして制御部１０１は、復号化した音声信号を音声出力部１５１へ、復号化した画像信号を映像出力部１５０や表示制御部１３１に送信する。表示制御部１３１は、入力された画像信号にかかる映像を表示部１３０に表示させ、音声出力部１５１は、入力された音声信号にかかる音声を内蔵されたスピーカや、接続されたイヤホンやスピーカから出力する。
【００５７】
撮像装置１００は以上のように、静止画、動画の記録再生を行う。
【００５８】
図２は、本実施形態における動画ファイルのフォーマットを説明するための図である。本実施形態で扱う動画ファイルのフォーマットはＭＰ４とし、映像はＨ．２６４、音声はＡＡＣで圧縮されているものとする。
【００５９】
ＭＰ４フォーマットでは、ファイルに記録されるデータは「ボックス」と呼ばれるデータ構造の内部に記述され、ボックスを単位としてファイルに記録される。ボックスは次のようなフィールドから構成される。
Ｓｉｚｅ：Ｓｉｚｅフィールドを含む、ボックス全体のデータサイズを表す４バイトのフィールド
Ｔｙｐｅ：ボックスの種類を表す４バイトのタイプ識別子。
【００６０】
Ｔｙｐｅフィールド以降のフィールドはボックスによってはオプションであるため、ここでは説明を省略する。また、ボックス内にボックスを包含することが可能であり、それにより入れ子構造を実現している。
【００６１】
ｆｔｙｐ２０１はファイルタイプボックスであり、ファイルの種別を表すボックスである。ｍｏｏｖ２０２はムービーボックスであり、後述のｍｖｈｄ（ムービーヘッダボックス）やｔｒａｋ（トラックボックス）などを含む、音声や映像に関する情報が格納されている。ｍｄａｔ２０３はムービーデータボックスであり、音声や映像、テキストなどの実データが格納されている。
【００６２】
ｍｏｏｖ２０２内の代表的なボックスについて述べる。ｕｕｉｄ２０４は汎用一意識別子ボックスであり、任意の識別子やデータが格納されている。格納されているデータには、記録した動画像の１フレームを切り出して縮小した画像であるサムネイル２３０が含まれている。ｕｄｔａ２０５はユーザーデータボックスであり、撮像装置１００のモデル名や通信部１５２で受信した撮像装置１００の位置情報やＵＴＣ時刻などのメタデータが格納されている。ｍｖｈｄ２０６は、動画の作成日時や修正日時、タイムスケール、Ｄｕｒａｉｏｎなどが記載されている。ｔｒａｋ２０７は映像用のｔｒａｋであり、映像のコーデックの種類や後述のｓｔｔｓ（時間サンプルボックス）やｓｔｓｃ（サンプルチャンクボックス）やｓｔｓｓ（同期サンプルボックス）、ｓｔｓｚ（サンプルサイズボックス）、ｓｔｃｏ（チャンクオフセット）などｍｄａｔ内の映像データに関する情報が格納されている。ｔｒａｋ２０８は音声用のｔｒａｋであり、サンプリング周波数やビット数、チャンネル数などのｍｄａｔ内の音声データに関する情報が格納されている。ｔｒａｋ２０９はテキスト用のｔｒａｋであり、ｍｄａｔ内のテキストデータに関する情報が格納されている。
【００６３】
ｔｋｈｄ２１０はトラックの作成日時やＤｕｒａｔｉｏｎ、そしてＩＤなどが格納されている。本実施形態では、映像トラックのＩＤは１、音声トラックのＩＤは２、テキストトラックのＩＤは３、とする。
【００６４】
ｅｄｔｓ２１１はエディットボックスであり、トラックの再生開始時間が記載されている。例えば、映像の再生開始よりも音声の再生開始を後ろにずらしたい場合には、音声のｅｄｔｓに値を記載することで実現することが可能である。
【００６５】
ｔｒｅｆ２１２は、トラック間の参照情報が記載されている。本実施形態では、映像トラックがテキストトラックをチャプタとして参照するため、映像用のｔｒｅｆには、テキストトラックのＩＤである３が記載され、それをチャプタとして参照するため、識別子として‘ｃｈａｐ’と記載されている。音声トラックも同様である。テキストトラックにはｔｒｅｆは存在しない。
【００６６】
ｓｔｓｃ２１３は、１チャンクがいくつのサンプル（映像の場合はフレーム）数で構成されているかを表している。ｓｔｔｓ２１４は、サンプル数と各サンプルのＤｕｒａｔｉｏｎが格納されている。ｓｔｓｓ２１５は、キーフレーム番号が記載されており、映像トラックにのみ存在する。たとえば、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）が３の場合は、１、４、７・・・と記載されており、ＧＯＰが１２の場合は、１、１３、２５・・・、ＧＯＰが１５の場合は、１、１６、３１・・・と記載されている。２１６はｓｔｓｚであり、各サンプルのデータサイズが格納されている。ｓｔｃｏ２１７は、各チャンクのファイルオフセットが格納されている。
【００６７】
Ｗｉｄｅ２１８は、動画ファイルサイズが４ＧＢ以上の場合の６４ｂｉｔ拡張用のボックスである。
【００６８】
テキストチャンク２１９、２２０はｍｄａｔ内に格納されているテキストチャンクであり、各チャプタのタイトルがテキストデータとして記載されている。音声チャンク２２１および２２２はｍｄａｔ内に格納されている音声チャンクデータを表している。映像チャンク２２３および２２４はｍｄａｔ内に格納されている映像チャンクデータを表している。
【００６９】
以上のように、映像用のｓｔｓｚおよびｓｔｃｏに格納されている情報を用いることで、ｍｄａｔ内の任意の映像フレームやチャプタにアクセスすることが可能である。
【００７０】
図３は、本実施形態における静止画像のファイルのデータの構造例を説明するための図である。
【００７１】
画像ファイル３０１は先頭に画像ファイルの開始を示すマーカ（ＳＯＩ）３０２を有し、その後にヘッダ部に相当するアプリケーションマーカ（ＡＰＰ１）３０３を有する。アプリケーションマーカ（ＡＰＰ１）３０３内には、以下のものから構成される。
サイズ（ＡＰＰ１  Ｌｅｎｇｔｈ）３０３、アプリケーションマーカの識別コード（ＡＰＰ１  Ｉｄｅｎｔｉｆｉｅｒ  Ｃｏｄｅ）３０５、画像データの作成日時（Ｄａｔｅ  Ｔｉｍｅ）３０６、画像データが生成された日時（Ｄａｔａ  Ｔｉｍｅ  Ｏｒｉｇｉｎａｌ）３０７、その他の撮像情報３０８、サムネイル画像（Ｔｈｕｍｂｎａｉｌ  Ｄａｔａ）３０９。
【００７２】
また画像ファイル３０１に記録される画像データは、量子化テーブル（ＤＱＴ）３１０、ハフマンテーブル（ＤＨＴ）３１１、フレーム開始マーカ（ＳＯＦ）３１２、スキャン開始マーカ（ＳＯＳ）３１３及び圧縮データ３１４から構成される。そして、画像ファイルデータの最後を示すマーカ（ＥＯＩ）３１５で終端される。
【００７３】
図４は、本実施形態における表示部１３０に表示する画面の一例を説明するための図である。図４に示した画面で、ｕｕｉｄ２０４に格納されているサムネイル２３０が動画像を表示し、図３のサムネイル画像３０９が静止画を表示する。図４では、動画像は、画像の両横にフィルムを表すアイコンを表示し、動画像であることが示されている。画像４０１は、動画像を代表する。
【００７４】
図５は、本実施形態における代表画像の生成を説明するための図である。以下では、図５を用いながら、本実施形態のフローについて説明する。
【００７５】
ステップＳ５０１で、撮像装置１００の使用者（ユーザ）が操作部１０２を操作して、再生を指示し、記録再生部１４０が動画像を再生する。ここでの動画像は、予め記録媒体１４１に保存された動画像でもよく、直前に撮像部１１０が撮像した動画像でもよい。
【００７６】
ステップＳ５０２で、制御部１０１は、動画像の再生が完了したかどうかを判断する。ステップＳ５０３で、ユーザが、合成に用いる動画像のフレームを選択する。
【００７７】
図６は、本実施形態における画像の合成を説明するための図である。図６では、動画像のフレーム６０１ないし６０４を用いて画像６１０を合成することが示されている。図６の動画像では、背景の手前に動いている人が映されている。動画像が再生されているうちに、ステップＳ５０２でＮＯと判断しフローがステップＳ５０３に進み、ユーザがステップＳ５０３でフレーム６０１を、操作部１０２を通じて選択する。次に、ステップＳ５０１に戻り、動画像の再生が続き、再びステップＳ５０２に進み、制御部１０１は、動画像の再生が完了したかどうかを判断する。再生が完了していないと判断されると、ステップＳ５０３に進み、ユーザが再び合成に用いるフレーム６０２を選択する。かくして再生が完了するまでにユーザが合成に用いるフレーム６０１ないし６０４を選択する。
【００７８】
次に、ステップＳ５０４で、画像処理部１１１は、フレーム６０１ないし６０４に対して合成を行う。合成の方法は多数あるが、一例としては、画像処理部１１１は、フレーム６０１ないし６０４のそれぞれから、被写体の人物像と背景とを認識し、被写体をそれぞれの画像から切り出す。次に、画像処理部１１１は、被写体が切り出された背景像を用いて、合成画像の背景を作る。最後に、画像処理部１１１は、合成画像の背景に、切り出された被写体を加えて、合成画像を作成する。
【００７９】
なお、以上に述べる合成方法は一例にすぎず、他にたとえば既知の軌跡合成、もしくは比較明合成を用いることができる。
【００８０】
ステップＳ５０５で、画像処理部１１１は、ステップＳ５０４で作成した合成画像を圧縮し、図４に示した画像４０１と同じ大きさにする。かくして、作成した合成画像は、動画像の代表画像として、画像４０１を代替することができる。
【００８１】
図７は、本実施形態における代表画像を代替した後の表示部１３０に表示する画面の一例を説明するための図である。図７では、代表画像７０１は合成画像を示すことがわかる。
【００８２】
また、制御部１０１は、合成画像を代表画像に代替させる前に、自動に判別するステップを設けてもよい。たとえば、合成で生成した合成画像に用いられる最初と最後とのフレームの時刻が近ければ、合成画像を使っても動画像の全体を把握することが困難な場合がある。このような場合では、制御部１０１は、表示部１３０を通じてユーザに適宜な提示・警告を与える。または、合成画像を生成した後、合成画像に用いられる最初のフレームと最後のフレームを比較し、違いが予め定められた閾値より少なければ、合成画像を使っても動画像の全体を把握することが困難な場合がある。このような場合では同様に、制御部１０１は、表示部１３０を通じてユーザに適宜な提示・警告を与える。または、動画像自体の記録時間が短いと、合成画像を使うメリット自体が少なく、制御部１０１は、表示部１３０を通じてユーザに合成を勧めないような提示・警告を与えてもよい。
【００８３】
なお、ステップＳ５０４で生成した合成画像を用いて、さらに画像処理を行い、代表画像を作成してもよい。たとえば、カメラ映像機器工業会の策定したＭＰＦ（Ｍｕｌｔｉ−Ｐｉｃｔｕｒｅ−Ｆｏｒｍａｔ）形式をもつ画像を代表画像として使うような構成にしてもよい。
【００８４】
本実施形態で作成した合成画像を動画像の代表画像として使うことで、１フレームの画像を代表画像として使うことよりも、動画像の全体にわたる被写体の動きを把握することができる。
【００８５】
（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。
【００８６】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８７】
１００  撮像装置
１０１  制御部
１０２  操作部
１０３  バス
１０４  メモリ
１０５  不揮発性メモリ
【図１】
2020170998.tif 000003
【図２】
2020170998.tif 000004
【図３】
2020170998.tif 000005
【図４】
2020170998.tif 000006
【図５】
2020170998.tif 000007
【図６】
2020170998.tif 000008
【図７】
2020170998.tif 000009