(57)【要約】【課題】撮り逃したイベントがあった場合においても、ユーザが所望するテーマに沿った映像を生成することができる映像処理装置を提供すること。【解決手段】撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持するテーマ保持手段と、映像が関連付けられていないイベントの撮影時間を推定するイベント時間推定手段と、イベント時間推定手段による推定時間と合致した映像を抽出する映像抽出手段とを備えることを特徴とする。【選択図】図１
2016201712.tif 000002
【特許請求の範囲】
【請求項１】
撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持するテーマ保持手段と、
映像が関連付けられていないイベントの撮影時間を推定するイベント時間推定手段と、
イベント時間推定手段による推定時間と合致した映像を抽出する映像抽出手段と
を備えることを特徴とする映像処理装置。
【請求項２】
映像抽出手段により抽出した映像を取得する映像取得手段と、
映像取得手段により取得した映像を、映像が関連付けられていないイベントに対応付けることによって映像を生成する映像生成手段と
を備えることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
映像抽出手段により抽出した映像のうち１個以上の映像を選択することのできる映像選択手段を備え、
映像取得手段は映像選択手段により選択した映像を取得することを特徴とする請求項２に記載の映像処理装置。
【請求項４】
１個以上の静止画データを動画データに変換する動画変換手段を備え、
映像取得手段により取得した映像が静止画データであった場合に該静止画データを動画データに変換することを特徴とする請求項２又は請求項３に記載の映像処理装置。
【請求項５】
記録媒体を読み取り可能な状態で装着するための記録媒体接続手段を備え、
映像抽出手段は前記記録媒体接続手段に装着された記録媒体から映像を抽出することができることを特徴とする請求項１乃至請求項４の何れか一項に記載の映像処理装置。
【請求項６】
近隣の装置と通信するための近接通信手段を備え、
映像抽出手段は前記近接通信手段により通信可能な装置から映像を抽出することができることを特徴とする請求項１乃至請求項５の何れか一項に記載の映像処理装置。
【請求項７】
インターネットのネットワークシステムに接続するためのネットワーク通信手段を備え、
映像抽出手段は前記ネットワーク通信手段により通信可能なサーバから映像を抽出することができることを特徴とする請求項１乃至請求項６の何れか一項に記載の映像処理装置。
【請求項８】
該映像処理装置の位置情報を取得する位置情報取得手段を備え、
映像抽出手段は位置情報取得手段により取得した位置情報に応じたサーバから映像を抽出することを特徴とする請求項７に記載の映像処理装置。
【請求項９】
該映像処理装置の位置情報を取得する位置情報取得手段を備え、
映像抽出手段は位置情報取得手段により取得した位置情報に応じた映像群から映像を抽出することを特徴とする請求項７に記載の映像処理装置。
【請求項１０】
映像に特定の物体が含まれているか否かを判定する物体検出手段を備え、
テーマ保持手段により保持されるテーマ情報には、各イベントにおいて特定の物体の撮影が行われるか否かの情報を含み、
イベント時間推定手段により撮影時間を推定したイベントが特定の物体の撮影を行うイベントであった場合に、
映像抽出手段は、イベント時間推定手段による推定時間と合致し、かつ、物体検出手段により該特定の物体が含まれていると判定された映像を抽出することを特徴とする請求項１乃至請求項９の何れか一項に記載の映像処理装置。
【請求項１１】
映像に特定の物体が含まれているか否かを判定する物体検出手段を備え、
テーマ保持手段により保持されるテーマ情報には、各イベントにおいて特定の物体の撮影が行われるか否かの情報を含み、
イベント時間推定手段により撮影時間を推定したイベントが特定の物体の撮影を行わないイベントであった場合に、
映像抽出手段は、イベント時間推定手段による推定時間と合致し、かつ、物体検出手段により該特定の物体が含まれていないと判定された映像を抽出することを特徴とする請求項１乃至請求項１０の何れか一項に記載の映像処理装置。
【請求項１２】
特定の物体とは人物を意味し、物体検出手段は映像中に人物か含まれているかを検出することを特徴とする請求項１０又は請求項１１に記載の映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テーマに沿って複数回に分けて撮影した映像データから、テーマに沿った映像データを生成する映像処理装置に関する。
【背景技術】
【０００２】
今日、デジタルビデオカメラ・デジタルカメラの普及に伴い、一般消費者が自ら映像を撮影したり、編集したりすることによって、映像を作成する機会が増えている。このような状況の中で、撮影や動画編集などの映像作成において、運動会や旅行・結婚式などの特定のテーマの映像（ストーリを持った映像）を作成したいという要求がある。
【０００３】
このような要求に対し、特許文献１には、台本等の情報を外部から入力し、その情報をビューファインダに表示することによって、台本に記載されたストーリに沿った撮影が可能になるシステムが開示されている。また、特許文献２には、ユーザが選択した映像のテーマ（テンプレート）にしたがって、映像データを割り当てることによってＤＶＤやＶｉｄｅｏ  ＣＤなどのコンテンツを作成することができる装置が開示されている。
【０００４】
ところで、上述した運動会や旅行・結婚式というような撮影機会は、映画やドラマの撮影機会とは大きく異なる点がある。すなわち、運動会や旅行・結婚式などでは、撮影すべきイベントを撮り逃がすと、再撮影が不可能か非常に困難な場合がある。例えば、結婚式において、ケーキ入刀は１度きりのイベントであり、ケーキ入刀を撮り逃がしたからと言って、再撮影を行うことは不可能である。このため、撮影すべきイベントを撮り逃した場合は、ユーザがテーマにしたがって作成したいと考えている映像を構成すべきデータが不足してしまう、という問題が生じる。
【０００５】
このような問題に対し、前記の特許文献２では、テンプレートに対応した割り付けるべき映像データが存在しない場合は、補完用のデータを生成して割り付ける技術を開示している。補完用のデータとは、たとえば対応する映像がない旨のメッセージを表示するための映像データなどである。この技術に従えば、撮り逃してしまったイベントの映像に代わる補完データを生成することによって、ユーザが選択した映像のテーマに従ったコンテンツを作成することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−９３７９５号公報
【特許文献２】特開２００１−３２０６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記のような従来技術では次のような問題がある。すなわち、撮り逃してしまったイベントの映像の代替として用いられる補完用のデータは、対応する映像の不存在を示す情報などであるため、必ずしもユーザが選択した映像のテーマに沿ったものではない。このため、そのような補完用データを用いて作成された映像は、結果的にユーザの期待するテーマ（ストーリ）に沿った映像とは異なってしまう可能性があった。
【０００８】
本発明は、上記課題を鑑みてなされたものであって、撮り逃したイベントがあった場合においても、ユーザが所望するテーマに沿った映像を生成することができる映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の映像処理装置は、撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持するテーマ保持手段と、映像が関連付けられていないイベントの撮影時間を推定するイベント時間推定手段と、イベント時間推定手段による推定時間と合致した映像を抽出する映像抽出手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明の映像処理装置によれば、ユーザが選択したテーマに沿って複数回に分けて撮影した映像データからテーマに沿った映像を生成する映像処理装置において、撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持し、映像が関連付けられていないイベントの撮影時間を推定するするとともに、推定した撮影時間と合致する映像を抽出することによって、撮り逃したイベントがあった場合においても、テーマに沿った動画を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第一の実施例における映像処理装置の内部構成を示すブロック図である。
【図２】本発明の第一の実施例における映像処理装置の外観を示すブロック図である。
【図３】本発明の第一の実施例における映像処理装置のテーマ撮影モードにおける開始操作時のＧＵＩを示す図である。
【図４】本発明の第一の実施例における映像処理装置で利用されるテーマデータの例である。
【図５】本発明の第一の実施例における映像処理装置のテーマ撮影モードにおける撮影操作時のＧＵＩを示す図である。
【図６】本発明の第一の実施例における映像処理装置で利用される撮影データの例である。
【図７】本発明の第一の実施例における映像処理装置の動作を説明するためのフローチャートである。
【図８】本発明の第一および第四の実施例における映像処理装置のイベント推定処理を説明するためのフローチャートである。
【図９】本発明の第一の実施例における映像処理装置の再生処理時のＧＵＩを示す図である。
【図１０】本発明の第一の実施例における映像処理装置の抽出した映像の選択処理時のＧＵＩを示す図である。
【図１１】本発明の第一の実施例における映像処理装置により生成される再生リストの例である。
【図１２】本発明の第一の実施例における映像処理装置の再生時の出力画面の例である。
【図１３】本発明の第二の実施例における映像処理装置の内部構成を示すブロック図である。
【図１４】本発明の第二の実施例における近接ネットワークを説明するための図である。
【図１５】本発明の第二の実施例における映像処理装置により生成される再生リストの例である。
【図１６】本発明の第三の実施例における映像処理装置の内部構成を示すブロック図である。
【図１７】本発明の第三の実施例における映像処理装置により生成される再生リストの例である。
【図１８】本発明の第四の実施例における映像処理装置の内部構成を示すブロック図である。
【図１９】本発明の第四の実施例における映像処理装置で利用されるテーマデータの例である。
【図２０】本発明の第四の実施例における映像処理装置に格納されている映像データの例である。
【図２１】本発明の第四の実施例における映像処理装置の動作を説明するためのフローチャートである。
【図２２】本発明の第四の実施例における映像処理装置の映像の選択処理時のＧＵＩを示す図である。
【図２３】本発明の第四の実施例における映像処理装置により生成される映像リストの例である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００１３】
［実施例１］
実施例１においては、本発明による映像処理装置を、ユーザが選択したテーマ情報にしたがって撮影を行うことによって、テーマに沿った映像を生成することができるデジタルビデオカメラとした場合を例にして説明する。
【００１４】
＜装置説明＞
図１に、本発明を適用可能な映像処理装置１００の構成の一例を示す。図１において、内部バス１５０に対してＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、撮像部１０４、画像処理部１０５、表示部１０６、操作部１０７、記録媒体Ｉ／Ｆ１０８、外部Ｉ／Ｆ１１０、通信Ｉ／Ｆ１１１、ＲＴＣ１１３が接続されている。
【００１５】
内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができるようにされている。
【００１６】
メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。
【００１７】
ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、映像処理装置１００の各部を制御する。
【００１８】
不揮発性メモリ１０３には、映像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１０３は例えばハードディスク（ＨＤ）やＲＯＭなどで構成される。
【００１９】
撮像部１０４は、ＣＰＵ１０１の制御に基づいて、映像（光）を電気的な映像信号に変換し、映像信号を内部バス１５０に出力する。撮像部１０４は、例えば、光学レンズユニットと絞り・ズーム・フォーカスなど制御する光学系と、光学レンズユニットを経て導入された光（映像）を電気的な映像信号に変換するための撮像素子などで構成される。撮像素子としては、一般的には、ＣＭＯＳを利用したＣＭＯＳ撮像素子（ＣＭＯＳイメージセンサー）か、ＣＣＤを利用したＣＣＤ撮像素子（ＣＣＤイメージセンサー）が利用される。
【００２０】
画像処理部１０５は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０３や記録媒体１０８に格納された映像データや、撮像部１０４が出力する映像信号、外部Ｉ／Ｆ１０９を介して取得した映像信号、通信Ｉ／Ｆ１１１を介して取得した映像データなどに対して各種画像処理を施す。画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、映像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理、顔検出処理などが含まれる。画像処理部１０４は特定の画像処理を施すための専用の回路ブロックで構成しても良い。
【００２１】
また、画像処理の種別によっては画像処理部１０４を用いずにＣＰＵ１０１がプログラムに従って画像処理を施すことも可能である。
【００２２】
表示部１０６は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。表示部１０６は、例えば、液晶表示装置（ＬＣＤ）とそれをコントロールするＬＣＤドライバユニットで構成される。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、表示部１０６に表示するための映像信号を生成して表示部１０６に出力するように映像処理装置１００の各部を制御する。
【００２３】
表示部１０６は出力された映像信号に基づいて映像を表示する。なお、映像処理装置１００自体が備える構成としては表示部１０５に表示させるための映像信号を出力するためのインターフェースまでとし、表示部１０５は外付けのモニタ（テレビなど）で構成してもよい。
【００２４】
操作部１０７は、ボタン・ダイヤル・ジョイスティック・タッチパネルなどを含む、ユーザ操作を受け付けるための入力デバイスである。なお、タッチパネルは、表示部１０６に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
【００２５】
記憶媒体Ｉ／Ｆ１０８は、メモリカードやハードディスクドライブなどの記録媒体１０９が装着可能とされ、ＣＰＵ１０１の制御に基づき、装着された記録媒体１０９からのデータの読み出しや、当該記録媒体１０９に対するデータの書き込みを行う。
【００２６】
外部Ｉ／Ｆ１１０は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。
【００２７】
通信Ｉ／Ｆ１１１は、外部機器やインターネット１１２などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。ＲＴＣ１１３は、時計機能であるリアルタイムクロックであり、ＣＰＵ１０１は時刻を認識するためにＲＴＣ１１３を使用する。
【００２８】
図２は本発明の実施形態にかかる映像処理装置であるデジタルビデオカメラの外観を示す図である。図２の（ａ）は正面図、図２の（ｂ）は背面図、図２の（ｃ）は側面図に相当する。
【００２９】
２０１は、光学レンズであり、撮像部１０４を構成するユニットである。２０２は、タッチパネル機能を備えたＬＣＤ（液晶ディスプレイ）であり、映像の撮影中にはその被写体像が表示され、撮影されている映像を確認することができる。また、撮影開始前には撮影範囲に使用したり、後述する操作メニューを表示したり、撮影した映像データを再生して表示するためにも使用される。タッチパネル機能はユーザがＬＣＤ２０２の画面に触れることによって、ＬＣＤ２０２上の任意の座標を本デジタルビデオカメラに入力することができる。これは、ＬＣＤ２０２上に表示されるＧＵＩの操作に利用する。
【００３０】
ＬＣＤ２０２の表示機能は表示部１０６であり、タッチパネル機能は操作部１０７の一部を構成する。２０３〜２１３はユーザが操作を行うためのボタン・ダイヤル・ジョイスティックであり、操作部１０７を構成する。２０３は中央に押しボタンを備えたジョイスティックであり、ユーザは上下左右を含む任意の方向の入力と、ボタン押下による選択指示をすることができる。これは、ＬＣＤ２０２に表示されるＧＵＩの操作に利用することができる。
【００３１】
２０４はファンクションボタンであり、ユーザはこのボタンを押すことによってＬＣＤ２０２上に操作メニューを表示することができる。操作メニューは、例えば、記録する映像データの解像度や圧縮率などの撮影パラメータを設定したり、すでに撮影した映像データを選択してＬＣＤ２０２に表示したり場合などに利用する。
【００３２】
２０５は再生・一時停止ボタンであり、ユーザは撮影した映像データを再生する場合にこのボタンを押下することによって、再生を開始したり一時停止したりすることができる。なお、再生した映像データはＬＣＤ２０２に表示されるか、後述するコネクタ３０３を介して外部機器に出力される。なお、本ボタンは後述する撮影開始・停止ボタン２１２と同様に撮影の開始・停止を指示するためにも用いることができる。
【００３３】
２０６は早戻しボタンであり、再生・一時停止ボタン２０５で再生している動画を巻き戻すために用いる。また、一時停止中に本ボタンを押下するとスロー逆再生となる。なお、撮影中には、本ボタンを押すことによって、後述するズームレバー２１０の左寄せと同様にズームアウト（広角）を行うことができる。
【００３４】
２０７は早送りボタンであり、再生・一時停止ボタン２０５で再生している動画を早送りするために用いる。また、一時停止中に本ボタンを押下するとスロー再生になる。なお、撮影中には、本ボタンを押すことによって、ズームレバー２１０の右寄せと同様にズームイン（望遠）を行うことができる。
【００３５】
２０８は停止ボタンであり、再生・一時停止ボタン２０５で再生している動画を停止するために用いる。なお、撮影中には、本ボタンを押すことによって、明るさ（露出）を自動的に調整する逆光補正を指示するために用いることができる。２０９は電源ボタンであり、本デジタルビデオカメラの電源をＯＮ・ＯＦＦする。２１０はズームレバーであり、左右にずらすことのできるレバー状のボタンである。撮影時にこのズームレバーを左側に寄せるとズームアウト（広角）、右側に寄せるとズームイン（望遠）となる。
【００３６】
２１１はモードダイヤルであり、回転させることによって本デジタルビデオカメラの動作モードを変更することができる。動作モードは、動画撮影モード・静止画撮影モード・動画再生モード・静止画再生モードの４モードを備える。２１２はスタート・ストップボタンであり、動画撮影の開始と停止を指示するために用いる。２１３はフォトボタンであり、モードダイヤ２１１ルが静止画撮影モードである場合に静止画の撮影を指示するために用いる。フォトボタン２１３は、ユーザにより半押し状態と全押し状態とを区別して検出可能な２段階押し込みスイッチとなっており、半押し状態のときにオートフォーカス制御を開始し、全押し状態の場合に静止画データを撮影するための撮影動作を開始する。
【００３７】
２１４は挿抜自在（着脱自在）な記録媒体であるメモリカードを装着するためのメモリカードスロットであり、本デジタルビデオカメラで得られる映像データはこのメモリカードスロットに装着されるメモリカードに記録される。２１４は、記憶媒体Ｉ／Ｆ１０８を構成するユニットである。
【００３８】
２１５はＨＤＭＩ（登録商標）ミニ出力コネクタであり、本デジタルビデオカメラの映像を外部の機器に出力するために使用する。例えば、ＨＤＭＩ（登録商標）入力コネクタを備える高解像テレビとＨＤＭＩ（登録商標）ケーブルで接続すると、高品位な映像を大画面で楽しむことができる。２１５は、外部Ｉ／Ｆ１１０を構成するユニットである。
【００３９】
２１６はＵＳＢコネクタであり、ＵＳＢケーブルを用いて、プリンタ・パーソナルコンピュータ・ディスクライタなどのさまざまな機器と接続するために使用される。例えば、プリンタと接続した場合は、プリンタがＰｉｃｔＢｒｉｄｇｅ（登録商標）対応であれば、本デジタルビデオカメラで撮影した静止画をプリンタで印刷することができる。パーソナルコンピュータと接続した場合は、本デジタルビデオカメラ内の動画データ・静止画データをパーソナルコンピュータにコピー（バックアップ）することができる。逆に、パーソナルコンピュータ上の動画データ・静止画データを本デジタルビデオカメラ内下記戻すこともできる。２１６は、通信Ｉ／Ｆ１１１を構成するユニットである。
【００４０】
＜動作説明＞
本実施例における本発明の映像処理装置の動作について、図３〜図１２の図とフローチャートに基づいて説明する。ここでは、まずテーマに沿った撮影を行うテーマ撮影モードの動作について説明し、その後、本発明の特徴的な動作である再生処理について説明を行う。
【００４１】
初めにテーマ撮影モードの動作について説明する。図３はテーマ撮影モードの操作を説明するための図である。ＣＰＵ１０１は、表示部１０６に図３（ａ）のＧＵＩ画面を表示し、ユーザに撮影モードの選択を促す。ユーザが、操作部１０７を操作することによって、撮影モードとしてテーマ撮影モードを選択すると、ＣＰＵ１０１は図３（ｂ）の画面を表示部１０６に表示する。図３（ｂ）の画面は、テーマ撮影モードで使用するテーマデータを選択するテーマ選択画面である。ユーザは、操作部１０７を操作することによって、使用するテーマデータを選択する。テーマデータとは、撮影すべきイベントを前後関係（撮影順序）とともに指定したデータであり、不揮発性メモリ１０３に保持されている。
【００４２】
図４はテーマデータを説明するための例である。テーマデータは、「撮影順序４０１」「撮影イベント名４０２」「顔検出４０３」「再生順序４０４」の組み合わせからなる撮影イベントデータが集合したものである。凡例４０５は、撮影順序４０１に記載されている内容の意味を示している。凡例４０６は、顔検出４０３に記載されている内容の意味を示している。この例では、結婚式のテーマには１０個の撮影イベントデータがあり、それぞれの撮影イベントの前後関係が撮影順序４０１として指定されている。例えば、「ゲストからのお祝いの言葉」という撮影イベントは、撮影順序が「Ｆ」となっているので、いつでも発生しうる（撮影可能な）イベントである。
【００４３】
また、「乾杯」という撮影イベントは、撮影順序が「１−２」となっているので、撮影順序「１」の「新郎新婦入場」イベントと撮影順序「２」の「ケーキ入刀」イベントの間で発生しうるイベントである。同様に、「新郎新婦あいさつ」という撮影イベントは、撮影順序が「３」となっているので、撮影順序「２」の「ケーキ入刀」イベントと撮影順序「４」の「新郎新婦退場」イベントの間で発生しうるイベントである。
【００４４】
図５はテーマ撮影モードにおける撮影操作を説明するための図である。ＣＰＵ１０１は、表示部１０６に図５（ａ）のＧＵＩ画面を表示し、ユーザに撮影イベントの選択を促すユーザが、操作部１０７を操作することによって、撮影イベントを選択するとＣＰＵ１０１は図５（ｂ）の画面を表示部１０６に表示する。図５（ｂ）の画面は、選択した撮影イベントを撮影する際に、表示部１０６に表示されるプレビュー画面の例である。図５（ｂ）の画面では、撮像部１０４による映像をプレビュー映像として５０１のように表示し、図５（ａ）の画面で選択した撮影イベントの撮影を促すメッセージを５０２のようにオーバーレイする。
【００４５】
さらに、撮影中・撮影停止中を表すアイコンを、５０３のようにオーバーレイする。ユーザは、５０２のように表示されたメッセージに従い、被写体や構図を決定し、操作部１０７を操作して撮影を行う。撮影により生成されたデータは、不揮発性メモリ１０３に格納される。
【００４６】
図６はテーマ撮影モード（結婚式テーマ）で撮影したデータを説明するための例である。テーマ撮影モードによる撮影データは、「撮影開始時刻６０１」「動画の長さ６０２」「イベント名６０３」「イベント動画ファイル」の組み合わせからなるイベント動画データが集合したものである。この例では、テーマ撮影モードとして、撮影イベントを選択して１２回撮影したことを表している。例えば、１行目のデータは、２０１０年１１月２２日  １２時００分１０秒から１１秒間「会場の雰囲気」イベントとして撮影し、その動画は００００１．ｍｔｓというファイル名である、ということを示している。
【００４７】
次に、図７と図８のフローチャートを参照しながら、本発明の映像処理装置による再生処理を詳細に説明する。これらのフローチャートの説明の際には、具体的なデータ例として図４で示した結婚式のテーマデータと図６の撮影データを用いる。
【００４８】
ステップＳ７００では、ＣＰＵ１０１はユーザがテーマに沿って撮影した映像を再生する選択を行ったかどうかを判定する。この時に、ＣＰＵ１０１が表示部１０６に表示するＧＵＩ例を図９（ａ）と図９（ｂ）に示す。ユーザは操作部１０７を操作して、どのような再生をおこなうのか図９（ａ）のＧＵＩにおいて選択する。ユーザがテーマ再生モードを選択すると、ＣＰＵ１０１は、テーマ撮影モードで撮影した映像をそれぞれのテーマでグループ化して図９（ｂ）のように表示する。図９（ｂ）において、ユーザがいずれかのテーマ動画を選択すると、ステップＳ７０１へ移行する。
【００４９】
ステップＳ７０１では、ＣＰＵ１０１は再生する動画データの情報を管理する再生リストをクリアする。再生リストについては、後述のステップＳ７１１で詳細に説明する。
【００５０】
ステップＳ７０２では、ＣＰＵ１０１は図９（ｂ）で選択したテーマのテーマデータ（図４）を読み出し、後述のステップＳ７０３〜Ｓ７１１の処理の対象となる撮影イベントを順次選択する。このときの選択の順序は、テーマデータで定義されている再生順序（図４の４０４の列）に従う。図４の結婚式のテーマデータに従った場合は、１回目の処理では「会場の雰囲気」イベント、２回目の処理では「受付」イベント、３回目の処理では「ゲストからのお祝いの言葉」イベント、・・・のようになる。
【００５１】
ステップＳ７０３では、ＣＰＵ１０１はステップＳ７０１で選択したテーマに対応した撮影データ（図６）の情報を不揮発性メモリ１０３から取得し、ステップＳ７０２で選択したイベントに対応したイベント動画データが存在するか否かを判定する。対応するイベント動画データが存在する場合にはステップＳ７１１へ、存在しない場合にはステップＳ７０４へ進む。例えば、ステップＳ７０２においてイベントとして「会場の雰囲気」イベントを選択した場合は、図６に対応するイベント動画データが存在するので、ステップＳ７１１へ進む。一方、ステップＳ７０２においてイベントとして「乾杯」イベント・「料理紹介」イベント・新郎新婦あいさつ」イベントを選択した場合には、イベント動画データが存在しないのでステップＳ７０４へ進む。
【００５２】
ステップＳ７０４では、ＣＰＵ１０１はステップＳ７０２で選択したイベントが発生した時間を推定する。この推定の処理については、図８のフローチャートを用いて詳細に説明する。
【００５３】
図８において、ステップＳ８０１では、ＣＰＵ１０１はステップＳ７０２で選択したイベントが、テーマデータ（図４）において、どのような撮影順序として定義されているかを判定する。当該イベントの撮影順序が「数値」となっている場合はステップＳ８０２へ、「数値Ｎ−数値Ｍ」となっている場合にはステップＳ８０６へ、「Ｆ」となっている場合にはステップＳ８１３へ進む。まず、撮影順序が「数値」となっているイベントに対する処理を、ステップＳ８０２〜Ｓ８０５で説明する。
【００５４】
ステップＳ８０２では、ＣＰＵ１０１はステップＳ７０２で選択したイベントに対し撮影順序が前であり、実際に撮影が行われたイベントと、そのイベント動画データを不揮発性メモリ１０３から取得する。例えば、ステップＳ７０２において、撮影順序が「３」である「新郎新婦あいさつ」イベントを選択した場合は、撮影順序が前となる「ケーキ入刀（撮影順序：２）」イベント・「乾杯（撮影順序：１−２）」イベント・「新郎新婦入場（撮影順序１）」イベントのイベント動画データを取得し、そのうち最も遅い時刻に撮影を開始したイベント動画データを選択する。この例では、図６の「ケーキ入刀」イベントのイベント動画データ（６０５）を直前のイベント情報として取得する。
【００５５】
ステップＳ８０３では、ＣＰＵ１０１はステップＳ８０２で取得したイベント動画データから、そのイベント撮影終了時刻を算出し、その時刻をステップＳ７０２で選択したイベントの推定開始時刻とする。例えば、ステップＳ８０２で、「ケーキ入刀」イベントのイベント動画データを取得したとすると、ステップＳ７０２で選択したイベントの推定開始時刻は２０１０／１１／２２  １３：３３：３０となる。
【００５６】
ステップＳ８０４では、ＣＰＵ１０１はステップＳ７０２で選択したイベントに対し撮影順序が後であり、実際に撮影が行われたイベントと、そのイベント動画データを不揮発性メモリ１０３から取得する。例えば、ステップＳ７０２において、撮影順序が「３」である「新郎新婦あいさつ」イベントを選択した場合は、撮影順序が後となる「新郎新婦退場（撮影順序：４）」イベントのイベント動画データを取得し、そのうち最も新しい時刻に撮影を開始したイベント動画データを選択する。この例では、図６の「新郎新婦退場」イベントのイベント動画データ（６０６）を直後のイベント情報として取得する。
【００５７】
ステップＳ８０５では、ＣＰＵ１０１はステップＳ８０４で取得したイベント動画データから、そのイベント撮影開始時刻を取得し、その時刻をステップＳ７０２で選択したイベントの推定終了時刻とする。例えば、ステップＳ８０４で、「新郎新婦退場」イベントのイベント動画データを取得したとすると、ステップＳ７０２で選択したイベントの推定終了時刻は２０１０／１１／２２  １４：１５：００となる。
【００５８】
このように、ＣＰＵ１０１は、ステップＳ７０２で選択したイベントの撮影時間を推定することができる。たとえば、ステップＳ７０２で「新郎新婦あいさつ」イベントを選択した場合は、このイベントの推定時間は２０１０／１１／２２  １３：３３：３０〜１４：１５：００となる。
【００５９】
次に、撮影順序が「数値Ｎ−数値Ｍ」となっているイベントに対する処理を、ステップＳ８０６〜Ｓ８１２を用いて説明する。ステップＳ８０６では、ＣＰＵ１０１はステップＳ７０２で選択したイベントに対し撮影順序が前であり、実際に撮影が行われたイベントと、そのイベント動画データを不揮発性メモリ１０３から取得する。例えば、ステップＳ７０２において、撮影順序が「１−２」である「乾杯」イベントを選択した場合は、撮影順序が前となる「新郎新婦入場（撮影順序：１）」イベントのイベント動画データを取得する。複数のイベントが該当する場合は、そのうち最も遅い時刻に撮影を開始したイベント動画データを選択する。この例では、図６の「新郎新婦入場」イベントのイベント動画データ（６０７）を直前のイベント情報として取得する。
【００６０】
ステップＳ８０７では、ＣＰＵ１０１はステップＳ８０６で取得したイベント動画データから、そのイベント撮影終了時刻を算出し、その時刻をステップＳ７０２で選択したイベントの推定開始時刻とする。例えば、ステップＳ８０６で、「新郎新婦入場」イベントのイベント動画データを取得したとすると、ステップＳ７０２で選択したイベントの推定開始時刻は２０１０／１１／２２  １３：０２：２０となる。
【００６１】
ステップＳ８０８では、ＣＰＵ１０１はステップＳ７０２で選択したイベントに対し撮影順序が後であり、実際に撮影が行われたイベントと、そのイベント動画データを不揮発性メモリ１０３から取得する。例えば、ステップＳ７０２において、撮影順序が「１−２」である「乾杯」イベントを選択した場合は、撮影順序が後となる「ケーキ入刀（撮影順序：２）」イベント、「新郎新婦あいさつ（撮影順序：３）」イベント、「新郎新婦退場（撮影順序：４）」イベントのイベント動画データを取得し、そのうち最も新しい時刻に撮影を開始したイベント動画データを選択する。この例では、図６の「ケーキ入刀」イベントのイベント動画データ（６０５）を直後のイベント情報として取得する。
【００６２】
ステップＳ８０９では、ＣＰＵ１０１はステップＳ８０８で取得したイベント動画データから、そのイベント撮影開始時刻を取得し、その時刻をステップＳ７０２で選択したイベントの推定終了時刻とする。例えば、ステップＳ８０８で、「ケーキ入刀」イベントのイベント動画データを取得したとすると、ステップＳ７０２で選択したイベントの推定終了時刻は２０１０／１１／２２  １３：３０：００となる。
【００６３】
ステップＳ８１０では、ＣＰＵ１０１はテーマ撮影モードによる撮影データ（図６）の全てのイベント動画データを不揮発性メモリから取得する。
【００６４】
ステップＳ８１１では、ＣＰＵ１０１はステップＳ８０７とステップＳ８０９で決定した推定開始時刻と推定終了時刻の間に、テーマ撮影モードにより他のイベントの撮影が行われたか否かを判定する。他のイベントが撮影されていた場合には、ステップＳ８１２に進む。他のイベントが撮影されていなかった場合には、ステップＳ８０７とステップＳ８０９で決定した時刻からなる期間を、ステップＳ７０２で選択したイベントの推定時間とする。
【００６５】
ステップＳ８１２では、ステップＳ８０７とステップＳ８０９で決定した時刻からなる期間から、他のイベントに関するイベント動画データが撮影された期間を除いたものを、ステップＳ７０２で選択したイベントの推定時間とする。
【００６６】
このように、ＣＰＵ１０１は、ステップＳ７０２で選択したイベントの撮影時間を推定することができる。たとえば、ステップＳ７０２で「乾杯」イベントを選択した場合は、このイベントの推定時間は２０１０／１１／２２  １３：０２：２０〜１３：３０：００となる。
【００６７】
次に、撮影順序が「Ｆ」となっているイベントの処理を、ステップＳ８１３〜Ｓ８１６を用いて説明する。
【００６８】
ステップＳ８１３では、ＣＰＵ１０１はテーマ撮影モードによる撮影データ（図６）のうち、最も古い時刻に撮影されたイベントのイベント動画データを不揮発性メモリ１０３から取得する。例えば、ステップＳ７０２で撮影順序が「Ｆ」である「料理紹介」イベントを選択した場合は、図６のデータにしたがって先頭イベントとして「会場の雰囲気」イベントのイベント動画データ（６０８）を取得する。
【００６９】
ステップＳ８１４では、ＣＰＵ１０１はテーマ撮影モードによる撮影データ（図６）のうち、最も新しい時刻に撮影されたイベントのイベント動画データを不揮発性メモリ１０３から取得する。例えば、ステップＳ７０２で撮影順序が「Ｆ」である「料理紹介」イベントを選択した場合は、図６のデータにしたがって最終イベントとして「新郎新婦退場」イベントのイベント動画データ（６０６）を取得する。
【００７０】
ステップＳ８１５では、ＣＰＵ１０１はステップＳ８１３とステップＳ８１４で取得した先頭イベントと最終イベントから、テーマ撮影モードにより撮影が行われた期間を決定する。例えば、ステップＳ８１３で「会場の雰囲気」イベントのイベント動画データを、ステップＳ８１４で「新郎新婦退場」イベントのイベント動画データを取得した場合は、撮影期間は２０１０／１１／２２  １２：００：１０〜１４：１７：５０となる。
【００７１】
ステップＳ８１６では、ＣＰＵ１０１はテーマ撮影モードによる撮影データ（図６）の全てのイベント動画データを不揮発性メモリから取得し、ステップＳ８１５で決定した撮影期間からイベント動画データが撮影された期間を除いたものを、ステップＳ７０２で選択したイベントの推定時間とする。図６の例では、推定時間は２０１０／１１／２２  １２：００：２１〜１２：１０：０６、  ２０１０／１１／２２  １２：１０：１１〜１２：１５：３３、・・・、２０１０／１１／２２  １４：００：２０〜１４：１５：００のように複数の期間となる。
【００７２】
以上が、ステップＳ７０２で選択したイベントの撮影時間を推定する処理の説明である。図７に戻り、ステップＳ７０５では、ＣＰＵ１０１はステップＳ７０２で選択したイベントの撮影時間が、ステップＳ７０４（図８）の処理によって得られたか否かを判定する。イベントの推定時間として１期間以上を算出できた場合は、推定成功としてステップＳ７０６へ進み、イベントの推定時間が得られなかった場合は、推定に失敗したとしてステップＳ７１２に進む。
【００７３】
ステップＳ７０６では、ＣＰＵ１０１は記憶媒体Ｉ／Ｆ１０８を介して記憶媒体１０９にアクセスし、記憶媒体１０９に格納されている映像（静止画あるいは動画）データを、２段階の処理により抽出する。
【００７４】
第一段階の処理は、映像データの撮影時間による抽出であり、ステップＳ７０４で得られた推定時間内に撮影された映像データを抽出する。第二段階の処理は、顔検出の有無による抽出である。第二段階の処理では、ＣＰＵ１０１は画像処理部１０５を用いて第一段階の処理により抽出された映像データ内における、顔検出の有無を取得する。次に、テーマデータ（図４）において、ステップＳ７０２で選択したイベントの、顔検出の項の値を取得する。そして、第一段階の処理で抽出された映像データから、顔検出の項の値が「有」である場合は顔検出された映像データを、顔検出の項の値が「無」である場合は顔検出されなかった映像データを、顔検出の項の値が「−」である場合はすべての映像データを抽出する。
【００７５】
ステップＳ７０７では、ＣＰＵ１０１はステップＳ７０６で抽出した映像データの情報を、ＧＵＩとして表示部１０６に表示する。ＧＵＩは、抽出した映像データのサムネイル画像・撮影日時・動画静止画種別などから構成される。図１０にＧＵＩの例を示す。ユーザは、操作部１０７を操作し、ステップＳ７０６で抽出された映像データの情報を閲覧し、ステップＳ７０２で選択されたイベント（図１０の例では「新郎新婦あいさつ」イベント）にふさわしい映像データを選択することができる。
【００７６】
ステップＳ７０８では、ＣＰＵ１０１はステップＳ７０７で提示した映像データをユーザが１個以上選択したか否かを判定する。ユーザが映像データを選択した場合はステップＳ７０９に、選択しなかった場合はステップＳ７１２へ進む。
【００７７】
ステップＳ７０９では、ＣＰＵ１０１はユーザが選択した映像データに静止画データが含まれるか否かを判定する。静止画データが含まれていた場合にはステップＳ７１０に、含まれていなかった場合にはステップＳ７１１に進む。
【００７８】
ステップＳ７１０では、ＣＰＵ１０１はユーザが選択した映像データに含まれている静止画データを元に動画データを生成する。具体的には、間隔をあけて複数の静止画データを順次表示（スライドショー）するような動画データに変換したり、静止画データの一部を表示しながらスクロール（デジタルパン・チルト）するような動画に変換したりして行う。ＣＰＵ１０１は、生成した動画データを不揮発性メモリ１０３に保存する。
【００７９】
ステップＳ７１１では、ＣＰＵ１０１は「ステップＳ７０３で取得した、撮影した映像データ」「ステップＳ７０６で抽出し、ユーザが選択した動画データ」「ステップＳ７０６で抽出し、ユーザが選択した静止画から生成した動画データ」を再生リストに追加する。再生リストに追加する順序は、撮影時刻順などでよい。
【００８０】
図１１は図７の一連の処理で生成される再生リストの例である。この再生リストは、図４のテーマデータの例と図６の撮影データの例に対応している。図１１の再生リストでは、テーマデータの再生順序４０３にしたがって、動画データが再生リストに追加されている。図６の撮影データの例では、「乾杯」イベント・「料理紹介」イベント・「新郎新婦あいさつイベント」は含まれていない（撮影していない）ので、これらはステップＳ７０４〜Ｓ７１０の処理によって外部の記録媒体から取得した映像データを使用している（１１０１〜１１０４）。なお、この例では、１１０１と１１０４では外部の記憶媒体にある動画データを表しており、１１０２と１１０３は外部の記憶媒体にある静止画データからステップＳ７１０で生成された動画データを表している。
【００８１】
ステップＳ７１２では、ＣＰＵ１０１はステップＳ７０２において、テーマデータ（図４）の全ての撮影イベントを選択したか否かを選択する。図４の例では、ステップＳ７０２において「新郎新婦退場」イベントを選択していた場合は、すべての撮影イベントを選択したということになる。ステップＳ７０２において全ての撮影イベントを選択済みの場合は、ステップＳ７１１で更新した再生リストが完成したとして、ステップＳ７１３へ進む。一方、未選択の撮影イベントがある場合は、ステップＳ７０２に戻り次の撮影イベントの処理を行う。
【００８２】
ステップＳ７１３では、ＣＰＵ１０１はステップＳ７１１で生成した再生リストにしたがって、動画データを不揮発性メモリ１０３あるいは記憶媒体１０９から取得する。ＣＰＵ１０１は取得した画像データを画像処理部１０５と連携してデータをデコードして表示部１０６に表示する。また、映像信号として外部Ｉ／Ｆ１１０から出力してもよい。
【００８３】
図１２は、デコードして表示された映像の例である。本実施例の映像処理装置では、このように映像を表示するとともに、撮影イベント名と連動した文字列１２０１をオーバーレイして表示することによって、再生する映像によりストーリ性を持たせることができる。
【００８４】
なお、本実施例では再生リストを作成し、再生リストにしたがって順次動画データを再生する例を示したが、再生リストを設けず、ステップＳ７１１で動画データを連結した新たな動画データを生成し、ステップＳ７１３でその動画データを再生してもよい。
【００８５】
このような処理を行うことによって、例えば結婚式のテーマデータにしたがって撮影していた場合に、ある撮影イベントの撮り忘れてしまったとしても、例えば同席していた友人の記録媒体を使用することによって、容易に撮り忘れたイベントの映像データを入手し、テーマに沿った映像を得ることができる。
【００８６】
以上、本実施例によれば、撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持し、映像が関連付けられていないイベントの撮影時間を推定するするとともに、推定した撮影時間と合致する映像を装着された記憶媒体から抽出することによって、撮り逃したイベントがあった場合においても、テーマに沿った動画を生成する映像処理装置を提供することができる。
【００８７】
［実施例２］
実施例２においては、実施例１と同様に、ユーザが選択したテーマ情報にしたがって撮影を行うことによって、テーマに沿った映像を生成することができるデジタルビデオカメラを説明する。
【００８８】
実施例１とは、映像データを近接通信手段により取得する点で異なる。本実施例の説明では、実施例１と異なる構成・動作を中心に説明する。
【００８９】
＜装置説明＞
図１３に、本発明を適用可能な映像処理装置１３００の構成の一例を示す。図１３において、１３０１〜１３１０および１３１３〜１３５０は、図１の１０１〜１１０および１１３〜１５０と同様であるため説明を省略する。通信Ｉ／Ｆ１３１１は、近接ネットワーク１３１２を介して近くの他の装置と通信し、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。具体的には、無線ＬＡＮ（ＩＥＥＥ８０２。１１ａ／ｂ／ｇ／ｎ）やＢｌｕｅｔｏｏｔｈ（登録商標）などの通信を実現する通信ユニットである。
【００９０】
図１４に、近接ネットワークの例（模式図）を示す。１４０１が本発明の映像処理装置であり、映像処理装置１４０１は、近接ネットワーク１４５０を介して、周囲のデジタルカメラ１４０２・１４０３やノートＰＣ１４０４と通信を行う。
【００９１】
＜動作説明＞
本実施例における映像処理装置の動作について、実施例１との違いを元に説明する。実施例２において、再生処理は実施例１と同様に図７と図８のフローチャートに基づいて動作する。
【００９２】
実施例１と異なる点は、図７のステップＳ７０６、ステップＳ７１１、ステップＳ７１３の動作である。その他のステップにおいては、１０１〜１１０をそれぞれ１３０１〜１３１０に読み替えることにより、実施例２に適用することができる。
【００９３】
以降は、ステップＳ７０６、Ｓ７１１、Ｓ７１３について説明する。実施例２におけるステップＳ７０６では、ＣＰＵ１３０１は通信Ｉ／Ｆ１３１１を介して近接ネットワーク１３１２上の他の装置にアクセスし、それぞれの装置に格納されている映像（静止画あるいは動画）データを実施例１と同様に２段階の処理により抽出する。
【００９４】
実施例２におけるステップＳ７１１では、ＣＰＵ１３０１は実施例１のステップＳ７１１と同様に再生リストを更新する。図１５に、一連の処理で生成される再生リストの例を示す。実施例１と異なり、格納場所には近接ネットワーク上の装置を特定するアドレスが用いられることがある（１５０１および１５０２）。
【００９５】
実施例２におけるステップＳ７１３では、ＣＰＵ１３０１はステップＳ７１１で生成した再生リストにしたがって、動画データを不揮発性メモリ１３０３あるいは通信Ｉ／Ｆを介して近接ネットワーク１３１２上の他の装置から取得する。ＣＰＵ１３０１は取得した画像データを画像処理部１３０５と連携してデータをデコードして表示部１３０６に表示する。また、映像信号として外部Ｉ／Ｆ１３１０から出力してもよい。
【００９６】
このような処理を行うことによって、例えば結婚式のテーマデータにしたがって撮影していた場合に、ある撮影イベントの撮り忘れてしまったとしても、周囲のカメラやパーソナルコンピュータから撮り忘れたイベントの映像データを入手し、テーマに沿った映像を得ることができる。
【００９７】
以上、本実施例によれば、撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持し、映像が関連付けられていないイベントの撮影時間を推定するするとともに、推定した撮影時間と合致する映像を周囲の他の装置から抽出することによって、撮り逃したイベントがあった場合においても、テーマに沿った動画を生成する映像処理装置を提供することができる。
【００９８】
［実施例３］
実施例３においては、実施例１と同様に、ユーザが選択したテーマ情報にしたがって撮影を行うことによって、テーマに沿った映像を生成することができるデジタルビデオカメラを説明する。
【００９９】
実施例１とは、映像データを通信手段によりインターネット上のサーバから取得する点で異なる。本実施例の説明では、実施例１と異なる構成・動作を中心に説明する。
【０１００】
＜装置説明＞
図１５に、本発明を適用可能な映像処理装置１５００の構成の一例を示す。図１５において、１５０１〜１５１３および１５５０は、図１の１０１〜１１３および１５０と同様であるため、説明を省略する。ＧＰＳ１５１４は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）衛星からの信号を受信し、緯度・経度・高度などの地理的情報を算出するユニットである。ＣＰＵ１５０１は、内部バス１５５０を介してＧＰＳ１５１４にアクセスし、映像処理装置１５００の現在地を取得することができる。
【０１０１】
＜動作説明＞
本実施例における映像処理装置の動作について、実施例１との違いを元に説明する。実施例３において、再生処理は実施例１と同様に図７と図８のフローチャートに基づいて動作する。
【０１０２】
実施例１と異なる点は、図７のステップＳ７０６、ステップＳ７１１、ステップＳ７１３の動作である。その他のステップにおいては、１０１〜１１０をそれぞれ１５０１〜１５１０に読み替えることにより、実施例３に適用することができる。
【０１０３】
以降は、ステップＳ７０６、Ｓ７１１、Ｓ７１３について説明する。実施例３におけるステップＳ７０６では、ＣＰＵ１５０１は通信Ｉ／Ｆ１５１１を介してインターネット上のサーバにアクセスし、サーバに映像（静止画あるいは動画）データを３段階の処理により抽出する。
【０１０４】
第一段階と第二段階の抽出処理は、実施例１と同様に推定した時間と顔検出の有無によって行う。実施例３のおいては、さらにＧＰＳ１５１４から取得した位置情報を用いて第三段階の抽出処理を行う。具体的には、ＧＰＳ１５１４から取得した位置情報（現在値の情報）を基準とし、映像データの位置情報（ジオタグと呼ばれる撮影場所を表す情報）を比較し、２つの位置情報が所定の距離以内（たとえば１００ｍ以内など）である映像データを抽出する。この距離については、表示部１５０６に距離を選択するＧＵＩを表示し、ユーザに指定させておいてもよい。
【０１０５】
なお、映像を取得するサーバを、ＧＰＳ１５１４から取得した位置情報によって決定してもよい。この場合は、例えばＧＰＳ１５１４により取得した位置情報が、結婚式場内であった場合には、その結婚式場が提供するサーバにアクセスして映像を取得する。
【０１０６】
実施例３におけるステップＳ７１１では、ＣＰＵ１５０１は実施例１のステップＳ７１１と同様に再生リストを更新する。図１７に、一連の処理で生成される再生リストの例を示す。実施例１と異なり、格納場所にはサーバを特定する情報（ホスト名など）が用いられることがある（１７０１および１７０２）。
【０１０７】
実施例３におけるステップＳ７１３では、ＣＰＵ１５０１はステップＳ７１１で生成した再生リストにしたがって、動画データを不揮発性メモリ１５０３あるいは通信Ｉ／Ｆを介してサーバから取得する。ＣＰＵ１５０１は取得した画像データを画像処理部１５０５と連携してデータをデコードして表示部１５０６に表示する。また、映像信号として外部Ｉ／Ｆ１５１０から出力してもよい。
【０１０８】
このような処理を行うことによって、例えば結婚式のテーマデータにしたがって撮影していた場合に、ある撮影イベントの撮り忘れてしまったとしても、インターネット上のサーバから近くの場所で撮影した映像データを入手し、テーマに沿った映像を得ることができる。
【０１０９】
以上、本実施例によれば、撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持し、映像が関連付けられていないイベントの撮影時間を推定するするとともに、推定した撮影時間と合致する映像をサーバから抽出することによって、撮り逃したイベントがあった場合においても、テーマに沿った動画を生成する映像処理装置を提供することができる。
【０１１０】
［実施例４］
実施例４においては、本発明による映像処理装置を、ユーザがテーマ（テンプレート）に沿った映像データを選択することによってＤＶＤやブルーレイディスクなどのコンテンツを作成することのできるオーサリング装置とした場合を例にして説明する。
【０１１１】
＜装置説明＞
図１８に、本発明を適用可能な映像処理装置１８００の構成の一例を示す。図１８において、内部バス１８５０に対してＣＰＵ１８０１、メモリ１８０２、不揮発性メモリ１８０３、画像処理部１８０４、表示Ｉ／Ｆ１８０５、操作部１８０７、記録部１８０８、記憶媒体Ｉ／Ｆ１８１０、外部Ｉ／Ｆ１８１２、通信Ｉ／Ｆ１８１３、ＲＴＣ１８１５が接続されている。
【０１１２】
内部バス１８５０に接続される各部は、内部バス１８５０を介して互いにデータのやりとりを行うことができるようにされている。
【０１１３】
メモリ１８０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１８０１は、例えば不揮発性メモリ１８０３に格納されるプログラムに従い、メモリ１８０２をワークメモリとして用いて、映像処理装置１８００の各部を制御する。不揮発性メモリ１８０３には、映像データや音声データ、その他のデータ、ＣＰＵ１８０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１８０３は例えばハードディスク（ＨＤ）やＲＯＭなどで構成される。
【０１１４】
画像処理部１８０４は、ＣＰＵ１８０１の制御に基づいて、不揮発性メモリ１８０３や記録媒体１８１１に格納された映像データや、外部Ｉ／Ｆ１８１２を介して取得した映像信号、通信Ｉ／Ｆ１８１３を介して取得した映像データなどに対して各種画像処理を施す。画像処理部１８０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、映像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理、顔検出処理などが含まれる。画像処理部１８０４は特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部１８０４を用いずにＣＰＵ１８０１がプログラムに従って画像処理を施すことも可能である。
【０１１５】
表示Ｉ／Ｆ部１８０５は、ＣＰＵ１８０１の制御に基づいて、映像やＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）画面などを、外部の表示装置１８０６に表示する。表示Ｉ／Ｆ１８０５は、例えば、外部に映像信号を出力するビデオドライバユニットとフレームバッファで構成される。
【０１１６】
表示装置１８０６は、受信した映像信号を、目視可能な映像として表示する装置である。たとえば、液晶ディスプレイやＣＲＴなどが用いられる。ＣＰＵ１８０１は、プログラムに従い表示要求と表示データを生成し表示装置１８０６に表示するように表示Ｉ／Ｆ１８０５を含む映像処理装置１８００の各部を制御する。表示Ｉ／Ｆ１８０５は、制御とデータに基づいて映像信号を表示装置１８０６に出力し、表示装置１８０６は受信した映像信号にしたがって映像を表示する。なお、映像処理装置１８００自体が備える構成としては、表示装置１８０６を映像処理装置１８００に内蔵して構成してもよい。
【０１１７】
操作部１８０７は、ボタン・キーボード・マウス・タッチパネルなどを含む、ユーザ操作を受け付けるための入力デバイスである。なお、タッチパネルは、表示装置１８０６に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
【０１１８】
記録部１８０８は、ＤＶＤやブルーレイディスクなどの映像の記録に用いられる記録媒体１８０９に映像データを記録するための装置である。例えば、記録型ＤＶＤドライブや記録型ブルーレイディスクドライブが相当する。
【０１１９】
記憶媒体Ｉ／Ｆ１８１０は、メモリカードやハードディスクドライブなどの記録媒体１８１１が装着可能とされ、ＣＰＵ１８０１の制御に基づき、装着された記録媒体１８１１からのデータの読み出しや、当該記録媒体１８１０に対するデータの書き込みを行う。外部Ｉ／Ｆ１８１２は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。
【０１２０】
通信Ｉ／Ｆ１８１３、外部機器やインターネット１８１４などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。ＲＴＣ１８１５は、時計機能であるリアルタイムクロックであり、ＣＰＵ１８０１は時刻を認識するためにＲＴＣ１８１５を使用する。
【０１２１】
＜動作説明＞
本実施例における本発明の映像処理装置の動作について、図１９〜図２３の図とフローチャートに基づいて説明する。ここでは、まずあらかじめ不揮発性メモリ１８０３に格納されているテーマデータ（テンプレート）と映像データの例を説明し、本発明の特徴的な動作であるオーサリング処理について説明を行う。
【０１２２】
図１９はテーマデータ（テンプレート）を説明するための例である。テーマデータは、「構成順序１９０１」「イベント名１９０２」「顔検出１９０３」「想定撮影順序１９０４」の組み合わせからなるイベントデータが集合したものである。凡例１９０５は、顔検出１９０３に記載されている内容の意味を示している。凡例１９０６は、想定撮影順序１９０４に記載されている内容の意味を示している。この例では、結婚式のテーマ（テンプレート）は１０個のイベントデータから構成される。それぞれのイベントに対し、想定される撮影時の前後関係が想定撮影順序１９０４として指定されている。
【０１２３】
例えば、「ゲストからのお祝いの言葉」というイベントは、想定撮影順序が「Ｆ」となっているので、いつでも発生しうる（撮影可能な）イベントである。また、「乾杯」というイベントは、想定撮影順序が「１−２」となっているので、想定撮影順序「１」の「新郎新婦入場」イベントと想定撮影順序「２」の「ケーキ入刀」イベントの間で撮影されうるイベントである。同様に、「新郎新婦あいさつ」というイベントは、想定撮影順序が「３」となっているので、想定撮影順序「２」の「ケーキ入刀」イベントと想定撮影順序「４」の「新郎新婦退場」イベントの間で撮影されうるイベントである。
【０１２４】
図２０は不揮発性メモリ１８０３に格納されている映像データを説明するための例である。不揮発性メモリ１８０３に格納されている映像データは、「撮影開始時刻２００１」「動画の長さ２００２」「イベント名２００３」「ファイル名２００４」の組み合わせからなるイベント動画データが集合したものである。この例では、不揮発性メモリに１２個の映像データが格納されていることを表している。例えば、１行目のデータは、２０１０年１１月２２日  １２時００分１０秒から１１秒間「会場の雰囲気」イベントとして撮影した映像が、００００１．ｍｔｓというファイル名で格納されているということを示している。
【０１２５】
なお、イベント動画データに対するイベント名の付与は、これらの撮影時に撮像装置で付与するような仕組みとしてもよいし、本実施例の映像処理装置でユーザが操作部１８０７を用いて付与するような仕組みとしてもよい。
【０１２６】
次に、図２１と図８を参照しながら、本発明の映像処理装置によるオーサリング処理を詳細に説明する。これらのフローチャートの説明の際には、具体的なデータ例として図１９で示した結婚式のテーマデータと、図２０で示した不揮発性メモリ１８０３内の映像データを用いる。
【０１２７】
ステップＳ２１０１では、ＣＰＩ１８０１はオーサリング開始するに際し、ユーザがテーマデータ（テンプレート）を選択したか否かを判定する。テーマデータの選択は、ＣＰＵ１８０１が、表示Ｉ／Ｆ１８０５を介して表示装置１８０６に選択のためのＧＵＩを表示し、ユーザが操作部１８０７を操作することによって行う。
【０１２８】
ステップＳ２１０２では、ＣＰＵ１０１はオーサリングにより生成するコンテンツを管理する動画リストをクリアする。映像リストについては、後述のステップＳ２１１４で詳細に説明する。ステップＳ２１０３では、ＣＰＵ１８０１はステップＳ２１０１で選択したテーマデータ（図１９）を読み出し、後述するステップＳ２１０４〜ステップＳ２１１４で処理すべきイベントを順次選択する。この時の選択の順序は、テーマデータで定義されている構成順序（図１９の１９０１の列）に従う。
【０１２９】
図１９の結婚式のテーマデータを選択した場合は、１回目の処理では「会場の雰囲気」イベント、２回目の処理では「受付」イベント、３回目の処理では「ゲストからのお祝いの言葉」イベント、・・・のようになる。ステップＳ２１０４では、ＣＰＵ１８０１はステップＳ２１０３で選択したイベントに対応したイベント動画データが、不揮発性メモリ１８０３に存在するか否かを判定する。対応するイベント動画データが存在する場合はステップＳ２１０５へ、存在しない場合はステップＳ２１０７へ進む。
【０１３０】
ステップＳ２１０５では、ＣＰＵ１８０１はステップＳ２１０３で選択したイベントに対応したイベント動画データの情報を、ＧＵＩとして表示Ｉ／Ｆ１８０５を介して表示装置１８０６に表示する。ＧＵＩは、イベントに対応するイベント動画データのサムネイル画像・撮影日時などから構成される。図２２（ａ）にＧＵＩの例を示す。ユーザは、操作部１８０７を操作し、イベントに対応した映像データの情報を閲覧し、当該イベント（図２２（ａ）の例では「ゲストからのお祝いの言葉」イベント）にふさわしいイベント動画データを選択することができる。
【０１３１】
ステップＳ２１０６では、ＣＰＵ１８０１はステップＳ２１０５においてステップＳ２１０３で選択したイベント動画データ選択されたか否かを判定する。イベント動画データが選択された場合はステップＳ２１１４へ、選択されなかった場合はステップＳ２１１５へ進む。ステップＳ２１０７〜ステップＳ２１１３は、ステップＳ２１０４の処理により、不揮発性メモリ１８０３にステップＳ２１０３で選択したイベントに対応するイベント動画データが格納されていない場合の処理である。
【０１３２】
ステップＳ２１０７では、ＣＰＵ１８０１はステップＳ２１０３で選択したイベントが発生した時間を推定する。この推定の処理については、図８のフローチャートを適用することができる。
【０１３３】
図８の処理は、実施例１において説明した処理と同等である。実施例１の図８の処理の説明は、ステップＳ７０２をステップＳ２１０３、ＣＰＵ１０１をＣＰＵ１８０１、不揮発性メモリ１０３を不揮発性メモリ１８０３、図６を図２０、６０１〜６０８を２００１〜２００８と読み替えることによって、本実施例に適用することができる。
【０１３４】
図２１に戻り、ステップＳ２１０８では、ＣＰＵ１８０１はステップＳ２１０３で選択したイベントの撮影時間が、ステップＳ２１０７（図８）の処理によって得られたか否かを判定する。イベントの推定時間として１期間以上を算出できた場合は、推定成功としてステップＳ２１０９へ進み、イベントの推定時間が得られなかった場合は、推定に失敗したとしてステップＳ２１１５に進む。
【０１３５】
ステップＳ２１０９では、ＣＰＵ１８０１は記憶媒体Ｉ／Ｆ１８１０を介して記憶媒体１８１１にアクセスし、記憶媒体１８１１に格納されている映像（静止画あるいは動画）データを、２段階の処理により抽出する。第一段階の処理は、映像データの撮影時間による抽出であり、ステップＳ２１０７で得られた推定時間内に撮影された映像データを抽出する。第二段階の処理は、顔検出の有無による抽出である。第二段階の処理では、ＣＰＵ１８０１は画像処理部１８０４を用いて第一段階の処理により抽出された映像データ内における、顔検出の有無を取得する。
【０１３６】
次に、テーマデータ（図１９）において、ステップＳ２１０３で選択したイベントの、顔検出の項の値を取得する。そして、第一段階の処理で抽出された映像データから、顔検出の項の値が「有」である場合は顔検出された映像データを、顔検出の項の値が「無」である場合は顔検出されなかった映像データを、顔検出の項の値が「−」である場合はすべての映像データを抽出する。
【０１３７】
ステップＳ２１１０では、ＣＰＵ１８０１はステップＳ２１０９で抽出した映像データの情報を、ＧＵＩとして表示Ｉ／Ｆ１８０５を介して表示装置１８０６に表示する。ＧＵＩは、抽出した映像データのサムネイル画像・撮影日時・動画静止画種別などから構成される。図２２（ｂ）にＧＵＩの例を示す。ユーザは、操作部１８０７を操作し、ステップＳ２１０９で抽出された映像データの情報を閲覧し、ステップＳ２１０３で選択されたイベント（図２２（ｂ）の例では「新郎新婦あいさつ」イベント）にふさわしい映像データを選択することができる。
【０１３８】
ステップＳ２１１１では、ＣＰＵ１８０１はステップＳ２１１０で提示した映像データをユーザが１個以上選択したか否かを判定する。ユーザが映像でテータを選択した場合はステップＳ２１１２に、選択しなかった場合はステップＳ２１１５へ進む。ステップＳ２１１２では、ＣＰＵ１８０１はユーザが選択した映像データに静止画データが含まれるか否かを判定する。静止画データが含まれていた場合にはステップＳ２１１３に、含まれていなかった場合にはステップＳ２１１４に進む。
【０１３９】
ステップＳ２１１３では、ＣＰＵ１８０１はユーザが選択した映像データに含まれている静止画データを元に動画データを生成する。具体的には、間隔をあけて複数の静止画データを順次表示（スライドショー）するような動画データに変換したり、静止画データの一部を表示しながらスクロール（デジタルパン・チルト）するような動画に変換したりして行う。ＣＰＵ１８０１は、生成した動画データを不揮発性メモリ１８０３に保存する。
【０１４０】
ステップＳ２１１４では、ＣＰＵ１８０１は「ステップＳ２１０５で取得した、撮影した映像データ」「ステップＳ２１０９で抽出し、ユーザが選択した動画データ」「ステップＳ２１０９で抽出し、ユーザが選択した静止画から生成した動画データ」を映像リストに順次追加する。図２３は、図２１の一連の処理で生成される映像リストの例である。この映像リストは、図１９のテーマデータの例と、図２０の不揮発性メモリ１８０３に格納されている映像データの例に対応している。図２３の映像リストでは、テーマデータの構成順序１９０１にしたがって、映像データが映像リストに追加されている。
【０１４１】
図２０の映像データの例では、「乾杯」イベント・「料理紹介」イベント・「新郎新婦あいさつイベント」は含まれていない（格納されていない）ので、これらはステップＳ２１０７〜Ｓ２１１３の処理によって外部の記録媒体から取得した映像データを使用している（２３０１〜２３０４）。なお、この例では、２３０１と２３０４では外部の記憶媒体にある動画データを表しており、２３０２と２３０３は外部の記憶媒体にある静止画データからステップＳ２１１３で生成された動画データを表している。
【０１４２】
ステップＳ２１１５では、ＣＰＵ１８０１はステップＳ２１０３において、テーマデータ（図１９）の全てのイベントを選択したか否かを選択する。図１９の例では、ステップＳ２１０３において「新郎新婦退場」イベントを選択していた場合は、すべての撮影イベントを選択したということになる。ステップＳ２１０３において全ての撮影イベントを選択済みの場合は、ステップＳ２１１４で更新した映像リストが完成したとして、ステップＳ２１１５へ進む。一方、未選択のイベントがある場合は、ステップＳ２１０３に戻り次のイベントの処理を行う。
【０１４３】
ステップＳ２１１６では、ＣＰＵ１８０１はステップＳ２１４４で生成した映像リストにしたがって、動画データを不揮発性メモリ１８０３あるいは記憶媒体１８１１から取得し、作成したいコンテンツに応じたデータを生成する。たとえば、ＤＶＤ−ＶｉｄｅｏフォーマットやＢｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃフォーマットのデータを生成する。ステップＳ２１１７では、ＣＰＵ１８０１はステップＳ２１１６で作成したデータを、記録部１８０８を利用して記録媒体１８０９に書き込む。
【０１４４】
このような処理を行うことによって、例えば結婚式のテーマデータにしたがってコンテンツをオーサリングしていた場合に、あるイベントの映像データが不足していた場合においても、例えば同席していた友人の記録媒体を使用することによって、不足していたイベントの映像データを入手し、テーマに沿った映像を得ることができる。
【０１４５】
以上、本実施例によれば、撮影すべき複数イベントの情報がイベント間の前後関係を指定されたテーマ情報を保持し、映像が関連付けられていないイベントの撮影時間を推定するするとともに、推定した撮影時間と合致する映像を装着された記憶媒体から抽出することによって、撮り逃したイベントがあった場合においても、テーマに沿った動画を生成する映像処理装置を提供することができる。
【０１４６】
［その他の実施例］
実施例３では、位置情報の取得にＧＰＳを用いたが、本発明はこれに限定されるわけではなく、ユーザによる入力により位置情報を取得したり、ＩＰアドレスから位置情報を決定したりしてもよい。
【０１４７】
実施例３では、ステップＳ７０６の第三段階の抽出処理に用いる位置情報は、映像処理装置の現在の位置情報を使用したが、本発明はこれに限定されるわけではない。たとえば、直前に再生リストに追加された映像データの位置情報（ジオタグ）を用いてもよい。
【０１４８】
実施例３では、ステップＳ７０６において３段階の抽出処理をＣＰＵ１５０１が行ったが、本発明はこれに限定されるわけではなく、ＣＰＵ１５０１が抽出処理に必要な情報をサーバに送信し、抽出結果をサーバから取得するような構成にしてもよい。
【０１４９】
実施例４では、記憶媒体から映像の抽出を行ったが、本発明はこれ限定されているわけではなく、実施例１に対する実施例２・３と同様に、周辺の機器やインターネット上から映像データを抽出してもよい。
【０１５０】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【０１５１】
１００  映像処理装置、１０１  ＣＰＵ（イベント時間推定手段、映像抽出手段）、１０２  メモリ、１０３  不揮発性メモリ（テーマ保持手段）、１０４  撮像部、
１０５  画像処理部、１０６  表示部、１０７  操作部、１０８  記憶媒体Ｉ／Ｆ、１０９  記憶媒体、１１０  外部Ｉ／Ｆ、１１１  通信Ｉ／Ｆ、
１１２  外部ネットワーク、１１３  ＲＴＣ、１５０  内部バス
【図１】
2016201712.tif 000003
【図２】
2016201712.tif 000004
【図３】
2016201712.tif 000005
【図４】
2016201712.tif 000006
【図５】
2016201712.tif 000007
【図６】
2016201712.tif 000008
【図７】
2016201712.tif 000009
【図８】
2016201712.tif 000010
【図９】
2016201712.tif 000011
【図１０】
2016201712.tif 000012
【図１１】
2016201712.tif 000013
【図１２】
2016201712.tif 000014
【図１３】
2016201712.tif 000015
【図１４】
2016201712.tif 000016
【図１５】
2016201712.tif 000017
【図１６】
2016201712.tif 000018
【図１７】
2016201712.tif 000019
【図１８】
2016201712.tif 000020
【図１９】
2016201712.tif 000021
【図２０】
2016201712.tif 000022
【図２１】
2016201712.tif 000023
【図２２】
2016201712.tif 000024
【図２３】
2016201712.tif 000025