(57)【要約】【課題】ソース映像の雰囲気を残した映像コンテンツを生成すること。【解決手段】ソース動画から、少なくとも２つの部分動画または静止画像を抽出する抽出手段と、前記抽出手段で抽出した前記少なくとも２つの部分動画または静止画像の提示方法を、前記ソース動画の特徴に基づいて決定する決定手段と、前記決定手段で決定した提示方法に基づいて、前記少なくとも２つの部分動画または静止画像を含む映像コンテンツを生成する生成手段と、を備えたことを特徴とする。【選択図】  図１
2014170980.tif 000002
【特許請求の範囲】
【請求項１】
ソース動画から、少なくとも２つの部分動画または静止画像を抽出する抽出手段と、
前記抽出手段で抽出した前記少なくとも２つの部分動画または静止画像の提示方法を、前記ソース動画の特徴に基づいて決定する決定手段と、
前記決定手段で決定した提示方法に基づいて、前記少なくとも２つの部分動画または静止画像を含む映像コンテンツを生成する生成手段と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記生成手段は、前記少なくとも２つの静止画像を連続的に提示する前記映像コンテンツを生成することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記決定手段は、前記映像コンテンツにおける前記少なくとも２つの部分動画または静止画像の提示時間を決定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記決定手段は、前記少なくとも２つの部分動画または静止画像がお互いに関連性を有する場合には、一方の提示時間に基づいて他方の提示時間を決定することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記決定手段は、前記少なくとも２つの部分動画または静止画像に含まれる対象物が同一である場合には、前に挿入される部分動画または静止画像の提示時間よりも後に挿入される部分動画または静止画像の提示時間を短くすることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記決定手段は、前記少なくとも２つの部分動画または静止画像がお互いに関連性を有しない場合には、独立に提示時間を決定することを特徴とする請求項３乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記決定手段は、前記映像コンテンツにおける前記少なくとも２つの部分動画または静止画像の切り替え時のエフェクトまたはジングルを決定することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記決定手段は、前記少なくとも２つの部分動画または静止画像がお互いに関連性を有する場合には、関連性を有しない場合とは異なるエフェクトまたはジングルを決定することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記決定手段は、前記映像コンテンツにおける前記少なくとも２つの部分動画または静止画像の背景音楽を決定することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記決定手段は、
前記少なくとも２つの部分動画または静止画像に含まれる対象物に関連性があるか否かを、前記ソース動画に基づいて判定する判定手段と、
前記対象物に関連性がある場合には、前記対象物に関連性がない場合とは異なる提示方法を選択する選択手段と、
を含むことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記判定手段は、
前記少なくとも２つの部分動画または静止画像に含まれる対象物が同一か否かを、前記ソース動画に基づいて判定することを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
前記判定手段は、
前記少なくとも２つの部分動画または静止画像における対象物の撮影方法が同一か否かを、前記ソース動画に基づいて判定することを特徴とする請求項１０または１１に記載の情報処理装置。
【請求項１３】
前記判定手段は、
前記少なくとも２つの部分動画または静止画像に含まれる対象物に共通性があるか否かを、前記ソース動画の音響的な特徴に基づいて判定することを特徴とする請求項１０から１２のいずれか１項に記載の情報処理装置。
【請求項１４】
ソース動画から、少なくとも２つの部分動画または静止画像を抽出する抽出ステップと、
前記抽出ステップで抽出した前記少なくとも２つの部分動画または静止画像の提示方法を、前記ソース動画の特徴に基づいて決定する決定ステップと、
前記決定ステップで決定した提示方法に基づいて、前記少なくとも２つの部分動画または静止画像を含む映像コンテンツを生成する生成ステップと、
を含むことを特徴とする情報処理方法。
【請求項１５】
ソース動画から、少なくとも２つの部分動画または静止画像を抽出する抽出ステップと、
前記抽出ステップで抽出した前記少なくとも２つの部分動画または静止画像の提示方法を、前記ソース動画の特徴に基づいて決定する決定ステップと、
前記決定ステップで決定した提示方法に基づいて、前記少なくとも２つの部分動画または静止画像を含む映像コンテンツを生成する生成ステップと、
をコンピュータに実行させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画の一部を抽出して、新たな映像コンテンツを生成する技術に関する。
【背景技術】
【０００２】
映像から抽出した画像をもとに新規映像を生成する技術の一例が、特許文献１に記載されている。特許文献１では、入力映像を構成する各フレーム間の内容（カメラの動きや物体の動きや人の顔等の映像内容や、音声イベント等の音響的内容）をもとにキーフレームを選択し、選択したキーフレームを任意の提示時間で表示する新規映像を生成する。
【０００３】
また、入力映像から抽出したキーフレームをもとに新規映像を生成する方式の一例が、特許文献２に記載されている。特許文献２では、入力映像から、顔検出またはユーザ操作に応じて選択したキーフレームを、そのキーフレーム中の顔の大きさ、笑顔、年齢、向き、操作情報をもとに決定した提示時間で表示する新規映像を生成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００９−５３７０４７号公報
【特許文献２】特開２０１０−２１３１３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術は、生成された映像は、ソース映像中でのキーフレーム間の関連性を考慮することなく提示される。そのため、ソース映像中で、互いに共通の被写体の変化や動作の遷移、あるいは、互いに共通の意図で撮影された被写体を、新規映像の視聴により理解できない場合がある。
【０００６】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る装置は、
ソース動画から、少なくとも２つの部分動画または静止画像を抽出する抽出手段と、
前記抽出手段で抽出した前記少なくとも２つの部分動画または静止画像の提示方法を、前記ソース動画の特徴に基づいて決定する決定手段と、
前記決定手段で決定した提示方法に基づいて、前記少なくとも２つの部分動画または静止画像を含む映像コンテンツを生成する生成手段と、
を備えたことを特徴とする。
【０００８】
上記目的を達成するため、本発明に係る方法は、
ソース動画から、少なくとも２つの部分動画または静止画像を抽出する抽出ステップと、
前記抽出ステップで抽出した前記少なくとも２つの部分動画または静止画像の提示方法を、前記ソース動画の特徴に基づいて決定する決定ステップと、
前記決定ステップで決定した提示方法に基づいて、前記少なくとも２つの部分動画または静止画像を含む映像コンテンツを生成する生成ステップと、
を含むことを特徴とする。
【０００９】
上記目的を達成するため、本発明に係るプログラムは、
ソース動画から、少なくとも２つの部分動画または静止画像を抽出する抽出ステップと、
前記抽出ステップで抽出した前記少なくとも２つの部分動画または静止画像の提示方法を、前記ソース動画の特徴に基づいて決定する決定ステップと、
前記決定ステップで決定した提示方法に基づいて、前記少なくとも２つの部分動画または静止画像を含む映像コンテンツを生成する生成ステップと、
をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ソース映像の雰囲気を残した映像コンテンツを生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。
【図２】本発明の第２実施形態に係る情報処理装置の構成を示すブロック図である。
【図３】本発明の第２実施形態に係る情報処理装置のスライドショー生成を説明する図である。
【図４】本発明の第２実施形態に係る情報処理装置の処理の流れを示すフローチャートである。
【図５】本発明の第２実施形態に係る情報処理装置の映像コンテンツ生成を説明する図である。
【図６】本発明の第２実施形態に係る情報処理装置の映像コンテンツ生成を説明する図である。
【図７】本発明の第３実施形態に係る情報処理装置の映像コンテンツ生成を説明する図である。
【図８】本発明の第３実施形態に係る情報処理装置の映像コンテンツ生成を説明する図である。
【図９】本発明の第３実施形態に係る情報処理装置の映像コンテンツ生成を説明する図である。
【発明を実施するための形態】
【００１２】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１３】
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、動画を編集して映像コンテンツを生成する装置である。
【００１４】
図１に示すように、情報処理装置１００は、抽出部１０１と提示方法決定部１０２と映像コンテンツ生成部１０３とを含む。
【００１５】
抽出部１０１は、ソース動画から、少なくとも２つの部分動画または静止画像を抽出する。提示方法決定部１０２は、抽出部１０１で抽出した少なくとも２つの部分動画または静止画像の提示方法を、ソース動画の特徴に基づいて決定する。そして、映像コンテンツ生成部１０３は、提示方法決定部１０２で決定した提示方法に基づいて、少なくとも２つの部分動画または静止画像を含む映像コンテンツを生成する。映像コンテンツとしては、例えばスライドショーなどが含まれる。
【００１６】
本実施形態によれば、ソース映像の雰囲気を残した映像コンテンツを生成することができる。
【００１７】
［第２実施形態］
（前提技術）
映像投稿サイトでは、視聴者が映像の内容を素早く把握して興味をもった映像を効率的に選択できるように、映像から抽出した静止画像や部分動画（以下、キーフレームと呼ぶ）をリスト提示する機能が用いられている。
【００１８】
視聴者が映像全体を適切に理解するためには、通常複数のキーフレームが必要である。しかし、多数のキーフレームをディスプレイ上に一度に提示すると、キーフレーム１枚あたりの大きさが小さくなり内容を十分確認できない場合がある。
【００１９】
そこで、キーフレームを切り替えて順に提示する提示方法が有効と考えられる（以降、キーフレームを切り替えて順に提示した映像を映像コンテンツと呼ぶ）。映像コンテンツ中で連続して提示されるキーフレームの間の関連性を理解することは、入力映像の内容を把握する上で有意な場合がある。例えば、映像コンテンツ中で連続するキーフレームが、共通の被写体の変化や動作の遷移を表現しているとわかることで、動作や変化の流れを理解できる。また、連続するキーフレームに含まれる被写体が、入力映像内で共通の意図で（たとえば、同程度の興味で）撮影されたものであるとわかることで、被写体の重要度の関係性を理解できる。
【００２０】
連続するキーフレームの関連性を理解させるためには、キーフレームの提示時間や、キーフレーム間に挿入されるエフェクト等の提示方法は重要な意味をもつ。例えば、連続するキーフレームが同じ方法で提示された場合、実際にはそのキーフレーム間に関連性が無くても、関連性があると視聴者が誤解する場合がある。また、連続するキーフレームがまったく異なる方法で提示された場合、キーフレーム間に関連性がないと視聴者が誤認する可能性がある。よって、キーフレーム間の関連性を視聴者に正しく理解させるためには、キーフレーム間の内容の関連性に応じて提示ルールを制御することが有効といえる。
【００２１】
［構成］
本発明の第２実施形態に係る情報処理装置２００の構成について、図２を用いて説明する。図２は、本実施形態に係る情報処理装置２００の概略構成を説明するための図である。
【００２２】
情報処理装置２００は、キーフレーム抽出部２０１と提示方法決定部２０２と映像コンテンツ生成部２０３と映像入力部２０４とを備えている。
【００２３】
キーフレーム抽出部２０１は、入力映像としてのソース動画２１０から、キーフレームとして、少なくとも２つの部分動画または静止画像を抽出する。提示方法決定部２０２は、キーフレーム抽出部２０１で抽出した少なくとも２つの部分動画または静止画像の提示方法を、ソース動画の特徴に基づいて決定する。映像コンテンツ生成部２０３は、提示方法決定部２０２で決定した提示方法に基づいて、少なくとも２つの部分動画または静止画像を連続的に提示する新規映像としての映像コンテンツ２４０を生成する。
【００２４】
また、提示方法決定部２０２は、関連性判定部２２１と提示方法選択部２２２とを含む。関連性判定部２２１は、少なくとも２つの部分動画または静止画像に含まれる対象物に共通性があるか否かを、ソース動画に基づいて判定する。関連性判定部２２１は、少なくとも２つの部分動画または静止画像に含まれる対象物が同一か否かを、ソース動画に基づいて判定する。提示方法選択部２２２は、対象物に共通性がある場合には、対象物に共通性がない場合とは異なる提示方法を選択する。提示方法決定部２０２は、映像コンテンツ２４０における、キーフレームの提示時間を決定する。
【００２５】
映像入力部２０４は、ビデオカメラなどからソース動画２１０を入力して、キーフレーム抽出部２０１および提示方法決定部２０２に渡す。キーフレーム抽出部２０１は、ソース動画２１０から抽出したキーフレームのみならず、そのキーフレームに関連するキーフレーム情報を映像コンテンツ生成部２０３に送る。キーフレーム情報とは、キーフレームを識別するキーフレームＩＤ、映像コンテンツ内での提示順位、キーフレームの画素情報である。
【００２６】
映像入力部２０４は、関連性判定部２２１からの要求に応じて、入力映像の情報（映像情報）を関連性判定部２２１に入力する。映像情報とは、キーフレームＩＤ、キーフレームに対応した区間の画素情報や音響情報とする。キーフレームに対応した区間とは、入力映像中のキーフレームが属する単位区間、あるいは、キーフレームと同一の被写体が含まれている単位区間とする。単位区間として、以下の４つの区間の何れかまたはその組合せを用いても良い。一定の時間間隔で区切った区間。カメラの切り変わり点等の撮影機器の制御信号をもとに区切られた区間。フレームの画像変化点や音響変化点等の映像から抽出される特徴量をもとに区切られた区間。場所や被写体や時間帯等の撮影内容の変化点として手動で区切られた区間。
【００２７】
キーフレームに対応する区間は、各キーフレームに対して少なくとも１個存在し、複数のキーフレームが１個の区間に対応づけられても構わない。区間の画像情報とは、区間に属するフレームの画像情報とする。区間の音響情報とは、区間と同期した音情報とする。また、区間情報として、区間内に映っている被写体、撮影場所、撮影時刻を記述したメタ情報、ＧＰＳ等のセンサ情報を含めてもよい。
【００２８】
関連性判定部２２１は、キーフレーム抽出部２０１から入力されたキーフレーム情報をもとに、映像入力部２０４からキーフレームに対応する映像情報を取得し、キーフレーム間の関連性を判定する。関連性判定部２２１は、キーフレーム関連性情報を提示方法選択部２２２に入力する。キーフレーム関連性情報とは、キーフレームＩＤと関連性フラグとする。キーフレーム情報として、上記に加えてキーフレームの画素情報を入力してもよい。関連性フラグとは、あらかじめ規定された関連性種別のうち、現在のキーフレームとその後に提示されるキーフレームとの間に存在する関連性種別を示すデータ、もしくは、いずれの関連性種別も存在しない（関連性が無い）ことを示すデータである。たとえば、関連性フラグとして、あるキーフレームとその後のキーフレームとの間に存在する全関連性種別にフラグ１を設定し、存在しない関連種別にフラグ０を設定する。あるいは、関連性種別に応じて意味を持つ任意の数値を設定してもよい。
【００２９】
関連性判定部２２１は、キーフレームにおける対象物の撮影方法が同一か否かを、ソース動画に基づいて判定してもよい。関連性判定部２２１は、キーフレームに含まれる対象物に共通性があるか否かを、ソース動画の音響的な特徴に基づいて判定してもよい。
【００３０】
被写体の同一性に着目した関連性の判定方法について以下に述べる。
【００３１】
（関連性１．  被写体の同一性）
関連性判定部２２１は、キーフレーム同士の被写体の同一性を、キーフレームを抽出したソース動画での撮影の連続性などによって決定することができる。このように決定された関連性を関連性１と称する。
【００３２】
「被写体が同一である」とは、映像コンテンツ中で連続するキーフレーム対が、共通の被写体であることをいう。キーフレーム対に含まれる被写体が見かけ上まったく変化のない場合も、キーフレーム対に含まれる被写体が一連の変化や動作の過程で互いに異なるある瞬間の場合も含む。たとえば、時間の経過に伴って色が変わる建造物を撮影した映像において、色が変化する前と後のキーフレームは、キーフレームのみから判断すると異なる被写体のように見えるが、ソース動画を参照することによって被写体が同一であると判断することができる。昆虫が孵化する様子を撮影したソース動画から抽出された、孵化の前と後のキーフレーム対の関係なども同様に、キーフレームのみから判断すると異なる被写体のように見えるが、ソース動画を参照することによって被写体が同一であると判断することができる。一方、時間の経過に伴って音色が変化する楽器を撮影した映像から、音色が変化する前後のキーフレームを抽出した場合には、キーフレームの抽出箇所の音声のみから判断すると、それらのキーフレームは異なる被写体を撮影したものと判断されうる。しかし、この場合も、ソース動画全体を参照することによって被写体が同一であると判断することができる。
【００３３】
すなわち、ソース動画を参照することによって、より明確に同じ被写体を連続的に撮影した動画から抽出されたキーフレーム群であることが明確になる。つまり、ソース動画の編集点を見つけ、その間のキーフレーム群については被写体が同じだと推定することができる。
【００３４】
関連性１についての関連性フラグには、あるキーフレームとその後のキーフレームとが、同一の被写体である場合に１を、同一の被写体でない場合に０を設定する。被写体の同一性判定は、たとえば以下の方法で実現できる。映像コンテンツ中で連続するキーフレーム対が同一の区間に対応づけられており、かつ、キーフレームから検出された被写体領域（被写体の画像領域）が同一の場合に、同一の被写体であると判定してもよい。あるいは、映像コンテンツ中で連続するキーフレーム対それぞれから被写体領域を検出し、各キーフレームに対応した区間からそれぞれ被写体領域を検出し、トラッキングする。一方の区間から検出された被写体領域およびトラック過程の被写体領域と、もう一方の区間から検出された被写体領域およびトラック過程の被写体領域とを比較し、色や形状などの画像特徴量が類似する場合には、被写体は同一であると判定してもよい。あるいは、映像コンテンツ中で連続するキーフレーム対について、各キーフレームに対応した区間からそれぞれ被写体の画像領域と被写体の発する音響情報を抽出する。
【００３５】
一方の区間から検出された被写体領域と、もう一方の区間から検出された被写体領域とで、画像的特徴と音響情報とがともに類似する場合に、キーフレーム対に含まれる被写体は同一であると判定してもよい。キーフレームから被写体領域を検出する手法は、あらかじめ登録された特定対象を検出する場合と、登録されていない一般対象を検出する場合とに分けられる。特定対象を検出する場合は、登録された各対象の画像データをテンプレートとし、様々な解像度に変換したテンプレートで区間に属するキーフレームを走査し、テンプレートと同じ位置の画素値の差分が小さい領域を対応する被写体領域として検出してもよい。
【００３６】
あるいは、キーフレームの各部分領域から色・テクスチャ・形状を表現する画像特徴量を抽出し、登録された各対象の画像特徴量と類似した画像特徴量をもつ部分領域を対応する被写体領域としてもよい。また、特定対象が人物の場合には、顔全体から得られる情報を利用する手法がある。例えば様々な顔の映っている画像をテンプレートとして記憶し、キーフレームとテンプレートの差分がある閾値以下のとき顔が入力画像中に存在すると判定する手法が挙げられる。また、肌色などの色情報や、エッジの方向や密度を組み合わせたモデルをあらかじめ記憶しておき、モデルに類似した領域を被写体領域として検出してもよい。更に、以下の手法のいずれかまたはその組合せを利用しても良い。顔（頭部）の輪郭を楕円、目や口を細長の形状をしていることを利用して作成したテンプレートを用いて検出する手法。頬や額の部分は輝度が高く、目や口の部分の輝度は低いという輝度分布の特性を利用する手法。顔の対称性や肌色領域と位置を利用する手法。
【００３７】
また、大量の人物顔と非顔の学習サンプルから得られた特徴量分布を統計的に学習し、入力画像から得られる特徴量が顔と非顔のどちらの分布に属するかを判定する手法（ニューラルネットやサポートベクターマシン、ＡｄａＢｏｏｓｔ法）など用いてもよい。また一般対象を検出する場合は、例えばNormalized Cutや、Saliency Map、Depth of Field  （ＤｏＦ）を用いてもよい。Normalized Cutは、画像を複数の領域に分割する手法である。Jianbo Shi and Jitendra Malik, “Normalized Cuts and Image Segmentation”, IEEETransactions on Pattern Analysis and Machine Intelligence, vol.22, No.8, August2000にNormalized Cutについて詳しい説明がある。Normalized Cutにより分割された領域のうち、キーフレーム中央に位置する領域を被写体領域として検出してもよい。また、Saliency Mapにより高い重要度が算出された領域を被写体領域として検出してもよい。Saliency Mapは、画像中の物体領域を視覚注意から算出する方法である。Saliency Mapについては、L.Itti, C.Koch and E.Niebur,“ A Model of Saliency-based Visual Attention for Rapid Scene Analysis, ”IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.20, No.11,  pp.1254-1259, 1998に詳しい記載がある。
【００３８】
また、Ｄｏｆは、被写界深度内に存在する対象のエッジにはボケがなく、被写界深度外のエッジにボケが発生する特性に基づく手法である。詳しくは、３Du-Ming Tsai, Hu-Jong Wang, “Segmenting focused objects in complex visual images”, Pattern Recognition Letters, Vol.19, pp.929   940, 1998.に開示がある。エッジの太さをもとにボケ量を算出し、ボケの少ないエッジを結合し、焦点が合っている領域を対象領域として検出してもよい。
【００３９】
静止画像中の位置または視認性の高さ（照明条件、向き、角度、画面上での位置、他の対象による隠れ、ボケ、（人物の場合には）表情、等に基づく映りの良さを示す評価値）または複数画像での出現頻度をもとにキーフレームから対象領域を検出してもよい。また検出された複数の被写体領域を組み合わせて１つとしてもよい。キーフレームに対応した区間からの被写体領域の検出は、たとえば、キーフレーム中から検出された被写体領域の画像情報をテンプレートとし、キーフレームに対応する区間に属するいずれかのフレームから被写体領域を検出してもよい。
【００４０】
区間内で検出された被写体領域のトラッキングは、たとえ以下の方法で実現できる。被写体領域が検出されたフレームを開始フレームとし、時間方向に隣接するフレームに対し被写体領域の検出処理を行う。被写体領域の検出に用いるテンプレートは、既に検出された対象領域の画像特徴量を用い、既に検出された対象領域の検出位置を中心に規定範囲の領域でテンプレートを走査させる。被写体領域の間の類似度は、各被写体領域から画像特徴量を抽出し、画像特徴量の差が小さいほど高い値を算出する尺度をもとに算出してもよい。画像特徴量は、被写体領域から検出された色、エッジ、テクスチャ等の画像情報をもとに算出できる。あるいは、各被写体の画像領域からＳＩＦＴ等の局所特徴点を検出し、画像領域間で特徴点を対応づけ、対応づけられた特徴点の個数が多い、もしくは、対応づけられた特徴点の位置関係が画像間で似ているほど高い値を算出する尺度を用いてもよい。被写体の発する音響情報の類似性は、例えば、被写体領域が検出された区間から、音響情報として複数の周波数帯の音響エネルギーを抽出し、音響エネルギーの差が小さいほど高い値を算出する尺度をもとに算出してもよい。上記のように、キーフレームに対応した区間の情報を用いることで、キーフレーム情報のみを用いた場合よりも、キーフレーム間で生じた被写体の見え方の変化や背景の変化に対して頑強に、被写体の同一性を判定できる。
【００４１】
提示方法選択部２２２は、キーフレーム切り替え時のエフェクトまたはジングルを決定する。提示方法選択部２２２は、連続するキーフレームがお互いに関連性を有する場合には、関連性を有しない場合とは異なるエフェクトまたはジングルを決定する。提示方法選択部２２２は、映像コンテンツにおけるキーフレームの背景音楽を決定する。
【００４２】
具体的には、提示方法選択部２２２は、関連性判定部２２１から入力されるキーフレーム関連性情報と、あらかじめ登録された提示ルールをもとに、キーフレームの提示方法を決定する。提示方法選択部２２２は、キーフレームの提示方法を示す情報（提示方法情報）を、映像コンテンツ生成部２０３に入力する。提示方法情報とは、各キーフレームの提示方法を示すデータであり、キーフレームＩＤと提示時間を含むものとする。提示方法情報として、上記に加えてエフェクト、ＢＧＭ、音響ジングル、映像ジングルを保持してもよい。
【００４３】
提示ルールとは、関連性種別に応じたキーフレームの提示方法を規定するルールである。提示ルールとして、連続するキーフレーム対の各提示時間を規定するパラメータを保持するものとする。また、提示時間に加えて、キーフレームの間に挿入するエフェクトやＢＧＭ、ジングル（短い映像や音楽、効果音）に関する制御パラメータを保持してもよい。また、連続するキーフレーム対にいずれの関連性種別も存在しない場合の提示方法を規定してもよい。提示ルールとして、例えば以下が挙げられる。
【００４４】
（１）  提示時間に関するルール
提示方法決定部２０２は、少なくとも２つの部分動画または静止画像がお互いに関連性を有する場合には、一方の提示時間に基づいて他方の提示時間を決定する。具体的には、提示方法決定部２０２は、少なくとも２つの部分動画または静止画像に含まれる対象物が同一である場合には、前に挿入される部分動画または静止画像の提示時間よりも後に挿入される部分動画または静止画像の提示時間を短くする。一方、提示方法決定部２０２は、少なくとも２つの部分動画または静止画像がお互いに関連性を有しない場合には、独立に提示時間を決定する。
【００４５】
言い換えれば、連続するキーフレーム対に含まれる被写体の同一性もしくは被写体に対する撮影者の興味の同一性をもとに、キーフレーム対の提示時間を決定する。例えば、連続するキーフレーム対に含まれる被写体が同一、もしくは被写体に対する撮影者の興味が同一の場合には、はじめに提示されるキーフレームの提示時間を初期値Ｔｓとし、Ｔｓを基準に後続のキーフレームの提示時間を決定してもよい。また、同一の被写体もしくは同一の興味で撮影された被写体を含むキーフレーム群のうち、視認性の高いキーフレームの提示時間をＴｐとし、Ｔｐを基準に後続のキーフレームの提示時間を決定してもよい。また、同一の被写体もしくは同一の興味で撮影された被写体を含むキーフレーム群のうち、提示時間がＴｑ以下になったキーフレームの次のキーフレームの提示時間を初期値Ｔｓとし、Ｔｓを基準に後続のキーフレームの提示時間を決定してもよい。また、同一の被写体もしくは同一の興味で撮影された被写体を含むキーフレーム群のうち、最後に提示されるキーフレームの提示時間を初期値Ｔｓに設定してもよい。ＴｓとＴｐの値は、あらかじめ映像コンテンツ全体の時間を設定しておき、提示するキーフレーム数に応じて算出してもよい。また、連続するキーフレーム対に含まれる被写体が同一でない、もしくは、同一の興味で撮影された被写体でない場合には、前のキーフレームの提示時間と独立に後続の提示時間を決定する。例えば、初期値Ｔｓに設定してもよいし、規定範囲内のランダムな値に設定してもよい。
【００４６】
例として、図３を用いて、人物Ａの周囲を回りながら撮影した動画から５枚のキーフレーム３０１〜３０５を抽出した場合について説明する。ここではキーフレーム３０１〜３０５に含まれる被写体が同一であるため、上述のように、最初のキーフレームの提示時間Ｔｓに対して、パラメータａを乗算することによって、後続のキーフレームの提示時間を算出する。このとき、始めのキーフレーム３０１の提示時間を初期値Ｔｓとすると、後続のキーフレーム３０２の提示時間Ｔｉは以下の式（１）で表わされる。
【数１】
2014170980.tif 000003
さらに、正面を向いたキーフレーム３０３で視認性の評価値が閾値以上の場合、キーフレーム３０３の提示時間はＴｐ、後続のキーフレーム３０４、３０５の提示時間Ｔｊは以下の式（１）で表わされる。
【数２】
2014170980.tif 000004
パラメータａを０から１の間に設定すると、人物Ａを含むキーフレームのうち初めに提示されたキーフレーム３０１と人物Ａの映りがよいキーフレーム３０３は長く提示され、キーフレーム３０１、３０３から遠ざかるに従って徐々に短く提示される。
【００４７】
これにより、利用者は、対象が初めて登場した瞬間や映りのよいキーフレームの内容を理解し、その他の画像は理解した内容とほぼ同様の内容が映っていると理解することができるという効果がある。また、同じ対象を含む画像であっても連続する画像の提示時間が変化する映像を生成できるため、視聴者を飽きさせないテンポ感ある映像コンテンツが生成できるという効果がある。
【００４８】
（２）エフェクト・ＢＧＭ・ジングルに関するルール
提示方法選択部２２２は、連続するキーフレーム対に含まれる被写体の同一性、もしくは被写体に対する撮影者の興味の同一性をもとに、キーフレーム対の間に挿入するエフェクト・ＢＧＭ・ジングルを決定する。例えば、連続するキーフレーム対に含まれる被写体が同一もしくは被写体に対する撮影者の興味が同一の場合には、キーフレームの切り替え時に視覚的な変化の少ないエフェクトとしてあらかじめ登録された特殊効果（ディゾルブやフェード等）を挿入する。同一でない場合には、キーフレームの切り替え時に視覚的な変化の大きいエフェクトとしてあらかじめ登録された特殊効果（ページめくり、ワイプ等のＤＶＥ）を挿入する。また例えば、連続するキーフレーム対に含まれる被写体が同一もしくは同一の興味で撮影された被写体の場合には、キーフレーム対の提示中に同じＢＧＭを流し、同一でない場合には、キーフレームの切り替え時にＢＧＭを止めるもしくは異なるＢＧＭに切り替える。また、被写体が同一でない、もしくは同一の興味で撮影された被写体を含まないキーフレームの間に、映像や音響のジングルを挿入してもよい。これにより、同一の被写体もしくは同一の興味で撮影された被写体を含むキーフレーム群は、画像や音響的な変化がなく滑らかに接続される。
【００４９】
そのため、視聴者は、キーフレームが互いに同一の被写体もしくは同一の重要度の被写体が含まれており、互いに一連の変化や動作の途中の画像であるか同一の意図で撮影された被写体を含む画像であることを容易に理解できる。また、キーフレーム中の被写体が同一でない、あるいは、同一の意図で撮影された被写体を含まない場合には、画像や音響的な変化が大きく変化する。そのため、視聴者はキーフレームの内容が大きく変化したことに気づき、新規映像の理解に集中することができる。
【００５０】
映像コンテンツ生成部２０３は、提示方法選択部２２２で選択された提示方法情報と、キーフレーム抽出部２０１から入力されるキーフレーム情報をもとに、新規な映像コンテンツを生成し、出力する。
【００５１】
（動作）
次に、図４のフローチャートを参照して、本実施の形態の動作について詳細に説明する。ここでは一例として図５に示すキーフレーム５０１〜５１３を抽出して、映像コンテンツを生成する場合を考える。この映像コンテンツは、建物の中にある温室で、花と人物とを撮影した出来事を伝えるものである。関連性判定部２２１によって各キーフレームから検出される対象領域を図５に矩形で示す。
【００５２】
また、提示ルールとして、対象領域が同一であるキーフレーム対については大小関係もしくは部分関係に基づくルールを用い、対象領域が同一でないキーフレーム対については同種性に基づくルールを用いて提示方法を制御する。なお、大小関係、部分関係、同種性に基づくルールについては、第３実施形態以降に詳しく説明する。
【００５３】
まず、ステップＳ４０１において映像入力部２０４はソースとなる動画を入力する。ステップＳ４０２において、入力したソース動画は、キーフレーム抽出部２０１に渡され、キーフレームの抽出が行なわれる。
【００５４】
ステップＳ４０３では、キーフレーム情報がキーフレーム抽出部２０１から提示方法決定部２０２に渡され、映像入力部２０４からも映像情報が提示方法決定部２０２に渡される。関連性判定部２２１は、キーフレーム５０１〜５１３が抽出されたソース動画を参照して、被写体の同一性や、撮影方法の共通性を判定する。
【００５５】
さらに、ステップＳ４０３において、関連性判定部２２１は、キーフレーム５０１〜５１３から対象領域を検出する。関連性判定部２２１には、対象としてあらかじめ建造物・草花・人が登録されており、それぞれのモデルが学習されているものとする。そして、キーフレーム５０１〜５１３からそれぞれ、建造物の対象領域として実線矩形で囲まれた箇所を検出する。
【００５６】
ステップＳ４０５では、対象領域０および対象領域１の画素情報から画像特徴量を抽出し、領域間の類似性をもとに同一性・大小関係・部分関係・同種性を判定する。対象領域０と１は、建造物の種別として検出されているため、同種性ありとなる。また、キーフレーム５０１上の破線矩形の領域が、対象領域１と対象領域０の共通領域として検出され、対象領域１と０は大小関係にあることが分かる。また共通領域以外の領域が対象領域０上には存在しないため、部分関係の関係性はないと判定される。よって、キーフレーム５０１におけるキーフレーム５０２との間の関連性フラグは、同一性・大小関係・部分関係・同種性の順に１、−１、０、１となる。
【００５７】
提示方法選択部２２２は、画像関連性情報として、画像ＩＤと関連性フラグをもとに提示方法を選択する。例えば、キーフレーム５０１とキーフレーム５０２の対象領域は同一のため、大小関係もしくは部分関係に基づくルールを適用する。開始画像であるキーフレーム５０１の提示時間は初期値Ｔｓ、キーフレーム５０１、５０２の大小関係が小・大の関係であるため、キーフレーム５０２の提示時間は、ａ＊Ｔｓとする。また、キーフレーム５０１、５０２に大小関係があることから、キーフレーム５０１、５０２の切り替わりのエフェクトとして視覚的変化の少ないディゾルブを挿入する（ステップＳ４０７）。
【００５８】
映像コンテンツ生成部２０３は、決定した提示時間・エフェクトで、キーフレーム５０１、５０２を用いて映像コンテンツを生成する（ステップＳ４０９）。
【００５９】
キーフレームから検出される対象領域の種別６０１、各関連性種別に対する関連性フラグ６０２、提示方法決定部２０２によって決定される提示時間長６０３およびエフェクト６０４を図６に示す。
【００６０】
本実施形態によれば、入力映像から抽出されたキーフレームを用いて、キーフレーム中の被写体の入力映像中での意味的な関連性を理解しやすい新規映像を生成することができる。
【００６１】
［第３実施形態］
第２実施形態に開示した関連性１に代えて、あるいは加えて以下の関連性のいずれか１つの変化に応じてそれぞれ提示方法を変更してもよい。
【００６２】
（関連性２．動画撮影方法）
ソース動画中で撮影者が被写体を撮影した撮影方法に関連性のあるキーフレーム群を抽出した場合、その撮影方法の関連性に応じた提示方法で、それらのキーフレーム群を提示する。例えば、連続する複数のキーフレームが、いずれもフォロー撮影（被写体の動きに追従するようにカメラを動かして撮影する技法）で撮影された動画部分から抽出された場合、それらのキーフレーム群は関連性があると判定する。
【００６３】
同様に、連続する複数のキーフレームが、いずれもズーム撮影で撮影された動画部分から抽出された場合や、いずれも一定時間以上静止撮影された動画部分から抽出された場合にも、それらのキーフレーム群にはある種の関連性、共通性が存在すると判断する。関連性２についての関連性フラグとしては、撮影方法に関連性がある場合に１を、ない場合に０を設定する。
【００６４】
連続するキーフレーム対それぞれから被写体領域を検出し、この被写体領域の情報をもとにキーフレームに対応する区間からそれぞれ被写体領域を検出する。被写体領域および背景領域の動きベクトルを解析し、被写体がフォロー、ズーム、静止等の意図的な方法で撮影されていることを判定する。
【００６５】
区間内の被写体領域の撮影方法は、例えば以下の方法で判定できる。被写体がフォロー撮影されていることは、特許第４５９３３１４公報に開示されたフォロー対象判定方式によって判定できる。また、被写体がズームインもしくは静止撮影されていることは、特開２００７−１９８１４号公報のカメラモーション判定方式によって判定できる。
【００６６】
〔動画撮影方法の共通性に応じたルール〕
（２−１）提示時間に関するルール
連続するキーフレーム対のソース動画の撮影方法の同一性をもとに、キーフレーム対の提示時間を決定する。例えば、同一の撮影方法で撮影されたキーフレームが連続した場合、徐々に提示時間を短くしていく。すなわち、同一の方法で撮影されたキーフレーム群のうち、はじめに提示されるキーフレームの提示時間を初期値Ｔｓとし、Ｔｓを基準として後続のキーフレームの提示時間を決定する。また、同一の方法で撮影されたキーフレーム群のうち、視認性の高いキーフレームの提示時間をＴｐとし、Ｔｐを基準に後続のキーフレームの提示時間を決定してもよい。また、同一の方法で撮影されたキーフレーム群のうち、キーフレームの提示時間がＴｑ以下になった次のキーフレームの提示時間を初期値Ｔｓとし、Ｔｓを基準に後続のキーフレームの提示時間を決定してもよい。また、同一の方法で撮影されたキーフレーム群のうち、最後に提示される画像の提示時間をＴｓに設定してもよい。Ｔｓ，Ｔｐの値は、あらかじめ映像コンテンツ全体の提示時間を設定しておき、提示する画像数に応じて算出してもよい。連続するキーフレーム対が異なる方法で撮影された場合には、前のキーフレームの提示時間と独立に後続の提示時間を決定する。例えば、初期値Ｔｓに設定してもよいし、規定範囲内のランダムな値に設定してもよい。
【００６７】
（２−２）エフェクト・ＢＧＭ・ジングルに関するルール
連続するキーフレーム対の撮影方法の同一性をもとに、キーフレーム対の間に挿入するエフェクト・ＢＧＭ・ジングルを決定する。例えば、連続するキーフレーム対が同じ方法で撮影された場合には、キーフレームの切り替え時に視覚的な変化の少ないエフェクトとしてあらかじめ登録された特殊効果（ディゾルブやフェード等）を挿入する。異なる方法で撮影された場合には、キーフレームの切り替え時に視覚的な変化の大きいエフェクトとしてあらかじめ登録された特殊効果（ページめくり、ワイプ等のＤＶＥ）を挿入する。また例えば、連続するキーフレーム対が同じ方法で撮影された場合には、キーフレーム対の提示中同じＢＧＭを流し、異なる方法で撮影された場合には、キーフレームの切り替え時にＢＧＭを止めるもしくは異なるＢＧＭに切り替える。また、異なる方法で撮影されたキーフレーム間に、ジングルを挿入してもよい。これにより、連続するキーフレーム対が同じ方法で撮影された場合、画像や音響的な変化がなく滑らかに接続される。そのため、視聴者は、キーフレームが互いに変化がなくほぼ同じ内容であることを容易に理解できる。また、異なる方法で撮影された場合には、画像や音響的な変化が大きく変化するため、視聴者は内容に変化があることに気づき映像コンテンツの内容理解に集中することができる。
【００６８】
（関連性３．  対象の大小関係）
関連性判定部２２１は、キーフレーム同士の大小関係を、キーフレームを抽出したソース動画でのズーム撮影の有無および対象領域の面積によって決定してもよい。このように決定された関連性を関連性３と称する。
【００６９】
「対象の大小関係にある」とは、映像コンテンツ内で連続するキーフレーム対に含まれる対象が同一であり、かつ対象領域の面積に規定値以上の差があることである。例えば、対象の周囲を含んだ画像と、対象のみを撮影した画像を組み合わせて映像コンテンツを生成することで、対象を紹介するケースがある。
【００７０】
対象の大小関係は、同一と判定された対象領域に共通する部分領域の面積、または共通する部分領域に含まれる特徴点間の距離によって判定できる。例えば、特徴点間の距離が大であるほど対象が大きく撮影されていると判定できる。映像コンテンツ内で連続するキーフレーム対の間で同一と判定された対象領域の間で判定してもよい。この場合、関連性３についての関連性フラグには、あるキーフレーム中の対象領域の面積よりもその次のキーフレーム中の対象領域の面積の方が大きい場合には１を、小さい場合には−１を、大小関係が存在しない場合には０を設定する。あるいは、映像コンテンツに含まれる全キーフレームから検出された対象領域のうち同一と判定された対象領域に共通する部分領域の面積もしくは特徴点間距離を比較して決定してもよい。例えば、同一と判定された対象領域に共通する部分領域の最大面積Ｓｍａｘと最小面積Ｓｍｉｎをもとに、（Ｓｍａｘ＋２Ｓｍｉｎ）／３よりも小さい同一の対象領域を小、（Ｓｍａｘ＋２Ｓｍｉｎ）／３  よりも大きく（２Ｓｍａｘ＋Ｓｍｉｎ）／３より小さい同一の対象領域を中、（２Ｓｍａｘ＋Ｓｍｉｎ）／３よりも大きい同一の対象領域を大とする。関連性フラグには、連続するキーフレーム中の対象領域が、小と中もしくは中と大の関係であれば１を、小と大の関係であれば２を、大と中もしくは中と小の関係であれば−１を、大と小の関係であれば−２を、大小関係が存在しない場合に０を設定する。
【００７１】
〔対象の大小関係に応じたルール〕
（３−１）提示時間に関するルール
連続するキーフレーム対に含まれる対象の大小関係をもとに、キーフレーム対の提示時間を決定する。例えば、対象の大小関係にあるキーフレーム群のうち、はじめに提示されるキーフレームの提示時間を初期値Ｔｓとし、Ｔｓを基準として後続のキーフレームの提示時間を決定する。また、対象の大小関係にあるキーフレーム群のうち、視認性の高いキーフレームの提示時間をＴｐとし、Ｔｐを基準に後続のキーフレームの提示時間を決定してもよい。また、大小関係にあるキーフレーム群のうち、キーフレームの提示時間がＴｑ以下になった次のキーフレームの提示時間を初期値Ｔｓとし、Ｔｓを基準に後続のキーフレームの提示時間を決定してもよい。また、大小関係にあるキーフレーム群のうち最後に提示されるキーフレームの提示時間をＴｓに設定してもよい。Ｔｓ，Ｔｐの値は、あらかじめ映像コンテンツ全体の提示時間を設定しておき、提示する画像数に応じて算出してもよい。また、連続するキーフレーム対に含まれる対象に大小関係がない場合には、前のキーフレームの提示時間と独立に後続の提示時間を決定する。例えば、初期値Ｔｓに設定してもよいし、規定範囲内のランダムな値に設定してもよい。
【００７２】
図７を用いて様々な大きさの対象Ｂを撮影したキーフレームを再生させる場合について説明する。連続するキーフレーム間の大小関係は、映像コンテンツに含まれる全キーフレームから検出された対象領域のうち同一と判定された対象領域の間の面積を比較して決定したとする。また、あるキーフレームの提示時間に対し、関連性フラグ分パラメータａを乗算させることで、次のキーフレームの提示時間を算出するとする。このとき、始めのキーフレーム７０１の提示時間を初期値Ｔｓ、キーフレーム７０１、７０２は小と中の関係、キーフレーム７０２、７０３は中と大の関係、キーフレーム７０３、７０４は大と小の関係とする。このとき、キーフレーム７０１、７０２の関連性フラグが１のため、キーフレーム７０２の提示時間はａＴｓとなる（ａの乗算）。さらにキーフレーム７０３の関連性フラグが１のため、キーフレーム７０３の提示時間はａ×ａ×Ｔｓとなる（ａの乗算）。キーフレーム７０３、７０４の関連性フラグは−２のため、７０４の提示時間はＴｓとなる（ａ×ａの除算）。パラメータａを０から１の間に設定すると、対象Ｂが小さく撮影されたキーフレーム（ロングショット）が長く、対象Ｂがより大きく撮影されたキーフレーム（ミドルショット、タイトショット）は短く提示される。
【００７３】
これにより、利用者は、対象Ｂ以外の情景が映りこんだ情報量の多いキーフレームについて内容を理解し、以降の内容が前のキーフレームの一部分であることを直感的に理解することができる。また、同じ対象を含む画像であっても、連続する画像の提示時間が変化する映像を生成することができるため、視聴者を飽きさせないテンポ感ある映像コンテンツが生成できるという効果がある。
【００７４】
（３−２）エフェクト・ＢＧＭ・ジングルに関するルール
連続するキーフレーム対に含まれる対象の大小関係をもとに、キーフレーム対の間に挿入するエフェクト・ＢＧＭ・ジングルを決定する。例えば、連続するキーフレーム対に含まれる対象が大小関係にある場合には、キーフレームの切り替え時に視覚的な変化の少ないエフェクトとしてあらかじめ登録された特殊効果（ディゾルブやフェード等）を挿入する。大小関係にない場合には、キーフレームの切り替え時に視覚的な変化の大きいエフェクトとしてあらかじめ登録された特殊効果（ページめくり、ワイプ等のＤＶＥ）を挿入する。また例えば、連続するキーフレーム対に含まれる対象が大小関係にある場合には、キーフレーム対の提示中同じＢＧＭを流し、同一でない場合には、キーフレームの切り替え時にＢＧＭを止めるもしくは異なるＢＧＭに切り替える。
【００７５】
また、大小関係が存在しない画像間に、ジングルを挿入してもよい。これにより、大小関係の対象を撮影したキーフレーム群は、画像や音響的な変化がなく滑らかに接続される。そのため、視聴者は、キーフレームが互いに変化がなくほぼ同じ内容であることを容易に理解できる。また、大小関係に無い場合には、画像や音響的な変化が大きく変化するために、視聴者は内容に変化があったことに気づき映像コンテンツの内容理解に集中することができる。
【００７６】
（関連性４．  対象の部分関係）
関連性判定部２２１は、関連性を、２つのキーフレームに表わされた対象の部分関係によって決定してもよい。つまり、キーフレーム対に含まれる２つのキーフレームに表わされた対象が全体と部分との関係にあるかによって決定してもよい。このように決定された関連性を関連性４と称する。
【００７７】
「対象の部分関係にある」とは、対象映像コンテンツ内で連続するキーフレーム対に映っている対象が同一であり、かつ互いに異なる対象の部分を撮影した画像となっている関係を示す。例えば、広い景色や、大きな対象や、長い対象を撮影したい場合に、対象の一部を撮影したキーフレームを組み合わせて映像コンテンツ再生することで全体を表現するケースがこれにあたる。
【００７８】
関連性４についての関連性フラグには、あるキーフレーム中の対象領域とその次のキーフレーム中の対象領域とが対象の部分関係にある場合には１を、対象の部分関係でない場合には０を設定する。対象の部分関係は、映像コンテンツ内で連続するキーフレーム中の同一と判定された対象領域に共通する部分領域（共通領域）をもとに判定できる。例えば、対象領域の一方をテンプレートとし、もう一方の対象領域を走査して差分の少ない位置を検出し重なった領域を共通領域とする。各対象領域の共通領域以外の領域がどちらも規定面積以上の場合に、対象の部分関係と判定する。あるいは、映像コンテンツに含まれる全キーフレームから同一と判定された対象領域の相対的な位置をもとに判定してもよい。
【００７９】
全体から部分への対象の変化が連続した場合には、関連性の変化は無いものとして、同様の提示方法の変更を行なう。
【００８０】
〔対象の部分関係に応じたルール〕
（４−１）提示時間に関するルール
連続するキーフレーム対に含まれる対象の部分関係をもとに、キーフレーム対の提示時間を決定する。例えば、対象の部分関係にあるキーフレーム群のうち、はじめに提示されるキーフレームの提示時間を初期値Ｔｓとし、Ｔｓを基準として後続のキーフレームの提示時間を決定する。また、対象の部分関係にあるキーフレーム群のうち、視認性の高いキーフレームの提示時間をＴｐとし、Ｔｐを基準に後続のキーフレームの提示時間を決定してもよい。また、部分関係にあるキーフレーム群のうち、キーフレームの提示時間がＴｑ以下になった次のキーフレームの提示時間を初期値Ｔｓとし、Ｔｓを基準に後続のキーフレームの提示時間を決定してもよい。また、部分関係にあるキーフレーム群のうち、最後に提示される画像の提示時間をＴｓに設定してもよい。Ｔｓ，Ｔｐの値は、あらかじめ映像コンテンツ全体の提示時間を設定しておき、提示する画像数に応じて算出してもよい。連続するキーフレーム対に含まれる対象に部分関係がない場合には、前のキーフレームの提示時間と独立に後続の提示時間を決定する。例えば、初期値Ｔｓに設定してもよいし、規定範囲内のランダムな値に設定してもよい。
【００８１】
図８を用いて、風景を撮影したキーフレームを再生したキーフレームを再生させる場合について説明する。連続するキーフレーム間の部分関係は、映像コンテンツに含まれる全キーフレームから検出された対象領域のうち同一と判定された対象領域の間で共通する部分領域と、対象領域との位置関係をもとに判定したとする。また、あるキーフレームの提示時間に対して規定パラメータを乗算させることで、次のキーフレームの提示時間を算出するとする。
【００８２】
始めのキーフレーム８０１の提示時間を初期値Ｔｓとする。キーフレーム８０１と８０２、８０２と８０３は部分関係があり、キーフレーム８０３と８０４とは部分関係がない。このとき、始めのキーフレーム８０１の提示時間を初期値Ｔｓとすると、キーフレーム８０１、８０２の関連性フラグが１のため、キーフレーム８０２の提示時間はａ×Ｔｓとなる。さらにキーフレーム８０２、８０３の関連性フラグがまたも１のため、キーフレーム８０３の提示時間はａ2Ｔｓとなる。キーフレーム８０３と８０４の関連性フラグは０のため、キーフレーム８０４の提示時間を初期値にもどしてＴｓとする。
【００８３】
パラメータａは、０から１の間で、かつ、キーフレーム間で一致する部分領域の面積が大であるほど小さい値を設定する。そうすると、風景について初めて提示されるキーフレーム８０１が長く提示され、その他の部分は前に提示された画像との重複する情報量に応じた提示時間で提示される。これにより、利用者は、風景について始めに提示されたキーフレームについて内容を理解し、以降の内容が始めのキーフレームとほぼ同等の内容であることを理解することができる。また、同じ対象を含む画像であっても、連続する画像の提示時間が変化する映像を生成することができるため、視聴者を飽きさせないテンポ感ある映像コンテンツが生成できるという効果がある。
【００８４】
（４−２）  エフェクト・ＢＧＭ・ジングルに関するルール
連続するキーフレーム対に含まれる対象の部分関係をもとに、キーフレーム対の間に挿入するエフェクト・ＢＧＭ・ジングルを決定する。例えば、連続するキーフレーム対に含まれる対象が部分関係にある場合には、キーフレームの切り替え時に視覚的な変化の少ないエフェクトとしてあらかじめ登録された特殊効果（ディゾルブやフェード等）を挿入する。部分関係にない場合には、キーフレームの切り替え時に視覚的な変化の大きいエフェクトとしてあらかじめ登録された特殊効果（ページめくり、ワイプ等のＤＶＥ）を挿入する。また例えば、連続するキーフレーム対が対象の部分関係にある場合には、キーフレーム対の提示中同じＢＧＭを流し、同一でない場合には、キーフレームの切り替え時にＢＧＭを止めるもしくは異なるＢＧＭに切り替える。また、大小関係が存在しない画像間に、ジングルを挿入してもよい。これにより、連続するキーフレーム対が対象の部分関係にある場合、画像や音響的な変化がなく滑らかに接続される。そのため、視聴者は、キーフレームが互いに変化がなくほぼ同じ内容であることを容易に理解できる。また、部分関係にない場合には、画像や音響的な変化が大きく変化するために、視聴者は内容に変化があったことに気づき映像コンテンツの内容理解に集中することができる。
【００８５】
（関連性５．  対象の同種性）
関連性判定部２２１は、関連性を、２つのキーフレームに表わされた対象が同種か否かによって決定してもよい。このように決定された関連性を関連性５と称する。
【００８６】
「対象が同種である」とは、映像コンテンツ内で連続するキーフレーム対に映っている主要な対象が、互いに同じ種別の対象であることとする。関連性５についての関連性フラグには、あるキーフレーム中の対象領域とその次のキーフレーム中の対象領域とが同種の関係にある場合には１を、異種の場合には０を設定する。対象の同種性は、同種性を判別したい各種別に属する対象の画像データ（登録データ）をもとに、機械学習に基づく方法で実現できる。まず登録データから各種別に属する対象の画像特徴量を抽出する。画像特徴量として、色ヒストグラムやエッジヒストグラム等の大域特徴を用いてもよいし、ＨｏＧやＳＩＦＴ等の局所特徴量を用いてもよい。大域特徴を用いてＳＶＭやニューラルネットワークやＧＭＭ等で学習を行う、あるいは、局所特徴量からＢｏＷ（Ｂａｇ  ｏｆ  Ｗｏｒｄｓ）のように特徴量空間の変換を行った上で学習を行ってもよい。映像コンテンツに含まれる各キーフレーム中の対象領域について同種性を判別する際は、各対象領域の画像特徴量と、学習の結果得られた各種別のモデルとの間でそれぞれ類似性を求め、対象領域を規定値以上の類似度を得た最も近いモデルの種別と判定する。同じ種別と判定された対象領域を同種と判定する。同種性は、上記以外の方法で判定しても構わない。
【００８７】
同種の対象を含む画像が３つ連続した場合には、関連性の変化は無いものとして、同様の提示方法の変更を行なう。
【００８８】
〔対象の同種性に応じたルール〕
（５−１）提示時間に関するルール
連続するキーフレーム対に含まれる対象の同種性をもとに、キーフレーム対の提示時間を決定する。例えば、同種の対象を撮影したキーフレームが連続した場合、徐々に提示時間を短くしていく。すなわち、同種の対象を含むキーフレーム群のうち、はじめに提示されるキーフレームの提示時間を初期値Ｔｓとし、Ｔｓを基準として後続のキーフレームの提示時間を決定する。また、同種の対象を含むキーフレーム群のうち、視認性の高いキーフレームの提示時間をＴｐとし、Ｔｐを基準に後続のキーフレームの提示時間を決定してもよい。また、同種の対象を含むキーフレーム群のうち、キーフレームの提示時間がＴｑ以下になった次のキーフレームの提示時間を初期値Ｔｓとし、Ｔｓを基準に後続のキーフレームの提示時間を決定してもよい。また、同種の対象を含むキーフレーム群のうち、最後に提示される画像の提示時間をＴｓに設定してもよい。Ｔｓ，Ｔｐの値は、あらかじめ映像コンテンツ全体の提示時間を設定しておき、提示する画像数に応じて算出してもよい。連続するキーフレーム対に含まれる対象が同種でない場合には、前のキーフレームの提示時間と独立に後続の提示時間を決定する。例えば、初期値Ｔｓに設定してもよいし、規定範囲内のランダムな値に設定してもよい。
【００８９】
図９を用いて、花を撮影したキーフレームを再生したキーフレームを再生させる場合について説明する。連続するキーフレーム間の同種性は、機械学習に基づく方法で判定したとする。また、あるキーフレームの提示時間に対して、関連性フラグ分のパラメータを乗算させることで、次のキーフレームの提示時間を算出する。始めのキーフレーム９０１の提示時間を初期値Ｔｓとする。キーフレーム９０１、９０２、キーフレーム９０２、９０３は同種、キーフレーム９０３、９０４は異種の関係である。このとき、始めのキーフレーム９０１、９０２の関連性フラグが１のため、キーフレーム９０２の提示時間はａ×Ｔｓとなる。さらにキーフレーム９０２、９０３の関連性フラグが１のため、キーフレーム９０３の提示時間はａ2Ｔｓとなる。キーフレーム９０３、９０４の関連性フラグは０のため、キーフレーム９０４の提示時間を初期値にもどしてＴｓとする。パラメータａを０から１の間に設定すると、植物を含むキーフレームのうち初めてに提示されたキーフレーム９０１が長く提示され、後続のキーフレームは９０１から離れるほど短い提示時間で提示される。これにより、利用者は、始めに提示されたキーフレームから画像内容が植物であることを理解し、以降のキーフレームの内容がほぼ同等であることを理解することができる。
【００９０】
また、同じ対象を含む画像であっても、連続する画像の提示時間が変化する映像を生成することができるため、視聴者を飽きさせないテンポ感ある映像コンテンツが生成できるという効果がある。花畑で撮影した複数の花の画像を、同種の被写体を順に再生することでこの種の被写体が沢山存在したことを表現できる。
【００９１】
（５−２）エフェクト・ＢＧＭ・ジングルに関するルール
連続するキーフレーム対に含まれる対象の同種性をもとに、キーフレーム対の間に挿入するエフェクト・ＢＧＭ・ジングルを決定する。例えば、連続するキーフレーム対に含まれる対象が同種の場合には、キーフレームの切り替え時に視覚的な変化の少ないエフェクトとしてあらかじめ登録された特殊効果（ディゾルブやフェード等）を挿入する。異種の場合には、キーフレームの切り替え時に視覚的な変化の大きいエフェクトとしてあらかじめ登録された特殊効果（ページめくり、ワイプ等のＤＶＥ）を挿入する。また例えば、連続するキーフレーム対が同種の場合には、キーフレーム対の提示中同じＢＧＭを流し、異種の場合には、キーフレームの切り替え時にＢＧＭを止めるもしくは異なるＢＧＭに切り替える。また、異種のキーフレーム間に、ジングルを挿入してもよい。これにより、連続するキーフレーム対に含まれる対象が同種の場合、画像や音響的な変化がなく滑らかに接続される。そのため、視聴者は、キーフレームが互いに変化がなくほぼ同じ内容であることを容易に理解できる。また、異種の場合には、画像や音響的な変化が大きく変化するために、視聴者は内容に変化があったことに気づき映像コンテンツの内容理解に集中することができる。
【００９２】
（関連性６．  撮影場所の同一性）
関連性判定部２２１は、関連性を、２つのキーフレームの撮影場所の共通性によって決定してもよい。このように決定された関連性を関連性６と称する。
【００９３】
「撮影場所が同一である」とは、映像コンテンツ内で連続するキーフレーム対を撮影した場所が同一であることとする。関連性６についての関連性フラグには、あるキーフレームとその次のキーフレームとが同じ撮影場所である場合には１を、異なる撮影場所である場合には０を設定する。撮影場所の同一性は、キーフレーム中の対象領域以外の領域（背景領域）の類似度をもとに判定できる。例えば、キーフレームから対象領域と背景領域を分離し、背景領域から抽出した画像特徴量が類似する場合に、同一の撮影場所と判定してもよい。撮影場所の同一性は、上記以外の方法で判定しても構わない。撮影場所の同一性は、映像コンテンツ内で連続するキーフレームの間で背景の類似性を判定してもよい。あるいは、映像コンテンツに含まれる全キーフレーム中の背景領域の同一性をもとに判定してもよい。画像情報に加えて、メタ情報である撮影場所やセンサ情報であるＧＰＳを組み合わせて判定してもよい。
【００９４】
同じ撮影場所で撮影された画像が３つ連続した場合には、関連性の変化は無いものとして、同様の提示方法の変更を行なう。
【００９５】
〔撮影場所の同一性に応じたルール〕
（６−１）提示時間に関するルール
連続するキーフレーム対の撮影場所の同一性をもとに、キーフレーム対の提示時間を決定する。例えば、同一の撮影場所で撮影されたキーフレームが連続した場合、徐々に提示時間を短くしていく。例えば、同一の場所で撮影されたキーフレーム群のうち、はじめに提示されるキーフレームの提示時間を初期値Ｔｓとし、Ｔｓを基準として後続のキーフレームの提示時間を決定する。また、同一の場所で撮影されたキーフレーム群のうち、視認性の高いキーフレームの提示時間をＴｐとし、Ｔｐを基準に後続のキーフレームの提示時間を決定してもよい。また、同一の場所で撮影されたキーフレーム群のうち、キーフレームの提示時間がＴｑ以下になった次のキーフレームの提示時間を初期値Ｔｓとし、Ｔｓを基準に後続のキーフレームの提示時間を決定してもよい。また、同一の場所で撮影されたキーフレーム群のうち、最後に提示される画像の提示時間をＴｓに設定してもよい。Ｔｓ，Ｔｐの値は、あらかじめ映像コンテンツ全体の提示時間を設定しておき、提示する画像数に応じて算出してもよい。連続するキーフレーム対が異なる場所で撮影された場合には、前のキーフレームの提示時間と独立に後続の提示時間を決定する。例えば、初期値Ｔｓに設定してもよいし、規定範囲内のランダムな値に設定してもよい。
【００９６】
（６−２）エフェクト・ＢＧＭ・ジングルに関するルール
連続するキーフレーム対の撮影場所の同一性をもとに、キーフレーム対の間に挿入するエフェクト・ＢＧＭ・ジングルを決定する。例えば、連続するキーフレーム対が同じ場所で撮影された場合には、キーフレームの切り替え時に視覚的な変化の少ないエフェクトとしてあらかじめ登録された特殊効果（ディゾルブやフェード等）を挿入する。異なる場所で撮影された場合には、キーフレームの切り替え時に視覚的な変化の大きいエフェクトとしてあらかじめ登録された特殊効果（ページめくり、ワイプ等のＤＶＥ）を挿入する。また例えば、連続するキーフレーム対が同じ場所で撮影された場合には、キーフレーム対の提示中同じＢＧＭを流し、異なる場所で撮影された場合には、キーフレームの切り替え時にＢＧＭを止めるもしくは異なるＢＧＭに切り替える。また、異なる場所で撮影されたキーフレーム間に、ジングルを挿入してもよい。これにより、連続するキーフレーム対が同じ場所で撮影された場合、画像や音響的な変化がなく滑らかに接続される。そのため、視聴者は、キーフレームが互いに変化がなくほぼ同じ内容であることを容易に理解できる。また、異なる場所で撮影された場合には、画像や音響的な変化が大きく変化するため、視聴者は内容に変化があることに気づき映像コンテンツの内容理解に集中することができる。
【００９７】
（関連性７．  撮影時間帯の同一性）
関連性判定部２２１は、関連性を、キーフレーム対に含まれる２つのキーフレームの撮影時間帯の共通性によって決定してもよい。このように決定された関連性を関連性７と称する。
【００９８】
「撮影時間帯が同一である」とは、映像コンテンツ内で連続するキーフレーム対を撮影した時間帯が同一であることとする。関連性７についての関連性フラグには、あるキーフレームとその次のキーフレーム中とが同じ撮影時間帯である場合には１を、異なる撮影場所である場合には０を設定する。撮影時間帯の同一性は、キーフレーム中の背景領域の色情報をもとに判定できる。例えば、１日を複数の時間帯に分割し、各時間帯における太陽光の色ヒストグラムの統計量を保持し、キーフレームの背景領域中にいずれかの時間帯の統計量と近い部分領域が含まれるときに、その時間帯に撮影されたキーフレームと判定する。各キーフレームの撮影時間帯を推定し、推定時間が同じ場合に撮影時間帯が同一と判定する。撮影時間帯の同一性は、上記以外の方法で判定しても構わない。撮影時間帯の同一性は、映像コンテンツ内で連続するキーフレームの間で撮影時間帯の類似性を判定してもよい。あるいは、映像コンテンツに含まれる全キーフレーム中の撮影時間帯の同一性をもとに判定してもよい。画像情報に加えて、メタ情報である撮影時刻と組み合わせて判定してもよい。
【００９９】
同じ撮影時間帯に撮影された画像が３つ連続した場合には、関連性の変化は無いものとして、同様の提示方法の変更を行なう。例えば、同じ時間間隔で徐々に提示時間を短くしていく。
【０１００】
〔撮影時間帯の同一性に応じたルール〕
（７−１）提示時間に関するルール
連続するキーフレーム対の撮影時間帯の同一性をもとに、キーフレーム対の提示時間を決定する。例えば、一定範囲の撮影時間に撮影されたキーフレームが連続した場合、徐々に提示時間を短くしていく。すなわち、同一の時間帯に撮影されたキーフレーム群のうち、はじめに提示されるキーフレームの提示時間を初期値Ｔｓとし、Ｔｓを基準として後続のキーフレームの提示時間を決定する。また、同一の時間帯に撮影されたキーフレーム群のうち、視認性の高いキーフレームの提示時間をＴｐとし、Ｔｐを基準に後続のキーフレームの提示時間を決定してもよい。また、同一の時間帯に撮影されたキーフレーム群のうち、キーフレームの提示時間がＴｑ以下になった次のキーフレームの提示時間を初期値Ｔｓとし、Ｔｓを基準に後続のキーフレームの提示時間を決定してもよい。また、同一の時間帯に撮影されたキーフレーム群のうち、最後に提示される画像の提示時間をＴｓに設定してもよい。Ｔｓ，Ｔｐの値は、あらかじめ映像コンテンツ全体の提示時間を設定しておき、提示する画像数に応じて算出してもよい。連続するキーフレーム対が異なる時間帯に撮影された場合には、前のキーフレームの提示時間と独立に後続の提示時間を決定する。例えば、初期値Ｔｓに設定してもよいし、規定範囲内のランダムな値に設定してもよい。なお、ソース動画が長時間にわたるノーカット動画である場合、キーフレームを抽出した箇所の動画の撮影時間帯が大きく違っていても関連性のあるキーフレームとして判定することができる。
【０１０１】
（７−２）エフェクト・ＢＧＭ・ジングルに関するルール
連続するキーフレーム対の撮影時間帯の同一性をもとに、キーフレーム対の間に挿入するエフェクト・ＢＧＭ・ジングルを決定する。例えば、連続するキーフレーム対が同一の時間帯に撮影された場合には、キーフレームの切り替え時に視覚的な変化の少ないエフェクトとしてあらかじめ登録された特殊効果（ディゾルブやフェード等）を挿入する。異なる時間帯に撮影された場合には、キーフレームの切り替え時に視覚的な変化の大きいエフェクトとしてあらかじめ登録された特殊効果（ページめくり、ワイプ等のＤＶＥ）を挿入する。また例えば、連続するキーフレーム対が同一の時間帯に撮影された場合には、キーフレーム対の提示中同じＢＧＭを流し、異なる時間帯に撮影された場合には、キーフレームの切り替え時にＢＧＭを止めるもしくは異なるＢＧＭに切り替える。また、異なる時間帯のキーフレーム間に、ジングルを挿入してもよい。これにより、連続するキーフレーム対が同一の時間帯に撮影された場合、画像や音響的な変化がなく滑らかに接続される。そのため、視聴者は、キーフレームが互いに変化がなくほぼ同じ内容であることを容易に理解できる。また、異なる時間帯に撮影された場合には、画像や音響的な変化が大きく変化するために、視聴者は内容に変化があったことに気づき映像コンテンツの内容理解に集中することができる。提示ルールは、上記のいずれか１つのルールを適用してもよいし、複数のルールを組み合わせて用いてもよい。映像コンテンツ生成部２０３は、提示方法決定部２０２から入力された提示方法情報と、映像入力部２０４から入力された画像情報をもとに、映像コンテンツを生成する。
【０１０２】
［他の実施形態］
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【０１０３】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
【図１】
2014170980.tif 000005
【図２】
2014170980.tif 000006
【図３】
2014170980.tif 000007
【図４】
2014170980.tif 000008
【図５】
2014170980.tif 000009
【図６】
2014170980.tif 000010
【図７】
2014170980.tif 000011
【図８】
2014170980.tif 000012
【図９】
2014170980.tif 000013