(57)【要約】【課題】映像内容に対するユーザの把握の度合いを高めることができるダイジェスト映像を生成する。【解決手段】指定された映像を複数のシーンに分割するシーン分割部と、複数のシーンごとに興味度を算出するユーザ興味度算出部と、複数のシーンにおける２つのシーンの組み合わせごとにシーン間の類似度を算出するシーン間類似度算出部と、複数のシーンごとにシーンに対するスコアを算出するシーンスコア算出部と、複数のシーンそれぞれに対して算出されたスコアに基づいて複数のシーンからシーンを選択し、選択したシーンを含む映像のダイジェスト映像を生成するダイジェスト映像生成部と、を備える。【選択図】図１
2015099958.tif 000002
【特許請求の範囲】
【請求項１】
指定された映像を複数のシーンに分割するシーン分割部と、
前記複数のシーンごとに興味度を算出するユーザ興味度算出部と、
前記複数のシーンにおける２つのシーンの組み合わせごとにシーン間の類似度を算出するシーン間類似度算出部と、
前記ユーザ興味度算出部が算出した各シーンのスコアと前記シーン間類似度算出部が算出した各シーン間の類似度とに基づいて各シーンに対するスコアを算出するシーンスコア算出部と、
前記複数のシーンそれぞれに対して算出されたスコアに基づいて前記複数のシーンからシーンを選択し、選択したシーンを含む前記映像のダイジェスト映像を生成するダイジェスト映像生成部と、
を備えることを特徴とするダイジェスト映像生成装置。
【請求項２】
請求項１に記載のダイジェスト映像生成装置において、
前記シーンスコア算出部は、
前記複数のシーンそれぞれをノードとし、シーン間の類似度をノード間のエッジとするグラフを生成し、ノードの興味度を初期状態における各ノードに対する存在確率としノード間のエッジに割り当てられた類似度を遷移確率としてノード間をランダムに移動した後の各ノードの存在確率をスコアとして算出する
ことを特徴とするダイジェスト映像生成装置。
【請求項３】
請求項１又は請求項２のいずれかに記載のダイジェスト映像生成装置において、
前記シーン間類似度算出部は、
前記映像における前記複数のシーンそれぞれの開始時刻、シーンに関連するキーワード、シーンの映像特徴のうち少なくとも１つを用いてシーン間の類似度を算出する
ことを特徴とするダイジェスト映像生成装置。
【請求項４】
指定された映像のダイジェスト映像を生成するダイジェスト映像生成装置が行うダイジェスト映像生成方法であって、
前記映像を複数のシーンに分割するシーン分割ステップと、
前記複数のシーンごとに興味度を算出するユーザ興味度算出ステップと、
前記複数のシーンにおける２つのシーンの組み合わせごとにシーン間の類似度を算出するシーン間類似度算出ステップと、
前記ユーザ興味度算出ステップにおいて算出した各シーンのスコアと前記シーン間類似度算出ステップにおいて算出した各シーン間の類似度とに基づいて各シーンに対するスコアを算出するシーンスコア算出ステップと、
前記複数のシーンそれぞれに対して算出されたスコアに基づいて前記複数のシーンからシーンを選択し、選択したシーンを含む前記映像のダイジェスト映像を生成するダイジェスト映像生成ステップと、
を含むことを特徴とするダイジェスト映像生成方法。
【請求項５】
請求項４に記載のダイジェスト映像生成方法において、
前記シーンスコア算出ステップでは、
前記複数のシーンそれぞれをノードとしシーン間の類似度をノード間のエッジとするグラフを生成し、ノードの興味度を初期状態における各ノードに対する存在確率としノード間のエッジに割り当てられた類似度を遷移確率としてノード間をランダムに移動した後の各ノードの存在確率をスコアとして算出する
ことを特徴とするダイジェスト映像生成方法。
【請求項６】
請求項４又は請求項５のいずれかに記載のダイジェスト映像生成方法において、
前記シーン間類似度算出ステップでは、
前記映像における前記複数のシーンそれぞれの開始時刻、シーンに関連するキーワード、シーンの映像特徴のうち少なくとも１つを用いてシーン間の類似度を算出する
ことを特徴とするダイジェスト映像生成方法。
【請求項７】
請求項１から請求項３のいずれか一項に記載のダイジェスト映像生成装置としてコンピュータを機能させるダイジェスト映像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を編集してダイジェスト映像を生成するダイジェスト映像生成装置、ダイジェスト映像生成方法及びダイジェスト映像生成プログラムに関する。
【背景技術】
【０００２】
映像の内容に興味があるか否かをユーザが判断するために、映像すべてを視聴すると非常に時間がかかる場合があるため、映像すべてを視聴してから判断することが困難なことがある。短時間で映像の内容を把握するために、映像のダイジェスト映像を生成してダイジェスト映像を視聴することが行われている。
【０００３】
ダイジェスト映像を生成する技術としては、例えば特許文献１に記載されている技術がある。この技術では、他のユーザの動作状況を分析し、他のユーザの興味情報に基づいてシーンの注目度を算出し、他のユーザ注目度の高いシーンを映像から選択し、選択したシーンでダイジェスト映像を生成し、提示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２４８９８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、注目度の高いシーンを見るだけでは、内容の前後関係やシーン間の関係を考慮していないダイジェスト映像が生成されることがあり、内容の把握が難しい場合がある。例えば、サッカーの試合映像では、得点が入った瞬間のシーンで注目度が高くなると考えられる。しかし、得点が入った瞬間のシーンだけを見ても、どのようなプレイがあって得点につながったのかといった得点が入ったシーンの前後関係を把握することができず、ユーザが十分に内容を把握できない可能性がある。また、例えば長時間に亘って生放送される映像の場合、時間帯によって視聴者数が異なり、視聴者数が少ない場合には、注目度の高い他のシーンと似ているシーンがあってもダイジェスト映像に加えることができないという問題もある。そのため、前述のように生成されたダイジェスト映像だけでは映像の内容に関して十分な情報を得ることができず、映像の内容を把握するために映像を視聴しなければならないことがあった。
【０００６】
本発明は、前述の問題を解決するためのものであり、映像内容に対するユーザの把握の度合いを高めることができるダイジェスト映像を生成するダイジェスト映像生成装置、ダイジェスト映像生成方法及びダイジェスト映像生成プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、指定された映像を複数のシーンに分割するシーン分割部と、前記複数のシーンごとに興味度を算出するユーザ興味度算出部と、前記複数のシーンにおける２つのシーンの組み合わせごとにシーン間の類似度を算出するシーン間類似度算出部と、前記ユーザ興味度算出部が算出した各シーンのスコアと前記シーン間類似度算出部が算出した各シーン間の類似度とに基づいて各シーンに対するスコアを算出するシーンスコア算出部と、前記複数のシーンそれぞれに対して算出されたスコアに基づいて前記複数のシーンからシーンを選択し、選択したシーンを含む前記映像のダイジェスト映像を生成するダイジェスト映像生成部と、を備えることを特徴とするダイジェスト映像生成装置である。
【０００８】
また、本発明の一態様は、上記に記載のダイジェスト映像生成装置において、前記シーンスコア算出部は、前記複数のシーンそれぞれをノードとし、シーン間の類似度をノード間のエッジとするグラフを生成し、ノードの興味度を初期状態における各ノードに対する存在確率としノード間のエッジに割り当てられた類似度を遷移確率としてノード間をランダムに移動した後の各ノードの存在確率をスコアとして算出することを特徴とする。
【０００９】
また、本発明の一態様は、上記に記載のダイジェスト映像生成装置において、前記シーン間類似度算出部は、前記映像における前記複数のシーンそれぞれの開始時刻、シーンに関連するキーワード、シーンの映像特徴のうち少なくとも１つを用いてシーン間の類似度を算出することを特徴とする。
【００１０】
また、本発明の一態様は、指定された映像のダイジェスト映像を生成するダイジェスト映像生成装置が行うダイジェスト映像生成方法であって、前記映像を複数のシーンに分割するシーン分割ステップと、前記複数のシーンごとに興味度を算出するユーザ興味度算出ステップと、前記複数のシーンにおける２つのシーンの組み合わせごとにシーン間の類似度を算出するシーン間類似度算出ステップと、前記ユーザ興味度算出ステップにおいて算出した各シーンのスコアと前記シーン間類似度算出ステップにおいて算出した各シーン間の類似度とに基づいて各シーンに対するスコアを算出するシーンスコア算出ステップと、前記複数のシーンそれぞれに対して算出されたスコアに基づいて前記複数のシーンからシーンを選択し、選択したシーンを含む前記映像のダイジェスト映像を生成するダイジェスト映像生成ステップと、を含むことを特徴とするダイジェスト映像生成方法である。
【００１１】
また、本発明の一態様は、上記に記載のダイジェスト映像生成方法において、前記シーンスコア算出ステップでは、前記複数のシーンそれぞれをノードとしシーン間の類似度をノード間のエッジとするグラフを生成し、ノードの興味度を初期状態における各ノードに対する存在確率としノード間のエッジに割り当てられた類似度を遷移確率としてノード間をランダムに移動した後の各ノードの存在確率をスコアとして算出することを特徴とする。
【００１２】
また、本発明の一態様は、上記に記載のダイジェスト映像生成方法において、前記シーン間類似度算出ステップでは、前記映像における前記複数のシーンそれぞれの開始時刻、シーンに関連するキーワード、シーンの映像特徴のうち少なくとも１つを用いてシーン間の類似度を算出することを特徴とする。
【００１３】
また、本発明の一態様は、上記に記載のダイジェスト映像生成装置としてコンピュータを機能させるためのダイジェスト映像生成プログラムである。
【発明の効果】
【００１４】
本発明によれば、シーンごとに算出した興味度とシーン間の類似度とに基づいてスコアを算出し、算出したスコアに基づいてダイジェスト映像に含めるシーンを選択することにより、映像に含まれる各シーンのうち興味をもたれやすいシーンと当該シーンに関連するシーンとを含めたダイジェスト映像を生成することができ、映像内容に対するユーザの把握の度合いを高めることができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態におけるダイジェスト映像生成装置１の構成例を示すブロック図である。
【図２】本実施形態における映像情報蓄積部１１が記憶している映像情報管理テーブルの一例を示す図である。
【図３】本実施形態における映像情報蓄積部１１が記憶している映像−シーン関係管理テーブルの一例を示す図である。
【図４】本実施形態における映像情報蓄積部１１が記憶しているキーワード情報管理テーブルの一例を示す図である。
【図５】本実施形態における映像情報蓄積部１１が記憶している映像−キーワード関係管理テーブルの一例を示す図である。
【図６】本実施形態における映像情報蓄積部１１が記憶しているシーン興味度管理テーブルの一例を示す図である。
【図７】本実施形態におけるシーンスコア算出部１６がグラフを生成する対象のシーンの一例を示す図である。
【図８】本実施形態におけるシーンスコア算出部１６が生成するグラフの一例を示す図である。
【図９】本実施形態におけるシーンスコア算出部１６が算出したベクトルｖ（各シーンのスコア）の一例を示す図である。
【図１０】本実施形態におけるダイジェスト映像生成装置１が行うダイジェスト映像生成処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明に係る実施形態におけるダイジェスト映像生成装置、ダイジェスト映像生成方法及びダイジェスト映像生成プログラムを説明する。図１は、本実施形態におけるダイジェスト映像生成装置１の構成例を示すブロック図である。図１に示すように、ダイジェスト映像生成装置１は、映像情報蓄積部１１、映像指定部１２、シーン分割部１３、ユーザ興味度算出部１４、シーン間類似度算出部１５、シーンスコア算出部１６、ダイジェスト映像生成部１７、及び、ダイジェスト映像出力部１８を備えている。
【００１７】
映像情報蓄積部１１には、映像及び映像に付随する情報が記憶されている。映像に付随する情報には、例えば映像情報管理テーブル、映像−シーン関係管理テーブル、キーワード情報管理テーブル、映像−キーワード関係管理テーブル、シーン興味度管理テーブルが含まれている。以下に各テーブルの一例を示して説明する。
【００１８】
図２は、本実施形態における映像情報蓄積部１１が記憶している映像情報管理テーブルの一例を示す図である。図２に示すように、映像情報管理テーブルは、映像ＩＤ、映像タイトル、及び、内容の説明の各項目の列を有している。映像情報管理テーブルにおいて各行は、映像ごとに存在する。映像ＩＤは、映像情報蓄積部１１に記憶されている映像を識別するための識別子である。映像タイトルは、記憶されている映像のタイトルである。内容の説明は、記憶されている映像の内容を示すテキスト情報である。映像情報蓄積部１１に記憶されている映像は、映像ＩＤ、映像タイトルや内容の説明に含まれるキーワードを指定することにより読み出し可能になっている。
【００１９】
図３は、本実施形態における映像情報蓄積部１１が記憶している映像−シーン関係管理テーブルの一例を示す図である。図３に示すように映像−シーン関係管理テーブルには、映像ＩＤ、シーンＩＤ、及び、タイムスタンプの各項目の列を有している。映像−シーン関係管理テーブルにおいて各行は、映像情報蓄積部１１が記憶している映像に含まれるシーンごとに存在する。シーンＩＤは、映像ＩＤで識別される映像に含まれる各シーンを識別するための識別子である。タイムスタンプは、映像ＩＤで識別される映像の開始点からシーンが始まるまでの経過時間（開始時刻）である。映像情報蓄積部１１に記憶されている映像に含まれる各シーンは、映像ＩＤとシーンＩＤとを指定することによりで読み出し可能になっている。
【００２０】
図４は、本実施形態における映像情報蓄積部１１が記憶しているキーワード情報管理テーブルの一例を示す図である。図４に示すように、キーワード情報管理テーブルは、キーワードＩＤとキーワード名との項目の列を有している。キーワード情報管理テーブルにおいて各行は、キーワードごとに存在する。キーワードＩＤは、キーワードを識別するための識別子である。キーワード名は、キーワードを示すテキスト情報である。
【００２１】
図５は、本実施形態における映像情報蓄積部１１が記憶している映像−キーワード関係管理テーブルの一例を示す図である。図５に示すように、映像−キーワード関係管理テーブルは、映像ＩＤ、シーンＩＤ、及び、キーワードＩＤの各項目の列を有している。映像−キーワード関係管理テーブルにおいて各行は、映像に含まれるシーンに対応付けられているキーワードごとに存在する。映像ＩＤとシーンＩＤとを指定することにより、映像ＩＤとシーンＩＤとで特定されるシーン（映像の一部）に対応付けられているキーワードのキーワードＩＤを得ることができる。
【００２２】
図６は、本実施形態における映像情報蓄積部１１が記憶しているシーン興味度管理テーブルの一例を示す図である。図６に示すように、シーン興味度管理テーブルは、映像ＩＤ、シーンＩＤ、及び、興味度の各項目の列を有している。興味度は、映像ＩＤとシーンＩＤとで特定されるシーンに対するユーザの興味を数値化した値である。映像ＩＤとシーンＩＤとを指定することにより、映像ＩＤとシーンＩＤとで特定されるシーン（映像の一部）に対応付けられている興味度を得ることができる。
【００２３】
図１に戻り、ダイジェスト映像生成装置１の構成の説明を続ける。
映像指定部１２は、ユーザの操作を受け付けてダイジェスト映像を生成する対象の映像と特定する情報を入力する。映像指定部１２は、入力した情報をシーン分割部１３に出力する。映像指定部１２が入力する情報は、例えば映像の映像タイトルや、映像の内容を示す文言や、映像に関するキーワード、映像に割り当てられている映像ＩＤなどである。
【００２４】
シーン分割部１３は、映像指定部１２から出力される情報と、映像情報蓄積部１１に記憶されている各テーブルとに基づいて、ダイジェスト映像を生成する対象の映像を特定する。シーン分割部１３は、特定した映像を読み出し、読み出した映像を複数のシーンに分割する。シーン分割部１３が映像を複数のシーンに分割する際には、公知の方法、例えば参考文献１に記載されているカット点検出方法を用いる。シーン分割部１３は、分割した複数のシーンそれぞれに対応するシーンＩＤを割り当て、シーンが始まる映像における経過時間をタイムスタンプとする。シーン分割部１３は、映像ＩＤとシーンＩＤとタイムスタンプとを対応付けてシーンごとに記憶させる。
［参考文献１］：特許第２８６９３９８号公報
【００２５】
ユーザ興味度算出部１４は、シーン分割部１３において得られた各シーンに対する興味度を算出し、算出した興味度とシーンＩＤと映像ＩＤとを対応付けてシーン興味度管理テーブルに記憶させる。ユーザ興味度算出部１４が算出する興味度として、例えば映像のシーンごとの視聴率を用いることができる。ユーザの興味度は、任意の方法で算出することができ、例えば視聴者のフィードバックを得ることが可能なシステムで映像が提供されている場合にはコメントの入力数や共感などを示すボタンの押下数を利用してフィードバックの頻度が高いほど興味度が高くなるように算出してもよい。
【００２６】
シーン間類似度算出部１５は、ダイジェスト映像を生成する対象の映像のシーン間の類似度を算出する。シーン間類似度算出部１５は、シーンに付随するキーワードの共起度、シーンのタイムスタンプの近さ、あるいはシーンの映像特徴などに基づいて、類似度を算出する。
【００２７】
シーンに付随するキーワードの共起度を用いて類似度を算出する場合、シーン間類似度算出部１５は、シーンＡとシーンＢとの類似度Ｒ（Ａ，Ｂ）を次式（１）により算出する。
【００２８】
【数１】
2015099958.tif 000003
【００２９】
式（１）において、｜ＫＡ｜はシーンＡに付随するキーワードの数であり、｜ＫＢ｜はシーンＢに付随するキーワードの数であり、｜ＫＡ∩ＫＢ｜はシーンＡとシーンＢとに共通して付随するキーワードの数である。シーンに付随するキーワードとしては、字幕として映像に付与されているテキストから抽出したキーワードや、シーンに対して視聴者が入力したコメントに含まれるキーワードを利用することができる。シーン間類似度算出部１５は、抽出したキーワードと当該キーワードを識別するキーワードＩＤとを対応付けてキーワード情報管理テーブルに記憶させる。また、シーン間類似度算出部１５は、キーワードＩＤと映像ＩＤとシーンＩＤと対応付けて映像−キーワード関係管理テーブルに記憶させる。
【００３０】
また、シーンのタイムスタンプの近さを用いて類似度を算出する場合、シーン類似度算出部１５は、シーンＡとシーンＢとの類似度Ｒ（Ａ，Ｂ）を次式（２）により算出する。なお、ＴＡは映像の開始点からシーンＡが開始するまでの経過時間であり、ＴＢは映像の開始点からシーンＢが開始するまでの経過時間である。
【００３１】
【数２】
2015099958.tif 000004
【００３２】
また、シーンの映像特徴を用いて類似を算出する場合、シーン類似度算出部１５は、シーンにおける映像の色や音、映像における動きの類似度を数値化して類似度Ｒ（Ａ，Ｂ）を算出する。
【００３３】
シーン類似度算出部１５は、シーン間の類似度Ｒ（Ａ，Ｂ）として、前述の指標を含む複数の指標に基づく類似度を組み合わせて算出してもよい。この場合、類似度Ｒ（Ａ，Ｂ）は、次式（３）により算出される。なお、Ｒｉ（Ａ，Ｂ）は任意の指標に基づいて算出したシーンＡとシーンＢとの類似度であり、ｗｉは類似度Ｒｉ（Ａ，Ｂ）に対する重み係数である。
【００３４】
【数３】
2015099958.tif 000005
【００３５】
シーンスコア算出部１６は、シーン間類似度算出部１５が算出したシーン間の類似度を用いて、各シーンのスコアを算出する。シーンスコア算出部１６は、各シーンのスコアの算出を以下のように行う。シーンスコア算出部１６は、シーンをノードとし、シーン間の類似度を該当するシーンのノード間のエッジとする無向グラフ（以下、グラフという。）を生成する。
【００３６】
図７は、本実施形態におけるシーンスコア算出部１６がグラフを生成する対象のシーンの一例を示す図である。図８は、本実施形態におけるシーンスコア算出部１６が生成するグラフの一例を示す図である。ここでは、サッカーの試合映像に対してタイムスタンプに基づく類似度を算出してグラフを作成した例が示されている。図７には、グラフを作成する際のノードとなるシーン１〜シーン５に関する情報（タイムスタンプと興味度）が示されている。図８には、シーンスコア算出部１６が生成したグラフが示されている。
【００３７】
シーンスコア算出部１６は、各シーンに対応する行と列とを有し、行に対応するシーンの興味度、及び、行と列とに対応するシーン間の類似度から算出する値を要素の値とする確率行列Ｐを算出する。確率行列Ｐのｉ行ｊ列の要素ｐｉｊは、例えば次式（４）により算出される。
【００３８】
【数４】
2015099958.tif 000006
【００３９】
式（４）において、αは興味度と類似度とのいずれを重視するかを示す重み係数であり、Ｉ（Ｓｉ）は映像におけるｉ番目のシーンＳｉの興味度であり、Ｒ（Ｓｉ，Ｓｊ）は映像におけるｉ番目のシーンＳｉとｊ番目のシーンＳｊとのシーン間の類似度である。また、シーンスコア算出部１６は、映像における各シーンの興味度の和（ΣｉＩ（Ｓｉ））と、シーン間の類似度の和（ΣｉＲ（Ｓｉ，Ｓｊ））とそれぞれが１になるように正規化する。
【００４０】
シーンスコア算出部１６は、算出した確率行列Ｐに対して次式（５）を満たすベクトルｖを算出する。
【００４１】
【数５】
2015099958.tif 000007
【００４２】
算出されたベクトルｖは、グラフにおいて任意のノードを出発点とし、シーンＳｊにいる場合に確率ｐｉｊ（＝αＩ（Ｓｉ）＋（１−α）Ｒ（Ｓｉ，Ｓｊ））でシーンＳｉへの移動を無限回繰り返したときの、各シーン（グラフにおけるノード）における存在確率である。ベクトルｖは、確率行列Ｐの固有値が最大となるときの固有ベクトルに相当する。ベクトルｖを長さ１に正規化したときの各次元の値を、ベクトルｖの各次元に対応するシーンのスコアとする。
【００４３】
例えば、図７と図８に示した５つのシーン１〜シーン５に対してα＝０．５とした場合の各シーンのスコアを算出すると図９に示す値となる。図９は、本実施形態におけるシーンスコア算出部１６が算出したベクトルｖ（各シーンのスコア）の一例を示す図である。図９において、例えば５行３列の要素の値は、シーン５の興味度にα（＝０．５）を乗じた値と、シーン３とシーン５との類似度に（１−α）を乗じた値との和に基づいた値となっている。なお、確率行列Ｐの要素は各列における要素の和が１になるように正規化してある。ただし、図示している例では小数第２位までを表記しているため、第２列と第４列とにおいて誤差が生じている。
【００４４】
ダイジェスト映像生成部１７は、シーンスコア算出部１６が算出した各シーンのスコアに基づいて、映像からダイジェスト映像を生成する。ダイジェスト映像に加えるシーンは、シーンスコアの高いシーンから順に、シーン数又はシーンの合計時間が予め定められた閾値以内になるように選択する。例えば、ダイジェスト映像生成部１７は、図７〜図９において例示したシーン１〜シーン５から２つのシーンを選択してダイジェスト映像を生成する場合、スコアの最も高いシーン３（得点シーン）と次にスコアの高いシーン２（攻撃シーン）とを選択する。ダイジェスト映像生成部１７は、選択した２つのシーンをタイムスタンプの小さい順に並べてダイジェスト映像として出力する。
【００４５】
ダイジェスト映像出力部１８は、ダイジェスト映像生成部１７が生成したダイジェスト映像を表示することにより、ユーザに提示する。なお、ダイジェスト映像生成装置１とユーザとが位置する場所が離れている場合などにおいては、ダイジェスト映像出力部１８は、ユーザが操作している装置へダイジェスト映像を送信することになる。また、ダイジェスト映像がネットワーク上に設けられたサーバ装置を介して配信される場合には、ダイジェスト映像出力部１８はダイジェスト映像をサーバ装置に送信して記憶させる。
【００４６】
図１０は、本実施形態におけるダイジェスト映像生成装置１が行うダイジェスト映像生成処理を示すフローチャートである。ダイジェスト映像生成処理が開始されると、映像指定部１２は、ユーザの操作を受け付けてダイジェスト映像を提示する対象となる映像を指定する情報を入力する（ステップＳ１１）。
【００４７】
シーン分割部１３は、映像指定部１２が入力した情報と映像情報蓄積部１１に記憶されている各テーブルとに基づいて映像を特定し、特定した映像を複数のシーンに分割する（ステップＳ１２）。
【００４８】
ユーザ興味度算出部１４は、シーン分割部１３により得られた複数のシーンごとに、シーンに対するユーザの興味度を算出する処理を繰り返して行う（ステップＳ１３）。
【００４９】
シーン間類似度算出部１５は、シーン分割部１３により得られた複数のシーンにおける２つのシーンのすべての組み合わせごとに、シーン間の類似度を算出する処理を繰り返して行う（ステップＳ１４）。
【００５０】
シーンスコア算出部１６は、ステップＳ１３において算出された各シーンのユーザの興味度と、ステップＳ１４において算出された２つのシーン間の類似度とに基づいて、各シーンのスコアを算出する（ステップＳ１５）。
【００５１】
ダイジェスト映像生成部１７は、シーンスコア算出部１６により算出された各シーンのスコアに基づいてダイジェスト映像に含めるシーンを選択し、選択したシーンを映像情報蓄積部１１に記憶されている映像から抽出し、抽出したシーンの映像をタイムスタンプ順に連結してダイジェスト映像を生成する（ステップＳ１６）。
【００５２】
ダイジェスト映像出力部１８は、ステップＳ１６において生成されたダイジェスト映像をユーザに提示し（ステップＳ１７）、ダイジェスト映像生成処理を終了させる。
【００５３】
本実施形態のダイジェスト映像生成装置１は、ユーザの指定した映像を分割して得られたシーンごとに、他のユーザ（視聴者）の行動に基づいた興味度を算出して付与する。続いて、時間、キーワード、映像特徴などの情報に基づいてシーン間の類似度を算出する。そして、興味度の高いシーンだけでなく、シーン間の類似度に基づいて興味度の高いシーンに関連するシーン、すなわちユーザの興味度が高い可能性があるシーンを含める選択をし、興味をもたれたシーンと類似するシーンを含めたダイジェスト映像を生成して提示することにより、映像内容に対するユーザの把握の度合いを高めることができる。
【００５４】
また、本実施形態のダイジェスト映像生成装置１は、映像の視聴者の反応として得られたコメントや、映像の特徴の類似性を分析することにより、興味をもたれやすいシーンに類似したシーンをダイジェスト映像に含めることができる。これにより、視聴者が少ないシーンであっても、興味をもたれやすいシーンをダイジェスト映像に含めて生成し提示することができる。
【００５５】
また、本実施形態のダイジェスト映像生成装置１は、各シーンをグラフにおけるノードとし、シーン間の類似度をエッジとしたグラフを生成し、各シーンの興味度の値を初期状態での各ノードの存在確率として、シーン間の類似度を遷移確率としてノード間をランダムに移動した後の各ノードにおける存在確率をシーンのスコアとしている。スコアを算出する際に用いる確率行列Ｐの各要素の値を、興味度の高さ及びシーン間の類似度のいずれを重視するかを表すパラメータαによって調節することができるため、柔軟なダイジェストの生成が可能になる。
【００５６】
本実施形態のダイジェスト映像生成装置１は、上記の特徴を有しているので、例えばサッカーの試合映像に対して、得点が入った瞬間のシーンに加え、得点が入る前の攻撃中のシーンや、ゴールを決めた選手による他のプレイのシーンをダイジェスト映像に含めてユーザに提示することができる。
【００５７】
なお、本実施形態では、ダイジェスト映像装置１が映像情報蓄積部１１を備える構成について説明したが、映像情報蓄積部１１はダイジェスト映像生成装置１がネットワークなどを介してアクセス可能なサーバ装置であってもよい。この場合、ダイジェスト映像装置１が備える各機能部は、ネットワークを介してサーバ装置にアクセスをして上述の処理を行うことになる。
【００５８】
上述した実施形態におけるダイジェスト映像生成装置１をコンピュータで実現するようにしてもよい。その場合、ダイジェスト映像生成装置１が備える各機能部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００５９】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００６０】
映像に含まれる部分映像を組み合わせたダイジェスト映像によって、映像内容に対するユーザの把握の度合いを高めることが不可欠な用途にも適用できる。
【符号の説明】
【００６１】
１…ダイジェスト映像生成装置
１１…映像情報蓄積部
１２…映像指定部
１３…シーン分割部
１４…ユーザ興味度算出部
１５…シーン間類似度算出部
１６…シーンスコア算出部
１７…ダイジェスト映像生成部
１８…ダイジェスト映像出力部
【図１】
2015099958.tif 000008
【図２】
2015099958.tif 000009
【図３】
2015099958.tif 000010
【図４】
2015099958.tif 000011
【図５】
2015099958.tif 000012
【図６】
2015099958.tif 000013
【図７】
2015099958.tif 000014
【図８】
2015099958.tif 000015
【図９】
2015099958.tif 000016
【図１０】
2015099958.tif 000017