(57)【要約】【課題】元映像から、意味的な不連続性を緩和して要約映像を生成する要約映像生成装置を提供する。【解決手段】要約映像生成装置１は、元映像からショットを検出するとともに、シーンに分類する映像解析手段１０と、各ショットの重要度スコアを算出する重要度算出手段３０と、映像解析手段１０で検出されたショットごとの整合性の評価値として、シーンの距離に対応する整合性スコアを整合性スコア記憶手段４０から取得する整合性評価手段５０と、元映像から重要度の高いショットを予め設定された数だけ選択するとともに、重要度の高いショットに対して、整合性の度合いが大きいショットを要約時間の予め設定された時間長となるまで選択して結合するショット選択・結合手段６０と、を備える。【選択図】図１
2019003585.tif 000002
【特許請求の範囲】
【請求項１】
元映像から当該元映像よりも映像時間が短い時間長となる要約映像を生成する要約映像生成装置であって、
前記元映像の変化点となるショットを検出するとともに、特徴量が類似する前記ショットの系列をシーンとして分類する映像解析手段と、
前記ショットの特徴量に基づいて、当該ショットが前記元映像内において特徴的であることを示す指標である重要度スコアを算出する重要度算出手段と、
シーンの時間方向の距離に対応したショット間の整合性の度合いを示す整合性スコアを予め記憶した整合性スコア記憶手段と、
前記整合性スコア記憶手段から、前記映像解析手段が検出した前記ショットごとの前記整合性スコアを取得し、前記ショットの組合せに対して前記整合性スコアを対応付ける整合性評価手段と、
前記元映像から、前記重要度スコアにより重要度の高いショットを予め設定された数だけ選択するとともに、前記重要度の高いショットに対して、前記整合性スコアにより整合性の度合いが大きいショットを、予め設定された前記要約映像の時間長となるまで選択して結合するショット選択・結合手段と、
を備えることを特徴とする要約映像生成装置。
【請求項２】
元映像内のショットおよびシーンと、当該元映像から生成した要約映像の元映像内におけるショットの位置とが既知の学習データから、
前記学習データの要約映像における隣接するショットが元映像の中に共起する確率を前記整合性スコアとして、前記元映像内のシーンの距離ごとに学習する整合性スコア学習手段を、さらに備えることを特徴とする請求項１に記載の要約映像生成装置。
【請求項３】
前記ショット選択・結合手段は、
前記重要度スコアの高いショットを予め設定された数だけ前記要約映像の候補ショットとして選択する候補ショット選択手段と、
前記重要度スコアの高い順にそれぞれの前記候補ショットに対して、すべてのショットから前記整合性スコアが最も高いショットを、前記要約映像の時間長を超過しない範囲で補間ショットとして探索する補間ショット探索手段と、
前記候補ショットに前記補間ショットを追加して前記候補ショットを更新する候補ショット更新手段と、
前記候補ショットを、前記元映像の時間順に前記元映像から切り出して結合するショット結合手段と、
を備えることを特徴とする請求項１または請求項２に記載の要約映像生成装置。
【請求項４】
前記候補ショット更新手段は、更新後の候補ショットの総時間長が、予め設定された前記要約映像の時間長に満たない場合、前記補間ショット探索手段に、前記更新後の候補ショットに対して新たな補間ショットを探索させることを特徴とする請求項３に記載の要約映像生成装置。
【請求項５】
コンピュータを、請求項１から請求項４のいずれか一項に記載の要約映像生成装置として機能させるための要約映像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像から要約映像を生成する要約映像生成装置およびそのプログラムに関する。
【背景技術】
【０００２】
近年、放送番組等の映像から内容を要約した要約映像を生成する映像要約の技術が進化し、自動的に要約映像を生成する手法が開示されている（特許文献１参照）。
特許文献１に開示されている手法（以下、従来手法という）は、与えられた映像（元映像）を分割し、分割映像（ショット）の特徴量を求める。さらに、従来手法は、ショットの特徴量が元映像内において特徴的であることを判別するためのスコアを算出する。
そして、従来手法は、算出したスコアの高い順に所望の要約映像の時間長となるまでショットを選択し、選択したショットを元映像の時間の順番に結合することで、要約映像を生成する。
【０００３】
この従来手法は、動きベクトル等の映像の特徴から生成した特徴量をクラスタリングしたスコア、または、当該スコアと元映像の音声を認識して得られる文字データ中の単語に関する特徴量から算出したスコアとを合算して得られるスコアに基づいて、要約映像を構成する各分割映像を決定する。
これによって、従来手法は、元映像から人手を介さずに自動的に要約映像を生成することを可能にしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１０２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記した従来手法は、スコアの高いショットをそれぞれ独立に抽出して結合することで、要約映像を生成している。すなわち、従来手法は、各ショットの元映像における文脈、ショット間の前後関係、あるいは、元映像のコンテンツ全体における意味的な役割をまったく考慮していない。
そのため、従来手法によって生成された要約映像は、映像開始時点での導入部の映像の欠落に起因する唐突さ、ある特定の事象を説明する一連のショットが分断されることによる不自然さ等を、当該要約映像を視聴する視聴者に感じさせてしまう場合がある。
このように、従来手法によって生成された要約映像を新たな一つのコンテンツとして利用する場合、必ずしも内容的に整合していないショットが機械的に結合されることによる要約映像には、質的な問題が生じる可能性が高い。
【０００６】
本発明は、このような問題に鑑みてなされたものであり、元映像における各ショット間の意味的な不連続性を緩和して要約映像を生成することが可能な要約映像生成装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明に係る要約映像生成装置は、元映像から当該元映像よりも映像時間が短い時間長となる要約映像を生成する要約映像生成装置であって、映像解析手段と、重要度算出手段と、整合性スコア記憶手段と、整合性評価手段と、ショット選択・結合手段と、を備える。
【０００８】
かかる構成において、要約映像生成装置は、映像解析手段によって、動きベクトル、色分布等により、元映像の変化点となるショットを検出するとともに、特徴量が類似するショットの系列をシーンとして分類する。これによって、映像解析手段は、元映像を、ショットとショットが属するシーンとに分類する。
そして、要約映像生成装置は、重要度算出手段によって、ショットの特徴量に基づいて、当該ショットが元映像内において特徴的であることを示す指標である重要度スコアを算出する。例えば、重要度算出手段は、元映像内において、他のショットに対して色分布が異なる等、特徴的であるショットに対してより高いスコアを与える。
【０００９】
また、要約映像生成装置は、整合性スコア記憶手段に、シーンの時間方向の距離に対応したショット間の整合性の度合いを示す整合性スコアを予め記憶しておく。この整合性スコアは、予め学習データから、要約映像において隣接するショットが元映像においてどれだけ離れたシーンで出現するのかを示す出現確率を、ショットが属するシーンの距離（シーン差分）ごとに学習したものである。ここで、学習データは、ショットとシーンが既知の元映像と、元映像から選択したショットが既知の要約映像である。
そして、要約映像生成装置は、整合性評価手段によって、整合性スコア記憶手段から、映像解析手段が検出したショットごとのシーンの距離に対応する整合性スコアを取得し、ショットの組合せに対して整合性スコアを対応付ける。
【００１０】
そして、要約映像生成装置は、ショット選択・結合手段によって、元映像から、重要度スコアにより重要度の高いショットを予め設定された数だけ選択するとともに、重要度の高いショットに対して、整合性スコアにより整合性の度合いが大きいショットを、予め設定された要約映像の時間長となるまで選択して結合する。
これによって、ショット選択・結合手段は、重要度の高いショットだけでは、そのショット間の変化が大きい場合でも、重要度の高いショットに整合性の度合いが大きいショットを付加することで、意味的な不連続性を緩和することができる。
【００１１】
なお、要約映像生成装置は、コンピュータを、要約映像生成装置の各手段として機能させるための要約映像生成プログラムで動作させることができる。
【発明の効果】
【００１２】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、元映像で特徴的な重要度の高いショットのみを抽出するのではなく、重要度の高いショットに対して、さらに、整合性の度合いが大きいショットを付加して要約映像を生成することができる。
これによって、本発明は、元映像における各ショット間の意味的な不連続性を緩和することができ、映像の意味的な流れがより自然な要約映像を生成することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係る要約映像生成装置の構成を示すブロック構成図である。
【図２】映像解析手段が生成する分割映像リストの例を示す図である。
【図３】重要度算出手段が生成する重要度スコアリストの例を示す図である。
【図４】整合性スコア記憶手段に記憶する整合性スコアであるシーン差分（シーンの距離）ごとの出現確率の例を示す図である。
【図５】整合性評価手段が生成する整合性スコアリストの例を示す図である。
【図６】ショット選択・結合手段の候補ショット選択手段が生成する候補ショットリストの例を示す図である。
【図７】ショット選択・結合手段の補間ショット探索手段が生成する補間ショットリストの例を示す図である。
【図８】ショット選択・結合手段の候補ショット更新手段で更新された候補ショットリストの例を示す図である。
【図９】本発明の第１実施形態に係る要約映像生成装置の動作を示すフローチャート（１／２）である。
【図１０】本発明の第１実施形態に係る要約映像生成装置の動作を示すフローチャート（２／２）である。
【図１１】本発明の第２実施形態に係る要約映像生成装置の構成を示すブロック構成図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を参照して説明する。
≪第１実施形態≫
〔要約映像生成装置の構成〕
まず、図１を参照して、本発明の第１実施形態に係る要約映像生成装置１の構成について説明する。
【００１５】
要約映像生成装置１は、ＭＥＰＧ２ストリーム等の元映像（映像コンテンツ）から、当該元映像よりも映像時間が短い時間長となる要約映像（映像コンテンツ）を生成するものである。
図１に示すように、要約映像生成装置１は、映像解析手段１０と、パラメータ設定手段２０と、重要度算出手段３０と、整合性スコア記憶手段４０と、整合性評価手段５０と、ショット選択・結合手段６０と、を備える。
【００１６】
映像解析手段１０は、元映像の変化点となるショットを検出するとともに、特徴量が類似するショットの系列をシーンとして分類するものである。映像解析手段１０は、特徴量抽出手段１１と、ショット検出手段１２と、シーン分類手段１３と、を備える。
【００１７】
特徴量抽出手段１１は、元映像から時間単位（例えば、フレーム単位）で特徴量を抽出するものである。この特徴量抽出手段１１は、例えば、画像特徴として、前フレームとの予め定めた大きさのブロック領域ごとの動きベクトル、色情報（色分布等）、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量等を算出する。また、特徴量抽出手段１１は、フレーム内を人物認証した結果の有無または人物識別子等を算出することとしてもよい。
【００１８】
なお、特徴量抽出手段１１が抽出する特徴量は、画像特徴に限定するものではなく、時間単位の特徴を示すものであれば何でもよい。例えば、元映像に音声が付随しているのであれば、その音響特徴（例えば、音声認識で一般的に用いられている対数メルフィルタバンク出力、メル周波数ケプストラム係数等）を抽出し、前記の特徴量と併用してもよい。
【００１９】
ショット検出手段１２は、元映像が変化する映像区間をショット（分割映像）として検出するものである。ここでは、ショット検出手段１２は、特徴量抽出手段１１で抽出された動きベクトルによって、時間方向の変化点を映像区間の区切りとして検出する。
ショット検出手段１２は、元映像の先頭から、検出したショットの順に、インデックスと、ショットの開始点および終了点を示す時間情報（例えば、時、分、秒、フレーム番号）と、特徴量と、を対応付けてシーン分類手段１３に出力する。
【００２０】
なお、ショット検出手段１２におけるショットの検出手法は、一般的な手法を用いればよく、例えば、以下の参考文献１に記載されているように、局所的画像特徴と大域的画像特徴とを併用して、ショットを検出することとしてもよい。
（参考文献１）Evlampios Apostolidis, Vasileios. Mezaris, "Fast Shot Segmentation Combining Global and Local Visual Descriptors", Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2014年.
【００２１】
シーン分類手段１３は、ショット検出手段１２で検出されたショットを、特徴量が類似する連続するショットの部分系列ごとにシーンとして分類するものである。このシーン分類手段１３は、ショットごとに、特徴量の代表値（平均値、中央値等）を算出し、代表値が予め定めた範囲内で近似する隣接するショットをシーンとして分類する。
シーン分類手段１３は、ショット検出手段１２から入力したショット順のインデックス、時間情報および特徴量に、さらに、シーンのインデックスを対応付けた分割映像リストを生成する。
【００２２】
なお、ここでは、特徴量として、１種類の特徴量（例えば、画像特徴のみ、音響特徴のみ）で、シーンを分割する例を示したが、画像特徴と音響特徴とを併用して、シーンを分割することとしてもよい。なお、画像特徴と音響特徴とを併用したシーンの分割手法は、以下の参考文献２に記載されているように公知の技術であるため、説明を省略する。
（参考文献２）Panagoiotis Sidiropoulos, Vasileios. Mezaris, Hugo Meinedo, Miguel Bugalho, Isbel Trancoso, "Temporal Video Segmentation to Scenes Using High-Level Audiovisual Features", IEEE Transactions on Circuits and Systems for Video Technology, vol. 21, no. 8, pp. 1163-1177, 2011年.
【００２３】
ここで、図２を参照して、映像解析手段１０が生成する分割映像リストの例について説明する。図２に示すように、分割映像リストＬ１は、ショットごとに、ショットインデックスＮｓｈｏｔ、シーンインデックスＮｓｃｅｎｅ、ショット開始点Ｔｓｔａｒｔ、ショット終了点Ｔｅｎｄ、および、特徴量Ｆで構成される。
【００２４】
ショットインデックスＮｓｈｏｔは、ショット検出手段１２で検出されたショットに対して、元映像の先頭から順番に付されたインデックスである。
シーンインデックスＮｓｃｅｎｅは、シーン分類手段１３で分類されたシーンに対して、元映像の先頭から順番に付されたインデックスである。
【００２５】
ショット開始点Ｔｓｔａｒｔおよびショット終了点Ｔｅｎｄは、ショット検出手段１２で検出されたショットの開始点（時、分、秒、フレーム番号）および終了点（時、分、秒、フレーム番号）を示す時間情報である。
【００２６】
特徴量Ｆは、特徴量抽出手段１１で抽出された特徴量のうちで、ショット開始点Ｔｓｔａｒｔおよびショット終了点Ｔｅｎｄの映像区間におけるフレームごとの特徴量である。
なお、図２では、１ショット分のデータを、改行“＼”を介して２行で示している。
例えば、分割映像リストＬ１の＃００００２をショットインデックスとするショットは、＊０００１のシーンに属し、開始点“００：００：０４．１８”、終了点“００：００：０６．０９”であり、特徴量が“０．２４１６”等であることを示している。
【００２７】
図１に戻って、要約映像生成装置１の構成について説明を続ける。
映像解析手段１０は、生成した分割映像リストを、パラメータ設定手段２０、重要度算出手段３０、整合性評価手段５０およびショット選択・結合手段６０に出力する。
【００２８】
パラメータ設定手段２０は、外部の入力装置２を介して入力される各種のパラメータを設定するものである。このパラメータ設定手段２０は、表示装置３に、パラメータ設定画面を表示してパラメータの設定を受け付ける。
パラメータ設定手段２０は、元映像から、分割映像リストで示されるショットのサムネイル画像を生成し、表示装置３に表示する。また、ユーザからの指示により、パラメータ設定手段２０は、元映像を再生することとしてもよい。
ユーザは、サムネイル画像や再生画像を参照して、各種パラメータを設定する。なお、パラメータ設定手段２０は、予めパラメータの初期値を記憶しておき、表示装置３に表示することとしてもよい。
【００２９】
また、パラメータ設定手段２０は、初期値またはユーザが設定したパラメータで、要約映像を生成した際に、後記するショット選択・結合手段６０で生成される候補ショットの元映像におけるサムネイル画像を生成し、表示装置３に表示することとしてもよい。これによって、ユーザは要約映像の内容を大まかに確認することができる。
【００３０】
ここで、パラメータ設定手段２０が設定するパラメータは、要約映像の長さ、候補ショット数である。
「要約映像の長さ」は、要約映像生成装置１が生成する要約映像の長さであって、例えば、“０５：００（５分）”のような時間長とする。
【００３１】
「候補ショット数」は、要約映像として選択するショット数の初期値である。この候補ショット数は、後記するショット選択・結合手段６０において、重要度スコアによって選択されるショット数を示す。なお、この候補ショット数は、ユーザがサムネイル画像を参照して概ねの値を設定することとしてもよいし、要約映像の長さに応じて予め固定の数を用いることとしてもよい。
【００３２】
図１に戻って、要約映像生成装置１の構成について説明を続ける。
パラメータ設定手段２０は、設定したパラメータを、ショット選択・結合手段６０に出力する。
【００３３】
重要度算出手段３０は、ショットの特徴量に基づいて、当該ショットが元映像内において特徴的であることを示す指標である重要度スコアを算出するものである。
ここでは、重要度算出手段３０は、映像解析手段１０で生成された分割映像リストから、ショットの元映像内における重要度の度合いを示すスコア（重要度スコア）を算出する。この重要度算出手段３０における重要度スコアの算出は、特開２０１２−１０２６５等に記載されているような一般的な手法を用いればよい。
具体的には、重要度算出手段３０は、ショット内から任意に抽出したキーフレームのブロック領域を視覚単語（ｖｉｓｕａｌ  ｗｏｒｄ）とし、すべてのショットの視覚単語から、ＴＦ−ＩＤＦ（term frequency-inverse document frequency）法によって求めたＴＦ−ＩＤＦ値を重要度スコアとする。
【００３４】
この重要度算出手段３０は、算出した重要度スコアをショットに対応付けて重要度スコアリスを生成する。具体的には、重要度算出手段３０は、映像解析手段１０が生成する分割映像リストのショットごとの特徴量を、重要度スコアに置き換えて重要度スコアリストを生成する。
【００３５】
ここで、図３を参照して、重要度算出手段３０が生成する重要度スコアリストの例について説明する。図３に示すように、重要度スコアリストＬ２は、ショットごとに、ショットインデックスＮｓｈｏｔ、シーンインデックスＮｓｃｅｎｅ、ショット開始点Ｔｓｔａｒｔ、ショット終了点Ｔｅｎｄ、および、重要度スコアＰで構成される。
なお、ショットインデックスＮｓｈｏｔ、シーンインデックスＮｓｃｅｎｅ、ショット開始点Ｔｓｔａｒｔおよびショット終了点Ｔｅｎｄは、図２で説明した分割映像リストＬ１と同じものである。よって、シーンインデックスＮｓｃｅｎｅ、ショット開始点Ｔｓｔａｒｔおよびショット終了点Ｔｅｎｄについては、分割映像リストＬ１を参照することとして、重要度スコアリストＬ２から省略しても構わない。
【００３６】
図１に戻って、要約映像生成装置１の構成について説明を続ける。
重要度算出手段３０は、生成した重要度スコアリストをショット選択・結合手段６０に出力する。
【００３７】
整合性スコア記憶手段４０は、シーンの時間方向の距離に応じて予め整合性の度合いを示す整合性スコアを記憶するものである。この整合性スコア記憶手段４０は、半導体メモリ等の一般的な記憶装置で構成することができる。
通常、映像のシーンはシーン間の距離が離れるほど、意味内容の連続性の度合いが小さく（弱く）なる。そこで、ここでは、元映像におけるショット間の整合性の指標として、それぞれのショットが属するシーンの差に応じて予め整合性スコアを記憶しておく。
具体的には、整合性スコアは、ショット同士が共起する確率であって、要約映像の隣接するショットが元映像においてどれだけ離れたシーンで出現するのかを示す出現確率を、ショットが属するシーンの距離（シーン差分）ごとに学習したものである。なお、この出現確率の算出については、第２実施形態で説明する。
【００３８】
図４に整合性スコアであるシーン差分の出現確率の例を示す。図４の例は、１つのショットを基準に、時間方向で順方向に離れているシーンの距離を正、逆方向に離れているシーンの距離を負とし、シーン差分の出現確率を示している。
例えば、要約映像の隣接ショットに対応する元映像におけるシーン差分が“２”である出現確率は“０．２１７５”である。なお、シーン差分が“０”とは、隣接ショットが元映像において同一シーンに含まれていることを意味する。この出現確率が高いほど、あるショットに対して要約映像として同時に選択される度合いが大きい（強い）ことになる。
なお、この整合性スコアは、簡易的に、シーンの距離が近いほど大きく、遠いほど小さくした値で予め設定してもよい。
【００３９】
整合性評価手段５０は、分割映像リストと、整合性スコア記憶手段４０に記憶されている整合性スコアとに基づいて、ショットの組合せに対して、当該組合せが要約映像の隣接ショットである整合性を評価するものである。ここで、評価するとは、ショットの組合せに対して、整合性の度合いを示す整合性スコアを対応付けることである。
【００４０】
具体的には、整合性評価手段５０は、映像解析手段１０で生成された分割映像リストに含まれるショットの組合せごとに、ショットが属するシーンの差分を求める。そして、整合性評価手段５０は、ショットの組合せごとに、整合性スコア記憶手段４０に記憶されているシーン差分に対応する整合性スコア（出現確率）を対応付けて整合性スコアリストを生成する。この整合性スコアリストは、ショットの組合せが要約映像の隣接ショットである整合性の度合いを評価した結果となる。
【００４１】
ここで、図５を参照して、整合性評価手段５０が生成する整合性スコアリストの例について説明する。図５に示すように、整合性スコアリストＬ３は、ショットの組合せごとに、対応するショットインデックスＮｓｈｏｔ１，Ｎｓｈｏｔ２と、整合性スコアＣとで構成される。
ショットインデックスＮｓｈｏｔ１，Ｎｓｈｏｔ２は、元映像のショットの組合せを、図２で説明した分割映像リストＬ１に記載されているショットインデックスＮｓｈｏｔの対として記載したものである。
整合性スコアＣは、ショットインデックスＮｓｈｏｔ１，Ｎｓｈｏｔ２のそれぞれのショットが属するシーンの距離（シーン差分）に対応する整合性スコア記憶手段４０に記憶されている整合性スコア（出現確率）である。
【００４２】
例えば、整合性スコアリストＬ３の３行目は、ショットインデックスが＃００００１，＃００００４である２つのショットの整合性スコアが“０．３５６１”であることを示している。＃００００１，＃００００４の各ショットインデックスは、図２に示した分割映像リストＬ１において、それぞれ、＊０００１，＊０００２の各シーンに属しているため、シーン差分は“１”である。このシーン差分“１”に対する整合性スコアは、図４に示した整合性スコア記憶手段４０の内容により“０．３５６１”となる。
【００４３】
図１に戻って、要約映像生成装置１の構成について説明を続ける。
整合性評価手段５０は、生成した整合性スコアリストをショット選択・結合手段６０に出力する。
【００４４】
ショット選択・結合手段６０は、重要度算出手段３０で算出された重要度スコアの高いショットに対して、整合性評価手段５０で整合性スコアが高いショットを補間して要約映像を生成するものである。ショット選択・結合手段６０は、候補ショット選択手段６１と、補間ショット探索手段６２と、候補ショット更新手段６３と、候補ショット結合手段６４と、を備える。
【００４５】
候補ショット選択手段６１は、重要度スコアの高いショットから順に、予め設定された数のショットを、要約映像の候補ショットとして選択するものである。
候補ショット選択手段６１は、重要度算出手段３０で生成された重要度スコアリストのショットごとの重要度スコアに基づいて、分割映像リストから、パラメータ設定手段２０で設定されたパラメータである候補ショット数だけショット（候補ショット）を選択する。
【００４６】
なお、重要度スコアに基づく候補ショットの選択は、特に限定するものではない。例えば、候補ショット選択手段６１は、重要度スコアリストＬ２（図３参照）のショットごとの重要度スコアを正規化した数値（合計が“１”となるようにスケーリングした数値）を、当該ショットが選択される確率値とする確率分布を求め、その確率分布に従ったサンプルを非復元抽出により抽出して候補ショットとする。
また、例えば、候補ショット選択手段６１は、単純に、重要度スコアリストＬ２（図３参照）のショットごとの重要度スコアが高いショットから順に候補ショットを選択することとしてもよい。
【００４７】
候補ショット選択手段６１は、選択した候補ショットを重要度スコアの高い順にリスト化する。例えば、候補ショット選択手段６１は、図２に示した分割映像リストＬ１から、選択した候補ショットに対応する部分（ショットインデックスＮｓｈｏｔ、シーンインデックスＮｓｃｅｎｅ、ショット開始点Ｔｓｔａｒｔ、ショット終了点Ｔｅｎｄ、重要度スコアＰ）を抽出して、図６に示す候補ショットリストＬ４を生成する。
候補ショット選択手段６１は、生成した候補ショットリストを補間ショット探索手段６２および候補ショット更新手段６３に出力する。
【００４８】
補間ショット探索手段６２は、候補ショット選択手段６１で選択された候補ショットに対して整合性スコアの高いショットを、当該候補ショットを補間するショット（補間ショット）として探索するものである。
補間ショット探索手段６２は、整合性評価手段５０で生成された整合性スコアリストを参照し、候補ショットリストの重要度スコアの高い順に、各候補ショットに対して整合性スコアが最も高いショットを補間ショットとして選択しリスト化する。例えば、補間ショット探索手段６２は、図７に示すように、候補ショットと当該候補ショットに対して整合性スコアが高い補間ショットのショットインデックスＮｓｈｏｔおよび時間情報（ショット開始点Ｔｓｔａｒｔ、ショット終了点Ｔｅｎｄ）を配列して補間ショットリストＬ５を生成する。
【００４９】
ここで、補間ショット探索手段６２は、候補ショットおよび補間ショットの総時間長が、パラメータ設定手段２０で設定された要約映像の長さを超える場合、補間ショットの探索を終了する。なお、補間ショット探索手段６２は、探索した補間ショットと同じショットが候補ショットリストに含まれている場合、ショットの重複を避けるため、補間ショットリストへの登録を行わないこととする。
また、補間ショット探索手段６２は、ある候補ショットに対応する補間ショットを探索する際に、当該候補ショットに対して元映像の時間上で前後する他の候補ショットの時刻情報で示される時間を超えて補間ショットを探索しないこととする。
補間ショット探索手段６２は、生成した補間ショットリストを候補ショット更新手段６３に出力する。
【００５０】
なお、補間ショット探索手段６２は、候補ショット更新手段６３によって更新された候補ショットに対して、さらに補間ショットを探索する旨の指示があった場合、新たな候補ショットに対して整合性スコアの高いショットを補間ショットとして探索して補間ショットリストを生成し、候補ショット更新手段６３に出力する。
【００５１】
候補ショット更新手段６３は、候補ショット選択手段６１で選択された候補ショットに対して、補間ショット探索手段６２で探索された補間ショットを追加して、候補ショットを更新するものである。
候補ショット更新手段６３は、候補ショット選択手段６１で生成された候補ショットリストに対して、補間ショット探索手段６２で探索された補間ショットを、重要度スコアの大きさの順になるように追加する。
【００５２】
例えば、候補ショット更新手段６３は、図８に示すように、図６に示した候補ショット選択手段６１で生成された候補ショットリストＬ４に、図７に示した補間ショット探索手段６２で生成された補間ショットリストに記載されている補間ショットに対応する情報（ショットインデックス、時間情報、重要度スコア）を追加する。この場合、例えば、図７に示す＃００００４の候補ショットに対応する＃００００５の補間ショットは、重要度スコアが、＃００００６の重要度スコアよりも小さいため、図８に示す候補ショットリストでは、＃００００６の候補ショットよりも後ろに配置されることになる。
【００５３】
なお、候補ショット更新手段６３は、候補ショットリストに登録されているショットの総時間長が、パラメータで指定された要約映像の長さに満たない場合、更新後の候補ショットリストを、補間ショット探索手段６２に出力し、さらなる補間ショットの探索を指示する。このように、候補ショット更新手段６３は、ショットの総時間長が要約映像の長さとなるまで、候補ショットリストを更新する。
候補ショット更新手段６３は、ショットの総時間長が要約映像の長さに達した候補ショットリストを、候補ショット結合手段６４に出力する。
【００５４】
候補ショット結合手段６４は、候補ショット更新手段６３で更新された候補ショットに対応する時間区間の映像（ショット映像）を、元映像の時間の順番に元映像から切り出し、結合するものである。
なお、元映像から、所定の時間区間の映像を切り出す処理、および、切り出したショット映像を結合する処理は、元映像の映像フォーマットに応じた既知の手法で行うことができる。例えば、候補ショット結合手段６４は、以下の参考文献３に示すＦＦｍｐｅｇ等を用いて映像の切り出し、結合を行うことができる。
（参考文献３）Frantisek Korbel,”FFmpeg Basics: Multimedia handling with a fast audio and video encoder,” CeateSpace Independent Publishing Platform, ISBN: 978-1479327836, 2012年.
【００５５】
候補ショット結合手段６４は、結合した映像を元映像に対する要約映像として出力する。なお、候補ショット結合手段６４は、要約映像を表示装置３に出力し、ユーザが要約映像を視認することで、パラメータを更新することとしてもよい。
【００５６】
以上説明したように要約映像生成装置１を構成することで、要約映像生成装置１は、元映像で重要度が高いショットに対して、さらに整合性を考慮して、ショットを追加して要約映像を生成することができる。
これによって、要約映像生成装置１は、元映像における各ショット間の意味的な不連続性を緩和した要約映像を生成することができる。
【００５７】
〔要約映像生成装置の動作〕
次に、図９，図１０を参照（構成については適宜図１参照）して、本発明の第１実施形態に係る要約映像生成装置１の動作について説明する。なお、ここでは、整合性スコア記憶手段４０に、ショットが属するシーンの差に応じた整合性スコア（出現確率）を予め記憶しておくこととする。
【００５８】
図９に示すように、まず、要約映像生成装置１は、映像解析手段１０によって、以下のステップＳ１〜Ｓ４の手順で分割映像リストを生成する。
ステップＳ１において、映像解析手段１０の特徴量抽出手段１１は、元映像からフレーム単位の特徴量を抽出する。
ステップＳ２において、ショット検出手段１２は、ステップＳ１で抽出した特徴量に基づいて、元映像が変化する映像区間をショットとして検出する。
ステップＳ３において、シーン分類手段１３は、ステップＳ２で検出したショットを、特徴量が類似する連続するショットの部分系列ごとにシーンとして分類する。
ステップＳ４において、映像解析手段１０は、ステップＳ２で検出したショット順に、ショットインデックス、シーンインデックス、ショット開始点、ショット終了点および特徴量で構成される分割映像リストＬ１（図２参照）を生成する。
【００５９】
そして、要約映像生成装置１は、パラメータ設定手段２０によって、以下のステップ５〜Ｓ７の手順でパラメータを設定する。
ステップＳ５において、パラメータ設定手段２０は、ステップＳ４で生成された分割映像リストに基づいて、元映像からショットごとのサムネイル画像を生成する。
ステップＳ６において、パラメータ設定手段２０は、パラメータの初期値と、ステップＳ５で生成したサムネイル画像とを、表示装置３に表示する。
ステップＳ７において、パラメータ設定手段２０は、外部の入力装置２を介して、パラメータの変更を受け付ける。
【００６０】
次に、要約映像生成装置１は、重要度算出手段３０によって、以下のステップＳ８〜Ｓ９の手順で重要度スコアリストを生成する。
ステップＳ９において、重要度算出手段３０は、ステップＳ４で生成された分割映像リストのショットごとに、元映像内における重要度の度合いを示す重要度スコアを算出する。
ステップＳ１０において、重要度算出手段３０は、ショットのインデックスに当該ショットの重要度スコアを対応付けて重要度スコアリストＬ２（図３参照）を生成する。
【００６１】
また、要約映像生成装置１は、整合性評価手段５０によって、以下のステップＳ１０〜Ｓ１１の手順で整合性スコアリストを生成する。
ステップＳ１０において、整合性評価手段５０は、整合性スコア記憶手段４０に記憶されているシーン差分に対応する整合性スコアを参照して、ショットの組合せに対して、それぞれのショットが属するシーンの差分を計算し、シーン差分に対応する整合性スコアを、当該ショットの組合せの評価値とする。
ステップ１１において、整合性評価手段５０は、ショットの組合せを示すショットインデックの対と、対応する整合性スコアとで構成される整合性スコアリストＬ３（図５参照）を生成する。
【００６２】
なお、ステップＳ８〜Ｓ９の重要度算出手段３０の手順と、ステップＳ１０〜Ｓ１１の整合性評価手段５０の手順は、先に整合性評価手段５０の手順を行っても構わない。あるいは、重要度算出手段３０の手順と整合性評価手段５０の手順とを並列に行っても構わない。
【００６３】
そして、図１０に示すように、要約映像生成装置１は、ショット選択・結合手段６０によって、以下のステップＳ１２〜Ｓ１９の手順で要約映像を生成する。
ステップＳ１２において、ショット選択・結合手段６０の候補ショット選択手段６１は、ステップＳ１１で生成された整合性スコアリストの重要度スコアの高いショットから順に、パラメータとして設定された数のショットを、要約映像の候補ショットとして選択して、候補ショットリストＬ４（図６参照）を生成する。
【００６４】
ステップＳ１３において、補間ショット探索手段６２は、ステップＳ１１で生成された整合性スコアリストを参照し、ステップＳ１２で生成された候補ショットリストの重要度スコアの高い順に、各候補ショットに対して整合性スコアが最も高いショットを補間ショットとして選択することで補間ショットリストＬ５（図７参照）を生成する。
【００６５】
ステップＳ１４において、候補ショット更新手段６３は、ステップＳ１３で生成された補間ショットリストを、上位（重要度スコアの高い順）から走査する。
ステップＳ１５において、候補ショット更新手段６３は、ステップＳ１４で走査した補間ショットを、候補ショットに追加した場合、候補ショットの総時間が、パラメータで指定された要約映像の長さ（時間長）に達していないか否かを判定する。
補間ショットを追加しても要約映像の時間長に満たない場合（ステップＳ１５でＹｅｓ）、ショット選択・結合手段６０は、ステップＳ１６に動作を進める。一方、補間ショットを追加して要約映像の時間長に達した場合（ステップＳ１５でＮｏ）、ショット選択・結合手段６０は、ステップＳ１８に動作を進める。
【００６６】
ステップＳ１６において、候補ショット更新手段６３は、ステップＳ１４で走査した補間ショットを候補ショットリストに追加して、更新した候補ショットリストＬ６（図８参照）を生成する。
ステップＳ１７において、候補ショット更新手段６３は、補間ショットリストの終端まで走査したか否かを判定する。
補間ショットリストの終端まで走査した場合（ステップＳ１７でＹｅｓ）、ショット選択・結合手段６０は、ステップＳ１３に戻って、新たな候補ショットリストに対して、補間ショットリストの生成を行う。一方、補間ショットリストの終端まで走査していない場合（ステップＳ１７でＮｏ）、ショット選択・結合手段６０は、ステップＳ１４に戻って、補間ショットリストの走査を継続し、補間ショットの候補ショットへの追加を行う。
【００６７】
ステップＳ１８において、候補ショット結合手段６４は、要約映像の時間長に達した候補ショットリストに基づいて、候補ショットに対応する時間区間の映像を元映像から切り出す。
ステップＳ１９において、候補ショット結合手段６４は、ステップＳ１８で切り出したショット映像を、元映像の時間順に結合することで、要約映像を生成する。
【００６８】
そして、ステップＳ１９で生成された要約映像を表示装置３に表示して、ユーザがパラメータの変更を行わない場合（ステップＳ２０でＹｅｓ）、要約映像生成装置１は、動作を終了する。一方、ユーザがパラメータの変更を行う場合（ステップＳ２０でＮｏ）、要約映像生成装置１は、ステップＳ７（図９）に戻って、パラメータの変更動作を行う。
以上の動作によって、要約映像生成装置１は、元映像における重要度の高いショットに、当該ショットと連続性の度合いが大きい（強い）ショットを付加して意味的な不連続性を緩和した要約映像を生成することができる。
【００６９】
≪第２実施形態≫
次に、図１１を参照して、本発明の第２実施形態に係る要約映像生成装置１Ｂについて説明する。図１で説明した要約映像生成装置１は、整合性スコア記憶手段４０に予め整合性スコアを記憶しておく構成であった。
【００７０】
要約映像生成装置１Ｂは、学習データによって整合性スコアを学習する構成とした。
要約映像生成装置１Ｂは、映像解析手段１０と、パラメータ設定手段２０と、重要度算出手段３０と、整合性スコア記憶手段４０と、整合性評価手段５０と、ショット選択・結合手段６０と、整合性スコア学習手段７０と、を備える。整合性スコア学習手段７０以外の構成は、図１で説明した要約映像生成装置１と同じ構成であるため、同一の符号を付して説明を省略する。
【００７１】
整合性スコア学習手段７０は、既知の学習データから、元映像のショットにおいて要約映像の隣接ショットが出現する出現確率をショットが属するシーンの距離ごとに整合性スコアとして学習するものである。この学習データは、元映像内のショットインデックスおよびシーンインデックスと、当該元映像から生成した要約映像の元映像内におけるショットインデックスとが既知のデータである。
【００７２】
例えば、元映像内のショットインデックスおよびシーンインデックスには、映像解析手段１０のみを動作させて生成される分割映像リストＬ１（図２参照）のうちのショットインデックスＮｓｈｏｔおよびシーンインデックスＮｓｃｅｎｅを用い、要約映像の元映像内におけるショットインデックスには、元映像から手動で要約映像を生成した際の元映像内におけるショットインデックスを用いればよい。
【００７３】
この整合性スコア学習手段７０は、学習データの要約映像におけるショットに連続するショットが元映像のシーンとしてどれだけ離れたショットとして出現するのかを確率モデルとして学習する。この確率モデルは、以下の式（１）の初項に示すように、要約映像において、ある連続した一組のショットｓｉ，ｓｉ−ｄが、先行するショットｓｉ−ｄが既知の条件の元で、元映像のショットの列ｓｉ−ｄ，…，ｓｉ−１，ｓｉから出現する確率を、ショットｓｉに先行するショット列ｓｉ−ｄ，…，ｓｉ−１が与えられた元での条件付き確率（Ｎグラム確率）として一般的には表現可能である。しかし、本実施例での確率モデルは、以下の式（１）の第３項に示すように、条件付き確率が、要約映像中のショットｓｉと、それに先行するショットｓｉ−ｄとの元映像における距離ｄのみに依存すると仮定したモデルである。ここで、距離ｄは、“０”以上、学習データのシーンインデックスの最大値以下の整数である。
【００７４】
【数１】
2019003585.tif 000003
【００７５】
なお、整合性スコア学習手段７０は、学習データとして、あるショットに対して、距離ｄだけ離れたシーンのショットが存在しない場合、その距離ｄに対しては、一般的なスムージング手法によって確率を与える。スムージング手法として、例えば、ノイズ成分が重畳した観測値に対して正規分布等のような一様なカーネル関数をフィッティングさせることによって真の確率値の分布を推定するカーネル密度推定法が適用可能である。
これによって、整合性スコア学習手段７０は、整合性スコアとして、シーンの差分（距離ｄ）ごとの出現確率（図４参照）を学習によって求めることができる。
整合性スコア学習手段７０は、学習した整合性スコアを、シーン差分に対応付けて整合性スコア記憶手段４０に書き込み記憶する。
【００７６】
以上説明したように要約映像生成装置１Ｂを構成することで、要約映像生成装置１Ｂは、過去の学習データからの学習によって、整合性スコアの精度を高めることができ、整合性の度合いを高めた要約映像を生成することができる。
なお、要約映像生成装置１Ｂの動作は、整合性スコア学習手段７０における整合性スコアの学習の後は、図９，図１０で説明した要約映像生成装置１の動作と同じであるため、説明を省略する。
【００７７】
以上、本発明の実施形態に係る要約映像生成装置１，１Ｂについて説明したが、要約映像生成装置１，１Ｂは、コンピュータを、前記した各手段として機能させるための要約映像生成プログラムで動作させることができる。
【符号の説明】
【００７８】
１，１Ｂ  要約映像生成装置
１０    映像解析手段
１１    特徴量抽出手段
１２    ショット検出手段
１３    シーン分類手段
２０    パラメータ設定手段
３０    重要度算出手段
４０    整合性スコア記憶手段
５０    整合性評価手段
６０    ショット選択・結合手段
６１    候補ショット選択手段
６２    補間ショット探索手段
６３    候補ショット更新手段
６４    候補ショット結合手段
７０    整合性スコア学習手段
【図１】
2019003585.tif 000004
【図２】
2019003585.tif 000005
【図３】
2019003585.tif 000006
【図４】
2019003585.tif 000007
【図５】
2019003585.tif 000008
【図６】
2019003585.tif 000009
【図７】
2019003585.tif 000010
【図８】
2019003585.tif 000011
【図９】
2019003585.tif 000012
【図１０】
2019003585.tif 000013
【図１１】
2019003585.tif 000014