(57)【要約】【課題】映像に現れる演出を考慮することで、重要な区間の映像のみで構成される要約映像を生成する。【解決手段】要約映像生成装置１のカット分割部１０は、番組映像をカット映像VC[i]に分割し、シーン生成部１１は、同じ場面のカット映像VC[i]を統合してシーン映像VS[j]を生成する。要素スコア算出部１２は、「テロップ」等の演出毎に、各カット映像VC[i]について、要素スコアS1[i]〜S4[i]を算出する。総合スコア算出部１３は、要素スコアS1[i]〜S4[i]及び重み係数W1〜W4に基づいて、カット映像VC[i]の総合スコアS[i]を算出する。要約映像生成部１４は、総合スコアS[i]及びシーン映像VS[j]を参照し、要約映像全体の長さが所定値を超えるまでカット映像VC[i]を選択し、選択したカット映像VC[i]を時系列にソートして連結することで要約映像を生成する。これにより、「テロップ」等の演出が考慮された要約映像が生成される。【選択図】図１
2018206292.tif 000002
【特許請求の範囲】
【請求項１】
映像から要約映像を生成する要約映像生成装置において、
前記映像をカット単位の複数のカット映像に分割するカット分割部と、
前記カット分割部により分割された前記複数のカット映像のそれぞれについて、所定数の異なる演出毎に、当該演出の重要度を表すスコアを算出するスコア算出部と、
前記カット分割部により分割された前記複数のカット映像のそれぞれについて、前記スコア算出部により算出された前記演出毎のスコアに基づいて、総合スコアを算出する総合スコア算出部と、
前記総合スコア算出部により算出された前記総合スコアに基づいて、前記複数のカット映像から、前記要約映像を構成するカット映像を選択し、前記要約映像を生成する要約映像生成部と、
を備えたことを特徴とする要約映像生成装置。
【請求項２】
請求項１に記載の要約映像生成装置において、
前記総合スコア算出部は、
前記複数のカット映像のそれぞれについて、前記スコア算出部により算出された前記演出毎のスコア、及び予め設定された演出毎の重み係数に基づいて、前記総合スコアを算出する、ことを特徴とする要約映像生成装置。
【請求項３】
請求項１または２に記載の要約映像生成装置において、
さらに、前記カット分割部により分割された前記複数のカット映像から、同じ場面のカット映像をシーン映像として生成するシーン生成部を備え、
前記要約映像生成部は、
前記シーン生成部により生成された前記シーン映像の中から選択する前記カット映像の数が所定値を超えないように、前記要約映像を構成するカット映像を選択する、ことを特徴とする要約映像生成装置。
【請求項４】
請求項１から３までのいずれか一項に記載の要約映像生成装置において、
前記スコア算出部は、
前記演出に関連する対象が前記映像内に現れる面積、前記演出に関連する対象の動きの量、または前記演出に関連する対象が現れる確率に基づいて、前記スコアを算出する、ことを特徴とする要約映像生成装置。
【請求項５】
請求項３に記載の要約映像生成装置において、
前記要約映像生成部は、
前記カット分割部により分割された前記複数のカット映像から、前記総合スコア算出部により算出された前記総合スコアに従って前記演出の重要度の高い順番に、前記シーン生成部により生成された前記シーン映像の中から選択する前記カット映像の数が所定値を超えないように、前記要約映像の全体の長さが所定値を超えるまで、前記要約映像を構成するカット映像を選択する要約映像選択部と、
前記要約映像選択部により選択された前記カット映像を時系列に連結し、前記要約映像を生成する要約映像出力部と、
を備えたことを特徴とする要約映像生成装置。
【請求項６】
コンピュータを、請求項１から５までのいずれか一項に記載の要約映像生成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ及びハードディスクを用いた映像処理分野において、要約映像を生成する装置及びプログラムに関する。
【背景技術】
【０００２】
従来、放送局では、視聴者の番組への関心を高める媒体として、番組ＨＰ等の「ネット用コンテンツ」の必要性が高まっている。ネット用コンテンツにおいては、番組映像中の重要な映像区間のみで構成されたダイジェスト映像（要約映像）を配信することが望ましい。
【０００３】
しかしながら、要約映像を人手により制作することは、労力及び費用の両面でコストが非常に高くなってしまう。このため、要約映像を自動的に生成する技術が望まれている。要約映像を自動的に生成する技術として、例えば特許文献１〜５の手法が提案されている。
【０００４】
特許文献１の手法は、映像のモーダル毎に映像を複数の映像区間に分割し、２つの映像区間の類似度を求め、類似度に基づいて映像区間をクラスタリングする。そして、複数のクラスタのそれぞれから代表的な映像区間を抽出し、代表的な映像区間を結合することで要約映像を生成する。
【０００５】
特許文献２の手法は、映像毎の類似度に基づいて映像間で対応区間を生成し、対応区間から共通映像区間及び個別映像区間を抽出し、共通映像区間から共通要約区間を選択すると共に、個別映像区間から個別要約区間を選択する。そして、共通要約区間及び個別要約区間を統合して要約映像を生成する。
【０００６】
特許文献３の手法は、メタデータ及び特徴量に基づいて、複数の映像区間から１つ以上の映像区間を選択し、所定の評価関数の評価値を最大とする映像区間の集合を求め、映像区間の集合を結合して要約映像を生成する。
【０００７】
特許文献４の手法は、映像に対して画像特徴量及び音声特徴量を求め、画像特徴量及び音声特徴量に基づいて、映像の処理単位の重要度を算出し、重要度に基づいて要約映像を生成する。
【０００８】
特許文献５の手法は、元映像から時間の短い分割映像を生成し、分割映像毎に、ブロック領域を視覚単語とみなし、視覚単語の特徴量に基づいてスコアを算出し、スコアの高い順に分割映像を選択して要約映像を生成する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１４−１７９９０６号公報
【特許文献２】特開２０１３−１２６２３３号公報
【特許文献３】特開２０１２−１９３０５号公報
【特許文献４】特開２０１４−３３４１７号公報
【特許文献５】特開２０１２−１０２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
前述の特許文献１，２の手法は、映像区間同士の類似度または共通区間の有無に基づいて、要約映像を生成するものである。しかし、これらの手法は、類似した映像区間が繰り返し出現することを前提とするものであるため、類似した映像区間が繰り返し出現するとは限らない一般の放送番組映像へ適用することは難しい。
【００１１】
また、前述の特許文献３の手法は、基本的な画像の特徴量、音声の特徴量及び付与されたメタデータに基づいて、要約映像を生成するものである。しかし、映像に対して詳細なメタデータを予め付与しておく必要があり、処理負荷が高い。
【００１２】
また、前述の特許文献４，５の手法は、メタデータを利用することなく、基本的な画像の特徴量及び音声の特徴量に基づいて、要約映像を生成するものである。これらの手法は、メタデータを利用しないから、特許文献３の手法に比べて処理負荷が低い。
【００１３】
これらの特許文献１〜５の手法は、いずれも要約映像を生成するものであるが、映像に現れる演出を考慮していない。このため、要約映像には、演出の観点からみた重要な場面が含まれない場合がある。ここで、演出とは、脚本等に基づいて、所定の意図を達成するように表現し、効果的に見せることをいう。例えば放送番組映像の演出としては、テロップ表示、メインの出演者またはゲストの登場、カメラのズームインまたはパンニング、説明用のＣＧ映像等の要素がある。これらの要素は、映像の中で重要な場面に使用される傾向が高い。
【００１４】
一般に、要約映像は、重要な区間の映像のみで構成されることが望ましい。このため、映像に対して演出による効果の程度を求め、効果の高い区間を重要な区間として特定し、重要な区間の映像を結合して要約映像を生成することが所望されていた。
【００１５】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、映像に現れる演出を考慮することで、重要な区間の映像のみで構成される要約映像を生成可能な要約映像生成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１６】
前記課題を解決するために、請求項１の要約映像生成装置は、映像から要約映像を生成する要約映像生成装置において、前記映像をカット単位の複数のカット映像に分割するカット分割部と、前記カット分割部により分割された前記複数のカット映像のそれぞれについて、所定数の異なる演出毎に、当該演出の重要度を表すスコアを算出するスコア算出部と、前記カット分割部により分割された前記複数のカット映像のそれぞれについて、前記スコア算出部により算出された前記演出毎のスコアに基づいて、総合スコアを算出する総合スコア算出部と、前記総合スコア算出部により算出された前記総合スコアに基づいて、前記複数のカット映像から、前記要約映像を構成するカット映像を選択し、前記要約映像を生成する要約映像生成部と、を備えたことを特徴とする。
【００１７】
また、請求項２の要約映像生成装置は、請求項１に記載の要約映像生成装置において、前記総合スコア算出部が、前記複数のカット映像のそれぞれについて、前記スコア算出部により算出された前記演出毎のスコア、及び予め設定された演出毎の重み係数に基づいて、前記総合スコアを算出する、ことを特徴とする。
【００１８】
また、請求項３の要約映像生成装置は、請求項１または２に記載の要約映像生成装置において、さらに、前記カット分割部により分割された前記複数のカット映像から、同じ場面のカット映像をシーン映像として生成するシーン生成部を備え、前記要約映像生成部が、前記シーン生成部により生成された前記シーン映像の中から選択する前記カット映像の数が所定値を超えないように、前記要約映像を構成するカット映像を選択する、ことを特徴とする。
【００１９】
また、請求項４の要約映像生成装置は、請求項１から３までのいずれか一項に記載の要約映像生成装置において、前記スコア算出部が、前記演出に関連する対象が前記映像内に現れる面積、前記演出に関連する対象の動きの量、または前記演出に関連する対象が現れる確率に基づいて、前記スコアを算出する、ことを特徴とする。
【００２０】
また、請求項５の要約映像生成装置は、請求項３に記載の要約映像生成装置において、前記要約映像生成部が、前記カット分割部により分割された前記複数のカット映像から、前記総合スコア算出部により算出された前記総合スコアに従って前記演出の重要度の高い順番に、前記シーン生成部により生成された前記シーン映像の中から選択する前記カット映像の数が所定値を超えないように、前記要約映像の全体の長さが所定値を超えるまで、前記要約映像を構成するカット映像を選択する要約映像選択部と、前記要約映像選択部により選択された前記カット映像を時系列に連結し、前記要約映像を生成する要約映像出力部と、を備えたことを特徴とする。
【００２１】
さらに、請求項６のプログラムは、コンピュータを、請求項１から５までのいずれか一項に記載の要約映像生成装置として機能させることを特徴とする。
【発明の効果】
【００２２】
以上のように、本発明によれば、映像に現れる演出を考慮することで、重要な区間の映像のみで構成される要約映像を生成することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態による要約映像生成装置の構成例を示すブロック図である。
【図２】カット系列VC[1],...,VC[NC]及びシーン系列VS[1],...,VS[NS]を説明する図である。
【図３】要素スコア算出部の構成例及び入出力データ例を示すブロック図である。
【図４】総合スコア算出部の構成例及び入出力データ例を示すブロック図である。
【図５】要約映像生成部の構成例及び入出力データ例を示すブロック図である。
【図６】要約映像生成部の処理例を示すフローチャートである。
【図７】図６のフローチャートを説明する図である。
【発明を実施するための形態】
【００２４】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、映像に現れる演出（例えばテロップ、出演者、カメラワークの動き量、説明用のＣＧ映像等）による効果の程度を重要度として求め、効果の高い区間を重要な区間として特定し、重要な区間の映像を結合して要約映像を生成することを特徴とする。これにより、重要な区間の映像のみで構成される要約映像が生成される。
【００２５】
〔全体構成〕
まず、本発明の実施形態による要約映像生成装置の全体構成について説明する。図１は、本発明の実施形態による要約映像生成装置の構成例を示すブロック図である。この要約映像生成装置１は、カット分割部１０、シーン生成部１１、要素スコア算出部１２、総合スコア算出部１３及び要約映像生成部１４を備えている。
【００２６】
カット分割部１０は、番組映像を入力し、番組映像をカット単位のカット映像VC[i]（i=1,...,NC）に分割する「カット映像分割処理」を行い、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]を生成する。そして、カット分割部１０は、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]をシーン分割部１１及び要素スコア算出部１２に出力する。
【００２７】
パラメータi=1,...,NCは、カット映像VC[i]の番号（カット番号）を示し、NCは、カット映像VC[i]の数を示す。カット映像VC[i]は、カメラが切り替るまでの間に、切れ目なく連続して撮影された映像である。
【００２８】
尚、「カット映像分割処理」は既知であり、詳細については、例えば特開２００８−３３７４９号公報を参照されたい。
【００２９】
シーン生成部１１は、カット分割部１０から、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]を入力する。そして、シーン生成部１１は、同じ場面のカット映像VC[i]を統合してシーン境界を検出し、シーン単位のシーン映像VS[j]（j=1,...,NS）を生成する「シーン映像生成処理」を行い、シーン映像VS[j]からなるシーン系列VS[1],...,VS[NS]を生成する。シーン生成部１１は、シーン映像VS[j]からなるシーン系列VS[1],...,VS[NS]を要約映像生成部１４に出力する。
【００３０】
パラメータj=1,...,NSは、シーン映像VS[j]の番号（シーン番号）を示し、NSは、シーン映像VS[j]の数を示す。シーン映像VS[j]は、ある場面における一連のカット映像VC[i]を複数まとめた映像である。
【００３１】
尚、「シーン映像生成処理」は既知であり、詳細については、例えば特開２０１４−２２５１１８号公報、特開２０１４−３３３５５号公報を参照されたい。
【００３２】
図２は、カット系列VC[1],...,VC[NC]及びシーン系列VS[1],...,VS[NS]を説明する図である。カット系列VC[1],...,VC[NC]は、番組映像をカット単位に分割することにより生成され、シーン系列VS[1],...,VS[NS]は、カット系列VC[1],...,VC[NC]を同じ場面毎に統合することで生成される。
【００３３】
図２の例では、シーン映像VS[1]は、カット映像VC[1]，VC[2]，VC[3]を統合した映像であり、シーン映像VS[2]は、カット映像VC[4]，VC[5]を統合した映像である。また、シーン映像VS[NS]は、カット映像VC[NC-1]，VC[NC]を統合した映像である。このように、カット映像VC[i]は、シーン映像VS[j]のいずれかに属することとなる。
【００３４】
図１に戻って、要素スコア算出部１２は、カット分割部１０から、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]を入力する。そして、要素スコア算出部１２は、「テロップ」「顔認識」「カメラワーク」及び「ＣＧ映像らしさ」からなる４つの要素の演出毎に、各カット映像VC[i]について、当該カット映像VC[i]に基づいて重要度を表す要素スコアS1[i]〜S4[i]を算出する。
【００３５】
重要度を表す要素スコアには、カット映像VC[i]に現れる演出による効果の程度が反映される。カット映像VC[i]についての「テロップ」「顔認識」「カメラワーク」及び「ＣＧ映像らしさ」の要素スコアをそれぞれ、テロップスコアS1[i]、顔認識スコアS2[i]、カメラワークスコアS3[i]及びＣＧ映像らしさスコアS4[i]とする。
【００３６】
要素スコア算出部１２は、要素スコアS1[i]〜S4[i]（テロップスコアS1[i]、顔認識スコアS2[i]、カメラワークスコアS3[i]及びＣＧ映像らしさスコアS4[i]）からなる要素スコア系列S1[1],...,S1[NC]，S2[1],...,S2[NC]，S3[1],...,S3[NC]，S4[1],...,S4[NC]を生成する。
【００３７】
要素スコア算出部１２は、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]、及び要素スコアS1[i]〜S4[i]（テロップスコアS1[i]、顔認識スコアS2[i]、カメラワークスコアS3[i]及びＣＧ映像らしさスコアS4[i]）からなる要素スコア系列S1[1],...,S1[NC]，S2[1],...,S2[NC]，S3[1],...,S3[NC]，S4[1],...,S4[NC]を、総合スコア算出部１３に出力する。要素スコア算出部１２の詳細については後述する。
【００３８】
総合スコア算出部１３は、要素スコア算出部１２から、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]、及び要素スコアS1[i]〜S4[i]からなる要素スコア系列S1[1],...,S1[NC]，S2[1],...,S2[NC]，S3[1],...,S3[NC]，S4[1],...,S4[NC]を入力する。
【００３９】
総合スコア算出部１３は、各カット映像VC[i]について、予め設定された重み係数W1〜W4を用いて要素スコアS1[i]〜S4[i]を統合し、総合スコアS[i]を算出し、総合スコアS[i]からなる総合スコア系列S[1],...,S[NC]を生成する。そして、総合スコア算出部１３は、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]、及び総合スコアS[i]からなる総合スコア系列S[1],...,S[NC]を要約映像生成部１４に出力する。総合スコア算出部１３の詳細については後述する。
【００４０】
要約映像生成部１４は、総合スコア算出部１３から、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]、及び総合スコアS[i]からなる総合スコア系列S[1],...,S[NC]を入力する。また、要約映像生成部１４は、シーン生成部１１から、シーン映像VS[j]からなるシーン系列VS[1],...,VS[NS]を入力する。
【００４１】
要約映像生成部１４は、総合スコアS[i]及びシーン映像VS[j]を参照し、要約映像全体の長さが所定値を超えるまで、要約映像を構成するカット映像VC[i]を選択する。そして、要約映像生成部１４は、選択したカット映像VC[i]を時系列に（フレーム番号の早い順に）ソートして連結することで要約映像を生成し、要約映像を出力する。要約映像生成部１４の詳細については後述する。
【００４２】
〔要素スコア算出部１２〕
次に、図１に示した要素スコア算出部１２について詳細に説明する。前述のとおり、要素スコア算出部１２は、「テロップ」「顔認識」「カメラワーク」及び「ＣＧ映像らしさ」からなる４つの要素の演出毎に、各カット映像VC[i]について、当該カット映像VC[i]に基づいてテロップスコアS1[i]、顔認識スコアS2[i]、カメラワークスコアS3[i]及びＣＧ映像らしさスコアS4[i]を算出する。
【００４３】
図３は、要素スコア算出部１２の構成例及び入出力データ例を示すブロック図である。この要素スコア算出部１２は、テロップ領域検出部２０、顔認識処理部２１、カメラワーク算出部２２、ＣＧ映像らしさ算出部２３、テロップスコア算出部２４、顔認識スコア算出部２５、カメラワークスコア算出部２６及びＣＧ映像らしさスコア算出部２７を備えている。
【００４４】
要素スコア算出部１２は、カット分割部１０から、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]を入力し、これを総合スコア算出部１３に出力する。
【００４５】
テロップ領域検出部２０は、カット分割部１０から、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]を入力し、カット映像VC[i]からTフレーム毎にフレーム画像P[i,n]をサンプリングし、フレーム画像P[i,n]からなる画像系列P[i,1],...,P[i,NP]を生成する。そして、テロップ領域検出部２０は、フレーム画像P[i,n]からなる画像系列P[i,1],...,P[i,NP]を顔認識処理部２１及びＣＧ映像らしさ算出部２３に出力する。
【００４６】
パラメータn=1,...,NPは、フレーム画像P[i,n]の番号を示し、NPは、サンプリングされたフレーム画像P[i,n]の数を示す。
【００４７】
テロップ領域検出部２０は、各フレーム画像P[i,n]について、テロップが表示されている領域を検出する「テロップ領域検出処理」を行い、テロップ領域の面積を算出し、当該フレーム画像P[i,n]に対するテロップ領域の面積比率rTL[i,n]を算出する。そして、テロップ領域検出部２０は、フレーム画像P[i,n]に対するテロップ領域の面積比率rTL[i,n]からなる面積比率系列rTL[i,1],...,rTL[i,NP]を生成し、これをテロップスコア算出部２４に出力する。このテロップ領域の面積は、当該演出に関連する対象である「テロップ」が映像内に現れる面積である。
【００４８】
尚、「テロップ領域検出処理」は既知であり、詳細については、例えば特開２０１３−３０９６３号公報を参照されたい。
【００４９】
テロップスコア算出部２４は、テロップ領域検出部２０から、フレーム画像P[i,n]に対するテロップ領域の面積比率rTL[i,n]からなる面積比率系列rTL[i,1],...,rTL[i,NP]を入力する。そして、テロップスコア算出部２４は、以下の式により、各カット映像VC[i]について、面積比率rTL[i,n]に基づいて、当該カット映像VC[i]のテロップスコアS1[i]を算出する。
【数１】
2018206292.tif 000003
CTLは正規化定数であり、予め設定される。
【００５０】
テロップスコアS1[i]の範囲は、0≦S1[i]≦1である。テロップスコアS1[i]は、フレーム画像P[i,n]内でテロップ領域の面積が広いほど、大きい値となり、面積が狭いほど、小さい値となる。つまり、テロップスコアS1[i]は、カット映像VC[i]において、テロップが表示される領域が広いフレーム画像P[i,n]が出現するほど、大きい値となる。テロップスコアS1[i]は、カット映像VC[i]において、テロップが表示される領域が最も広いフレーム画像P[i,n]の面積比率rTL[i,n]を、０から１までの間の範囲で正規化した値となる。
【００５１】
テロップスコア算出部２４は、テロップスコアS1[i]からなるテロップスコア系列S1[1],...,S1[NC]を生成し、これを総合スコア算出部１３に出力する。
【００５２】
顔認識処理部２１は、カット分割部１０から、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]を入力すると共に、テロップ領域検出部２０から、フレーム画像P[i,n]からなる画像系列P[i,1],...,P[i,NP]を入力する。
【００５３】
顔認識処理部２１は、各フレーム画像P[i,n]について、対象番組におけるメインの出演者ID[m]（M名のメインの出演者ID[1],...,ID[M]）を対象として、これらの顔を認識する「顔認識処理」を行い、顔領域F[i,n,k]を検出する。当該フレーム画像P[i,n]からK個の顔領域F[i,n,k]が検出されたとする。顔認識処理部２１は、顔領域F[i,n,k]からなるK個の顔領域系列F[i,n,1],...,F[i,n,K]を生成する。
【００５４】
パラメータm=1,...,Mは、メインの出演者ID[m]の番号を示し、Mは、メインの出演者ID[m]の数を示す。また、パラメータk=1,...,Kは、顔領域F[i,n,k]の番号を示し、Kは、フレーム画像P[i,n]から検出された顔領域F[i,n,k]の数を示す。
【００５５】
尚、「顔認識処理」は既知であり、詳細については、例えば特開２０１７−３３３７２号公報を参照されたい。
【００５６】
顔認識処理部２１は、当該フレーム画像P[i,n]に対する顔領域F[i,n,k]の面積比率rFC[i,n,k]を算出し、K個の面積比率rFC[i,n,k]からなる面積比率系列rFC[i,n,1],...,rFC[i,n,K]を生成する。
【００５７】
顔認識処理部２１は、顔領域F[i,n,k]が出演者ID[m]の顔である確率pFC[i,n,k,m]を算出する「顔確率算出処理」を行い、M個の確率pFC[i,n,k,m]からなる確率系列pFC[i,n,k,1],...,pFC[i,n,k,M]を生成する。この確率pFC[i,n,k,m]は、当該演出に関連する対象である出演者ID[m]の「顔」が現れる確率である。
【００５８】
尚、「顔確率算出処理」は既知であり、詳細については、「顔認識処理」と同様に、例えば特開２０１７−３３３７２号公報を参照されたい。
【００５９】
顔認識処理部２１は、フレーム画像P[i,n]に対する顔領域F[i,n,k]の面積比率rFC[i,n,k]からなる面積比率系列rFC[i,n,1],...,rFC[i,n,K]、及び、フレーム画像P[i,n]内の顔領域F[i,n,k]が出演者ID[m]の顔である確率pFC[i,n,k,m]からなる確率系列pFC[i,n,k,1],...,pFC[i,n,k,M]を顔認識スコア算出部２５に出力する。
【００６０】
顔認識スコア算出部２５は、顔認識処理部２１から、フレーム画像P[i,n]に対する顔領域F[i,n,k]の面積比率rFC[i,n,k]からなる面積比率系列rFC[i,n,1],...,rFC[i,n,K]、及び、フレーム画像P[i,n]内の顔領域F[i,n,k]が出演者ID[m]の顔である確率pFC[i,n,k,m]からなる確率系列pFC[i,n,k,1],...,pFC[i,n,k,M]を入力する。
【００６１】
顔認識スコア算出部２５は、以下の式により、フレーム画像P[i,n]内の顔領域F[i,n,k]が出演者ID[m]の顔である確率pFC[i,n,k,m]に基づいて、パラメータwFC[i,n,k]を算出する。
【数２】
2018206292.tif 000004
C’FCは、パラメータwFC[i,n,k]の最小値を定める値であり、予め設定される。
【００６２】
パラメータwFC[i,n,k]は、フレーム画像P[i,n]内の顔領域F[i,n,k]において、最大となる確率pFC[i,n,k,m]が低いほど、大きい値となり、最大となる確率pFC[i,n,k,m]が高いほど、小さい値となる。
【００６３】
顔認識スコア算出部２５は、以下の式により、フレーム画像P[i,n]に対する顔領域F[i,n,k]の面積比率rFC[i,n,k]、及び前記数式（２）にて算出したパラメータwFC[i,n,k]に基づいて、パラメータRFC[i,n]を算出する。
【数３】
2018206292.tif 000005
【００６４】
パラメータRFC[i,n]は、フレーム画像P[i,n]において、顔領域F[i,n,k]のパラメータwFC[i,n,k]に顔領域F[i,n,k]の面積比率rFC[i,n,k]を乗算し、乗算結果を全ての顔領域F[i,n,k]について加算した値である。
【００６５】
パラメータRFC[i,n]は、パラメータwFC[i,n,k]が大きいほど（確率pFC[i,n,k,m]が低いほど）、大きい値となり、パラメータwFC[i,n,k]が小さいほど（確率pFC[i,n,k,m]が高いほど）、小さい値となる。また、パラメータRFC[i,n]は、面積比率rFC[i,n,k]が高いほど、大きい値となり、面積比率rFC[i,n,k]が小さいほど、小さい値となる。
【００６６】
顔認識スコア算出部２５は、以下の式により、各カット映像VC[i]について、前記数式（３）にて算出したパラメータRFC[i,n]に基づいて、当該カット映像VC[i]の顔認識スコアS2[i]を算出する。
【数４】
2018206292.tif 000006
CFCは正規化定数であり、予め設定される。
【００６７】
顔認識スコアS2[i]の範囲は、0≦S2[i]≦1である。顔認識スコアS2[i]は、パラメータRFC[i,n]が大きいほど、大きい値となり、パラメータRFC[i,n]が小さいほど、小さい値となる。つまり、顔認識スコアS2[i]は、確率pFC[i,n,k,m]が低いほど、大きい値となり、確率pFC[i,n,k,m]が高いほど、小さい値となり、面積比率rFC[i,n,k]が高いほど、大きい値となり、面積比率rFC[i,n,k]が低いほど、小さい値となる。
【００６８】
確率pFC[i,n,k,m]は、顔領域F[i,n,k]がメインの出演者ID[m]の顔である確率であるから、確率pFC[i,n,k,m]が低い場合は、メインでない出演者ID[m]の顔（ゲストの顔）である確率が高く、確率pFC[i,n,k,m]が高い場合は、ゲストの顔である確率が低いことを意味する。
【００６９】
したがって、顔認識スコアS2[i]は、カット映像VC[i]に含まれるフレーム画像P[i,n]において、メインの出演者ID[m]の顔が現れる総面積が広いほど、大きい値となり、メインの出演者ID[m]の顔が現れる総面積が狭いほど、小さい値となる。また、顔認識スコアS2[i]は、カット映像VC[i]に含まれるフレーム画像P[i,n]において、ゲストの顔が現れる確率が高いほど、大きい値となり、ゲストの顔が現れる確率が低いほど、小さい値となる。つまり、顔認識スコアS2[i]は、カット映像VC[i]において、メインの出演者ID[m]の顔が現れる総面積が広いフレーム画像P[i,n]が出現するほど、大きい値となり、ゲストの顔が現れる確率が高いフレーム画像P[i,n]が出現するほど、大きい値となる。
【００７０】
顔認識スコア算出部２５は、顔認識スコアS2[i]からなる顔認識スコア系列S2[1],...,S2[NC]を生成し、これを総合スコア算出部１３に出力する。
【００７１】
カメラワーク算出部２２は、カット分割部１０から、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]を入力し、「カメラワーク検出処理」を行う。そして、カメラワーク算出部２２は、各カット映像VC[i]について、ズーム、パン等の所定のカメラワークが生じた映像区間VCW[i,q]を求め、映像区間VCW[i,q]からなる映像区間系列VCW[i,1],...,VCW[i,NCW]を生成する。
【００７２】
パラメータq=1,...,NCWは、映像区間VCW[i,q]の番号を示し、NCWは、カット映像VC[i]から検出された映像区間VCW[i,q]の数を示す。
【００７３】
尚、「カメラワーク検出処理」は既知であり、詳細については、例えば特開平１０−２４３３４０号公報を参照されたい。
【００７４】
カメラワーク算出部２２は、各映像区間VCW[i,q]についてカメラの動き量を算出し、カメラの動き量を画像の対角線の長さで正規化（除算）した動き率rCW[i,q]を算出し、動き率rCW[i,q]からなる動き率系列rCW[i,1],...,rCW[i,NCW]を生成する。そして、カメラワーク算出部２２は、動き率rCW[i,q]からなる動き率系列rCW[i,1],...,rCW[i,NCW]をカメラワークスコア算出部２６に出力する。この動き率rCW[i,q]は、当該演出に関連する対象である「カメラワーク」の動き率である。
【００７５】
カメラワークスコア算出部２６は、カメラワーク算出部２２から、動き率rCW[i,q]からなる動き率系列rCW[i,1],...,rCW[i,NCW]を入力し、以下の式により、各カット映像VC[i]について、動き率rCW[i,q]に基づいて、当該カット映像VC[i]のカメラワークスコアS3[i]を算出する。
【数５】
2018206292.tif 000007
CCWは正規化定数であり、予め設定される。
【００７６】
カメラワークスコアS3[i]の範囲は、0≦S3[i]≦1である。カメラワークスコアS3[i]は、カット映像VC[i]において、カメラの動き量が多いほど、大きい値となり、カメラの動き量が少ないほど、小さい値となる。つまり、カメラワークスコアS3[i]は、カット映像VC[i]において、カメラの動き量が多い映像区間VCW[i,q]が出現するほど、大きい値となる。
【００７７】
カメラワークスコア算出部２６は、カメラワークスコアS3[i]からなるカメラワークスコア系列S3[1],...,S3[NC]を生成し、これを総合スコア算出部１３に出力する。
【００７８】
ＣＧ映像らしさ算出部２３は、カット分割部１０から、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]を入力すると共に、テロップ領域検出部２０から、フレーム画像P[i,n]からなる画像系列P[i,1],...,P[i,NP]を入力する。
【００７９】
ＣＧ映像らしさ算出部２３は、各フレーム画像P[i,n]について、「サポートベクターマシーン（SVM）の認識モデルを用いた識別処理」を行い、ＣＧ映像である確率pCG[i,n]を算出する。そして、ＣＧ映像らしさ算出部２３は、ＣＧ映像である確率pCG[i,n]からなる確率系列pCG[i,1],...,pCG[i,NP]を生成する。ＣＧ映像である確率pCG[i,n]の範囲は、0≦pCG[i,n]≦1である。
【００８０】
サポートベクターマシーンには、ＣＧ映像の画像特徴とＣＧ映像でない画像の画像特徴との間の違いを予め学習させておく。ＣＧ映像は彩度が高く、かつ人工的なテクスチャ特徴を持つ傾向がある。そこで、画像特徴としては、ＨＳＶ色空間のS値（彩度）のヒストグラム、エッジ方向ヒストグラム、または自然物及び人工物の分類性の高いフラクタル特徴等が用いられる。
【００８１】
尚、「サポートベクターマシーン（SVM）の認識モデルを用いた識別処理」は既知であるから、ここでは詳細な説明を省略する。また、フラクタル特徴の詳細については、例えば特開２００１−５６８２０号公報を参照されたい。
【００８２】
ＣＧ映像らしさ算出部２３は、ＣＧ映像である確率pCG[i,n]からなる確率系列pCG[i,1],...,pCG[i,NP]をＣＧ映像らしさスコア算出部２７に出力する。
【００８３】
ＣＧ映像らしさスコア算出部２７は、ＣＧ映像らしさ算出部２３から、ＣＧ映像である確率pCG[i,n]からなる確率系列pCG[i,1],...,pCG[i,NP]を入力する。そして、ＣＧ映像らしさスコア算出部２７は、以下の式により、各カット映像VC[i]について、ＣＧ映像である確率pCG[i,n]に基づいて、ＣＧ映像らしさスコアS4[i]を算出する。
【数６】
2018206292.tif 000008
【００８４】
ＣＧ映像らしさスコアS4[i]の範囲は、0≦S4[i]≦1である。ＣＧ映像らしさスコアS4[i]は、カット映像VC[i]に含まれるフレーム画像P[i,n]について、ＣＧ映像である確率pCG[i,n]の最大値が大きいほど、大きい値となり、ＣＧ映像である確率pCG[i,n]の最大値が小さいほど、小さい値となる。つまり、ＣＧ映像らしさスコアS4[i]は、カット映像VC[i]において、ＣＧ映像である確率pCG[i,n]の高いフレーム画像P[i,n]が出現するほど、大きい値となる。
【００８５】
ＣＧ映像らしさスコア算出部２７は、ＣＧ映像らしさスコアS4[i]からなるＣＧ映像らしさスコア系列S4[1],...,S4[NC]を生成し、これを総合スコア算出部１３に出力する。
【００８６】
〔総合スコア算出部１３〕
次に、図１に示した総合スコア算出部１３について詳細に説明する。前述のとおり、総合スコア算出部１３は、各カット映像VC[i]について、テロップスコアS1[i]、顔認識スコアS2[i]、カメラワークスコアS3[i]及びＣＧ映像らしさスコアS4[i]を統合して総合スコアS[i]を算出する。
【００８７】
図４は、総合スコア算出部１３の構成例及び入出力データ例を示すブロック図である。この総合スコア算出部１３は、重み係数設定部３０及びスコア算出部３１を備えている。
【００８８】
総合スコア算出部１３は、要素スコア算出部１２から、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]を入力し、これを要約映像生成部１４に出力する。
【００８９】
重み係数設定部３０は、テロップスコアS1[i]、顔認識スコアS2[i]、カメラワークスコアS3[i]及びＣＧ映像らしさスコアS4[i]の各要素について、総合スコアS[i]への反映度を定める重み係数Wr（r=1,...,4）を設定する。そして、重み係数設定部３０は、重み係数W1〜W4をスコア算出部３１に出力する。重み係数W1〜W4は、利用者（要約映像の制作者）の操作により自由に定められ、予め設定される
【００９０】
スコア算出部３１は、要素スコア算出部１２のテロップスコア算出部２４から、テロップスコアS1[i]からなるテロップスコア系列S1[1],...,S1[NC]を入力し、顔認識スコア算出部２５から、顔認識スコアS2[i]からなる顔認識スコア系列S2[1],...,S2[NC]を入力する。また、重み係数設定部３０は、カメラワークスコア算出部２６から、カメラワークスコアS3[i]からなるカメラワークスコア系列S3[1],...,S3[NC]を入力し、ＣＧ映像らしさスコア算出部２７から、ＣＧ映像らしさスコアS4[i]からなるＣＧ映像らしさスコア系列S4[1],...,S4[NC]を入力する。また、スコア算出部３１は、重み係数設定部３０から重み係数W1〜W4を入力する。
【００９１】
スコア算出部３１は、以下の式により、テロップスコアS1[i]、顔認識スコアS2[i]、カメラワークスコアS3[i]及びＣＧ映像らしさスコアS4[i]に重み係数Wrをそれぞれ乗算し、乗算結果を加算することで、カット映像VC[i]の総合スコアS[i]を算出する。
【数７】
2018206292.tif 000009
【００９２】
スコア算出部３１は、カット映像VC[i]の総合スコアS[i]からなる総合スコア系列S[1],...,S[NC]を生成し、これを要約映像生成部１４に出力する。
【００９３】
これにより、重み係数Wrに応じて、当該重み係数Wrに対応する要素のスコアが反映された総合スコアS[i]が算出される。重み係数Wrを高く設定した要素については、その要素のスコアが総合スコアS[i]に大きく反映され、重み係数Wrを低く設定した要素については、その要素のスコアが総合スコアS[i]にさほど反映されない。
【００９４】
例えば、顔認識スコアS2[i]の重み係数W2に大きい値を設定し、他の重み係数W1,3,4に小さい値を設定した場合には、顔認識スコアS2[i]が大きく反映された総合スコアS[i]が生成される。そして、後述する要約映像生成部１４により、メインの出演者ID[m]の顔またはゲストの顔が多く現れる要約映像が生成される。同様に、ＣＧ映像らしさスコアS4[i]の重み係数W4に大きい値を設定し、他の重み係数W1,2,3に小さい値を設定した場合には、ＣＧ映像らしさスコアS4[i]が大きく反映された総合スコアS[i]が生成される。そして、後述する要約映像生成部１４により、ＣＧ映像が多く現れる要約映像が生成される。
【００９５】
〔要約映像生成部１４〕
次に、図１に示した要約映像生成部１４について詳細に説明する。前述のとおり、要約映像生成部１４は、総合スコアS[i]及びシーン映像VS[j]を参照し、要約映像全体の長さが所定値を超えるまでカット映像VC[i]を選択し、選択したカット映像VC[i]を連結して要約映像を生成する。
【００９６】
図５は、要約映像生成部１４の構成例及び入出力データ例を示すブロック図である。この要約映像生成部１４は、要約映像選択部４０及び要約映像出力部４１を備えている。
【００９７】
要約映像選択部４０は、総合スコア算出部１３から、カット映像VC[i]からなるカット系列VC[1],...,VC[NC]、及び総合スコアS[i]からなる総合スコア系列S[1],...,S[NC]を入力する。また、要約映像選択部４０は、シーン生成部１１から、シーン映像VS[j]からなるシーン系列VS[1],...,VS[NS]を入力する。
【００９８】
要約映像選択部４０は、全てのカット映像VC[i]を、総合スコアS[i]に基づいて重要度の高い順にソートし、ソート後のカット映像VC[I[i]]に対して順番に、選択したカット映像VC[I[i]]の全体の長さ（要約映像全体の長さ）が所定値を超えるまで、カット映像VC[I[i]]を選択する。重要度の高い順とは、「テロップ」「顔認識」「カメラワーク」及び「ＣＧ映像らしさ」を総合した演出の効果の高い順をいう。
【００９９】
要約映像選択部４０は、カット映像VC[I[i]]を選択する際に、シーン映像VS[j]内で選択するカット映像VC[I[i]]の数が所定値を超えないようにする。そして、要約映像選択部４０は、選択したカット映像VC[I[i]]を要約映像出力部４１に出力する。
【０１００】
要約映像出力部４１は、要約映像選択部４０から、選択したカット映像VC[I[i]]を入力し、選択したカット映像VC[I[i]]を時系列に連結して要約映像VC[i'1]...VC[i'L]を生成し、要約映像VC[i'1]...VC[i'L]を出力する。Lは、選択されたカット映像VC[i]の数、すなわち要約映像VC[i'1]...VC[i'L]の数である。
【０１０１】
〔要約映像生成部１４の動作〕
図６は、要約映像生成部１４の処理例を示すフローチャートであり、図７は、図６のフローチャートを説明する図である。要約映像生成部１４の要約映像選択部４０は、総合スコア系列S[1],...,S[NC]のスコアが高い順にカット系列VC[1],...,VC[NC]をソートし、カット系列VC[I[1]],...,VC[I[NC]]を生成する（ステップＳ６０１）。
【０１０２】
例えば図７に示すように、総合スコア系列S[1],...,S[NC]のスコアがS[8]＞S[4]＞S[1]＞S[10]＞S[3]＞．．．＞S[20]の場合、ステップＳ６０１の処理により、ソート後のカット系列は、VC[I[1]]=VC[8]，VC[I[2]]=VC[4]，VC[I[3]]=VC[1]，VC[I[4]]=VC[10]，VC[I[5]]=VC[3]，．．．，VC[I[NC]]=VC[20]となる。
【０１０３】
図６に戻って、要約映像選択部４０は、初期設定として、パラメータi=1,...,NCについての全てのフラグSelect[i]を「false」に設定し（Select[i]=false（i=1,...,NC））、パラメータj=1,...,NSについての全てのカウントCount[j]を０に設定する（Count[j]=0（j=1,...,NS）（ステップＳ６０２）。尚、このパラメータiは、図６及び図７の説明のために用いられ、カット映像VC[i]、総合スコアS[i]等のパラメータiとは異なる。
【０１０４】
フラグSelect[i]は、後述するステップＳ６０４及びステップＳ６０５にてカット映像VC[I[i]]が要約映像の一部に選択された場合、「true」が設定され、カット映像VC[I[i]]が要約映像に選択されない場合、初期設定された「false」が維持される。カウントCount[j]は、パラメータjのシーン番号のシーン映像VS[j]において、当該シーン映像VS[j]に属するカット映像VC[I[i]]の中で、要約映像の一部に選択されたカット映像VC[I[i]]の数を示す。
【０１０５】
以下、ソート後のカット系列VC[I[1]],...,VC[I[NC]]のそれぞれにパラメータi=1,...,NCを対応させ、ソート後のカット映像VC[I[i]]毎に、要約映像の選択処理が行われる。要約映像の選択処理は、後述するステップＳ６０６のとおり、要約映像として選択されたカット映像VC[I[i]]の全フレーム数が所定値TMAXを超えるまで行われる。
【０１０６】
要約映像選択部４０は、パラメータiに１を設定し（i=1、ステップＳ６０３）、フラグSelect[i]に「true」が設定されている、またはカウントCount[J[i]]が所定値NMAXよりも大きい条件を満たすか否かを判定する（ステップＳ６０４）。すなわち、要約映像選択部４０は、パラメータiのカット映像VC[I[i]]が要約映像の一部に選択されている、またはパラメータiのカット映像VC[I[i]]の属するシーン番号J[i]のシーン映像VS[J[i]]において、要約映像の一部として選択されているカット映像数が所定値NMAXよりも大きい条件を満たすか否かを判定する。
【０１０７】
J[i]は、カット映像VC[I[i]]の属するシーン番号を示す。NMAXは、１つのシーン映像VS[J[i]]から選択されるカット映像VC[I[i]]の数の最大値を示し、予め設定される。
【０１０８】
要約映像選択部４０は、ステップＳ６０４において、フラグSelect[i]に「true」が設定されている、またはカウントCount[J[i]]が所定値NMAXよりも大きい条件を満たさないと判定した場合（ステップＳ６０４：Ｎ）、カット映像VC[I[i]]を要約映像の一部に選択し、フラグSelect[i]に「true」を設定し（Select[i]=true）、カウントCount[J[i]]をインクリメントする（Count[J[i]]＝Count[J[i]]+1）（ステップＳ６０５）。すなわち、要約映像選択部４０は、フラグSelect[i]に「true」が設定されていない（「false」が設定されている）場合、かつカウントCount[J[i]]が所定値NMAXよりも大きくない場合、ステップＳ６０５の処理を行う。言い換えると、要約映像選択部４０は、カット映像VC[I[i]]が要約映像の一部に選択されておらず、かつ、カット映像VC[I[i]]の属するシーン番号J[i]のシーン映像VS[J[i]]において、要約映像の一部として選択されているカット映像数が所定値NMAXよりも大きくない場合、ステップＳ６０５の処理を行う。
【０１０９】
例えば図７に示すように、ステップＳ６０５により、初期設定にて「false」に設定されたフラグSelect[1],...,Select[Nc]のうち、フラグSelect[1],...,Select[5]等が「true」に変更される。
【０１１０】
図６に戻って、要約映像選択部４０は、パラメータi=1から現在のパラメータiまでにおいて、フラグSelect[i]が「true」（Select[i]=true）に設定されている全てのカット映像VC[I[i]]の合計フレーム数を算出し、合計フレーム数が所定値TMAXよりも大きいか否かを判定する（ステップＳ６０６）。すなわち、要約映像選択部４０は、要約映像の一部として選択された全てのカット映像VC[i]の全フレーム数が所定値TMAXよりも大きいか否か、つまり、要約映像全体の長さが所定値TMAXよりも大きいか否かを判定する。TMAXは、利用者が生成したい要約映像の長さ（フレーム数）を示し、予め設定される。
【０１１１】
要約映像選択部４０は、ステップＳ６０６において、要約映像の一部として選択されたカット映像VC[i]の合計フレーム数が所定値TMAXよりも大きくないと判定した場合（ステップＳ６０６：Ｎ）、すなわち要約映像全体の長さが所定値TMAXよりも大きくないと判定した場合、ステップＳ６０４へ移行する。この場合、当該パラメータiのフラグSelect[i]はステップＳ６０５にて「true」に設定されているから、ステップＳ６０４からステップＳ６０７へ移行し、次のカット映像VC[I[i+1]]の処理が行われる。
【０１１２】
一方、要約映像選択部４０は、ステップＳ６０６において、要約映像の一部として選択されたカット映像VC[i]の合計フレーム数が所定値TMAXよりも大きいと判定した場合（ステップＳ６０６：Ｙ）、すなわち要約映像全体の長さが所定値TMAXよりも大きいと判定した場合、ステップＳ６１１へ移行する。
【０１１３】
一方、要約映像選択部４０は、ステップＳ６０４において、フラグSelect[i]に「true」が設定されている、またはカウントCount[J[i]]が所定値NMAXよりも大きい条件を満たすと判定した場合（ステップＳ６０４：Ｙ）、パラメータiをインクリメントする（i＝i+1、ステップＳ６０７）。すなわち、要約映像選択部４０は、フラグSelect[i]に「true」が設定されている場合、ステップＳ６０７の処理を行う。または、要約映像選択部４０は、カウントCount[J[i]]が所定値NMAXよりも大きい場合、ステップＳ６０７の処理を行う。
【０１１４】
言い換えると、要約映像選択部４０は、カット映像VC[I[i]]が要約映像の一部に選択されている場合、次のカット映像VC[I[i+1]]の処理を行うため、ステップＳ６０７へ移行する。または、要約映像選択部４０は、カット映像VC[I[i]]の属するシーン番号J[i]のシーン映像VS[J[i]]において、要約映像の一部として選択されているカット映像数が所定値NMAXよりも大きい場合、当該シーン映像VS[J]における残りのカット映像VC[I[i]]の処理のために、ステップＳ６０７の処理を行う。この場合の残りのカット映像VC[I[i]]は、要約映像として選択されることはない。
【０１１５】
要約映像選択部４０は、パラメータiが所定値NCよりも大きいか否かを判定する（i＞NC、ステップＳ６０８）。すなわち、要約映像選択部４０は、全てのカット映像VC[I[i]]の処理が完了したか否かを判定する。
【０１１６】
要約映像選択部４０は、ステップＳ６０８において、パラメータiが所定値NCよりも大きくないと判定した場合（ステップＳ６０８：Ｎ）、ステップＳ６０４へ移行し、当該カット映像VC[I[i]]の処理を行う。
【０１１７】
一方、要約映像選択部４０は、ステップＳ６０８において、パラメータiが所定値NCよりも大きいと判定した場合（ステップＳ６０８：Ｙ）、すなわち全てのカット映像VC[I[i]]の処理が完了した場合、所定値NMAXをインクリメントする（NMAX=NMAX+1、ステップＳ６０９）。
【０１１８】
これにより、ステップＳ６０４にて使用する所定値NMAX（１つのシーン映像VS[j[i]]から選択されるカット映像VC[I[i]]の数の最大値）がインクリメントされる。そして、後述するステップＳ６１０からステップＳ６０３へ移行すると、最初のパラメータi=1のカット映像VC[I[i]]から順番に処理が行われる。したがって、ステップＳ６０６の条件を満たすまで、要約映像の一部として選択されるカット映像VC[I[i]]が追加される。
【０１１９】
要約映像選択部４０は、所定値NMAXが所定値Ncよりも大きいか否かを判定し（ステップＳ６１０）、所定値NMAXが所定値Ncよりも大きくないと判定した場合（ステップＳ６１０：Ｎ）、ステップＳ６０３へ移行する。一方、要約映像選択部４０は、所定値NMAXが所定値Ncよりも大きいと判定した場合（ステップＳ６１０：Ｙ）、ステップＳ６１１へ移行する。
【０１２０】
要約映像出力部４１は、ステップＳ６０６（Ｙ）またはステップＳ６１０（Ｙ）から移行して、ステップＳ６０５にて選択された全てのカット映像VC[I[i]]（フラグSelect[i]=trueである全てのカット映像VC[I[i]]）を時系列にソートして連結する。そして、要約映像出力部４１は、連結した映像VC[i'1]...VC[i'L]を要約映像として生成し、出力する（ステップＳ６１１）。Lは、選択されたカット映像VC[I[i]]の数を示す。
【０１２１】
例えば図７に示すように、ステップＳ６１１により、フラグSelect[i]=trueである全てのカット映像VC[I[1]]=VC[8]，VC[I[2]]=VC[4]，VC[I[3]]=VC[1]，VC[I[4]]=VC[10]，VC[I[5]]=VC[3]等が時系列にソートされ連結される。そして、連結された映像VC[i'1]=VC[1]，VC[i'2]=VC[3]，VC[i'3]=VC[4]，．．．，VC[i'L]=VC[25]が要約映像として生成される。
【０１２２】
以上のように、本発明の実施形態による要約映像生成装置１によれば、カット分割部１０は、番組映像をカット映像VC[i]（i=1,...,NC）に分割し、シーン生成部１１は、同じ場面のカット映像VC[i]を統合してシーン映像VS[j]（j=1,...,NS）を生成する。
【０１２３】
要素スコア算出部１２は、「テロップ」「顔認識」「カメラワーク」及び「ＣＧ映像らしさ」からなる４つの要素の演出毎に、各カット映像VC[i]について、要素スコアS1[i]〜S4[i]（テロップスコアS1[i]、顔認識スコアS2[i]、カメラワークスコアS3[i]及びＣＧ映像らしさスコアS4[i]）を算出する。
【０１２４】
総合スコア算出部１３は、要素スコアS1[i]〜S4[i]及び重み係数W1〜W4に基づいて、カット映像VC[i]の総合スコアS[i]を算出する。
【０１２５】
要約映像生成部１４は、総合スコアS[i]及びシーン映像VS[j]を参照し、要約映像全体の長さが所定値を超えるまでカット映像VC[i]を選択し、選択したカット映像VC[i]を時系列にソートして連結することで要約映像を生成する。
【０１２６】
これにより、番組映像における「テロップ」「顔認識」「カメラワーク」及び「ＣＧ映像らしさ」の各要素のように、番組演出上重要な場面に生じる傾向の強い要素を考慮した要約映像を生成することができる。
【０１２７】
つまり、番組映像に現れる演出を考慮することで、演出による効果の度合いの高い重要な区間の映像のみで構成される要約映像を生成することが可能となる。そして、このような要約映像をネット用コンテンツとして配信することにより、視聴者の番組への関心を高める媒体として利用することできる。
【０１２８】
また、本発明の実施形態による要約映像生成装置１によれば、総合スコア算出部１３は、カット映像VC[i]の総合スコアS[i]を算出する際に、要素スコアS1[i]〜S4[i]毎に設定された重み係数W1〜W4を用いるようにした。
【０１２９】
これにより、重み係数W1〜W4に応じて、当該重み係数W1〜W4の要素のスコアを総合スコアS[i]へ反映することができる。つまり、どの要素に重きを置いて要約映像を作るのかを、重み係数W1〜W4に対し自由に設定することで、利用者の意図に沿った様々なバリエーションの要約映像を生成することができる。
【０１３０】
また、本発明の実施形態による要約映像生成装置１によれば、要約映像生成部１４は、要約映像を生成するためのカット映像VC[i]を選択する際に、シーン映像VS[j]内で選択するカット映像VC[i]の数が所定値NMAXを超えないようにした。これにより、特定のシーンに偏ってカット映像VC[i]が選択されることがないから、特定のシーンに偏った要約映像が生成されることがない。つまり、番組映像の全体のシーンを考慮した要約映像が生成される。
【０１３１】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、演出の種類を「テロップ」「顔認識」「カメラワーク」及び「ＣＧ映像らしさ」として、要約映像を生成するようにしたが、演出の種類は、これら４つの要素に限定されるものではなく、他の要素を用いるようにしてもよい。例えば、音の大きさ、音楽、会話、特定の物体等を演出の要素として、要約映像を生成するようにしてもよい。また、これらの演出の要素のうち任意の所定数の要素を用いて、要約映像を生成するようにしてもよい。
【０１３２】
前述のとおり、要素スコアは、演出による効果の程度が反映された重要度を表すから、演出が「音の大きさ」の場合、要素スコアは、例えばその大きさに比例した値が設定される。また、演出が「音楽」の場合、要素スコアは、カット映像VC[i]内で音楽が流れている時間割合に応じて設定される。また、演出が「特定の物体」の場合、要素スコアは、前述の「顔認識」の場合と同様に、当該物体が検出された領域の面積比率及び当該物体である確率に基づいて設定される。
【０１３３】
尚、本発明の実施形態による要約映像生成装置１のハードウェア構成としては、通常のコンピュータを使用することができる。要約映像生成装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。要約映像生成装置１に備えたカット分割部１０、シーン生成部１１、要素スコア算出部１２、総合スコア算出部１３及び要約映像生成部１４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【０１３４】
１  要約映像生成装置
１０  カット分割部
１１  シーン生成部
１２  要素スコア算出部
１３  総合スコア算出部
１４  要約映像生成部
２０  テロップ領域検出部
２１  顔認識処理部
２２  カメラワーク算出部
２３  ＣＧ映像らしさ算出部
２４  テロップスコア算出部
２５  顔認識スコア算出部
２６  カメラワークスコア算出部
２７  ＣＧ映像らしさスコア算出部
３０  重み係数設定部
３１  スコア算出部
４０  要約映像選択部
４１  要約映像出力部
【図１】
2018206292.tif 000010
【図２】
2018206292.tif 000011
【図３】
2018206292.tif 000012
【図４】
2018206292.tif 000013
【図５】
2018206292.tif 000014
【図６】
2018206292.tif 000015
【図７】
2018206292.tif 000016