(57)【要約】【課題】ビデオコンテンツの暴力度を映像解析処理を用いて評価することができる装置を提供する。【解決手段】ビデオコンテンツ内の動画の暴力度を評価するに際して、多数の画素からそれぞれ構成された連続する複数の画像フレームから成る動画を、その画像フレームを構成する二次元座標に時間軸を加えた三次元空間内において、画像フレーム内の複数の点を含む小領域内の画素群の輝度勾配および色が隣接する画像フレーム間でマッチングする小領域を前記複数の画像フレームを通して通る複数本の軌跡にそれぞれ沿って位置する局所空間である複数の小時空間ＭＴＳが抽出され、その複数の小時空間ＭＴＳ内の画素からその複数の小時空間毎の特徴量がそれぞれ算出され、その複数の小時空間ＭＴＳ毎に算出された特徴量に基づいて暴力度を定める暴力要素の存在確率が算出され、その暴力要素の存在確率を用いることによりビデオコンテンツ全体の暴力度が算出される。【選択図】図２
2015149030.tif 000002
【特許請求の範囲】
【請求項１】
ビデオコンテンツの暴力度を映像解析処理を用いて評価するビデオコンテンツ暴力度評価装置であって、
多数の画素からそれぞれ構成された連続する複数の画像フレームから成る一つの動画を、その画像フレームを構成する二次元座標に時間軸を加えた三次元空間内において、画像フレーム内の複数の点を含む小領域内の画素群の輝度勾配および色が隣接する画像フレーム間でマッチングする小領域を前記複数の画像フレームを通して通る複数本の軌跡にそれぞれ沿って位置する局所空間である複数の小時空間を抽出する小時空間抽出部と、
該複数の小時空間内の画素からその複数の小時空間毎の特徴量をそれぞれ算出する小時空間特徴算出部と、
前記複数の小時空間毎の特徴量に基づいて暴力度を定める暴力要素の存在確率を算出する暴力要素解析部と、
該暴力要素の存在確率を用いることにより前記ビデオコンテンツ全体の暴力度を算出する暴力度算出部とを、
含むことを特徴とするビデオコンテンツ暴力度評価装置。
【請求項２】
前記三次元空間を前記連続する複数の画像フレームのうちの画像変化が安定している複数のショット区間に分割するショット分割部を含み、
前記小時空間特徴算出部は、前記ショット区間毎に、その複数の小時空間内の画素からその複数の小時空間毎の特徴量をそれぞれ算出するとともに前記動画の映像ショット毎の特徴ベクトルをその複数の小時空間毎の特徴量に基づいて算出し、
前記暴力要素解析部は、前記映像ショット区間毎に、前記映像ショット毎の特徴ベクトルに基づいて暴力度を定める暴力要素の存在確率を算出するものである
ことを特徴とする請求項１のビデオコンテンツ暴力度評価装置。
【請求項３】
前記暴力要素解析部により算出された暴力要素の存在確率を予め記憶された暴力要素間の依存関係を示す暴力要素相関モデルに基づいて更新する暴力要素更新部を、さらに含むことを特徴とする請求項１または２のビデオコンテンツ暴力度評価装置。
【請求項４】
前記暴力要素解析部によりショット毎に算出された暴力要素の存在確率または前記暴力要素更新部或いは暴力要素更新工程により更新された暴力要素の存在確率が統計的にまとめられて動画全体のハイレベル特徴量を算出するハイレベル特徴算出部と、
前記三次元の時空間内から抽出された小時空間の特徴量からローレベル特徴量を算出するローレベル特徴算出部と、
前記ハイレベル特徴量およびローレベル特徴量を統合して動画の特徴ベクトルを算出し、その動画と、予めレーティングされた複数の学習映像のそれぞれと一対の映像ペアを生成し、その映像ペアの特徴ベクトルを構造予測器に入力し、各映像ペアについて前記動画の暴力度と前記学習映像の暴力度の暴力度強弱関係を推定させる暴力度ランキング部とを含み、
前記暴力度算出部は、前記動画の暴力度と前記学習映像の暴力度の暴力度強弱関係を用いることにより前記ビデオコンテンツ全体の暴力度を算出するものである
ことを特徴とする請求項１乃至３のいずれか１のビデオコンテンツ暴力度評価装置。
【請求項５】
ビデオコンテンツの暴力度を映像解析処理を用いて評価するビデオコンテンツ暴力度評価方法であって、
多数の画素からそれぞれ構成された連続する複数の画像フレームから成る一つの動画を、その画像フレームを構成する二次元座標に時間軸を加えた三次元空間内において、画像フレーム内の複数の点を含む小領域内の画素群の輝度勾配および色が隣接する画像フレーム間でマッチングする小領域を前記複数の画像フレームを通して通る複数本の軌跡にそれぞれ沿って位置する局所空間である複数の小時空間を抽出する小時空間抽出工程と、
該複数の小時空間内の画素からその複数の小時空間毎の特徴量をそれぞれ算出するとともに前記動画の映像ショット毎の特徴ベクトルを該複数の小時空間毎の特徴量に基づいて算出する小時空間特徴算出工程と、
前記映像ショット毎の特徴ベクトルに基づいて暴力度を定める暴力要素の存在確率を算出する暴力要素解析工程と、
該暴力要素の存在確率を用いることにより前記ビデオコンテンツ全体の暴力度を算出する暴力度算出工程とを
含むことを特徴とするビデオコンテンツ暴力度評価方法。
【請求項６】
ビデオコンテンツの暴力度を映像解析処理を用いて評価するためにコンピュータを、
多数の画素からそれぞれ構成された連続する複数の画像フレームから成る一つの動画を、その画像フレームを構成する二次元座標に時間軸を加えた三次元空間内において、画像フレーム内の複数の点を含む小領域内の画素群の輝度勾配および色が隣接する画像フレーム間でマッチングする小領域を前記複数の画像フレームを通して通る複数本の軌跡にそれぞれ沿って位置する局所空間である複数の小時空間を抽出する小時空間抽出手段、
前記複数の小時空間内の画素からその複数の小時空間毎の特徴量をそれぞれ算出する小時空間特徴算出手段、
前記複数の小時空間毎の特徴量に基づいて暴力度を定める暴力要素の存在確率を算出する暴力要素解析手段、および、
前記暴力要素の存在確率を用いることにより前記ビデオコンテンツ全体の暴力度を算出する暴力度算出手段
として機能させるためのビデオコンテンツ暴力度評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各ビデオコンテンツ全体の暴力度を映像解析処理により客観的に評価する装置、ビデオコンテンツ暴力度評価方法およびビデオコンテンツ暴力度評価プログラムに関するものである。
【背景技術】
【０００２】
たとえばＤＶＤの記憶媒体や動画投稿サイトに蓄積された動画などのビデオコンテンツは、それに含まれる暴力シーンに関連して視聴を制限することが望まれる場合がある。しかし、各ビデオコンテンツについて暴力シーンに関連する視聴制限レベルが制作者により設定されていたとしてもばらつきがあり、それをそのまま受け入れることには問題がある。このため、たとえば教育上の理由から暴力シーンを含むビデオコンテンツの視聴を制限するために、そのビデオコンテンツ全体の暴力度を、たとえば社会一般に認められている分類基準と同等に客観的に評価することが望まれている。
【０００３】
これに関連して、動画に含まれる暴力的なシーンを確定するための知覚的関係を作成するために多数の音声的および映像的特徴を利用して、ＴＶドラマや映画における暴力シーンを抽出して、それの高レベルの索引を付ける方法が、非特許文献１において提案されている。また、動画像から、爆発を含むショット、チェイスを含むショット、クローズアップを含むショットを、色情報解析、動き情報解析、オーディオ情報解析を用いてそれぞれ判定して分類する技術が、特許文献１に提案されている。また、動画同士の類似度を計測することにより類似する部分動画を特定し、それら類似する部分動画に対して同一のグループ属性を付与し、選択された先頭部分動画増を先頭に有するメタショットを生成する技術が、特許文献２に提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２７７２３２号公報
【特許文献２】特開２００８−０９２５９４号公報
【非特許文献】
【０００５】
【非特許文献１】「オーディオビジュアルにおける暴力シーン特性」（画像処理国際会議予稿周  1998年第1巻第353-357頁）[「Audio-visual Content-based Violent Scene Characterization」 (Proc. of international Conference on Image Processing, pp.353-357, Vol.1．1998)]
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１、特許文献１、特許文献２に記載された従来技術は、暴力シーンの検出に関するもの、動画像から爆発を含むショット、チェイスを含むショット、クローズアップを含むショットの分類に関するもの、類似する部分画像の抽出およびメタショットの生成に関するものに過ぎないものであって、いずれもビデオコンテンツの内容解析を行なうものではなく、ビデオコンテンツに含まれる映像の暴力度を客観的に評価することができないものであった。
【０００７】
また、上記非特許文献１に記載の技術は、動画に含まれる映像内において暴力シーンの有無を識別するのみであるだけでなく、ビデオコンテンツ全体の暴力度の評価を達成するために必要な個々の暴力要素たとえば流血、カーチェイス、銃撃等の認識能力を有しておらず、さらに、暴力シーンの有無を、その特徴量に対する単純な閾値処理により決定するため、様々な分野のビデオコンテンツに適用可能な統一的な処理とはいえないものであった。さらに、この非特許文献１は、音声的特徴を利用しているので、音声的特徴を利用できないウエブ上のワイルドなビデオコンテンツには適用できない。
【０００８】
また、特許文献１に記載の技術は、動画像を、爆発を含むショット、チェイスを含むショット、クローズアップを含むショットという３つのカテゴリへ分類するものに過ぎず、ビデオコンテンツ全体の暴力度の評価を達成するための必要な個々の暴力要素の認識能力が不十分であるとともに、非特許文献１と同様に、音声的特徴を利用しているので、音声的特徴を利用できないウエブ上のワイルドなビデオコンテンツには適用できない。
【０００９】
さらに、特許文献２に記載の技術は、前述のように、動画同士の類似度を計測することにより類似する部分動画を特定し、それら類似する部分動画に対して同一のグループ属性を付与し、選択された先頭部分動画増を先頭に有するメタショットを生成する技術に過ぎず、ビデオコンテンツに含まれる映像の暴力度を客観的に評価することに関連が薄いものである。
【００１０】
本発明は以上の事情を背景として為されたものであり、その目的とするところは、ビデオコンテンツの暴力度を映像解析処理を用いて評価する装置、ビデオコンテンツ暴力度評価方法およびビデオコンテンツ暴力度評価プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明者等は、以上の事情を背景として種々検討を重ねた結果、多数の画素からそれぞれ構成された連続する複数の画像フレームから成る一つの動画を、その画像フレームを構成する二次元座標に時間軸を加えた三次元空間を設定し、その三次元空間内において輝度勾配や色がマッチングする小領域が画像フレーム間で連続していることを示す軌跡に沿って位置する局所空間である小時空間の特徴量を用いて暴力度を定める暴力要素の存在確率を用いることにより、ビデオコンテンツ全体の暴力度を評価することができることを見出した。本発明はこのような知見に基づいて為されたものである。
【００１２】
すなわち、本発明の要旨とするところは、ビデオコンテンツの暴力度を映像解析処理を用いて評価するビデオコンテンツ暴力度評価装置であって、多数の画素からそれぞれ構成された連続する複数の画像フレームから成る一つの動画を、その画像フレームを構成する二次元座標に時間軸を加えた三次元空間内において、画像フレーム内の複数の点を含む小領域内の画素群の輝度勾配および色が隣接する画像フレーム間でマッチングする小領域を前記複数の画像フレームを通して通る複数本の軌跡にそれぞれ沿って位置する局所空間である複数の小時空間を抽出する小時空間抽出部と、その複数の小時空間内の画素からその複数の小時空間毎の特徴量をそれぞれ算出する小時空間特徴算出部と、その複数の小時空間毎の特徴量に基づいて暴力度を定める暴力要素の存在確率を算出する暴力要素解析部と、その暴力要素の存在確率を用いることにより前記ビデオコンテンツ全体の暴力度を算出する暴力度算出部とを含むことにある。
【００１３】
また、前記課題を解決するための方法発明の要旨とするところは、ビデオコンテンツの暴力度を映像解析処理を用いて評価するビデオコンテンツ暴力度評価方法であって、多数の画素からそれぞれ構成された連続する複数の画像フレームから成る一つの動画を、その画像フレームを構成する二次元座標に時間軸を加えた三次元空間内において、画像フレーム内の複数の点を含む小領域内の画素群の輝度勾配および色が隣接する画像フレーム間でマッチングする小領域を前記複数の画像フレームを通して通る複数本の軌跡にそれぞれ沿って位置する局所空間である複数の小時空間を抽出する小時空間抽出工程と、その複数の小時空間内の画素からその複数の小時空間毎の特徴量をそれぞれ算出する小時空間特徴算出工程と、その複数の小時空間毎の特徴量に基づいて暴力度を定める暴力要素の存在確率を算出する暴力要素解析工程と、その暴力要素の存在確率を用いることにより前記ビデオコンテンツ全体の暴力度を算出する暴力度算出工程とを含むことにある。
【００１４】
また、前記課題を解決するためのプログラム発明の要旨とするところは、ビデオコンテンツの暴力度を映像解析処理を用いて評価するためにコンピュータを、多数の画素からそれぞれ構成された連続する複数の画像フレームから成る一つの動画を、その画像フレームを構成する二次元座標に時間軸を加えた三次元空間内において、画像フレーム内の複数の点を含む小領域内の画素群の輝度勾配および色が隣接する画像フレーム間でマッチングする小領域を前記複数の画像フレームを通して通る複数本の軌跡にそれぞれ沿って位置する局所空間である複数の小時空間を抽出する小時空間抽出手段と、その複数の小時空間内の画素からその複数の小時空間毎の特徴量をそれぞれ算出する小時空間特徴算出手段と、その複数の小時空間毎の特徴量に基づいて暴力度を定める暴力要素の存在確率を算出する暴力要素解析手段と、および、その暴力要素の存在確率を用いることにより前記ビデオコンテンツ全体の暴力度を算出する暴力度算出手段、として機能させるためのビデオコンテンツ暴力度評価プログラムであることにある。
【発明の効果】
【００１５】
本発明のビデオコンテンツ暴力度評価装置、ビデオコンテンツ暴力度評価方法、そのビデオコンテンツ暴力度評価方法をコンピュータに実施させるためのプログラムによれば、多数の画素からそれぞれ構成された連続する複数の画像フレームから成る一つの動画を、その画像フレームを構成する二次元座標に時間軸を加えた三次元空間内において、画像フレーム内の複数の点を含む小領域内の画素群の輝度勾配および色が隣接する画像フレーム間でマッチングする小領域を前記複数の画像フレームを通して通る複数本の軌跡にそれぞれ沿って位置する局所空間である複数の小時空間が抽出され、その複数の小時空間抽出部内の画素からその複数の小時空間毎の特徴量がそれぞれ算出され、その複数の小時空間毎の特徴量に基づいて暴力度を定める暴力要素の存在確率が算出され、その暴力要素の存在確率を用いることにより前記ビデオコンテンツ全体の暴力度が算出されるので、ビデオコンテンツの暴力度を専ら映像解析処理を用いて評価することができる。
【００１６】
ここで、好適には、前記三次元空間を前記連続する複数の画像フレームのうちの画像変化が安定している複数の映像ショットに分割するショット分割部或いはショット分割工程を含み、前記小時空間特徴算出部或いは小時空間特徴算出工程は、前記映像ショット毎に、その複数の小時空間内の画素からその複数の小時空間毎の特徴量をそれぞれ算出するとともに前記動画の映像ショット毎の特徴ベクトルをその複数の小時空間毎の特徴量に基づいて算出し、前記暴力要素解析部或いは暴力要素解析工程は、前記映像ショット区間毎に、前記映像ショット毎の特徴ベクトルに基づいて暴力度を定める暴力要素の存在確率を算出するのである。このようにすれば、専ら映像解析処理を用いたビデオコンテンツの暴力度評価の精度が高められる。
【００１７】
また、好適には、前記暴力要素解析部により算出された暴力要素の存在確率を予め記憶された暴力要素間の依存関係を示す暴力要素相関モデルに基づいて更新する暴力要素更新部或いは暴力要素更新工程が、設けられる。このようにすれば、暴力要素の存在確率の精度が一層高められる。
【００１８】
また、好適には、前記暴力要素解析部によりショット毎に算出された暴力要素の存在確率または前記暴力要素更新部或いは暴力要素更新工程により更新された暴力要素の存在確率が統計的にまとめられて動画全体のハイレベル特徴量を算出するハイレベル特徴算出部或いはハイレベル特徴算出工程と、前記三次元の時空間内から抽出された小時空間の特徴量から得られるローレベル特徴量を算出するローレベル特徴算出部或いはローレベル特徴算出工程と、前記ハイレベル特徴量およびローレベル特徴量を統合して動画の特徴ベクトルを算出し、その動画と、予めレーティングされた複数の学習映像のそれぞれと一対の映像ペアを生成し、その映像ペアの特徴ベクトルを構造予測器に入力し、各映像ペアについて前記動画の暴力度と前記学習映像の暴力度との暴力度強弱関係を推定させる暴力度ランキング部或いは暴力度ランキング工程とを含み、前記暴力度算出部或いは暴力度算出工程は、前記動画の暴力度と前記学習映像の暴力度の暴力度強弱関係を用いることにより前記ビデオコンテンツ全体の暴力度を算出するものである。このようにすれば、映像ショット毎の意味レベルの情報であるハイレベル特徴量と、動画全体のアバウトなローレベルの情報であるローレベル特徴量を統合した動画の特徴ベクトルが用いられるので、ビデオコンテンツの暴力度の評価が一層正確に得られる。また、社会一般の基準で暴力度が学習された構造予測器を用いて各映像ペアについて前記動画の暴力度と前記学習映像の暴力度の暴力度強弱関係を推定させて、前記動画の暴力度と前記学習映像の暴力度の暴力度強弱関係を用いることにより前記ビデオコンテンツの暴力度が算出されるので、ビデオコンテンツの暴力度について専ら映像解析処理を用い且つ社会一般の基準に基づいた評価が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施例であるビデオコンテンツ暴力度評価装置のハード構成を説明する図である。
【図２】図１のビデオコンテンツ暴力度評価装置の電子演算処理装置の制御機能の要部をそれぞれ説明する機能ブロック線図である。
【図３】図２の電子演算処理装置のローレベル解析部内のうち小時空間抽出部の機能を説明する図である。
【図４】図２の電子演算処理装置のローレベル解析部内のうち特徴プーリング部の機能を説明する図である。
【図５】図２あの電子演算処理装置のローレベル解析部内のうちローレベル特徴算出部の機能を説明する図である。
【図６】図２の電子演算処理装置のハイレベル解析部内のうち映像ショット分割部の機能を説明する図である。
【図７】図２の電子演算処理装置のハイレベル解析部内のうち小時空間抽出部の機能を説明する図である。
【図８】図２の電子演算処理装置のハイレベル解析部内のうち小時空間特徴算出部の特徴量の説明をする図である。
【図９】図２の電子演算処理装置のハイレベル解析部内のうち小時空間特徴算出部の特徴量算出機能を説明する図である。
【図１０】図２の電子演算処理装置のハイレベル解析部内のうち暴力要素更新部の機能を説明する図である。
【図１１】図２の電子演算処理装置のハイレベル解析部内のうちハイレベル特徴算出部の機能を説明する図である。
【図１２】図２の電子演算処理装置の暴力度レーティング部のうちの暴力度ランキング部の出力を説明する図である。
【図１３】図２の電子演算処理装置の暴力度レーティング部のうちの暴力度算出部の機能を説明する図である。
【図１４】図１のビデオコンテンツ暴力度評価装置の電子演算処理装置の制御作動の要部を説明するフローチャートである。
【発明を実施するための形態】
【００２０】
以下に、本発明の一実施例を図面に基づいて詳細に説明する。
【実施例】
【００２１】
図１は、ビデオコンテンツ暴力度評価装置１０の一例を示している。図１において、電子演算処理装置１２は、たとえばネットワーク１４を介してインターネット上で入手できる、暴力度を評価するための１または２以上の動画を入力し、その動画を動画記憶装置１６に記憶させる。電子演算処理装置１２は、たとえばコンピュータにより構成されたものであり、予め記憶された暴力度評価処理プログラムに従って、動画記憶装置１６に記憶された動画毎の暴力度のレベル(Violence level)を算出し、その暴力度のレベルを暴力度出力装置１８から信号出力により或いは画像出力により出力させる。
【００２２】
図２は、上記電子演算処理装置１２の演算により生成される制御機能の要部をそれぞれ説明する機能ブロック線図である。図２において、電子演算処理装置１２による処理では、多数の画素を有する画像フレームが時系列的に順次存在する１つの動画について、１つの画像フレームのｘ−ｙ二次元平面に時間軸（ｔ軸）を加えた立方体内に動画の画素が詰まっている時空間ＬＴＳという概念と、その時空間内において多数個存在する微小な小時空間ＭＴＳという概念とを用いている。時空間ＬＴＳのｔ軸方向の長さは動画の時間に対応し、ｘ軸およびｙ軸の長さは、画像フレームの縦軸方向および横軸方向の画素数に対応している。
【００２３】
図２において、電子演算処理装置１２は、ローレベル解析部２０、ハイレベル解析部３０、モデル記憶部４４、レーティング済映像群記憶部５２、暴力度レーティング部５４を、機能的に備えている。
【００２４】
ローレベル解析部２０は、ビデオコンテンツ内の暴力度を評価するための１つの動画（テスト映像）を各シーン毎に分割せず、動画全体に対応する時空間ＬＴＳから大量の小時空間ＭＴＳを抽出する小時空間抽出部２２と、動画全体に対応する時空間ＬＴＳをｔ軸およびｘ軸上の適当な間隔でいくつかのサブ時空間に分割し、そのサブ時空間毎に、そのサブ時空間に属するそれら小時空間ＭＴＳの外観的特徴量、動き特徴量、色彩特徴量をそれぞれ算出して集める特徴量プーリング部２４と、その特徴量プーリング部２４でサブ時空間毎に集められた小時空間ＭＴＳの外観的特徴量、動き特徴量、色彩特徴量を用いて、外観的特徴量、動き特徴量、色彩特徴量を反映させた特徴ベクトルであるローレベル特徴量βを動画全体でそれぞれ１つ算出するローレベル特徴算出部２６とを備えている。
【００２５】
図３は、小時空間抽出部２２の機能を説明する図である。小時空間抽出部２２では、先ず、動画全体を構成する画素を含むｘ軸、ｙ軸、ｔ軸からなる直交座標の３次元直方体で示されるの時空間ＬＴＳが設定される。次いで、たとえばｔ＝０時点の所定の画像フレーム内においてランダムに所定数たとえば１００００個の点p1〜pnを設定し、その点の画素およびその点の周囲の所定数の画素を含む一群の画素たとえば１６×１６の画素で構成される小領域内の色彩、輝度勾配、モーションフローなどで表される複数種類の特徴が算出され、上記所定の画像フレームに隣接する次の画像フレーム内においてその小領域の複数種類の特徴と同様の特徴を整合（マッチング）する小領域が特定されてその小領域の中心点が決定される。同様にして動画の終端の画像フレーム内の小領域の中心点が決定されると、それらの中心点の連続である多数本の軌跡Ｋ1〜ｋnが算出される。次に、多数本の軌跡Ｋ1〜ｋnに沿って等時間間隔で多数の小時空間MTSがそれぞれ設定される。
【００２６】
図４は、特徴量プーリング部２４の機能を説明する図である。図４に示すように、特徴量プーリング部２４では、動画全体に対応する時空間ＬＴＳがｔ軸およびｘ軸上で適当な間隔でいくつかのサブ時空間に分割される。図４では、ｔ軸上で２分割されて２つのサブ時空間ＬＴＳ1およびＬＴＳ2が形成された例、ｘ軸上で２分割されて２つのサブ時空間ＬＴＳ3およびＬＴＳ4が形成された例、ｔ軸およびｘ軸上で２分割されて４つのサブ時空間ＬＴＳ13、ＬＴＳ14、ＬＴＳ23、およびＬＴＳ24が形成された例がしめされている。次いで、各サブ時空間ＬＴＳ1、ＬＴＳ2、ＬＴＳ3、ＬＴＳ4、ＬＴＳ13、ＬＴＳ14、ＬＴＳ23、およびＬＴＳ24毎に、時空間特徴が算出される。この算出方法は、後述するハイレベル解析部３０における映像ショット毎の時空間特徴の算出と同じである。
【００２７】
図５は、ローレベル特徴算出部２６の機能を説明する図である。図５に示すように、ローレベル特徴算出部２６では、サブ空間ＬＴＳ1、ＬＴＳ2、ＬＴＳ3、ＬＴＳ4、ＬＴＳ13、ＬＴＳ14、ＬＴＳ23、およびＬＴＳ24毎にそれぞれ算出された特徴量の次元削減処理が実行され、１つの動画から１つのローレベル特徴量（ベクトル）βが算出される。このローレベル特徴量βは、動画全体の動きの激しさ、色の分布、背景変化などの、暴力関連に関係するアバウトな特徴量を表している。たとえば、動画全体が暗い、火災に関連する色、背景などの特徴を示している。
【００２８】
図２に戻って、ハイレベル解析部３０は、１つの動画中の映像から同様の映像が持続する区間を１つのシーンすなわち映像ショットとして分割する映像ショット分割部３２と、動画全体に対応する時空間ＬＴＳから分割された映像ショット毎に、多数の小時空間ＭＴＳを抽出する小時空間抽出部３４と、それぞれの小時空間毎に特徴量を算出するとともに前記動画の映像ショット毎の特徴ベクトルｆstをその複数の小時空間毎の特徴量に基づいて算出する小時空間特徴算出部３６と、事前に学習された暴力要素識別器（暴力要素識別モデル）４６を用い、上記映像ショット毎の特徴ベクトルｆstに基づいて各暴力要素の存在確率をそれぞれ推定する暴力要素解析部３８と、予め記憶された暴力要素間の依存関係を用いて上記各暴力要素の存在確率を更新する暴力要素更新部４０と、各ショット毎の特徴量をまとめて動画全体の５次元の平均ベクトル、５次元の分散ベクトル、５次元の最大値ベクトル、５次元の積算ベクトルを含む２０次元のハイレベル特徴ベクトルαを映像ショット毎に算出するハイレベル特徴算出部４２とを備えている。このハイレベル特徴ベクトルαは、各映像ショット毎に暴力に関連する映像の意味をそれぞれ表すものである。
【００２９】
図６は、映像ショット分割部３２の機能を説明する図である。図６において、映像ショット分割部３２は、１つの動画中において画像変化が安定している連続した画像フレームの集合を１つの映像ショットすなわちシーンとして判定し、動画から分割する。たとえば、映像ショット分割部３２は、１つの動画全体に対応する時空間ＬＴＳを構成する各画像フレームの色ヒストグラム距離ＣＨＤと、エッジ変化比ＥＣＲとを算出し、色ヒストグラム距離ＣＨＤの時間経過に伴う曲線が示すピークＰＫＤと、エッジ変化比ＥＣＲ(Edge Change Ratio)の時間経過に伴う曲線が示すピークＰＫＲとが一致する時点ｔｐ1、ｔｐ2・・・を映像ショットすなわちシーンの切れ目として順次判断し、その時点間たとえば時点ｔｐ1と時点ｔｐ2との間を１つの映像ショットＳｈｏｔ1として判定する。これにより、１つの動画が複数の映像ショットＳｈｏｔ1、Ｓｈｏｔ2・・・Ｓｈｏｔmに分割される。
【００３０】
上記色ヒストグラム距離ＣＨＤは、画像フレーム間の色変化を示す量であり、画像フレーム内の色の波長或いは濃淡に対するピクセル数（割合）のヒストグラム間の差を２乗根で示したスカラー量である。また、上記エッジ変化比ＥＣＲは、画像フレーム内での隣接する画素間の濃度勾配が閾値を超えた点であるエッジ点が、前の画像フレームではあるが後の画像フレームでは消えた数と、前の画像フレームではないが後の画像フレームでは出現した数との総数を全体の画素数で割った値である。
【００３１】
図７は、小時空間抽出部３４は、小時空間MTSを映像ショットＳｈｏｔm毎に抽出する作動を説明する図である。前述の小時空間抽出部２２は動画全体に対応する時空間ＬＴＳから小時空間MTSを抽出しているのに対して、この小時空間抽出部３４は映像ショットＳｈｏｔm毎に小時空間MTSを抽出する点で相違するが、他は前述の小時空間抽出部２２と同様である。すなわち、小時空間抽出部３４は、先ず、動画全体に対応する時空間ＬＴＳから分割された１つの映像ショットＳｈｏｔmに対応する時空間毎に、たとえばｔ＝０時点の所定の画像フレーム内においてランダムに所定数たとえば１００００個の点p1〜pnを設定し、その点の画素およびその点の周囲の所定数の画素を含む一群の画素たとえば１６×１６の画素で構成される小領域内の色彩、輝度勾配、モーションフローなどで表される複数種類の特徴が算出され、上記所定の画像フレームに隣接する次の画像フレーム内においてその少領域の複数種類の特徴と同様の特徴を整合（マッチング）する小領域が特定されてその小領域の中心点が決定される。同様にして１つの映像ショットＳｈｏｔmに対応する時空間の終端の画像フレーム内の小領域の中心点が決定されると、それらの中心点の連続である多数本の軌跡Ｋ1〜ｋnが算出される。次に、多数本の軌跡Ｋ1〜ｋnに沿って等時間間隔で多数の小時空間MTSがそれぞれ設定される。
【００３２】
図８および図９は、小時空間特徴算出部３６の機能を説明する図である。この小時空間特徴算出部３６では、小時空間抽出部３４により映像ショットＳｈｏｔm毎に抽出された多数個の小時空間ＭＴＳについての特徴量、たとえば、外観（画像エッジの強さ）の特徴量ｆhog1〜ｆhogｎ、動き（モーション）の特徴量ｆhof1〜ｆhofn、色の特徴量ｆch1〜ｆchnが、小時空間ＭＴＳ内の画素から求められたエッジ、動き、色に基づいてそれぞれ算出される。また、この小時空間特徴算出部３６では、ＨＯＧ（外観特徴量）辞書、ＨＯＦ（動き特徴量）辞書、ＣＨ（色特徴量）辞書が、多数の動画中のシーン毎に求められた小時空間の外観特徴量、動き特徴量、色特徴量から、クラスタリング処理により代表的特徴量が決定され、その代表的特徴量をワードとする辞書が学習により作成され、予め記憶されている。
【００３３】
次いで、図９に示すように、小時空間特徴算出部３６では、上記外観特徴量ｆhog1〜ｆhogｎと、予め記憶されたＨＯＧ辞書内の特徴量Ｆhoga、Ｆhogb、Ｆhogc、Ｆhogd・・・とが順次比較され、最も似ているもの特徴量に対応する辞書番号c、a・・・ｄが決定され、辞書番号c、a・・・ｄ毎についての実際の外観特徴量ｆhog1〜ｆhogのヒット数を表す外観特徴量のヒストグラム(HOG Descriptorのhistogram)が、映像ショットＳｈｏｔm毎に算出される。動き（モーション）の特徴量ｆhof1〜ｆhofn、色の特徴量ｆch1〜ｆchnについても、動き（モーション）の特徴量のヒストグラム(HOF Descriptorのhistogram)および色の特徴量のヒストグラム(CH Descriptorのhistogram)が算出される。そして、映像ショットＳｈｏｔm毎の時空間特徴量である特徴ベクトルｆstが、上記外観特徴量のヒストグラム(HOG Descriptorのhistogram)、動き（モーション）の特徴量のヒストグラム(HOF Descriptorのhistogram)、および色の特徴量のヒストグラム(CH Descriptorのhistogram)から算出される。なお、図５の特徴量、図９の特徴量ｆsなどのヒストグラムで示されている量は、実際には多次元ベクトルで表される。
【００３４】
暴力要素解析部３８では、大量の動画からの統計処理により事前に学習され且つモデル記憶部４４に記憶された暴力要素識別器（暴力要素識別モデル）４６を用いて、各暴力要素の存在確率、たとえば殴り合いの存在確率Ｐｖ1、カーチェイスの存在確率Ｐｖ2、爆発の存在確率Ｐｖ3、銃撃の存在確率Ｐｖ4、流血の存在確率Ｐｖ5が、暴力要素識別器４６に記憶された(１)式、(２)式、(３)式、(４)式、(５)式から、映像ショットＳｈｏｔm毎の時空間特徴量である特徴ベクトルｆstに基づいてそれぞれ推定される。ここで、ｘはショット毎の時空間特徴量であり、ｖ1は殴り合いを示す暴力要素、ｖ2はカーチェイスを示す暴力要素、ｖ3は爆発を示す暴力要素、ｖ4は銃撃を示す暴力要素、ｖ5は流血を示す暴力要素である。
【００３５】
Ｐｖ1＝ｆｖ1(ｘ)      ・・・(１)
Ｐｖ2＝ｆｖ2(ｘ)      ・・・(２)
Ｐｖ3＝ｆｖ3(ｘ)      ・・・(３)
Ｐｖ4＝ｆｖ4(ｘ)      ・・・(４)
Ｐｖ5＝ｆｖ5(ｘ)      ・・・(５)
【００３６】
また、暴力要素解析部３８では、暴力要素識別器４６を用いる。暴力要素識別器４６は予め学習する。たとえば殴り合い識別器に対応する(１)式については、予め用意した大量のショット毎の特徴量である特徴ベクトルｆst1、ｆst2・・・ｆstnが算出され、各ショット中に殴り合いがあるか無いかを示すラベルta1、ta2・・・tan（ある場合は「＋１」、ない場合は「−１」）が付与される。このラベルが付与された学習サンプルを用いて暴力要素識別器４６内の(１)式中の未知パラメータが学習される。すべての学習サンプルに対して、ラベルが付与される場合は「＋１」、ない場合は「−１」を付与することで暴力要素の存在確率が学習補正される。このようにして学習が行なわれる学習サンプルでは、tan＝＋１であればｆｖ１(ｆst)が正の値(ｆｖ１(ｆst)＞0)、tan＝−１であればｆｖ１(ｆst)が負の値(ｆｖ１(ｆst)＜0)が成立するようにパラメータが学習される。
【００３７】
殴り合いｖ１、カーチェイスｖ２、爆発ｖ３、銃撃ｖ４、流血ｖ５という暴力要素についてラベリング済みの多数の動画（訓練データ）から学習により予め求められた依存関係を示す暴力要素相関モデルＶＭがモデル記憶部４４に予め記憶されている。図１０は、暴力要素更新部４０の機能を説明する図である。その暴力要素更新部４０では、その暴力要素相関モデルＶＭにより、殴り合いの存在確率Ｐｖ1、カーチェイスの存在確率Ｐｖ2、爆発の存在確率Ｐｖ3、銃撃の存在確率Ｐｖ4、流血の存在確率Ｐｖ5が、暴力要素間の相関関係を考慮した殴り合いの存在確率Ｐｖ1´、カーチェイスの存在確率Ｐｖ2´、爆発の存在確率Ｐｖ3´、銃撃の存在確率Ｐｖ4´、流血の存在確率Ｐｖ5´に更新される。これにより、それらの暴力要素の存在確率の精度が高められる。
【００３８】
図１１は、ハイレベル特徴算出部４２の機能を説明する図である。ハイレベル特徴算出部４２では、ショット分割部３２により分割された各ショットＳｈｏｔ1、Ｓｈｏｔ2、Ｓｈｏｔ3毎に暴力要素解析部３８により求められ且つ暴力要素更新部４０により更新された各暴力要素の存在確率Ｐｖ1_1、Ｐｖ2_1、Ｐｖ3_1、Ｐｖ4_1、Ｐｖ5_1、Ｐｖ1_2、Ｐｖ2_2、Ｐｖ3_2、Ｐｖ4_2、Ｐｖ5_2、Ｐｖ1_3、Ｐｖ2_3、Ｐｖ3_3、Ｐｖ4_3、Ｐｖ5_3に基づいて、４種類の統計量を算出し、さらにそれらを並べて２０次元のハイレベル特徴量、すなわち平均ペクトル(5D)、分散ベクトル(5D)、最大値ベクトル(5D)、積算ベクトル(5D)がそれぞれショット毎に算出される。そして、各ショット毎の特徴量が統計的にまとめられて動画全体のハイレベル特徴ベクトルα（20Dの多次元ベクトル）が算出される。
【００３９】
図２において、レーティング済映像群記憶部５２には、たとえば映画倫理委員会など社会一般に認められている暴力度判定が適用されることにより予めそれぞれレーティングされた複数の映像すなわち動画(ｘ1，ｌ1)、(ｘ2，ｌ2)・・・(ｘn，ｌn)が、その全体の特徴ｘiおよび暴力度のレベルｌiと共にが記憶されている。ここで、ｘiは動画ｉの全体の特徴ベクトルであり、ｌiは動画ｉの暴力度のレベル（レベル１、レベル２、レベル３、レベル４、レベル５）を示している。上記予めそれぞれレーティングされた複数の映像は、学習映像として用いられる。
【００４０】
モデル記憶部44に記憶されている構造予測器（構造予測モデル）５０は、たとえばガウス過程回帰(Gaussian Process Regression)処理から構成される。この構造予測器（構造予測モデル）５０には、統計的手法による機械学習で得られた暴力度の強弱ｙijと映像ペアの特徴(ｘi ｘj)との関係(ｙij＝ｆ(ｘi ｘj))が記憶されている。レーティング済映像群である前記予めそれぞれレーティングされた複数の学習映像すなわち動画(ｘ1，ｌ1)、(ｘ2，ｌ2)・・・(ｘn，ｌn)から学習ペアを生成し、その学習ペアの特徴(ｘ1 ｘ2)、(ｘ1 ｘ3)、(ｘ1 ｘ4)・・・を計算し、暴力度ラベルを用いて学習用教師信号ｙ12、ｙ13、ｙ14・・・を生成し、映像ペアの教師信号を用いて誤差を最小化するように学習することで、構造予測器(ｙij＝ｆ(ｘi ｘj))が得られている。この構造予測器(ｙij＝ｆ(ｘi ｘj))では、暴力度のレベルｌi≧ｌjであれば、出力される暴力度の強弱ｙijはｙij≧0となり、暴力度のレベルｌi＜ｌjであれば、出力される暴力度の強弱ｙijはｙij＜0となる。
【００４１】
暴力度レーティング部５４には、暴力度ランキング部５６および暴力度算出部５８が含まれている。暴力度ランキング部５６は、ランキング対象として入力された１つのテスト映像すなわち動画から算出されたハイレベル特徴量αおよびローレベル特徴量βを統合してそのテスト映像の特徴ベクトルｘを算出する。次いで、入力されたテスト映像（動画）を、すべての学習映像のそれぞれと一対の映像ペアを生成し、その映像ペアの特徴ベクトル(ｘi ｘj)を構造予測器に入力し、各映像ペアについてテスト映像である動画の暴力度と学習映像の暴力度の暴力度強弱関係を推定（出力）させる。
【００４２】
暴力度算出部５８では、入力されたテスト映像の暴力度ｌとレーティングされたすべての学習映像との間の暴力度ｌ1、ｌ2・・・ｌnとの強弱関係たとえばｌ＜ｌ1、ｌ≧ｌ2・・・ｌ≧ｌnから、入力されたテスト映像の暴力度のレベルｌiが算出される。たとえば、入力されたテスト映像の暴力度ｌと各レーティング済映像群の各映像の暴力度ｌnとの強弱関係が、ｌ≧ｌ1、ｌ＜ｌ2、ｌ≧ｌ3という複数の出力が得られた場合は、図１２に示すように、各不等式が示す複数の領域の重なりが生成されることから、図１３に示すように各不等式が成立する範囲の暴力度のレベルｌiにそれぞれ１を与えることで、最も得票の多い暴力度のレベルｌiが入力されたテスト映像の暴力度レベルとして決定される。図１３に示す場合は、入力されたテスト映像の暴力度レベルｌiが「２」として決定される。
【００４３】
そして、暴力度算出部５８により算出されたテスト映像の暴力度レベルｌiが、暴力度出力装置１８から出力される。
【００４４】
図１４は、図１のビデオコンテンツ暴力度評価装置１０において、予め記憶された暴力度評価処理プログラムに従って作動する電子演算処理装置１２の制御作動の要部を説明するフローチャートである。図１４において、小時空間抽出部２２に対応するステップＳ１（以下、ステップを省略する）では、ビデオコンテンツ内の暴力度を評価するための１つの動画（テスト映像）全体を構成する複数の画素を含むｘ軸、ｙ軸、ｔ軸からなる直交座標の３次元直方体で示されるの時空間ＬＴＳが設定される。次いで、たとえばｔ＝０時点の所定の画像フレーム内においてランダムに所定数たとえば１００００個の点p1〜pnを設定し、その点の画素およびその点の周囲の所定数の画素を含む一群の画素たとえば１６×１６の画素で構成される小領域内の色彩、輝度勾配、モーションフローなどで表される複数種類の特徴が算出され、上記所定の画像フレームに隣接する次の画像フレーム内においてその少領域の複数種類の特徴と同様の特徴を整合（マッチング）する小領域が特定されてその小領域の中心点が決定される。同様にして動画の終端の画像フレーム内の小領域の中心点が決定されると、それらの中心点の連続である多数本の軌跡Ｋ1〜ｋnが算出される。次に、多数本の軌跡Ｋ1〜ｋnに沿って等時間間隔で多数の小時空間MTSがそれぞれ設定される。
【００４５】
次いで、特徴量プーリング部２４に対応するＳ２では、動画全体に対応する時空間ＬＴＳがｔ軸およびｘ軸上で適当な間隔でいくつかのサブ時空間に分割される。たとえば、図４に示される各サブ時空間ＬＴＳ1、ＬＴＳ2、ＬＴＳ3、ＬＴＳ4、ＬＴＳ13、ＬＴＳ14、ＬＴＳ23、およびＬＴＳ24毎に、時空間特徴が算出される。この算出方法は、後述するハイレベル解析部３０における映像ショット毎の時空間特徴の算出と同じである。次に、ローレベル特徴算出部２６に対応するＳ３では、図５に示すように、サブ空間ＬＴＳ1、ＬＴＳ2、ＬＴＳ3、ＬＴＳ4、ＬＴＳ13、ＬＴＳ14、ＬＴＳ23、およびＬＴＳ24毎にそれぞれ算出された特徴量の次元削減処理が実行され、１つの動画から１つのローレベル特徴量（ベクトル）βが算出され、記憶される。
【００４６】
映像ショット分割部３２に対応するＳ４では、図６に示すように、１つの動画中において画像変化が安定している連続した画像フレームの集合が１つの映像ショットすなわちシーンとして判定され、動画全体に対応する三次元時空間が複数のショット区間に分割される。たとえば、映像ショット分割部３２は、１つの動画全体に対応する時空間ＬＴＳを構成する各画像フレームの色ヒストグラム距離ＣＨＤと、エッジ変化比ＥＣＲとを算出し、色ヒストグラム距離ＣＨＤの時間経過に伴う曲線が示すピークＰＫＤと、エッジ変化比ＥＣＲ(Edge Change Ratio)の時間経過に伴う曲線が示すピークＰＫＲとが一致する時点ｔｐ1、ｔｐ2・・・を映像ショットすなわちシーンの切れ目として順次判断し、その時点間たとえば時点ｔｐ1と時点ｔｐ2との間を１つの映像ショットＳｈｏｔ1として判定する。これにより、１つの動画が複数の映像ショットＳｈｏｔ1、Ｓｈｏｔ2・・・Ｓｈｏｔmに分割される。
【００４７】
小時空間抽出部３４に対応するＳ５では、図７に示すように、前述の小時空間抽出部２２は動画全体に対応する時空間ＬＴＳから小時空間MTSを抽出しているのに対して、映像ショットＳｈｏｔm毎に小時空間MTSが抽出される点で相違するが、他は前述の小時空間抽出部２２と同様である。先ず、動画全体に対応する時空間ＬＴＳから分割された１つの映像ショットＳｈｏｔmに対応する時空間毎に、多数本の軌跡Ｋ1〜ｋnが算出され、その多数本の軌跡Ｋ1〜ｋnに沿って等時間間隔で多数の小時空間MTSがそれぞれ設定される。
【００４８】
小時空間特徴算出部３６に対応するＳ６では、図８および図９に示すように、Ｓ５により映像ショットＳｈｏｔm毎に抽出された特徴ベクトルｆst、たとえば、外観（画像エッジの強さ）の特徴量ｆhog1〜ｆhogｎ、動き（モーション）の特徴量ｆhof1〜ｆhofn、色の特徴量ｆch1〜ｆchnが、小時空間ＭＴＳ内の複数の画素から求められたエッジ、動き、色に基づいてそれぞれ算出される。また、ＨＯＧ（外観特徴量）辞書、ＨＯＦ（動き特徴量）辞書、ＣＨ（色特徴量）辞書が、多数の動画中のシーン毎に求められた小時空間の外観特徴量、動き特徴量、色特徴量から、クラスタリング処理により代表的特徴量が決定され、その代表的特徴量をワードとする辞書が学習により作成され、予め記憶されている。また、このＳ６では、図９に示すように、上記外観特徴量ｆhog1〜ｆhogｎと、予め記憶されたＨＯＧ辞書内の特徴量Ｆhoga、Ｆhogb、Ｆhogc、Ｆhogd・・・とが順次比較され、最も似ているもの特徴量に対応する辞書番号c、a・・・ｄが決定され、各辞書番号c、a・・・ｄについての実際外観特徴量ｆhog1〜ｆhogｎのヒット数を表す外観特徴量のヒストグラム(HOG Descriptorのhistogram)が算出される。動き（モーション）の特徴量ｆhof1〜ｆhofn、色の特徴量ｆch1〜ｆchnについても、動き（モーション）の特徴量のヒストグラム(HOF Descriptorのhistogram)および色の特徴量のヒストグラム(CH Descriptorのhistogram)が映像ショットＳｈｏｔm毎に算出される。そして、映像ショットＳｈｏｔm毎の時空間特徴量である特徴ベクトルｆstが、上記外観特徴量のヒストグラム(HOG Descriptorのhistogram)、動き（モーション）の特徴量のヒストグラム(HOF Descriptorのhistogram)、および色の特徴量のヒストグラム(CH Descriptorのhistogram)から算出される。なお、図５の特徴量、図９の特徴量ｆsなどのヒストグラムで示されている量は、実際には多次元ベクトルで表される。
【００４９】
暴力要素解析部３８に対応するＳ７では、大量の動画からの統計処理により事前に学習され且つモデル記憶部４４に記憶された暴力要素識別器（暴力要素識別モデル）４６すなわち(１)式、(２)式、(３)式、(４)式、(５)式から、映像ショットＳｈｏｔm毎の時空間特徴量である特徴ベクトルｆstに基づいて、各暴力要素の存在確率、たとえば殴り合いの存在確率Ｐｖ1、カーチェイスの存在確率Ｐｖ2、爆発の存在確率Ｐｖ3、銃撃の存在確率Ｐｖ4、流血の存在確率Ｐｖ5がそれぞれ推定される。
【００５０】
また、暴力要素解析部３８に対応するＳ７では、たとえば殴り合い識別器に対応する(１)式については、予め用意した大量の映像ショット毎の特徴ベクトルｆst1、ｆst2・・・ｆstnが算出され、各映像ショット中に殴り合いがあるか無いかを示すラベルta1、ta2・・・tan（ある場合は「＋１」、ない場合は「−１」）が付与される。このラベルが付与された学習サンプルを用いて暴力要素識別器４６内の(１)式中の未知パラメータが学習される。すべての学習サンプルに対して、ラベルが付与される場合は「＋１」、ない場合は「−１」を付与することで暴力要素の存在確率が学習補正される。すなわち、暴力要素識別器４６の学習が実行される。このようにして学習が行なわれる学習サンプルでは、tan＝＋１であればｆｖ１(ｆst)が正の値(ｆｖ１(ｆst)＞0)、tan＝−１であればｆｖ１(ｆst)が負の値(ｆｖ１(ｆst)＜0)が成立するようにパラメータが学習される。
【００５１】
暴力要素更新部４０に対応するＳ８では、暴力要素相関モデルＶＭにより、殴り合いの存在確率Ｐｖ1、カーチェイスの存在確率Ｐｖ2、爆発の存在確率Ｐｖ3、銃撃の存在確率Ｐｖ4、流血の存在確率Ｐｖ5が、暴力要素間の相関関係を考慮した殴り合いの存在確率Ｐｖ1´、カーチェイスの存在確率Ｐｖ2´、爆発の存在確率Ｐｖ3´、銃撃の存在確率Ｐｖ4´、流血の存在確率Ｐｖ5´に更新される。
【００５２】
ハイレベル特徴算出部４２に対応するＳ９では、図１１に示すように、Ｓ４により分割された各ショットＳｈｏｔ1、Ｓｈｏｔ2、Ｓｈｏｔ3毎に暴力要素解析部３８により求められ且つ暴力要素更新部４０により更新された各暴力要素の存在確率Ｐｖ1_1、Ｐｖ2_1、Ｐｖ3_1、Ｐｖ4_1、Ｐｖ5_1、Ｐｖ1_2、Ｐｖ2_2、Ｐｖ3_2、Ｐｖ4_2、Ｐｖ5_2、Ｐｖ1_3、Ｐｖ2_3、Ｐｖ3_3、Ｐｖ4_3、Ｐｖ5_3に基づいて、４種類の統計量を算出し、さらにそれらを並べて２０次元のハイレベル特徴量、すなわち平均ペクトル(5D)、分散ベクトル(5D)、最大値ベクトル(5D)、積算ベクトル(5D)がそれぞれショット毎に算出される。そして、各ショット毎の特徴量が統計的にまとめられて動画全体のハイレベル特徴ベクトルα（20Dの多次元ベクトル）が算出される。
【００５３】
暴力度ランキング部５６に対応するＳ１０では、ランキング対象として入力された１つのテスト映像すなわち動画から算出されたハイレベル特徴量αおよびローレベル特徴量βが統合されてそのテスト映像の特徴ベクトルｘが算出される。次いで、入力されたテスト映像（動画）を、すべての学習映像のそれぞれと一対の映像ペアを生成し、その映像ペアの特徴ベクトル(ｘi ｘj)を構造予測器に入力し、各映像ペアについてテスト映像である動画の暴力度と学習映像の暴力度の暴力度強弱関係が推定（出力）される。
【００５４】
暴力度算出部５８に対応するＳ１１では、入力されたテスト映像の暴力度ｌとレーティングされたすべての学習映像との間の暴力度ｌ1、ｌ2・・・ｌnとの強弱関係たとえばｌ＜ｌ1、ｌ≧ｌ2・・・ｌ≧ｌnから、入力されたテスト映像の暴力度のレベルｌiが算出される。たとえば、入力されたテスト映像の暴力度ｌと各レーティング済映像群の各映像の暴力度ｌnとの強弱関係が、ｌ≧ｌ1、ｌ＜ｌ2、ｌ≧ｌ3という複数の出力が得られた場合は、図１２に示すように、各不等式が示す複数の領域の重なりが生成されることから、図１３に示すように各不等式が成立する範囲の暴力度のレベルｌiにそれぞれ１を与えることで、最も得票の多い暴力度のレベルｌiが入力されたテスト映像の暴力度レベルとして決定される。図１３に示す場合は、入力されたテスト映像の暴力度レベルｌiが「２」として決定される。そして、算出されたテスト映像の暴力度レベルｌiが、暴力度出力装置１８から出力される。
【００５５】
上述のように、本実施例のビデオコンテンツ暴力度評価装置１０によれば、ビデオコンテンツ内の動画の暴力度を評価するに際して、多数の画素からそれぞれ構成された連続する複数の画像フレームから成る一つの動画を、その画像フレームを構成する二次元座標に時間軸を加えた三次元空間内において、画像フレーム内の複数の点を含む小領域内の画素群の輝度勾配および色が隣接する画像フレーム間でマッチングする小領域を前記複数の画像フレームを通して通る複数本の軌跡にそれぞれ沿って位置する局所空間である複数の小時空間ＭＴＳが抽出され、その複数の小時空間ＭＴＳ内の画素からその複数の小時空間毎の特徴量がそれぞれ算出されるとともに前記動画の映像ショット毎の特徴ベクトルがその複数の小時空間毎の特徴量に基づいて算出され、その映像ショット毎の特徴ベクトルに基づいて暴力度を定める暴力要素の存在確率が算出され、その暴力要素の存在確率を用いることによりビデオコンテンツ全体の暴力度が算出されるので、ビデオコンテンツの暴力度を専ら映像解析処理を用いて評価することができる。
【００５６】
また、本実施例のビデオコンテンツ暴力度評価装置１０によれば、前記三次元空間を前記連続する複数の画像フレームのうちの画像変化が安定している複数の映像ショットに分割するショット分割部３２或いはショット分割工程を含み、小時空間特徴算出部３６或いは小時空間特徴算出工程は、前記映像ショット毎に、その複数の小時空間内の画素からその複数の小時空間ＭＴＳ毎の特徴量をそれぞれ算出するとともに前記動画の映像ショット毎の特徴ベクトルをその複数の小時空間毎の特徴量に基づいて算出し、暴力要素解析部３８或いは暴力要素解析工程は、前記映像ショット毎に、その映像ショット毎の特徴ベクトルに基づいて暴力度を定める暴力要素の存在確率を算出する。このため、専ら映像解析処理を用いたビデオコンテンツの暴力度評価の精度が高められる。
【００５７】
また、本実施例のビデオコンテンツ暴力度評価装置１０によれば、暴力要素解析部３８により算出された暴力要素の存在確率を予め記憶された暴力要素間の依存関係を示す暴力要素相関モデルに基づいて更新する暴力要素更新部４０或いは暴力要素更新工程が設けられる。このようにすれば、暴力要素の存在確率の精度が一層高められる。
【００５８】
また、本実施例のビデオコンテンツ暴力度評価装置１０によれば、暴力要素解析部３８によりショット毎に算出された暴力要素の存在確率または前記暴力要素更新部４０或いは暴力要素更新工程により更新された暴力要素の存在確率が統計的にまとめられて動画全体のハイレベル特徴量αを算出するハイレベル特徴算出部４２或いはハイレベル特徴算出工程と、前記三次元の時空間内から抽出された小時空間ＭＴＳの特徴量から得られたローレベル特徴量βを算出するローレベル特徴算出部２６或いはローレベル特徴算出工程と、ハイレベル特徴量αおよびローレベル特徴量βを統合して動画の特徴ベクトルを算出し、その動画と、予めレーティングされた複数の学習映像のそれぞれと一対の映像ペアを生成し、その映像ペアの特徴ベクトルを構造予測器５０に入力し、各映像ペアについて前記動画の暴力度と前記学習映像の暴力度の暴力度強弱関係を推定させる暴力度ランキング部５６或いは暴力度ランキング工程とを含み、前記暴力度算出部５８或いは暴力度算出工程は、前記動画の暴力度と前記学習映像の暴力度の暴力度強弱関係を用いることにより前記ビデオコンテンツ全体の暴力度を算出するものである。この場合、映像ショット毎の意味レベルの情報であるハイレベル特徴量βと、動画全体のアバウトなローレベルの情報であるローレベル特徴量αとを統合した動画の特徴ベクトルとが用いられるので、ビデオコンテンツの暴力度の評価が一層正確に得られる。また、社会一般の基準で暴力度が学習された構造予測器５０を用いて各映像ペアについて前記動画の暴力度と前記学習映像の暴力度の暴力度強弱関係を推定させ、前記動画の暴力度と前記学習映像の暴力度の暴力度強弱関係を用いることにより前記ビデオコンテンツの暴力度が算出されるので、ビデオコンテンツの暴力度について専ら映像解析処理を用いて社会一般の基準に基づいた評価が得られる。
【００５９】
以上、本発明の一実施例を図面に基づいて説明したが、本発明はその他の態様においても適用される。
【００６０】
たとえば、前述の実施例において、少々の精度の低下が許容される場合は、暴力要素更新部４０は、必ずしも設けられていなくてもよい。
【００６１】
また、前述の実施例において、少々の精度の低下が許容される場合は、ローレベル特徴量βを算出するための、小時空間抽出部２２、特徴量プーリング部２４、およびローレベル特徴算出部２６は、必ずしも設けられていなくてもよい。
【００６２】
また、前述の実施例において、構造予測器（構造予測モデル）５０は、たとえばガウス過程回帰(Gaussian Process Regression)処理から構成されたものであったが、他の形式の学習モデルから構成されたものであってもよい。
【００６３】
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲で種々変更を加え得るものである。
【符号の説明】
【００６４】
１０：ビデオコンテンツ暴力度評価装置
１２：電子演算処理装置
２６：ローレベル特徴算出部
３４：小時空間抽出部
３６：小時空間特徴算出部
３８：暴力要素解析部
４０：暴力要素更新部
４２：ハイレベル特徴算出部
５０：構造予測器
５６：暴力度ランキング部
５８：暴力度算出部
【図１】
2015149030.tif 000003
【図２】
2015149030.tif 000004
【図３】
2015149030.tif 000005
【図４】
2015149030.tif 000006
【図５】
2015149030.tif 000007
【図６】
2015149030.tif 000008
【図７】
2015149030.tif 000009
【図８】
2015149030.tif 000010
【図９】
2015149030.tif 000011
【図１０】
2015149030.tif 000012
【図１１】
2015149030.tif 000013
【図１２】
2015149030.tif 000014
【図１３】
2015149030.tif 000015
【図１４】
2015149030.tif 000016