(57)【要約】【課題】ユーザにおいて映像の文脈やストーリーを評価することのできる映像評価装置と映像評価方法及び映像評価プログラムを提供する。【解決手段】  映像データをシーン毎に区分けするシーン抽出部４と、シーン抽出部４により区分けされたシーン毎にシーンの種別を示すラベルを付する種別ラベル付与部５と、連続した所定数のラベルからなる連続パターンを抽出する連続パターン抽出部７と、連続パターン抽出部７により抽出された連続パターンの出現頻度を算出する連続パターン出現頻度算出部１０を備えた映像評価装置１を提供する。【選択図】  図１
2019133254.tif 000002
【特許請求の範囲】
【請求項１】
映像データをシーン毎に区分けするシーン抽出手段と、
前記シーン抽出手段により区分けされたシーン毎にシーンの種別を示すラベルを付する種別ラベル付与手段と、
連続した所定数の前記ラベルからなる連続パターンを抽出する連続パターン抽出手段と、
前記連続パターン抽出手段により抽出された前記連続パターンの出現頻度を算出する連続パターン出現頻度算出手段を備えた映像評価装置。
【請求項２】
前記連続パターン出現頻度算出手段は、
評価対象とする全映像データ中において特定の前記連続パターンが出現する映像データの割合からなる映像レベル出現頻度を算出する映像レベル出現頻度算出手段と、
前記全映像データから抽出される全ての前記連続パターン中において、前記特定の前記連続パターンが出現する頻度としてのパターンレベル出現頻度を算出するパターンレベル出現頻度算出手段の少なくとも一方を含む請求項１に記載の映像評価装置。
【請求項３】
前記シーン毎に前記シーンの時間長を示す時間長ラベルを付する時間長ラベル付与手段をさらに備え、
前記連続パターン抽出手段は、連続した所定数の前記時間長ラベルからなる連続パターンを抽出し、
前記連続パターン出現頻度算出手段は、評価対象とする全映像データ中において特定の前記時間長ラベルからなる連続パターンが出現する映像データの割合からなる映像レベル出現頻度を算出し、又は前記全映像データから抽出される全ての前記時間長ラベルからなる連続パターン中において、前記特定の前記時間長ラベルからなる連続パターンが出現する頻度としてのパターンレベル出現頻度の少なくとも一方を算出する、請求項２に記載の映像評価装置。
【請求項４】
前記映像データを構成する前記連続パターン毎に、前記映像レベル出現頻度と前記パターンレベル出現頻度を独立変数とする二次元座標系における座標を算出する視覚化手段をさらに備えた請求項２に記載の映像評価装置。
【請求項５】
前記二次元座標系は、前記映像レベル出現頻度の逆数を動径とし、前記パターンレベル出現頻度の関数を偏角とした極座標系である請求項４に記載の映像評価装置。
【請求項６】
映像データをシーン毎に区分けするシーン抽出手段と、
前記シーン抽出手段により区分けされたシーン毎にシーンの時間長を示す時間長ラベルを付する時間長ラベル付与手段と、
前記時間長ラベルの出現頻度分布を算出する時間長ラベル出現頻度分布算出手段を備えた映像評価装置。
【請求項７】
前記シーン抽出手段により区分けされたシーン毎にシーンの種別を示す種別ラベルを付する種別ラベル付与手段と、
連続した所定数の前記種別ラベルからなる連続パターンを抽出する連続パターン抽出手段と、
前記連続パターン抽出手段により抽出された前記連続パターンの出現頻度を算出する連続パターン出現頻度算出手段と、
前記時間長ラベル出現頻度分布算出手段により算出された前記時間長ラベルの出現頻度分布と、前記連続パターン出現頻度算出手段により算出された前記連続パターンの出現頻度に応じて、前記映像データを編集し、若しくは他の映像データを抽出する映像データ処理手段をさらに備えた請求項６に記載の映像評価装置。
【請求項８】
映像データをシーン毎に区分けする第一のステップと、
前記第一のステップで区分けされたシーン毎にシーンの種別を示すラベルを付する第二のステップと、
連続した所定数の前記ラベルからなる連続パターンを抽出する第三のステップと、
前記第三のステップで抽出された前記連続パターンの出現頻度を算出する第四のステップを含む映像評価方法。
【請求項９】
前記第四のステップは、
評価対象とする全映像データ中において特定の前記連続パターンが出現する映像データの割合からなる映像レベル出現頻度を算出するステップと、
前記全映像データから抽出される全ての前記連続パターン中において、前記特定の前記連続パターンが出現する頻度としてのパターンレベル出現頻度を算出するステップとの少なくとも一方を含む請求項８に記載の映像評価方法。
【請求項１０】
前記シーン毎に前記シーンの時間長を示す時間長ラベルを付する第五のステップと、
連続した所定数の前記時間長ラベルからなる連続パターンを抽出する第六のステップと、
評価対象とする全映像データ中において特定の前記時間長ラベルからなる連続パターンが出現する映像データの割合からなる映像レベル出現頻度を算出し、又は前記全映像データから抽出される全ての前記時間長ラベルからなる連続パターン中において、前記特定の前記時間長ラベルからなる連続パターンが出現する頻度としてのパターンレベル出現頻度の少なくとも一方を算出する第七のステップとをさらに含む請求項９に記載の映像評価方法。
【請求項１１】
前記映像データを構成する前記連続パターン毎に、前記映像レベル出現頻度と前記パターンレベル出現頻度を独立変数とする二次元座標系における座標を算出する第五のステップをさらに含む請求項９に記載の映像評価方法。
【請求項１２】
前記二次元座標系は、前記映像レベル出現頻度の逆数を動径とし、前記パターンレベル出現頻度の関数を偏角とした極座標系である請求項１１に記載の映像評価方法。
【請求項１３】
映像データをシーン毎に区分けする第一のステップと、
前記第一のステップで区分けされたシーン毎にシーンの時間長を示す時間長ラベルを付する第二のステップと、
前記時間長ラベルの出現頻度分布を算出する第三のステップを含む映像評価方法。
【請求項１４】
前記第一のステップで区分けされたシーン毎にシーンの種別を示す種別ラベルを付する第四のステップと、
連続した所定数の前記種別ラベルからなる連続パターンを抽出する第五のステップと、
前記第五のステップで抽出された前記連続パターンの出現頻度を算出する第六のステップと、
前記第三のステップで算出された前記時間長ラベルの出現頻度分布と、前記第六のステップで算出された前記連続パターンの出現頻度に応じて、前記映像データを編集し、若しくは他の映像データを抽出する第七のステップをさらに含む請求項１３に記載の映像評価方法。
【請求項１５】
コンピュータに映像の評価をさせるための映像評価プログラムであって、前記コンピュータに対して、
映像データをシーン毎に区分けさせる第一の手順と、
前記第一の手順において区分けされたシーン毎にシーンの種別を示すラベル若しくは前記シーンの時間長を示す時間長ラベルの少なくとも一方を付させる第二の手順と、
連続した所定数の前記種別を示すラベル若しくは前記時間長ラベルからなる連続パターンの少なくとも一方を抽出させる第三の手順と、
前記第三の手順において抽出された前記連続パターンの出現頻度を算出させる第四の手順を含む映像評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を評価するための技術に関するものである。
【背景技術】
【０００２】
現在においては、種々の映像処理技術が考案されているが、例えば特許文献１には、コンテンツから得られたシーン情報を逐次ユーザ嗜好度で評価し、シーン単位でより嗜好度の高いコンテンツがあった場合にはユーザに当該コンテンツを推薦する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１４１０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示された技術は、あくまでコンテンツをシーン単位で評価するものであるため、複数のシーンの時系列構造としての当該コンテンツの流れを示す文脈やストーリーを評価することはできないという問題がある。
【０００５】
本発明は、このような問題を解決するためになされたもので、複数のシーンの時系列構造や分布や頻度の特徴を抽出することで、ユーザにおいて映像の文脈やストーリーを評価することのできる映像評価装置と映像評価方法及び映像評価プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、映像データをシーン毎に区分けするシーン抽出手段と、シーン抽出手段により区分けされたシーン毎にシーンの種別を示すラベルを付する種別ラベル付与手段と、連続した所定数のラベルからなる連続パターンを抽出する連続パターン抽出手段と、連続パターン抽出手段により抽出された連続パターンの出現頻度を算出する連続パターン出現頻度算出手段を備えた映像評価装置を提供する。
【０００７】
また、上記課題を解決するため、本発明は、映像データをシーン毎に区分けするシーン抽出手段と、シーン抽出手段により区分けされたシーン毎にシーンの時間長を示す時間長ラベルを付する時間長ラベル付与手段と、時間長ラベルの出現頻度分布を算出する時間長ラベル出現頻度分布算出手段を備えた映像評価装置を提供する。
【０００８】
また、上記課題を解決するため、本発明は、映像データをシーン毎に区分けする第一のステップと、第一のステップで区分けされたシーン毎にシーンの種別を示すラベルを付する第二のステップと、連続した所定数のラベルからなる連続パターンを抽出する第三のステップと、第三のステップで抽出された連続パターンの出現頻度を算出する第四のステップを含む映像評価方法を提供する。
【０００９】
また、上記課題を解決するため、本発明は、映像データをシーン毎に区分けする第一のステップと、第一のステップで区分けされたシーン毎にシーンの時間長を示す時間長ラベルを付する第二のステップと、時間長ラベルの出現頻度分布を算出する第三のステップを含む映像評価方法を提供する。
【００１０】
また、上記課題を解決するため、本発明は、コンピュータに映像の評価をさせるための映像評価プログラムであって、コンピュータに対して、映像データをシーン毎に区分けさせる第一の手順と、第一の手順において区分けされたシーン毎にシーンの種別を示すラベル若しくはシーンの時間長を示す時間長ラベルの少なくとも一方を付させる第二の手順と、連続した所定数の種別を示すラベル若しくは時間長ラベルからなる連続パターンの少なくとも一方を抽出させる第三の手順と、第三の手順において抽出された連続パターンの出現頻度を算出させる第四の手順を含む映像評価プログラムを提供する。
【発明の効果】
【００１１】
本発明によれば、複数のシーンの時系列構造や分布や頻度の特徴を抽出することで、ユーザにおいて映像の文脈やストーリーを評価することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る映像評価装置１の構成を示すブロック図である。
【図２】本発明の実施の形態に係る映像評価方法を示す第一のフローチャートである。
【図３】図２に示されたステップＳ３における連続パターンの抽出方法の具体例を示す図である。
【図４】本発明の実施の形態に係る映像評価方法を示す第二のフローチャートである。
【図５】図４に示されたステップＳ１６において算出された座標を描画して遷移を示すことにより得られた極座標系のグラフの一例を示し、図５（ａ）〜（ｄ）は、ある映像データを時間軸で４等分し、得られた順に図示したものである。
【図６】図４に示されたステップＳ１６において算出された座標を描画して遷移を示すことにより得られた両対数系のグラフの一例を示し、図６（ａ）〜（ｄ）は、ある映像データを時間軸で４等分し、得られた順に図示したものである。
【図７】本発明の実施の形態に係る映像評価方法を示す第三のフローチャートである。
【図８】図７に示されたステップＳ２２における時間長ラベルの付与方法の具体例を説明するための図である。
【図９】図７に示されたステップＳ２３において得られた時間長ラベルの出現頻度分布の一例を示すヒストグラムである。
【図１０】図９のヒストグラムをガウス関数で近似したグラフである。
【図１１】図１に示された映像評価装置１を用いた映像情報データベースの構築方法を説明するための図である。
【図１２】図７に示されたステップＳ２７における映像データの編集や他の映像データの抽出についての具体例を説明するための図である。
【図１３】本発明の他の実施の形態に係る映像評価装置１５の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
【００１４】
本発明の実施の形態に係る映像評価装置、映像評価方法及び映像評価プログラムは、人が映像の文脈的内容を理解するための特性を応用し、映像の編集、要約、作成、編集、及び要約された映像の評価や分析を行うための装置、方法及びプログラムである。これらの実施の形態を説明するに当たり、最初に用語の定義について説明する。
【００１５】
「映像」とは、時間で視覚情報が変化するコンテンツであって、動画、映画、テレビ放送番組、インターネット配信番組、アニメーション、プレゼンテーションなどの静止画のスライドショー、監視カメラや車載カメラなどの記録映像、デジタルサイネージ、３６０度仮想現実（VR）映像、立体映像などを含むものである。
【００１６】
「シーン」とは、映像の最小単位を意味し、映像を符号化した場合における最小要素をなすもので、例えば映像認識技術から自動的に抽出した人や物のカテゴリ情報、人の動きや状態などの情報が該当する。なお、各シーンは、映像において、言語構造における単語に相当するものといえる。また、「シーン長」とは、場面が変わることなく同一シーンが継続的に検知される時間を意味する。また、この「シーン」の文言は、「ショット」や「カット」と呼ぶことがある。
【００１７】
「シークエンス」とは、複数のシーンから構成される一つの意味的な表現を持つ場面や、場面の展開を表現する最小単位を意味する。ここで、前者の例として、同じ場面において種々の角度から撮影されたシーンをつなげたもの、後者の例として、特定人物のある目的における一連の流れなど一つの場面展開に関わるシークエンスのまとまりが該当する。なお、各シークエンスは、映像において、言語構造における文章や段落に相当するものといえる。
【００１８】
「プロット」とは、複数のシークエンスから構成された物語の展開を表現する最小単位を意味し、例えば、異なる登場人物がそれぞれ展開する物語を構成要素とする映像全体としての物語展開が該当する。なお、各プロットは、映像において、言語構造における章に相当するものといえる。
【００１９】
「アクト」とは、プロットを大きな物語の転換でまとめた区分単位を意味し、例えば起承転結などが該当する。なお、各アクトは、映像において、言語構造における幕に相当するものといえる。
【００２０】
図１は、本発明の実施の形態に係る映像評価装置１の構成を示すブロック図である。図１に示されるように、映像評価装置１は入出力端子２と、入出力端子２に接続されたバス３と、それぞれバス３に接続されたシーン抽出部４、種別ラベル付与部５、時間長ラベル付与部６、連続パターン抽出部７、連続パターン出現頻度算出部１０、時間長ラベル出現頻度分布算出部１１、映像データ処理部１２、視覚化部１３、及び記憶部１４を備える。ここで、連続パターン出現頻度算出部１０は、バス３に接続された映像レベル出現頻度算出部８及びパターンレベル出現頻度算出部９を含む。
【００２１】
図２は、本発明の実施の形態に係る映像評価方法を示す第一のフローチャートである。以下においては、図１に示された映像評価装置１の動作によって、図２に示された映像評価方法を実現する場合について説明するが、本映像評価方法は映像評価装置１を用いた場合に限られないことは言うまでもない。
【００２２】
図２に示されるように、ステップＳ１では、シーン抽出部４は外部から入出力端子２及びバス３を介して、若しくは記憶部１４から供給された映像データをシーン毎に区分けする。ここで、シーン毎の区分けは、映像フレーム間における局所的な画像変化から、シーンの切り替わりを自動的に検知する既存技術を用いて実現されるが、人の判断に基づいて行うようにしてもよい。なお、このような区分けにより、編集された映像のつなぎ目を把握できると共に、１シーン当たりの時間長を計算することが可能となる。
【００２３】
次に、ステップＳ２では、種別ラベル付与部５はステップＳ１で区分けされたシーン毎にシーンの種別を示すラベル（以下「種別ラベル」という）を付して映像データを符号化する。ここで、本種別ラベルは、以下の表１に示されるように、シーン毎に、映っている人や物のクローズアップ等といった種別に応じて付されるもので、例えば主役の顔がクローズアップされているシーンに対しては種別ラベル「Ｋ１」が付されることになる。
【００２４】
【表１】
2019133254.tif 000003
【００２５】
なお、シーン毎の種別は、既存の映像認識技術を用いることによって、人と物の区別、動きや状態などを自動的に検出することにより実現できるが、人為的に判断しても良い。
【００２６】
シーン毎にこのような種別ラベルを付することにより、当該映像データを構成する各シーンの時間的な移り変わり（シークエンス）を、種別ラベルの遷移として表すことができる。
【００２７】
次に、ステップＳ３では、連続パターン抽出部７は連続した所定数の種別ラベルからなる連続パターンを抽出する。なお、抽出された連続パターンは、上記シークエンスを符号化したものに該当するため、本抽出により、映像データを連続パターンの遷移として表すことができる。以下において、図３を用いて連続パターンの抽出方法の具体例を説明する。
【００２８】
図３に示されるように、映像作品の流れに沿って、各シーンに種別を付することにより、一連の種別ラベルにより構成されるラベル系列データを得ることができる。そして、このようにして得られたラベル系列データから、連続する例えば３個の種別ラベルの時系列構造（以下「３グラムパターン」という）を抽出し、３グラムパターン（Ｙ１，Ｊ２，Ｙ１）、（Ｙ１，Ｊ２，ＳＳ）、（Ｊ２，Ｙ１，ＨＳ）、（Ｊ２，ＳＳ，ＨＳ）を生成する。これにより、上記流れに沿って３グラムパターンの遷移構造（シークエンス）データＤ１，Ｄ２を得ることができる。
【００２９】
なお、上記種別ラベルの時系列構造（グラムパターン）は、連続する３個の種別ラベルにより構成される場合に限られず、連続するｎ（ｎは２以上の自然数）個の種別ラベルにより構成されるものであっても良い。
【００３０】
このような方法により連続パターンを抽出することによって、当該映像データを連続パターンの遷移として表すことができる。
【００３１】
次に、ステップＳ４では、連続パターン出現頻度算出部１０は、ステップＳ３で抽出された連続パターンの種類別の出現数を計数することにより、出現頻度を算出する。この連続パターン出現頻度算出部１０による出現頻度の算出については、後に詳しく説明する。
【００３２】
図４は、本発明の実施の形態に係る映像評価方法を示す第二のフローチャートである。以下においては、図１に示された映像評価装置１の動作によって、図４に示された映像評価方法を実現する場合について説明するが、本映像評価方法は映像評価装置１を用いた場合に限られないことは言うまでもない。なお、図４に示されたステップＳ１１〜Ｓ１３は、図２に示されたステップＳ１〜Ｓ３に相当するものであるため、説明を省略する。
【００３３】
図４に示されるように、ステップＳ１４では、映像レベル出現頻度算出部８が、評価対象とする全映像データ中において特定の連続パターンが出現する映像データの割合からなる映像レベル出現頻度を算出する。ここで、映像レベル出現頻度は、上記特定の連続パターンを映像データ毎にまとめた上で、映像データ毎における当該連続パターンの出現傾向を示す指標である。本指標により、複数の映像データにみられる共通のパターン（共通文法）である度合いや、特定若しくは少数の映像データのみにみられる個性的なパターン（個性文法）である度合いが数値（スコア）として表現される。
【００３４】
次に、ステップＳ１５では、パターンレベル出現頻度算出部９が、全映像データから抽出される全ての連続パターン中において、特定の連続パターンが出現する頻度であるパターンレベル出現頻度を算出する。ここで、パターンレベル出現頻度は、特定の連続パターンの出現する傾向を連続パターン毎に評価する指標であって、映像データのタイプとは無関係に特定の連続パターンが出現する度合いをスコアとして表現したものといえる。
【００３５】
次に、ステップＳ１６では、視覚化部１３が、映像データを構成する連続パターン毎に、映像レベル出現頻度とパターンレベル出現頻度を独立変数とする二次元座標系における座標を算出する。ここで、上記座標をプロットして遷移を示すことにより得られたグラフから読み取れる情報、例えば上記二次元座標系のある領域におけるプロットの有無などは、映像データの監督情報やユーザによるレビュー情報といった映像情報と相関関係にあることがわかっている。このため、上記グラフから読み取ることができる情報を利用することにより、映像データの分析や評価に活用できる指標を獲得することができる。
【００３６】
また、シークエンスの構造特性を分析するためには、上記二つの独立変数の時間的遷移や後述するシーンの時間長を表すための時間軸を加えた三次元空間において特徴ベクトル化を行うことも考えられる。
【００３７】
図５は、図４に示されたステップＳ１６において算出された座標をプロットして映像文法遷移空間を視覚化することにより得られたグラフの一例を示し、図５（ａ）〜（ｄ）は、ある映像データを時間軸で４等分し、得られた順に図示したものである。ここで、図５（ａ）〜（ｄ）のグラフは、動径を後述するSPIスコアとし、偏角を後述するスコアVSMlogに応じた値VSMargとする極座標系のグラフとされる。
【００３８】
以下において、上記のSPIスコア及びスコアVSMlogについて詳しく説明する。
【００３９】
映像データの共通パターンや個性パターンを表現する基準として、映像データ間でのシークエンスの偏り具合（以下「プロット重要性（Story Plot Importance ; SPI）」という。）を数値化したものをSPIスコアという。本スコアは、複数のシーンの情報とその時系列構造に含まれる情報で構成されるシークエンスの奇抜さや特殊さを定量評価したものといえる。奇抜さや特殊性を有するシークエンスは、当該映像を見た者にとって記憶に残りやすいため、当該映像のストーリー上において重要なものと考えられる。本発明に係る実施の形態においては、対象となる映像を、符号化した上記連続パターンとして表現しているため、当該映像を言語のように扱うことが可能である。そこで、言語処理分野において文書間の言語の偏り具合を表現することのできるIDF(Inverse Document Frequency)技術を用いて、上記連続パターン毎のプロット重要性についてスコアリングを行う。
【００４０】
なお、このようにシークエンスの重要性を数値化することで、１つの映像データ内でのプロットやアクト毎の類似性や違いを分析することができる。
【００４１】
具体的には、映像レベル出現頻度算出部８により、連続パターン毎のプロット重要性が次式（１）を用いて算出され、当該連続パターンとプロット重要性を対にしたスコア表が記憶部１４に保存される。なお、プロット重要性は、式（１）ではなく、他の公知の計算方法を用いて算出しても良い。
【００４２】
【数１】
2019133254.tif 000004
ただし、
【００４３】
【数２】
2019133254.tif 000005
【００４４】
なお、式（１）及び式（２）における(t1…tn)はn個の連続したシーンのパターンを示し、式（１）のNは集合Movieを構成する映像データの数を示す。また、Counttitle(t1…tn)は、式（２）に示されるように、連続パターン(t1…tn)を含む映像データの数を示す。
【００４５】
一方、当該シークエンスのオリジナリティを定量評価したスコアをシークエンス変調性（Video Sequence Modulation; VSM）という。本スコアはプロット重要性と異なり、連続パターンを映像データ単位で捉えるものでなく、最尤推定法（Maximum Likelihood Estimation ; MLE）を用いて得られる上記連続パターンの発生確率の値に基づいて、シークエンスの一意性が高いほど、すなわち類似した連続パターンが少ないほど、大きな値を取るようなスコアリング手法であるといえる。
【００４６】
具体的には、パターンレベル出現頻度算出部９により、以下の式（３）を用いて上記連続パターンのシークエンス変調性が算出され、当該連続パターンとシークエンス変調性を対にしたスコア表が記憶部１４に保存される。
【００４７】
【数３】
2019133254.tif 000006
ただし、
【００４８】
【数４】
2019133254.tif 000007
【００４９】
なお、式（３）及び式（４）における(t1…tn)はn個の連続したシーンのパターンを示し、Countpattern(t1…tn)は、式（４）に示されるように、全映像データ中におけるn個の連続したシーンのパターン(t1…tn)の数を示す。
【００５０】
次に、映像データにおけるパターン遷移特性の視覚的な把握、分析、評価を可能にするため、プロット重要性（SPIスコア）とシークエンス変調性（VSMスコア）に基づいて、映像文法遷移空間を視覚化する。このような視覚化により、映像データの文法構造を定量的に分析することができるため、有意の相関関係が見られる映像のジャンルや公開年等を推定することができる。
【００５１】
なお、SPIスコアはスコア毎の頻度がほぼ一様であるのに対して、VSMスコアはスコア毎の頻度に偏りがあるため、VSMスコアについてはログスケールに変換してスコアVSMlogを算出し、SPIスコアとスコアVSMlogから映像文法遷移空間の視覚化を行う。
【００５２】
具体的には、視覚化部１３は、記憶部１４に保存された上記連続パターンと、当該連続パターンに対応するプロット重要性及びシークエンス変調性を示すスコア表を用いて、シークエンス変調性の頻度分布を計算し、当該映像データの特性がよく視覚化できるように次式（５）を用いてスコアVSMlogを計算する。
【００５３】
【数５】
2019133254.tif 000008
【００５４】
視覚化部１３は、さらに、式（５）により得られた値を次式（６）により偏角に変換する。
【００５５】
【数６】
2019133254.tif 000009
【００５６】
なお、式（５）及び式（６）における(t1…tn)はn個の連続したシーンのパターンを示し、Countpattern(t1…tn)は、上記のように、全映像データ中におけるn個の連続したシーンのパターン(t1…tn)の数を示す。
【００５７】
また、視覚化部１３は、映像データから得られた複数の連続パターンを映像データ毎に時間軸に沿ってＮ（Ｎは２以上の自然数）等分する。そして、視覚化部１３は、Ｎ等分された映像データ毎に上記極座標系及び両対数系における座標を計算し、記憶部１４に保存する。なお、それぞれ、図５（ａ）〜（ｄ）はＮが４の場合の極座標系のグラフ、図６（ａ）〜（ｄ）はＮが４の場合の両対数系のグラフの例を示すものである。
【００５８】
このようにして得られた座標は、映像評価装置１における表示部（図示していない）において上記視覚化データとして表示する他、バス３及び入出力端子２を介して外部出力し、外部のモニタ等に視覚化データを表示させるようにしてもよい。
【００５９】
図７は、本発明の実施の形態に係る映像評価方法を示す第三のフローチャートである。以下においては、図１に示された映像評価装置１の動作によって、図７に示された映像評価方法を実現する場合について説明するが、本映像評価方法は映像評価装置１を用いた場合に限られないことは言うまでもない。なお、図７に示されたステップＳ２１は、図２に示されたステップＳ１に相当するものであるため、説明を省略する。
【００６０】
図７に示されたステップＳ２２では、時間長ラベル付与部６はステップＳ２１で区分けされたシーン毎にシーンの時間長を計算し、シーン毎に計算された時間長を示す時間長ラベルを付する。これより、シーン毎の時間長（以下において「時間パターン」ともいう。）の移り変わりを、時間長ラベルの遷移として記述することが可能になる。以下において、図８を用いて時間長ラベルの付与方法の具体例について説明する。
【００６１】
図８に示されるように、例えば映像データが、時間軸に沿って、４フレームからなる５番目のシーン、２フレームからなる６番目のシーン、３フレームからなる７番目のシーンを含む場合、上記５番目のシーンに対して４フレームの時間長を示す時間長ラベルＴ５が付される。同様に、上記６番目のシーンに対して２フレームの時間長を示す時間長ラベルＴ６が付され、上記７番目のシーンに対して３フレームの時間長を示す時間長ラベルＴ７が付されることになる。
【００６２】
次に、ステップＳ２３では、時間長ラベル出現頻度分布算出部１１はステップＳ２２で付された時間長ラベルの出現頻度分布を算出する。ここで、このようにして得られた時間長ラベルの出現頻度分布は、人間の認知特性に訴えかける映像情報が当該映像データの中にどの程度含まれているのかを示す指標となる。従って、本頻度分布を分析することにより、視聴者が感じる映像データのテンポ感や躍動感を示すシークエンス速度特性を定量評価することができる。なお、このシークエンス速度特性により、有意の相関関係が見られる映像データ作成者の年齢等を推定することもできる。
【００６３】
図９は上記時間長ラベルの出現頻度分布を示すヒストグラムの例を示すものである。ここで、本ヒストグラムの縦軸は頻度、横軸は時間長ラベルが有する時間長を意味するため、各シーンが有する時間長毎の頻度などの情報を得ることができる。なお、本例においては、ある映像データを時間軸に沿って４分割し、得られた４つの映像データについて時間的に先のものから順に時間長ラベルの出現頻度分布を図示したものがグラフＴＨ１〜ＴＨ４とされている。
【００６４】
また、時間長ラベル出現頻度分布算出部１１は、図９に示されるようなヒストグラムを曲線で近似して、当該近似曲線のピーク値や分布標準偏差値を参照するなど平滑化した頻度分布の傾向を抽出することによって、時間長ラベル出現頻度分布の平均値や標準偏差値などの情報を得ることができる。ここで、図１０には、図９と同様に縦軸が頻度、横軸が時間長であって、図９の各グラフＴＨ１〜ＴＨ４をガウス関数で近似したグラフが示される。なお、上記のピーク値や分布標準偏差値は、映像データに対するユーザによるレビュー情報や当該映像データに関する監督情報等と相関があることが分かっているため、監督情報や視聴者に対応した上記時間長を得ることが可能となる。
【００６５】
また、連続パターン出現頻度算出部１０は、さらに、時間長の連続パターンについても上記のシーン種別ラベルと同様に解析を行う機能を有するようにしてもよく、その結果を視覚化部１３により上記と同様に視覚化するようにしてもよい。
【００６６】
具体的には、連続パターン抽出部７が、上記のシーン種別ラベルと同様に、３グラム時間長パターンの遷移構造データを抽出する。そして、連続パターン出現頻度算出部１０は、プロット重要性及びシークエンス変調性を用いた連続パターンのスコアリングを実施し、映像データを全体又はｍ分割（ｍは２以上の自然数）した区間における連続パターンの平均値や標準偏差といった頻度分布傾向を用いて解析を行うようにしてもよい。
【００６７】
このような時間長ラベルの連続パターンの頻度分布傾向は、映像データに対するユーザのレビュー情報と相関があることが分かっているので、かかる傾向を知ることで当該映像データのレビュー情報を推定することができる。
【００６８】
次に、ステップＳ２４〜Ｓ２６は、それぞれ図２に示されたステップＳ２〜Ｓ４に相当するため説明を省略する。そして、ステップＳ２７では、映像データ処理部１２は、ステップＳ２３で算出された時間長ラベルの出現頻度分布と、ステップＳ２６で算出された連続パターンの出現頻度に応じて、映像データを編集し、若しくは他の映像データを抽出する。なお、「編集」には当該映像を要約することも含まれる。
【００６９】
以下において、図１に示された映像評価装置１による動作の実施例について説明する。
【００７０】
まず前提として、図１１を参照しつつ、映像評価装置１を用いた映像情報データベースの構築方法について説明する。図１１に示されるように、映像評価装置１へ映像データ及び映像作品情報が入力され、映像作品情報と上記連続パターンを関連づけた映像情報がデータベースに格納される。なお、本データベースは、映像評価装置１の外部に配置される他、例えば記憶部１４の一部とするなど映像評価装置１の内部に配置されてもよい。
【００７１】
ここで、上記映像作品情報には、映像ジャンルや監督年齢、ユーザが決定したレビュー評価値などの情報が含まれる。
【００７２】
また、上記の映像情報データベースは例えば、映像作品データベース（映像作品ＤＢ）やユーザタイプデータベース（ユーザタイプＤＢ）、映像パターンデータベース（映像パターンＤＢ）、人の特性データベース（人の特性ＤＢ）から構成することができる。
【００７３】
上記映像作品ＤＢには例えば、映像データと関連づけられた上記連続パターンの遷移や時間長ラベルの遷移、連続パターンの頻度分布などの映像構造や作品名、公開年、映像ジャンル、監督年齢、ユーザが決定したレビュー評価値など映像データに関する情報が格納される。
【００７４】
また、上記ユーザタイプＤＢには例えば、視聴者の年齢や性別等と関連づけられた好みの映像データなど視聴者に関する情報（以下「ユーザ情報」という。）が格納される。
【００７５】
また、上記映像パターンＤＢには例えば、上記連続パターンと関連づけられた上記SPIスコアや上記VSMスコア、特定の連続パターンを有する映像データのジャンルの分布や上記レビュー評価値の分布、上記時間長ラベル毎の出現頻度といった当該映像データの傾向や特性の他、当該連続パターンを含む映像データの作品名リストなど連続パターンに関する情報が格納される。
【００７６】
また、上記人の特性ＤＢには例えば、キーワードに関連づけられた作品名、知覚特性及び記憶特性の他、これらの特性に対応する上記の各種スコアや時間長ラベルに関する条件に関する情報が格納される。
【００７７】
映像評価装置１は、このような方法により構築された映像情報データベースを用いて動作を行うが、図１２を参照しつつ、以下においてその具体例について説明する。なお、図１２においては、説明の便宜上、映像評価装置１はその保有する機能により図示されている。
【００７８】
すなわち、映像評価装置１は、シーン抽出機能と映像データ検索機能、パターン分析機能、文脈や文法分析機能、方針解釈機能、視覚化機能、映像要約機能、及び映像推薦機能を有する。
【００７９】
ここで、シーン抽出機能は、シーン抽出部４により実行される。また、映像データ検索機能は、映像評価装置１に供給されたユーザ情報に応じて映像作品名や映像構造を検索する機能であり、映像データ処理部１２により実行される。
【００８０】
また、パターン分析機能は、連続パターンを生成して各連続パターンに対応する上記SPIスコアや上記VSMスコア、及び特定の連続パターンを含む映像データの傾向や特性、例えば映像データのジャンルや上記レビュー評価値の分布など、を得る機能である。本機能は、種別ラベル付与部５、時間長ラベル付与部６、連続パターン抽出部７、連続パターン出現頻度算出部１０、及び時間長ラベル出現頻度分布算出部１１により実行される。
【００８１】
また、文脈や文法分析機能は、上記スコアの分布を分析してシークエンスの遷移や映像特性を分析する機能であり、例えば、上記スコアの平均値や遷移を計算して、シークエンスの遷移に関する映像特性を分析若しくは評価し、又は、作品ジャンルや上記レビュー評価値の分布を累計して、当該映像データ全体の内容に関する映像特性を分析若しくは評価したりする機能である。本機能は、映像データ処理部１２により実行される。
【００８２】
また、方針解釈機能は、映像データを編集若しくは要約し、又は検索するユーザの方針に応じて選別基準を生成し、当該基準に合致する連続パターンや映像データの候補一覧（パターン／映像データリスト）を得る機能である。例えば、ユーザが内容的にテンポの速いシークエンスを含むアクション系の映像データを検索する場合には、時間長パターンが所定のしきい値以下の時間で、かつ上記SPIスコアや上記VSMスコアが所定のしきい値以上の値であるといった基準と共に、当該基準を満たす連続パターンを含む映像データの候補一覧が生成される。本機能は、映像データ処理部１２により実行される。
【００８３】
また、視覚化機能は、上記スコアの分布や遷移を示す図表等を映像評価装置１の上記表示部や外部のモニタ等に表示する機能であり、視覚化部１３により実行される。
【００８４】
また、映像要約機能は、分析情報と要約知識というルールに基づいて、ユーザの求める要約映像を生成する機能であり、例えば、出現頻度の低い連続パターンが含まれない要約映像を生成したりすることができる機能である。本機能は、映像データ処理部１２により実行される。
【００８５】
また、映像推薦機能は、連続パターンを分析することにより得られた結果と方針解釈機能を実行することにより得られたパターン／映像データリストを照合することにより、ユーザに推薦する映像データを決定する機能である。例えば、年齢や性別といったユーザ情報に応じて得られた映像データのパターン分析結果と、上記パターン／映像データリストのマッチングを行うことにより、ユーザに推薦する映像データの優先度を決定する。本機能は、映像データ処理部１２により実行される。
【００８６】
［実施例１］
本実施例においては、映像データのストーリー性などに関する文脈構造の分析や評価を行う場合の実施例について説明する。映像評価装置１に上記映像データとして多数の映画が入力されると、上記シーン抽出機能により各映画のシーンが抽出される。そして、パターン分析機能において、映像評価装置１は映像パターンＤＢにアクセスして連続パターン毎に応じた上記SPIスコアや上記VSMスコア等の情報を取得する。
【００８７】
さらに、文脈／文法分析機能において、上記の各種スコア等の情報を分析し、映画全般に渡って経験的に利用されている定石としての映像表現の「文法」を抽出する。また、各映画が当該文法にどの程度適合しているかを分析することで、反対に、定石に従っていない独創性が当該映画の全編のどのようなタイミングで、どの程度含まれるかを評価することができ、映画全体における各作品の特徴や類似性などを定量的に分析し、評価することができる。なお、本分析や評価の結果は、視覚化機能によりユーザに視認可能な状態にすることができる。
【００８８】
［実施例２］
本実施例においては、映像データを効果的に編集し、若しくは要約する場合の実施例について説明する。映像評価装置１は、人の注意や知覚や記憶の特性から、一般的に多くのユーザに伝わりやすいとか、所定の印象を与える等といった映像の文脈が有する特徴を定量化できる。
【００８９】
そこで例えば、ユーザが自分で撮影した複数の動画を上記映像データとして映像評価装置１に入力して一つの作品に編集若しくは要約する場合、テンポの良い印象など希望する印象や意図を示すキーワードを要約方針として同装置１に入力すると、方針解釈機能により同装置１は人の特性ＤＢにアクセスし、上記印象や意図に合致した選別基準を取得した上で、映像要約機能を実行する。
【００９０】
そして、本映像要約機能により、上記複数の動画が取得された上記選別基準に合致するよう編集若しくは要約され、ユーザの意図等に基づく要約映像が生成される。なお、上記複数の動画について、どの動画をどれだけ使用するかという点についての選択は人間が行う他、デフォルト値を設定した上で自動的に行うようにしても良い。
【００９１】
また、映像評価装置１に入力された当該ユーザの属性や好きな映像作品などのユーザ情報に応じて、映像データ検索機能によりユーザタイプＤＢ及び映像作品ＤＢにアクセスし、上記ユーザ情報に応じた映像データや映像構造に関する情報を取得して、得られた情報を対象としたパターン分析及び文脈／文法分析を実行する。そして、当該パターン分析及び文脈／文法分析の結果を上記映像要約機能に反映させることにより、上記当該ユーザ情報に応じた要約映像を生成することができる。
【００９２】
［実施例３］
本実施例においては、ユーザの属性を考慮して、当該ユーザに対して映像データを推薦する場合の実施例について説明する。一般的に、ユーザの年齢や性別などの属性によって映像の好みは異なる。この好みは、１つのフレームやシーン単位の画像の変化量だけでなく、映像のテンポ感やストーリー展開など、上記文脈に関する構成により影響を受けるものである。
【００９３】
ここで、映像評価装置１は、ユーザが高く評価する映像データから、当該映像データの文脈構造が持つ特徴を抽出することができる。
【００９４】
そこで例えば、映像評価装置１に上記映像推薦機能を実行させることにより、ユーザの映像検索方針に基づいて得られたパターン／映像データリストに掲げられた映像データの中で、実施例２と同様な方法により得られたパターン分析結果に合致する映像データが、ユーザに対する推薦対象として決定される。
【００９５】
以上のような本発明の実施の形態に係る映像評価方法は、当該アルゴリズムをプログラムにより記述し、図１３に示されるような映像評価装置１５において、中央演算処理装置（ＣＰＵ）２１が予めメモリ２２に格納された本プログラムを実行することによっても実現することができる。
【００９６】
以上より、本発明の実施の形態に係る映像評価装置、映像評価方法、及び映像評価プログラムによれば、映像文脈の特徴を定量化できるため、ユーザにおいて映像の文脈やストーリーを評価することができる。
【００９７】
なお、映像の各瞬間におけるフレーム画像に呈示されている情報は、言語における品詞に相当するものといえるため、上記の映像文脈とは、上記品詞の並びから文、文の並びから節、節の並びから章がそれぞれ構成されるという言語文脈に対応するものであって、映像における各シーンの長さや時系列の並び、そのさらに長い期間における時間的構成により把握されるものである。
【符号の説明】
【００９８】
１，１５  映像評価装置
４  シーン抽出部
５  種別ラベル付与部
６  時間長ラベル付与部
７  連続パターン抽出部
８  映像レベル出現頻度算出部
９  パターンレベル出現頻度算出部
１０  連続パターン出現頻度算出部
１１  時間長ラベル出現頻度分布算出部
１２  映像データ処理部
１３  視覚化部
２１  ＣＰＵ
２２  メモリ
【図１】
2019133254.tif 000010
【図２】
2019133254.tif 000011
【図３】
2019133254.tif 000012
【図４】
2019133254.tif 000013
【図５】
2019133254.tif 000014
【図６】
2019133254.tif 000015
【図７】
2019133254.tif 000016
【図８】
2019133254.tif 000017
【図９】
2019133254.tif 000018
【図１０】
2019133254.tif 000019
【図１１】
2019133254.tif 000020
【図１２】
2019133254.tif 000021
【図１３】
2019133254.tif 000022