(57)【要約】【課題】動画像データの評価を、コストを抑えた方法で得ることのできる動画像データ処理装置、及びプログラムを提供する。【解決手段】処理の対象となった動画像データに含まれる動画像情報からサンプリングして得られたＮ個（Ｎは２以上の整数）の静止画像情報のそれぞれを入力として、それぞれの静止画像情報の特徴量を抽出し、当該抽出された、Ｎ個の静止画像情報のそれぞれに対応する特徴量に係る画像関係重み情報を機械学習した状態にある機械学習器を用い、当該機械学習して得られた画像関係重み情報を乗じて各特徴量を累算して、当該累算の結果を、動画像データに含まれる動画像情報の特徴量として出力する動画像データ処理装置である。【選択図】図１
2020035149.tif 000002
【特許請求の範囲】
【請求項１】
処理の対象となった動画像データに含まれる動画像情報からサンプリングして得られたＮ個（Ｎは２以上の整数）の静止画像情報のそれぞれを受け入れる受入手段と、
前記受け入れたＮ個の静止画像情報を入力として、それぞれの静止画像情報の特徴量を抽出する特徴抽出手段と、
前記抽出された、前記サンプリングして得られたＮ個の静止画像情報のそれぞれに対応する特徴量に係る画像関係重み情報を機械学習した状態にある機械学習器を用い、当該機械学習して得られた画像関係重み情報を乗じて各特徴量を累算する累算手段と、
前記累算の結果を、前記動画像データに含まれる動画像情報の特徴量として出力する出力手段と、
を含み、
前記動画像情報の特徴量が、処理の対象となった前記動画像データの評価に関する所定の処理に供される動画像データ処理装置。
【請求項２】
請求項１に記載の動画像データ処理装置であって、
前記処理対象となった動画像データには、さらに音声情報を含み、
当該処理対象となった動画像データに含まれる音声情報の特徴量を抽出する音声特徴量抽出手段と、
前記動画像情報の特徴量と、前記音声情報の特徴量とのそれぞれに対応する第２の重みの情報を機械学習した状態にある第２の機械学習器を用い、当該第２の機械学習器を通じて得られた第２の重みの情報を乗じて各特徴量を累算する第２の累算手段と、
をさらに含み、
当該累算の結果が、処理の対象となった前記動画像データの評価に関する所定の処理に供される動画像データ処理装置。
【請求項３】
請求項２に記載の動画像データ処理装置であって、
前記処理対象となった動画像データに関するメタデータの入力を受け入れる手段と、
当該処理対象となった動画像データに関するメタデータの特徴量を抽出するメタデータ特徴量抽出手段と、をさらに含み、
前記第２の累算手段は、前記動画像情報の特徴量と、前記音声情報の特徴量と、前記メタデータの特徴量とのそれぞれに対応する第２の重みの情報を機械学習した状態にある第２の機械学習器を用い、当該第２の機械学習器を通じて得られた第２の重みの情報を乗じて各特徴量を累算し、
当該累算の結果が、処理の対象となった前記動画像データの評価に関する所定の処理に供される動画像データ処理装置。
【請求項４】
請求項１から３のいずれか一項に記載の動画像データ処理装置であって、
さらに、前記サンプリングして得られたＮ個の静止画像情報のうちから選択されたＭ個（ＭはＭ＜Ｎである１以上の整数）の静止画像情報を、予め定められた試験用静止画像情報に置き換えて、前記累算手段に入力し、前記機械学習して得られた画像関係重み情報を乗じて各特徴量を累算した仮特徴量を得る手段と、
前記動画像情報の特徴量と前記仮特徴量との差に基づいて、前記選択された静止画像情報の評価値を演算して出力する手段と、
をさらに含む動画像データ処理装置。
【請求項５】
コンピュータを、
処理の対象となった動画像データに含まれる動画像情報からサンプリングして得られたＮ個（Ｎは２以上の整数）の静止画像情報のそれぞれを受け入れる受入手段と、
前記受け入れたＮ個の静止画像情報を入力として、それぞれの静止画像情報の特徴量を抽出する特徴抽出手段と、
前記抽出された、前記サンプリングして得られたＮ個の静止画像情報のそれぞれに対応する特徴量に係る画像関係重み情報を機械学習した状態にある機械学習器を用い、当該機械学習して得られた画像関係重み情報を乗じて各特徴量を累算する累算手段と、
前記累算の結果を、前記動画像データに含まれる動画像情報の特徴量として出力する出力手段と、
として機能させ、
前記動画像情報の特徴量が、処理の対象となった前記動画像データの評価に関する所定の処理に供されるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データ処理装置、及びプログラムに関する。
【背景技術】
【０００２】
動画像データ、例えば広告映像（コマーシャルフィルム：ＣＦ）等の効果を評価するためには、従来、視聴者に対して実際に映像を提示して、その印象をアンケートにより取得する等して行わざるを得なかった。
【０００３】
また例えば広告映像では、その効果を簡易的に表すために、広告を提示する際に放送されている番組の視聴率や、広告回数を評価指標として用いる場合がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Z. Hussain, et.al., “Automatic understanding of image and video advertisements”, In CVPR, 1100-1110, 2017.2, 4
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の方法では、例えばアンケートを用いる方法では、アンケート対象の視聴者からの情報を得るためにコストがかかり、アンケートの精度を高めるために対象視聴者を大きくすると、莫大なコストがかかっていた。
【０００６】
また、簡易的な評価指標は、必ずしも実際の評価結果との相関が大きくないという問題点があった。
【０００７】
このような背景の下、動画像データの評価を視聴者に提示する前に、コストを抑えた方法で得る技術が要望されている。なお、非特許文献１には、広告画像のトピック分析を行うことが開示されている。
【０００８】
本発明は上記実情に鑑みて為されたもので、動画像データの評価を、コストを抑えた方法で得ることのできる動画像データ処理装置、及びプログラムを提供することをその目的の一つとする。
【課題を解決するための手段】
【０００９】
上記従来例の問題点を解決するための本発明の一態様は動画像データ処理装置であって、処理の対象となった動画像データに含まれる動画像情報からサンプリングして得られたＮ個（Ｎは２以上の整数）の静止画像情報のそれぞれを受け入れる受入手段と、前記受け入れたＮ個の静止画像情報を入力として、それぞれの静止画像情報の特徴量を抽出する特徴抽出手段と、前記抽出された、前記サンプリングして得られたＮ個の静止画像情報のそれぞれに対応する特徴量に係る画像関係重み情報を機械学習した状態にある機械学習器を用い、当該機械学習して得られた画像関係重み情報を乗じて各特徴量を累算する累算手段と、前記累算の結果を、前記動画像データに含まれる動画像情報の特徴量として出力する出力手段と、を含み、前記動画像情報の特徴量が、処理の対象となった前記動画像データの評価に関する所定の処理に供されることとしたものである。
【発明の効果】
【００１０】
本発明によると、動画像データの評価をコストを抑えた方法で得ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る動画像データ処理装置の構成例を表すブロック図である。
【図２】本発明の実施の形態に係る動画像データ処理装置の例を表す機能ブロック図である。
【図３】本発明の実施の形態に係る動画像データ処理装置のもう一つの例を表す機能ブロック図である。
【発明を実施するための形態】
【００１２】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る動画像データ処理装置１は、図１に例示するように、制御部１１、記憶部１２、操作部１３、出力部１４、及びインタフェース部１５を含んで構成される。
【００１３】
ここで制御部１１は、少なくとも一つのＣＰＵやＧＰＵ（Graphics Processing Unit）等を含むプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態ではこの制御部１１は、処理の対象となった動画像データの入力を受け入れて、受け入れた動画像データに含まれる動画像情報からサンプリングして得られるＮ個（Ｎは２以上の整数）の静止画像情報を取得する。
【００１４】
具体的に制御部１１は、動画像情報（一連のフレームを構成する静止画像情報からなる）から、所定のタイミングごとに静止画像情報を抽出してサンプリングする。ここで所定のタイミングは、例えば１秒に１フレームの静止画像情報を抽出することとすればよい。
【００１５】
制御部１１は、サンプリングしたＮ個の静止画像情報のそれぞれの特徴量を抽出する。この特徴量は、例えば、事前に機械学習されたニューラルネットワークに対応する静止画像情報を入力したときの、ニューラルネットワークの出力そのものであってもよい。
【００１６】
制御部１１は、さらに、ここで得た静止画像情報の特徴量に係る画像関係重み情報を機械学習した状態にある機械学習器を用い、当該機械学習して得られた画像関係重み情報を乗じて各特徴量を累算する。そして制御部１１は、当該累算の結果を、動画像データに含まれる動画像情報の特徴量として出力する。
【００１７】
本実施の形態の一態様では、ここで得られた動画像情報の特徴量が、入力された動画像データの評価に関する所定の処理に供される。この制御部１１の動作については、後に詳しく述べる。
【００１８】
記憶部１２は、メモリデバイス等であり、制御部１１によって実行されるプログラムを保持する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に複写されたものであってもよい。またこの記憶部１２は、制御部１１のワークメモリとしても動作する。
【００１９】
操作部１３は、キーボードやマウス等であり、利用者の指示操作を受け入れて制御部１１に出力する。出力部１４は、ディスプレイ等であり、制御部１１から入力される指示に従って情報を出力する。
【００２０】
インタフェース部１５は、ＵＳＢ（Universal Serial Bus）等のシリアルインタフェースやネットワークインタフェース等であり、外部の装置等から動画像データを受け入れて制御部１１に出力する。
【００２１】
次に制御部１１の動作について説明する。本実施の形態の制御部１１は、機能的には、図２に例示するように、静止画像情報受入部２１と、複数の特徴量抽出器２２-1，２２-2，…２２-Nと、画像関係重み乗算部２３と、累算部２４と、音声特徴量抽出部２５と、メタデータ特徴量抽出部２６と、第２重み乗算部２７と、出力制御部２９と、を含んで構成される。
【００２２】
静止画像情報受入部２１は、処理対象となった動画像データから所定のタイミングごと（例えば１秒ごと）にサンプリングして得たＮ個の静止画像情報を受け入れて保持し、Ｎ個の静止画像情報のうちｉ番目の静止画像情報を、対応する特徴量抽出器２２-iに出力する。なお、本実施の形態において動画像データは、動画像情報と音声情報とを含む。
【００２３】
特徴量抽出器２２-i（ｉ＝１，２，…Ｎ）は、それぞれ、静止画像情報受入部２１が受け入れたＮ個の静止画像情報のうちｉ番目の静止画像情報の特徴量を抽出する。本実施の形態の一例では、この特徴量抽出器２２-iは、少なくとも一つの隠れ層を備えたニューラルネットワークであり、予め複数の所定の画像データを用いてその特徴量を出力するよう機械学習されているものとする。
【００２４】
具体的には、この特徴量抽出器２２-iは、所定の画像データの集合であるImageNet（http://www.image-net.org/）を用いて機械学習したｒｅｓｎｅｔ（Kaiming He, et.al., Deep Residual Learning for Image Recognition,arXiv:1512.03385）、またはimagenetを用いて機械学習したｒｅｓｎｅｔを蒸留した（ｒｅｓｎｅｔと同じデータを入力したときの出力をｒｅｓｎｅｔの出力を教師として機械学習した）、隠れ層１層の全結合型ニューラルネットワークであってもよい。なお、この例の各特徴量抽出器２２-iは、いずれも同じ（機械学習の結果も同じ）ニューラルネットワークを用いるものとする。
【００２５】
この例では、特徴量抽出器２２-iの入力は予め定めた大きさの画像（例えば２２４×２２４ピクセルの画像）であり、出力は例えば２５６次元のベクトル情報とする。この出力が、本発明の静止画像情報の特徴量に相当する。
【００２６】
画像関係重み乗算部２３は、Ｎ個の特徴量抽出器２２-i（ｉ＝１，２，…，Ｎ）が出力するＮ個の静止画像情報の特徴量ｆi（ｉ＝１，２，…，Ｎ）に係る画像関係重み情報αi（ｉ＝１，２，…，Ｎ）の計算方法を機械学習した状態にある機械学習器を用いて、画像関係重み情報をαを得る。
【００２７】
また、この画像関係重み乗算部２３は、Ｎ個の特徴量抽出器２２-i（ｉ＝ａ，ｂ，…Ｎ）が出力するＮ個の静止画像情報の特徴量ｆiのそれぞれに、当該機械学習器を用いて得られた、対応する画像関係重み情報αiを乗じた値αiｆiを出力する。この画像関係重み乗算部２３の画像関係重み情報の計算方法を機械学習する方法については後に述べる。
【００２８】
累算部２４は、画像関係重み乗算部２３が出力する、重みを乗算した各特徴量αiｆiを累算し、当該累算結果Σαiｆiを、動画像情報に含まれる静止画像情報の特徴量Ｆframeとして出力する。この静止画像情報の特徴量Ｆframeは、本実施の形態の一例では２５６次元のベクトル情報で表される。
【００２９】
音声特徴量抽出部２５は、処理対象となった動画像データから、動画像データに含まれる音声情報の入力を受けて、当該音声情報の特徴量を抽出する。本実施の形態の一例ではこの音声情報の特徴量は、音声情報を、予め機械学習したニューラルネットワークに入力したときの出力とする。具体的に、音声特徴量抽出部２５は、soundnet（Yusuf Aytar, et.al., SoundNet: Learning Sound Representations from Unlabeled Video, arXiv:1610.09001）を、UrbanSound8k（https://serv.cusp.nyu.edu/projects/urbansounddataset/urbansound8k.html）等の所定のデータセットを用いて機械学習して得たニューラルネットワークを含む。なお音声情報は必ずしも用いられなくてもよく、その場合は、音声特徴量抽出部２５は必ずしも必要でない。
【００３０】
この例では、音声特徴量抽出部２５は、当該ニューラルネットワークに、処理対象となった動画像データに含まれる音声情報を入力したときの出力を、音声情報の特徴量Ｆsoundとして出力する。
【００３１】
メタデータ特徴量抽出部２６は、処理対象となった動画像データについて、別途利用者から入力された付加情報（メタデータ）の特徴量を抽出する。本実施の形態の一例では、この付加情報は例えば、調査日、（動画像データの主な想定視聴者の）年齢層・性別、タイトル、ナレーション音声を文字として表記したもの、（動画像データが広告である場合の）広告される商品のカテゴリを表す情報、シリーズものであるか否かを表す情報、（動画像データの）提供者（広告の場合、出稿者）、（広告の場合、広告されている）商品名・サービス名、その他の情報である。もっともこれらは例示であり、またメタデータは必ずしも用いられなくてもよく、その場合は、メタデータ特徴量抽出部２６は必ずしも必要でない。
【００３２】
メタデータ特徴量抽出部２６もまた、予め所定の方法で機械学習されたニューラルネットワーク（メタデータ用ニューラルネットワーク）を用いて実現できる。具体的には、メタデータ特徴量抽出部２６は上記メタデータを表すベクトル情報をメタデータ用ニューラルネットワークに入力し、その出力をメタデータ特徴量Ｆmetaとして出力する。
【００３３】
本実施の形態のある例では、音声特徴量抽出部２５が出力する音声情報の特徴量Ｆsoundは２５６次元のベクトル情報であり、メタデータ特徴量Ｆmetaも２５６次元のベクトル情報であるものとする（静止画像情報の特徴量Ｆframeと同じ次元のベクトル情報とする）。
【００３４】
第２重み乗算部２７は、累算部２４が出力する静止画像情報の特徴量Ｆframeと、音声特徴量抽出部２５が出力する音声情報の特徴量Ｆsoundと、メタデータ特徴量抽出部２６が出力するメタデータ特徴量Ｆmetaとのそれぞれについての第２の重みの情報β1，β2，β3をそれぞれに乗じて総和した値Ｆ＝β1Ｆframe＋β2Ｆsound＋β3Ｆmetaを、動画像データに関する推定された特徴量として出力する。
【００３５】
本実施の形態のある例では、この第２重み乗算部２７は、静止画像情報の特徴量Ｆframeと、音声情報の特徴量Ｆsoundと、メタデータ特徴量Ｆmetaとのそれぞれについての第２の重みの情報β1，β2，β3の計算方法を機械学習しておき、第２の重みの情報β1，β2，β3は、入力される情報（音声情報を含む動画像データやメタデータ）に応じてその都度計算されてもよい。この第２の重みの情報β1，β2，β3の計算方法の機械学習の方法は後に述べる。
【００３６】
出力制御部２９は、第２重み乗算部２７が出力する動画像情報の特徴量Ｆに基づいて、所定の結果情報（スコア）Ｓを得て、出力部１４に出力する。ここで出力制御部２９は例えば、動画像情報の特徴量Ｆのベクトルの次元と同じ次元のベクトル情報を入力とし、結果情報（スコア）Ｓの数だけの次元を有するベクトル情報を出力とするニューラルネットワークを用いて実現できる。このニューラルネットワークは全結合型のニューラルネットワークでよい。このニューラルネットワークの機械学習の方法は、後に述べる。
【００３７】
本実施の形態の一例ではこの出力制御部２９が出力するスコア（結果情報）は、処理対象となった動画像データが被験者に記憶されている割合（認知度）、処理対象となった動画像データが好意を持たれる割合（好感度）、処理対象となった動画像データが広告であった場合の、広告されている商品・サービスの購入を喚起する割合（購入喚起度）、処理対象となった動画像データが興味・関心を持たれる割合（興味・関心度）の４つの値を含む。これらの値は、必ずしも割合（０以上１以下の値）として表される必要はないが、数値が大きいほどそれぞれの値が表す割合が高いことを意味するものとする。この場合、出力制御部２９が用いるニューラルネットワークが出力するベクトルの次元は４次元となる。
【００３８】
次に、各部が備えるニューラルネットワークの機械学習の方法について説明する。本実施の形態では既に説明した例のように、複数の特徴量抽出器２２は、予め所定の静止画像データのデータセットを用いて機械学習した状態としておく。また、音声特徴量抽出部２５についても同様に、所定の音声データのデータセットを用いて機械学習した状態としておく。この機械学習の結果は以下の処理において更新しなくてもよいし、更新を行ってもよい。
【００３９】
つまり、各特徴量抽出器２２は、予め結果情報が知られている（あるいは設定できる）動画像データを動画像データ処理装置１に入力したときに、動画像データ処理装置１が出力する結果情報と、入力した動画像データについて予め知られている（あるいは設定されている）結果情報（以下区別のため教師結果情報と呼ぶ）との差に基づくバックプロパゲーションにより更新して設定してもよい。各特徴量抽出器２２のニューラルネットワークの重みは共通としておいてよい。
【００４０】
一方、画像関係重み乗算部２３と第２重み乗算部２７とが乗じる重み、並びに、メタデータ特徴量抽出部２６と出力制御部２９とのそれぞれが備えるニューラルネットワークについては、予め結果情報が知られている（あるいは設定できる）動画像データ（やメタデータ）を動画像データ処理装置１に入力したときに、動画像データ処理装置１が出力する結果情報と、入力した動画像データについて予め知られている（あるいは設定されている）結果情報（以下区別のため教師結果情報と呼ぶ）との差に基づくバックプロパゲーションにより更新して設定する。なお、累算部２４は累算を行っているものであり、画像関係重み乗算部２３と第２重み乗算部２７とは重みの乗算や、累算を行っているだけであるので、バックプロパゲーションの処理を行うことができる。
【００４１】
すなわち、本実施の形態の一例では、予め結果情報（教師結果情報）が知られている複数の動画像データのセットが用意される。ここでは例えば複数の動画像データについての教師結果情報の一例である認知度、好感度、購入喚起度、興味・関心度が、各複数の動画像データに対する事前の公知のテスト（例えばいわゆるＡ／Ｂテスト等の比較試験でよい）により設定される。
【００４２】
利用者は、当該動画像データのセットに含まれる動画像データのそれぞれを教師データとして動画像データ処理装置１に入力し、対応する出力である結果情報と、入力した教師データである動画像データに対応して設定されている教師結果情報との差を用い、公知のバックプロパゲーションにより、画像関係重み乗算部２３と第２重み乗算部２７とが乗じる重みの計算方法、並びに、メタデータ特徴量抽出部２６と出力制御部２９とのそれぞれが備えるニューラルネットワークを機械学習する。これにより、画像関係重み乗算部２３と第２重み乗算部２７とが乗じる重みの計算方法や各部のニューラルネットワークの重みがそれぞれ機械学習された状態となる。
【００４３】
その後、利用者は、評価の対象である動画像データを、処理の対象として動画像データ処理装置１に入力する。そしてその出力である結果情報を得て、処理の対象である動画像データの認知度、好感度、購入喚起度、興味・関心度の情報を取得する。
【００４４】
本発明の実施の形態に係る動画像データ処理装置１は以上の構成を備えており、次のように動作する。本実施の形態の以下の例では、複数の特徴量抽出器２２-1，２２-2，…２２-Nはいずれも同じ重みが設定されたニューラルネットワークとする。つまり、各特徴量抽出器２２は、同じデータが入力されたときには、同じ出力を行うものとなっている。
【００４５】
また音声特徴量抽出部２５についてもUrbanSound8Kなど広く知られたデータセットを用いて予め機械学習が行われた状態にあるものとする。
【００４６】
この状態で、予め結果情報（教師結果情報）が知られている複数の動画像データのセットに含まれる動画像データのそれぞれを教師データとして動画像データ処理装置１に入力し、対応する出力である結果情報と、入力した教師データである動画像データに対応して設定されている教師結果情報との差を用い、公知のバックプロパゲーションにより、画像関係重み乗算部２３と第２重み乗算部２７とが乗じる重みαi（ｉ＝１，２，…，Ｎ），β1，β2，β3の計算方法を表すニューラルネットワーク、並びに、特徴量抽出器２２とメタデータ特徴量抽出部２６と出力制御部２９とのそれぞれが備えるニューラルネットワークを機械学習する。
【００４７】
次に利用者は、実際に評価の対象とする動画像データを、処理の対象として動画像データ処理装置１に入力する。動画像データ処理装置１は、この処理対象となった動画像データに含まれる動画像情報について、これを再生したときに、再生時刻が０秒、１秒、２秒…の位置において表示されているＮ個の静止画像情報を抽出する（サンプリング）。
【００４８】
動画像データ処理装置１の制御部１１は当該Ｎ個の静止画像情報を受け入れて、複数の特徴量抽出器２２-i（ｉ＝１，２，…Ｎ）のそれぞれに、対応する静止画像情報を入力する。例えば再生時刻がｉ秒の位置で表示されている静止画像情報は、特徴量抽出器２２-iに入力される。
【００４９】
すると特徴量抽出器２２-iが、入力された静止画像情報に対応するニューラルネットワーク（ここではImageNetで学習されたResNetあるいはそれを蒸留して得たニューラルネットワーク）の出力ｆi（ｉ＝１，２，…，Ｎ）を出力する。この出力は、分類器へ出力するベクトル値を用いればよい。
【００５０】
また、動画像データ処理装置１は、処理対象となった動画像データに含まれる音声情報を抽出して音声特徴量抽出部２５に入力する。
【００５１】
すると音声特徴量抽出部２５は、入力された音声情報を、予め機械学習したニューラルネットワークに入力したときの出力を、音声情報の特徴量Ｆsoundとして出力する。この出力も、分類器へ出力するベクトル値を用いればよい。
【００５２】
また利用者は、処理対象となった動画像データについてのメタデータを入力する。ここでメタデータは例えば、調査日、動画像データの主な想定視聴者の年齢層・性別、タイトル、ナレーション音声を文字として表記したもの、動画像データにより広告される商品のカテゴリを表す情報、シリーズものであるか否かを表す情報、動画像データの提供者である、広告の出稿者を特定する情報、広告されている商品名・サービス名でよい。
【００５３】
動画像データ処理装置１の制御部１１は、メタデータの入力を受けると、メタデータ特徴量抽出部２６として機能し、予め所定の方法で機械学習されたニューラルネットワーク（メタデータ用ニューラルネットワーク）に当該メタデータを入力したときの出力をメタデータ特徴量Ｆmetaとして出力する。
【００５４】
制御部１１はさらに画像関係重み乗算部２３として機能し、Ｎ個の特徴量抽出器２２-i（ｉ＝１，２，…，Ｎ）が出力するＮ個の静止画像情報の特徴量ｆi（ｉ＝１，２，…，Ｎ）のそれぞれに対応する画像関係重み情報αi（ｉ＝１，２，…，Ｎ）を、機械学習によって得られた計算方法によって得て、当該画像関係重み情報αiを、対応する特徴量ｆiに乗じた値、αiｆiを出力する。制御部１１は、累算部２４として、ここで重みを乗算した各特徴量αiｆiを累算し、当該累算結果Σαiｆiを、動画像情報に含まれる静止画像情報の特徴量Ｆframeとして出力する。
【００５５】
制御部１１は、また、第２重み乗算部２７として機能して、静止画像情報の特徴量Ｆframeと、音声情報の特徴量Ｆsoundと、メタデータ特徴量Ｆmetaとのそれぞれについての第２の重みの情報β1，β2，β3を機械学習によって得られた計算方法によって得て、当該第２の重みの情報β1，β2，β3を、対応する特徴量のそれぞれに乗じた値β1Ｆframe，β2Ｆsound，β3Ｆmetaを求める。そして制御部１１は、上記出力の累算の結果β1Ｆframe＋β2Ｆsound＋β3Ｆmetaを演算する。制御部１１は、この累算の結果を、動画像情報の特徴量Ｆとして出力する。
【００５６】
制御部１１はさらに、出力制御部２９として機能し、機械学習されたニューラルネットワークに、この動画像情報の特徴量Ｆを入力し、当該ニューラルネットワークの出力を、結果情報（スコア）Ｓとして出力する。
【００５７】
この出力であるスコアＳは、出力制御部２９のニューラルネットワーク等を機械学習したときに用いた教師結果情報に対応して、認知度、好感度、購入喚起度、興味・関心度を表す各値を要素とするベクトル値となる。
【００５８】
利用者はこの出力である認知度、好感度、購入喚起度、興味・関心度を、処理の対象とした動画像データについての評価の情報として得る。
【００５９】
［動画像情報に含まれる各フレームの評価］
さらに本実施の形態の動画像データ処理装置１は、処理対象となった動画像データからサンプリングして得られたＮ個の静止画像情報の少なくとも一部について、その評価を行ってもよい。ここでは、認知度、好感度、購入喚起度、興味・関心度など、動画像データ処理装置１の出力する結果情報への影響を評価するものとする。
【００６０】
この例では制御部１１の静止画像情報受入部２１がさらに、図３に例示するように、図２の機能的構成に加えて、選択指示部３１と、特徴量比較部３２と、比較出力部３３とを含む。
【００６１】
この例の制御部１１では静止画像情報受入部２１は、処理対象となった動画像データから所定のタイミングごと（例えば１秒ごと）にサンプリングして得たＮ個の静止画像情報を受け入れて保持する。
【００６２】
そして静止画像情報受入部２１は、ｉ番目の静止画像情報を、対応する特徴量抽出器２２-iに出力する。特徴量比較部３２は、このときの出力制御部２９の出力であるスコアＳを、動画像情報のスコアＳとして記憶する。
【００６３】
次に選択指示部３１が、静止画像情報受入部２１が保持しているＮ個の静止画像情報のうちから、評価の対象とする少なくとも一つの静止画像情報（以下ではＭ個（ＭはＭ＜Ｎである１以上の整数）の静止画像情報とする）を選択する指示を出力する。ここで評価の対象とする静止画像情報の選択は、利用者からの指示により行われてもよいし、予め定めた順に、互いに異なるＭ個（例えば１番目から順に１つずつ）を選択して、以下の処理を繰り返すこととしてもよい。
【００６４】
静止画像情報受入部２１は、選択指示部３１が出力する指示に従い、指示されたＭ個（ＭはＭ＜Ｎである１以上の整数）の静止画像情報を、予め定められた試験用静止画像情報に置き換える。ここで試験用静止画像情報は、全面が黒色等、所定の色で塗りつぶされた静止画像情報とすればよい。なお、このとき、重みα，β１，β２，β３は記憶しているスコアＳを演算したときのものから変化させない（固定しておく）。
【００６５】
そして静止画像情報受入部２１は、ｉ番目の静止画像情報を、対応する特徴量抽出器２２-iに出力する。このとき、特徴量抽出器２２のうち、上記の選択がされなかった静止画像情報については、処理の対象となった動画像データからサンプリングされた静止画像情報についての特徴量を出力することとなる。また特徴量抽出器２２のうち、上記の選択がされた静止画像情報については、処理の対象となった動画像データからサンプリングされた静止画像情報に代えて、上記試験用静止画像情報についての特徴量を出力することとなる。特徴量比較部３２は、このときに出力制御部２９が出力する動画像情報のスコアＳを、仮スコアＳ′として取り出し、記憶しているスコアとの差ΔＳ＝Ｓ′−Ｓを求めて比較出力部３３に出力する。
【００６６】
比較出力部３３は、ここで求めた差ΔＳを、選択された静止画像情報の評価値として、そのときに選択されている静止画像情報を特定する情報（何番目の静止画像情報を選択したかを表す情報）とともに、出力部１４に出力して利用者に提示する。
【００６７】
本実施の形態のこの例によると、選択された静止画像情報が含まれない場合の仮スコアＳ′と、含まれる場合のスコアＳとの差、つまり、選択された静止画像情報を含むことによる評価の上昇（または下降）量ΔＳが評価値として示されることとなる。
【００６８】
また１番目から順に１つずつ選択して処理を繰り返す例によると、動画像情報からサンプリングされたＮ個の静止画像情報のそれぞれが含まれない場合の仮スコアＳ′と、含まれる場合のスコアＳとの差、つまり、各静止画像情報について、当該静止画像情報を含むことによる評価の上昇（または下降）量ΔＳが評価値として示されることとなる。
【００６９】
［制御部の構成］
なお、本実施の形態において、複数の特徴量抽出器２２-1，２２-2，…２２-Nと、画像関係重み乗算部２３と、累算部２４と、音声特徴量抽出部２５と、メタデータ特徴量抽出部２６と、第２重み乗算部２７と、出力制御部２９等の各部は、一つの制御部１１が逐次的に対応する処理を行うことにより実現されてもよいし、制御部１１が複数のＧＰＵ等を含んで、各ＧＰＵが並列的に動作して処理を行うこととしてもよい。
【００７０】
［実施形態の効果］
本実施の形態によると、例えば広告用の動画像データを生成したときに、どの程度の広告効果があるかを実際に放送することなく、また、アンケート等の作業を要することなく知ることができる。従って、動画像データの評価を、コストを抑えた方法で得ることができる。
【００７１】
また、動画像情報のうちどの場面の画像が、好ましい方向に効果的であり、好ましくない方向に効果的であるかを推定できるので、動画像情報の検討も容易に可能となる。
【符号の説明】
【００７２】
１  動画像データ処理装置、１１  制御部、１２  記憶部、１３  操作部、１４  出力部、１５  インタフェース部、２１  静止画像情報受入部、２２  特徴量抽出器、２３  画像関係重み乗算部、２４  累算部、２５  音声特徴量抽出部、２６  メタデータ特徴量抽出部、２７  第２重み乗算部、２９  出力制御部、３１  選択指示部、３２  特徴量比較部、３３  比較出力部。
【図１】
2020035149.tif 000003
【図２】
2020035149.tif 000004
【図３】
2020035149.tif 000005