(57)【要約】【課題】識別対象ごとに識別器を作成せずに、より多くの識別対象を識別するための識別情報を取得すること。【解決手段】画像データから取得された特徴量に基づき生成された識別器に基づき識別される訓練クラスＡｉに属さないクラス（ターゲットクラスＢｊ）の画像データであっても、テキストデータを用いて訓練クラスＡｉとターゲットクラスＢｊとの相関を示す相関係数を取得することによって、入力する画像データが、ターゲットクラスＢｊのいずれかに属する可能性を示す推定値を取得することができる。【選択図】図２
2013097686.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ異なる複数のクラスから構成される第１群クラスに属する複数の画像データに基づき、前記画像データの特徴を示す画像特徴量を前記第１群クラス毎に算出し、算出した前記画像特徴量に基づき前記第１群クラスのいずれかに属するものかを識別するための識別器を前記第１群クラス毎に生成する画像特徴量学習部と、
前記画像データに関連付けられた第１テキストデータと、前記第１群クラスを構成するクラスと異なるクラスから構成される第２群クラスに属する画像データに関連付けられた第２テキストデータとに基づき、前記第１テキストデータの特徴を示す第１テキスト特徴量と前記第２テキストデータの特徴を示す第２テキスト特徴量を算出し、前記第１テキスト特徴量と前記第２テキスト特徴量に基づき前記第１群クラスと前記第２群クラスとの間の相関を示す相関係数を算出するテキスト特徴量学習部と、
入力する対象画像データに基づき前記対象画像データの特徴を示す対象画像特徴量を算出し、前記対象画像特徴量と前記識別器に基づき前記第１群クラスに対する前記対象画像の関連性の強さを示す関連値を前記第１群クラス毎に算出し、前記関連値と前記相関係数に基づき前記第２群クラスに対する前記対象画像の関連性の強さを示す推定値を前記第２群クラス毎に算出する識別情報算出部と、
を備えることを特徴とする識別情報算出装置。
【請求項２】
前記識別情報算出部は、
前記画像特徴量学習部が前記画像特徴量を算出する方法と同じ方法を用いて、前記対象画像データの特徴を示す前記対象画像特徴量を算出することを特徴とする請求項１に記載の識別情報算出装置。
【請求項３】
前記識別情報算出部は、
前記対象画像データの特徴を示す前記対象画像特徴量として、それぞれ異なる種類の複数の方法を用いて複数の前記対象画像特徴量を前記対象画像データ毎に算出した場合、前記それぞれ異なる種類の複数の方法を用いて前記画像特徴量学習部により生成された前記識別器に対してそれぞれ前記複数の対象画像特徴量を適用した複数の識別結果のうち１の識別結果を前記関連値として前記第１群クラス毎に算出することを特徴とする請求項２に記載の識別情報算出装置。
【請求項４】
前記識別情報算出部は、
前記複数の識別結果の相加平均値、相乗平均値、調和平均値、または、前記複数の識別結果のうちの最大値を、前記関連値と決定することを特徴とする請求項３に記載の識別情報算出装置。
【請求項５】
前記テキスト特徴量学習部は、
前記第１テキストデータおよび前記第２テキストデータに含まれる各単語が出現した頻度に比例する値をヒストグラムに表わした情報を前記第１テキスト特徴量および前記第２テキスト特徴量として算出することを特徴とする請求項１から４のうちいずれか一項に記載の識別情報算出装置。
【請求項６】
前記画像特徴量学習部は、
入力する動画像データを解析してシーンを検出するシーン解析部と、
前記シーン解析部が検出したシーンのシーン長と前記シーンに対応する複数の画像データにおける時間方向の画像データの位置とに基づいて、前記第１群クラスのうち一のクラスに属する画像データを抽出するキーフレーム抽出部と、
備えることを特徴とする請求項１から５のうちいずれか一項に記載の識別情報算出装置。
【請求項７】
前記キーフレーム抽出部は、
前記シーン解析部が検出した複数のシーンのうち最もシーン長が長いシーンに対応する複数の画像データから、時系列的に中央または中央近傍の画像データを前記第１群クラスのうち一のクラスに属する画像データとして抽出する
ことを特徴とする請求項６記載の識別情報算出装置。
【請求項８】
前記キーフレーム抽出部は、
前記最もシーン長が長いシーンに対応する複数の画像データから、前記シーンの少なくとも両端に対応する画像データを含めずに複数の画像データを前記第１群クラスのうち一のクラスに属する画像データとして抽出する
ことを特徴とする請求項７記載の識別情報算出装置。
【請求項９】
それぞれ異なる複数のクラスから構成される第１群クラスに属する複数の画像データに基づき、前記画像データの特徴を示す画像特徴量を前記第１群クラス毎に算出し、算出した前記画像特徴量に基づき前記第１群クラスのいずれかに属するものかを識別するための識別器を前記第１群クラス毎に生成する画像特徴量学習ステップと、
前記画像データに関連付けられた第１テキストデータと、前記第１群クラスを構成するクラスと異なるクラスから構成される第２群クラスに属する画像データに関連付けられた第２テキストデータとに基づき、前記第１テキストデータの特徴を示す第１テキスト特徴量と前記第２テキストデータの特徴を示す第２テキスト特徴量を算出し、前記第１テキスト特徴量と前記第２テキスト特徴量に基づき前記第１群クラスと前記第２群クラスとの間の相関を示す相関係数を算出するテキスト特徴量学習ステップと、
入力する対象画像データに基づき前記対象画像データの特徴を示す対象画像特徴量を算出し、前記対象画像特徴量と前記識別器に基づき前記第１群クラスに対する前記対象画像の関連性の強さを示す関連値を前記第１群クラス毎に算出し、前記関連値と前記相関係数に基づき前記第２群クラスに対する前記対象画像の関連性の強さを示す推定値を前記第２群クラス毎に算出する識別情報算出ステップと、
を備えることを特徴とする識別情報算出方法。
【請求項１０】
コンピュータを、
それぞれ異なる複数のクラスから構成される第１群クラスに属する複数の画像データに基づき、前記画像データの特徴を示す画像特徴量を前記第１群クラス毎に算出し、算出した前記画像特徴量に基づき前記第１群クラスのいずれかに属するものかを識別するための識別器を前記第１群クラス毎に生成する画像特徴量学習手段、
前記画像データに関連付けられた第１テキストデータと、前記第１群クラスを構成するクラスと異なるクラスから構成される第２群クラスに属する画像データに関連付けられた第２テキストデータとに基づき、前記第１テキストデータの特徴を示す第１テキスト特徴量と前記第２テキストデータの特徴を示す第２テキスト特徴量を算出し、前記第１テキスト特徴量と前記第２テキスト特徴量に基づき前記第１群クラスと前記第２群クラスとの間の相関を示す相関係数を算出するテキスト特徴量学習手段、
入力する対象画像データに基づき前記対象画像データの特徴を示す対象画像特徴量を算出し、前記対象画像特徴量と前記識別器に基づき前記第１群クラスに対する前記対象画像の関連性の強さを示す関連値を前記第１群クラス毎に算出し、前記関連値と前記相関係数に基づき前記第２群クラスに対する前記対象画像の関連性の強さを示す推定値を前記第２群クラス毎に算出する識別情報算出手段
として機能させるための識別情報算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、識別情報算出装置、識別情報算出方法、および識別情報算出プログラムに関する。
【背景技術】
【０００２】
入力する画像から特徴量を抽出し、抽出された特徴量を用いた統計学習により、画像から所定の識別対象を検出するための識別器を生成する学習装置がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１１−１１８６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている学習装置のように、識別対象の数が増加するに伴い、識別対象ごとに識別器を作成しなければならない。
【課題を解決するための手段】
【０００５】
［１］上記の課題を解決するため、本発明の一態様である識別情報算出装置は、それぞれ異なる複数のクラスから構成される第１群クラスに属する複数の画像データに基づき、前記画像データの特徴を示す画像特徴量を前記第１群クラス毎に算出し、算出した前記画像特徴量に基づき前記第１群クラスのいずれかに属するものかを識別するための識別器を前記第１群クラス毎に生成する画像特徴量学習部と、前記画像データに関連付けられた第１テキストデータと、前記第１群クラスを構成するクラスと異なるクラスから構成される第２群クラスに属する画像データに関連付けられた第２テキストデータとに基づき、前記第１テキストデータの特徴を示す第１テキスト特徴量と前記第２テキストデータの特徴を示す第２テキスト特徴量を算出し、前記第１テキスト特徴量と前記第２テキスト特徴量に基づき前記第１群クラスと前記第２群クラスとの間の相関を示す相関係数を算出するテキスト特徴量学習部と、入力する対象画像データに基づき前記対象画像データの特徴を示す対象画像特徴量を算出し、前記対象画像特徴量と前記識別器に基づき前記第１群クラスに対する前記対象画像の関連性の強さを示す関連値を前記第１群クラス毎に算出し、前記関連値と前記相関係数に基づき前記第２群クラスに対する前記対象画像の関連性の強さを示す推定値を前記第２群クラス毎に算出する識別情報算出部と、を備える。
［２］上記の課題を解決するため、本発明の一態様である識別情報算出方法は、それぞれ異なる複数のクラスから構成される第１群クラスに属する複数の画像データに基づき、前記画像データの特徴を示す画像特徴量を前記第１群クラス毎に算出し、算出した前記画像特徴量に基づき前記第１群クラスのいずれかに属するものかを識別するための識別器を前記第１群クラス毎に生成する画像特徴量学習ステップと、前記画像データに関連付けられた第１テキストデータと、前記第１群クラスを構成するクラスと異なるクラスから構成される第２群クラスに属する画像データに関連付けられた第２テキストデータとに基づき、前記第１テキストデータの特徴を示す第１テキスト特徴量と前記第２テキストデータの特徴を示す第２テキスト特徴量を算出し、前記第１テキスト特徴量と前記第２テキスト特徴量に基づき前記第１群クラスと前記第２群クラスとの間の相関を示す相関係数を算出するテキスト特徴量学習ステップと、入力する対象画像データに基づき前記対象画像データの特徴を示す対象画像特徴量を算出し、前記対象画像特徴量と前記識別器に基づき前記第１群クラスに対する前記対象画像の関連性の強さを示す関連値を前記第１群クラス毎に算出し、前記関連値と前記相関係数に基づき前記第２群クラスに対する前記対象画像の関連性の強さを示す推定値を前記第２群クラス毎に算出する識別情報算出ステップと、を備える。
［３］上記の課題を解決するため、本発明の一態様である識別情報算出プログラムは、コンピュータを、それぞれ異なる複数のクラスから構成される第１群クラスに属する複数の画像データに基づき、前記画像データの特徴を示す画像特徴量を前記第１群クラス毎に算出し、算出した前記画像特徴量に基づき前記第１群クラスのいずれかに属するものかを識別するための識別器を前記第１群クラス毎に生成する画像特徴量学習手段、前記画像データに関連付けられた第１テキストデータと、前記第１群クラスを構成するクラスと異なるクラスから構成される第２群クラスに属する画像データに関連付けられた第２テキストデータとに基づき、前記第１テキストデータの特徴を示す第１テキスト特徴量と前記第２テキストデータの特徴を示す第２テキスト特徴量を算出し、前記第１テキスト特徴量と前記第２テキスト特徴量に基づき前記第１群クラスと前記第２群クラスとの間の相関を示す相関係数を算出するテキスト特徴量学習手段、入力する対象画像データに基づき前記対象画像データの特徴を示す対象画像特徴量を算出し、前記対象画像特徴量と前記識別器に基づき前記第１群クラスに対する前記対象画像の関連性の強さを示す関連値を前記第１群クラス毎に算出し、前記関連値と前記相関係数に基づき前記第２群クラスに対する前記対象画像の関連性の強さを示す推定値を前記第２群クラス毎に算出する識別情報算出手段として機能させるためのプログラムである。
【発明の効果】
【０００６】
本発明によれば、識別対象ごとに識別器を作成せずに、より多くの識別対象を識別するための識別情報を取得することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態である識別情報算出装置の一例を示すブロック図である。
【図２】同実施形態における画像特徴量学習部の機能構成を表すブロック図である。
【図３】同実施形態において、時空間画像データを説明するための模式図である。
【図４】同実施形態において、キーフレーム抽出部が正規化動画像データの中からキーフレームを抽出する様子を模式的に表した図である。
【図５】同実施形態において、キーフレーム抽出部が抽出したキーフレームの画像の例である。
【図６】同実施形態における、キーフレーム抽出装置の動作手順を表すフローチャートである。
【図７】同実施形態における識別情報算出装置の概要を示す図である。
【図８】同実施形態におけるテキスト特徴量学習部の機能構成を表すブロック図である。
【図９】同実施形態におけるテキスト特徴量学習部によって算出されるテキスト特徴量の一例を示す図である。
【図１０】同実施形態における識別情報算出部の機能構成を表すブロック図である。
【図１１】同実施形態における識別情報算出方法の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
図１は、本発明の第１実施形態である識別情報算出装置１００の一例を示す図である。
図１に示す通り、本実施形態である識別情報算出装置１００は、画像特徴量学習部２００と、テキスト特徴量学習部３００と、識別情報算出部４００と、記憶部５００と、を備える。
画像特徴量学習部２００は、それぞれ異なる画像を含む複数の訓練画像データＰＧｄ｛ｄ＝１，２，・・・，Ｄ｝を入力する。この訓練画像データＰＧｄは、異なるクラス（以下、訓練クラスＡｉ｛ｉ＝１，２，・・・，Ｍ｝）に属する複数の画像の画像データである。なお、１つの訓練クラスＡｉに対しては、例えば、数百〜数千の複数の訓練画像データＰＧｄが用意されており、Ｍ＜Ｄが成立つ。この訓練クラスＡｉは、画像特徴量学習部２００によって分類されるクラスであり、用意された訓練画像データＰＧｄに対応して予め決められている。この画像特徴量学習部２００は、訓練画像データＰＧｄの特徴量に基づき、訓練クラスＡｉを識別するための識別器Ｙｉを生成する。
本実施形態において、訓練画像データＰＧｄは、動画データである。よって、訓練画像データＰＧｄは、複数の静止画の画像データを含み、これら複数の静止画の画像データは、同一の訓練クラスＡｉに属する画像データである。なお、本明細書において、画像データとは、動画のデータおよび静止画のデータの双方の意味を含む用語として使用する。
【０００９】
テキスト特徴量学習部３００は、訓練画像データＰＧｄに関連付けられたテキストデータと、この訓練クラスＡｉ｛ｉ＝１，２，・・・，Ｍ｝と同一でないクラス（以下、ターゲットクラスＢｊ｛ｊ＝１，２，・・・，Ｎ｝）に属するターゲット画像データＴＧｅ｛ｊ＝１，２，・・・，Ｅ｝に関連付けられたテキストデータとを入力する。つまり、ターゲットクラスＢ１，Ｂ２，・・・，ＢＮは、全ての訓練クラスＡ１，Ａ２，・・・，ＡＭとは異なるクラスである。
なお、１つのターゲットクラスＢｊに対しても、複数のターゲット画像データＴＧｅが用意されている。本実施形態において、ターゲット画像データＴＧｅは、動画データである。よって、ターゲット画像データＴＧｅは、複数の静止画の画像データを含み、これら複数の静止画の画像データは、同一のターゲットクラスＢｊに属する画像データである。なお、本発明はこれに限られず、ターゲット画像データＴＧｅは、少なくとも１つであればよく、Ｅ＝１であってもよい。これは、ターゲットクラスＢｊについては、識別器を作る必要がないためである。
このテキスト特徴量学習部３００は、これらテキストデータから特徴量を取得し、この特徴量に基づき訓練クラスＡｉとターゲットクラスＢｊとの間の相関を示す相関係数を取得する。
識別情報算出部４００は、画像特徴量学習部２００によって取得された訓練クラスＡｉを識別するための識別器Ｙｉと、テキスト特徴量学習部３００によって取得された訓練クラスＡｉとターゲットクラスＢｊとの間の相関を示す相関係数とに基づき、識別対象である画像データについて、ターゲットクラスＢｊに対する関連性の強さを示す推定値を取得する。
【００１０】
つまり、本実施形態に係る識別情報算出装置１００は、画像データから取得された特徴量に基づき生成された識別器Ｙｉに基づき識別される訓練クラスＡｉに属さないクラスの画像データであっても、テキストデータを用いて訓練クラスＡｉとターゲットクラスＢｊとの相関を示す相関係数を取得することによって、入力する画像データが、ターゲットクラスＢｊのいずれかに属する可能性を示す推定値を取得することができる。
これにより、より多くの画像データに基づき識別器を作成せずとも、限られた数の訓練画像データＰＧｄと、より多くのターゲット画像データＴＧｅに関連付けられたテキストデータとを用いることで、識別器によって識別できないターゲットクラスＢｊについても、ターゲットクラスＢｊとの関連性の強さを示す推定値を取得することができる。よって、識別対象ごとに識別器を作成する手間が省け、画像データに基づき識別器を作成するための処理時間を短縮するとともに、画像データの解析時間よりも処理時間が短いテキストデータを用いることにより、全体的な処理時間を短縮することができる。従って、画像から識別対象を識別するための学習時間を短縮し、より多くの識別対象を識別するための識別情報を取得することができる。
【００１１】
次に、画像特徴量学習部２００の構成について説明する。図２は、画像特徴量学習部２００の機能構成を表すブロック図である。同図に示すように、画像特徴量学習部２００は、シーン解析部２１０と、キーフレーム抽出部２２０と、特徴量解析部２３０と、分類処理部２４０とを備える。
画像特徴量学習部２００は、入力するＤ個の訓練画像データＰＧｄ｛ｄ＝１，２，・・・，Ｄ｝をシーン解析部２１０と特徴量解析部２３０とにそれぞれ出力する。なお、ここでは、訓練画像データＰＧｄが動画の画像データである場合について説明しているが、画像特徴量学習部２００は、静止画の画像データを入力するものであってもよい。
【００１２】
シーン解析部２１０は、入力するＤ枚の訓練画像データＰＧｄを取り込んで順次解析し、シーンカットタイミングを推定することによってシーンを検出する。シーン解析部２１０は、その機能構成として、時空間画像生成部２１１と、シーン検出部２１２とを備える。
【００１３】
時空間画像生成部２１１は、訓練画像データＰＧｄを所定の属性にしたがって正規化したのち、この正規化した訓練画像データＰＧｄ（正規化訓練画像データ）から、時間経過に伴うフレーム画像の画素値の変化を表す時空間画像データを生成する。所定の属性は、例えば、画像データの縦横比、解像度、色空間、フレームレートである。時空間画像生成部２１１が時空間画像データを生成する処理の詳細については後述する。
【００１４】
シーン検出部２１２は、時空間画像生成部２１１が生成した時空間画像データを取り込み、この時空間画像データを解析してシーンカットタイミングを推定することによりシーンを検出する。このシーン検出部２１２は、推定した全てのシーンカットタイミングに対応するフレーム画像のフレーム識別情報を抽出し、これらのフレーム識別情報と正規化動画像データとを対応付けてキーフレーム抽出部２２０に出力する。フレーム識別情報は、正規化動画像データを構成するフレーム画像を特定する情報、言い換えると、訓練画像データＰＧｄに含まれる１フレームを特定する情報であり、例えばタイムスタンプ情報である。タイムスタンプ情報は、例えば、“時：分：秒．フレーム番号”により表される。
シーン検出部２１２がシーンを検出する処理の詳細については後述する。
【００１５】
キーフレーム抽出部２２０は、シーン解析部２１０のシーン検出部２１２から供給されるフレーム識別情報と正規化動画像データとを取り込み、正規化動画像データから１個または複数個のキーフレームとなるフレーム画像を抽出し、この抽出したフレーム画像に対応するフレーム識別情報を、特徴量解析部２３０に供給する。
【００１６】
本実施形態では、キーフレーム抽出部２２０は、動画の特性に関する以下の３つの仮定に基づいてキーフレームを抽出する。
仮定１：シーン内における構図の変化は小さい。
仮定２：シーンカット付近のフレーム画像は、テーマ性が高い画像ではない。
仮定３：動画のテーマは、シーン長が長いシーンに含まれている。
【００１７】
仮定３および仮定１は、シーン長が長いシーンにおいては、撮影者が被写体に対する興味を持続したと推測することができることに基づく。また、仮定２は、シーン終了付近については、シーンに対する撮影者の興味が薄れてきたか、興味がなくなったか、フェードアウト等の特殊映像効果が作動しているか、撮影を終了する間際かといった状況にある可能性が高いことに基づく。また、仮定２は、シーン開始後直近については、撮影者が新たなシーンの構図を決定している最中か、フェードイン等の特殊映像効果が作動しているか、撮影を開始して間もないかといった状況にある可能性が高いことに基づく。
キーフフレーム抽出部２２０がキーフレームを抽出する方法については後述する。
【００１８】
特徴量解析部２３０は、動画像データとキーフレーム抽出部２２０から供給されるフレーム識別情報とをそれぞれ取り込み、そのフレーム識別情報に対応するフレーム画像から画像の特徴量（以下、“画像特徴量”と記載する。）を抽出してクラスタリング処理を実行する。
特徴量解析部２３０は、その機能構成として、画像正規化部２３１と、特徴量抽出部２３２と、クラスタリング処理部２３３とを備える。
【００１９】
画像正規化部２３１は、フレーム識別情報に対応する画像データを訓練画像データＰＧｄから抽出し、この抽出した画像データを所定の属性にしたがって正規化して正規化画像データを生成する。所定の属性は、例えば、フレーム画像の縦横比、解像度、色空間である。
具体的には、例えば、画像正規化部２３１は、キーフレームである画像データから輝度成分のみを抽出して輝度画像データを生成する。次に、画像正規化部２３１は、輝度画像データをフレーム画像の縦横比が４対３となる輝度画像データにトリミング処理する。例えば、縦横比が１６対９、２１対９、１対１等である輝度画像データを４対３の輝度画像データにトリミング処理する場合、トリミング前の輝度画像データの水平方向両端の矩形画像部分をカットして縦横比が４対３になるように合わせる。次に、画像正規化部２３１は、トリミング処理された輝度画像データをフィルタリング処理等によって解像度が水平方向３２０画素×垂直方向２４０画素である正規化画像データに変換する。
【００２０】
画像正規化部２３１を設けた理由は、フレーム画像の縦横比が異なるとキーフレームにおける被写体の密度が異なることとなり、また、解像度が異なるとキーフレームが有する情報量が異なることとなり、これらによってキーフレームが有する画像特徴量の評価に影響が出てしまうことを防ぐためである。
【００２１】
特徴量抽出部２３２は、画像正規化部２３１が生成した正規化画像データを取り込み、正規化画像データから画像特徴量を抽出する。例えば、特徴量抽出部２３２は、正規化画像データにおいて複数の画素を含む小領域ごとに輝度のガウス分布の状態を調べ、特徴点ごとのＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量を求める。なお、特徴量抽出部２３２は、異なる特徴量の算出方法を組み合わせて、それぞれの算出方法に応じた画像特徴量を算出するものであってもよい。例えば、特徴量抽出部２３２は、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）や、線形ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、あるいは、１つの静止画を縦方向に３分割した各領域での色平均により示される画像特徴量等を利用することができる。
本実施形態において、特徴量抽出部２３２は、訓練画像データＰＧｄごとに、Ｄ個のＳＵＲＦ特徴量と、Ｄ個の色平均特徴量とを取得する。本実施形態において、訓練画像データＰＧｄは動画の画像データであり、複数の静止画の画像データを含む。例えば、特徴量抽出部２３２は、訓練画像データＰＧｄから取得されたキーフレームである複数枚の静止画の画像データのそれぞれから画像特徴量を取得する。この特徴量抽出部２３２は、例えば、１つの訓練画像データＰＧｄから取得した複数の画像特徴量の相加平均値、相乗平均値、調和平均値等を、訓練画像データＰＧｄの画像特徴量として取得する。つまり、特徴量抽出部２３２は、１つの訓練画像データＰＧｄから、１つの画像特徴量を取得する。
【００２２】
クラスタリング処理部２３３は、特徴量抽出部２３２が抽出した正規化画像データの特徴量を取り込み、特徴点ごとの特徴量のクラスタリング処理（Ｂａｇ−ｏｆ−ｗｏｒｄｓ処理）を実行して画像特徴量のヒストグラム（画像特徴量ヒストグラム）を生成する。クラスタリング処理部２３３は、例えば、Ｋ平均法によって正規化画像データの画像特徴量をＦ個（例えば、１０００個）のクラスタに分類して画像特徴量ヒストグラムを生成する。
【００２３】
分類処理部２４０は、クラスタリング処理部２３３が生成した画像特徴量ヒストグラムを分析して正規化画像データ、すなわち訓練画像データＰＧｄを訓練クラスＡｉに分類し分類データを出力する。例えば、分類処理部２４０は、機械学習により画像特徴量の分類を学習し、その分類結果を分類データとして出力する。分類データは、区分に応じた識別情報や、あらかじめ学習によって決定しておいた“テニス試合”、“クッキー作り”、“サッカー”等のキーワードで示される訓練クラスＡｉである。分類処理部２４０は、例えば、サポートベクターマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）やニューラルネットワーク等によって画像特徴量の分類を学習する。
【００２４】
次に、時空間画像生成部２１１が時空間画像データを生成する処理について説明する。まず、時空間画像生成部２１１は、動画像データの画像データを間引く。例えば、時空間画像生成部２１１は、３０フレーム／秒（ｆｐｓ；ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）のフレームレートを有する動画像データを、２フレーム／秒のフレームレートになるように画像データを間引く。ただし、この間引き処理は省略してもよい。次に、時空間画像生成部２１１は、間引き後の動画像データから輝度成分のみを抽出して輝度動画像データを生成する。次に、時空間画像生成部２１１は、輝度動画像データの各画像データを、例えばフレーム画像の縦横比が４対３となる画像データにトリミング処理する。トリミング処理は、前述した画像正規化部２３１における処理と同様の処理である。次に、時空間画像生成部２１１は、トリミング処理された輝度動画像データをフィルタリング処理等によって、例えば解像度が水平方向３２０画素×垂直方向２４０画素である正規化動画像データに変換する。次に、時空間画像生成部２１１は、正規化動画像データから時空間画像データを生成する。
【００２５】
図３は、時空間画像データを説明するための模式図である。同図（ａ）は、時空間画像データの元である正規化動画像データのフレーム構成を模式的に表した図である。同図（ｂ）は、同図（ａ）に示した正規化動画像データに基づいて、時空間画像生成部２１１が生成した時空間画像データのデータ構成を模式的に表した図である。
同図（ａ）に示すように、正規化動画像データの属性は、フレーム画像の縦横比が４対３であり、解像度が水平方向３２０画素×垂直方向２４０画素であり、フレームレートが２フレーム／秒である。ここでは、再生時間が３５１秒である例を示している。１フレーム画像における水平ラインは、フレーム画像の上端から下端に向けてライン１，ライン２，・・・，ライン３０と表される。
【００２６】
時空間画像生成部２１１は、正規化動画像データを図３（ｂ）のように、時間（フレーム位置）対空間座標に置き換えて二次元データである時空間画像データを生成する。言い換えると、時空間画像生成部２１１は、正規化動画像データのフレーム画像ごとに、ライン１からライン３０までの画素値を空間座標軸方向に一列に配列して時空間画像データを生成する。同図（ａ）に示す正規化動画像データから得られる時空間画像データは、時間軸方向７０２フレーム×空間座標軸方向１２００画素分の１個の画像データである。
【００２７】
次に、シーン検出部２１２がシーンを検出する処理について説明する。シーン検出部２１２は、時空間画像データについて、例えば輝度勾配を計算することによって画像のエッジを検出する。例えば、シーン検出部２１２は、キャニー（Ｃａｎｎｙ）法によって時空間画像データから画像のエッジを検出する。ここで検出される画像のエッジの直線方向は縦、横、および斜め方向を含んでいる。また、本実施形態に係るシーン検出部２１２は、これに限られず、次の方法を用いるものであってもよい。例えば、時空間画像の縦方向（元動画データにおける空間方向）に中間値フィルタを適用し、時空間画像の横方向（元動画データにおける時間方向）の隣接する画素の差分をとった後に、時空間画像の同横方向位置で縦方向のその差分の平均を算出し、それを閾値判定することによってシーンカットを行うものであってもよい。この時の閾値は、最大輝度の１８％である。
次に、シーン検出部２１２は、検出した画像のエッジの中から、空間座標軸に平行な直線となるエッジを検出する。例えば、シーン検出部２１２は、ハフ（Ｈｏｕｇｈ）変換処理を実行することによって、検出した画像のエッジの中から空間座標軸に平行な直線成分のみを抽出する。
【００２８】
次に、シーン検出部２１２は、フレーム画像ごとに、当該フレーム画像がショットカットに該当するか否かを推定する。具体的には、シーン検出部２１２は、フレーム画像ごと（時間方向に１画素ごと）に空間座標方向の直線成分の総和を計算し、その総和が所定の閾値以上である場合は、当該フレーム画像はショットカットであると推定し、その総和が所定の閾値未満である場合は、当該フレーム画像はショットカットではないと推定する。推定されたショットカットはシーンカットタイミングの候補となる。所定の閾値は、任意に決定することができ、例えば、時空間画像データの空間座標方向の高さの割合で規定する。例えば、所定の閾値は、時空間画像データにおける時空間座標方向の高さの１／６０（高さが１２００画素である場合は２０画素）である。
【００２９】
次に、シーン検出部２１２は、ショットカットであると推定した直線成分から、単なるショットであって有効なシーンではないカットを除外する。この「ショットであって有効なシーンではないカット」とは、例えば、ディゾルブやワイプ等の特殊効果映像が該当する。具体的には、シーン検出部２１２は、ショットカットであると推定した直線成分において、時間方向に隣り合う２個の直線成分に挟まれた時間間隔が所定時間よりも短い場合の当該２個の直線成分の少なくとも一方を、シーンカットタイミングの候補から除外する。この所定時間は、任意に設定可能であるが、例えば２秒（図３（ｂ）においては、時間方向に４画素分）である。
【００３０】
次に、シーン検出部２１２は、シーンカットタイミングの候補として残っている全ての直線成分に対応するフレーム画像のフレーム識別情報と正規化動画像データとを出力する。
【００３１】
次に、キーフレーム抽出部２２０がキーフレームを抽出する処理について図４を併せ参照して説明する。図４は、キーフレーム抽出部２２０が正規化動画像データの中からキーフレームを抽出する様子を模式的に表した図である。シーン抽出部２２０は、シーン解析部２１０のシーン検出部２１２が出力したフレーム識別情報と正規化動画像データとを取り込み、正規化動画像データにおける各シーンのシーン長を計算する。このシーン長は、時間長またはフレーム数である。つまり、フレーム識別情報に対応するフレーム画像がシーンの最初のフレーム画像であることに基づいて、シーン抽出部２２０は、各シーンのシーン長を計算する。例えば、同図（ａ）に示すシーン構成である場合、フレーム識別情報に対応するフレーム画像は各シーンの最初のフレーム画像であり、キーフレーム抽出部２２０は、第１番目のシーン（シーン１）から第５番目のシーン（シーン５）までの各シーンのフレーム数を、１０フレーム、６フレーム、１５フレーム、１２フレーム、および４フレームとして計数する。
【００３２】
次に、キーフレーム抽出部２２０は、前述した仮定３にしたがい、シーンの中から最もシーン長が長い（フレーム数が多い）シーンを検出する。例えば、キーフレーム抽出部２２０は、各シーンのフレーム数を比較することにより、最もフレーム数が多いシーンとして、図４（ｂ）に示すように第３番目のシーン（シーン３：１５フレーム）を検出する。
次に、キーフレーム抽出部２２０は、正規化動画像データのうち、検出した１個のシーンに対応するフレーム画像から所定範囲の輝度値を有するフレーム画像を検出する。具体的には、キーフレーム抽出部２２０は、正規化動画像データのうち、検出した１個のシーンに対応するフレーム画像から、平均輝度値が第１の閾値よりも低い低輝度フレーム画像、もしくは平均輝度値が第２の閾値（第２の閾値＞第１の閾値）よりも高い高輝度フレーム画像、または低輝度フレーム画像および高輝度フレーム画像を検出する。同図（ｂ）は、第３番目のシーン（シーン３）に対応する１５フレームのフレーム画像から、４つの低輝度フレーム画像および高輝度フレーム画像を検出した例を示している。
【００３３】
次に、キーフレーム抽出部２２０は、低輝度フレーム画像もしくは高輝度フレーム画像または低輝度フレーム画像および高輝度フレーム画像を除いたフレーム画像の中から、前述した仮定２にしたがい、時系列的に中央または中央近傍（例えば、時系列中心に最も近い）の１個のフレーム画像をキーフレームとして抽出する。このように、低輝度フレーム画像や高輝度フレーム画像を除く理由は、これらのフレーム画像は、一般的に見づらく、また後段の特徴量解析部２３０において特徴量を検出し難いためである。図４（ｃ），（ｄ）は、キーフレーム抽出部２２０が、１１フレームのフレーム画像の中から、時系列中心のフレーム画像である左から６番目のフレーム画像をキーフレームとして抽出した例を示している。
次に、キーフレーム抽出部２２０は、抽出したキーフレームに対応するフレーム識別情報を、特徴量解析部２３０に出力する。
【００３４】
図５は、キーフレーム抽出部２２０が抽出したキーフレームの画像の例である。同図（ａ）は、テニスの試合の様子を撮影した動画像データを用いて、画像特徴量学習部２００が抽出したキーフレームの画像である。この動画像データには、同図（ａ）に示すような、手前側と奥側との二人のテニス選手がラリーを続けているシーンが、最も時間が長いシーンとして含まれている。
また、同図（ｂ）は、クッキーを作っている少女の様子を撮影した動画像データを用いて、画像特徴量学習部２００が抽出したキーフレームの画像である。この動画像データには、同図（ｂ）に示すような、少女の手元がフレーム画像から外れて見えない構図のシーンが、最も時間が長いシーンとして含まれている。
【００３５】
次に、本実施形態である画像特徴量学習部２００の主要な動作について説明する。図６は、画像特徴量学習部２００の動作手順を表すフローチャートである。
画像特徴量学習部２００が訓練画像データＰＧｄを取り込むと、ステップＳ１において、シーン解析部２１０の時空間画像生成部２１１は、訓練画像データＰＧｄの画像データを間引いたのち、間引き後の訓練画像データＰＧｄを所定の属性にしたがって正規化した正規化動画像データを生成する。例えば、時空間画像生成部２１１は、図３（ａ）のように、水平方向３２０画素×垂直方向２４０画素の解像度で、２フレーム／秒のフレームレートで、輝度情報により表現される正規化動画像データを生成する。
次に、時空間画像生成部２１１は、正規化動画像データを時間（フレーム位置）対空間座標に置き換えて、二次元データである時空間画像データを生成する。例えば、時空間画像生成部２１１は、同図（ａ）に示す正規化動画像データから、同図（ｂ）のように、時間方向７０２フレーム×空間座標方向１２００画素分の時空間画像データを生成する。
【００３６】
次に、ステップＳ２において、シーン検出部２１２は、時空間画像生成部２１１が生成した時空間画像データを取り込み、この時空間画像データを解析してシーンカットタイミングを推定することによってシーンを検出する。具体的には、シーン検出部２１２は、時空間画像データについて、例えば輝度勾配を計算することによって画像のエッジを検出する。
次に、シーン検出部２１２は、検出した画像のエッジの中から、空間座標方向に直線となるエッジを検出する。
次に、シーン検出部２１２は、フレーム画像ごとに、当該フレーム画像がショットカットに該当するか否かを推定する。具体的には、シーン検出部２１２は、フレーム画像ごとに、空間座標方向の直線成分の総和を計算し、その総和が所定の閾値以上である場合は、当該フレーム画像はショットカットであると推定し、その総和が所定の閾値未満である場合は、当該フレーム画像はショットカットではないと推定する。
次に、シーン検出部２１２は、ショットカットであると推定した直線成分（シーンカットタイミングの候補）から、単なるショットであって有効なシーンではないカットを除外する。具体的には、シーン検出部２１２は、ショットカットであると推定した直線成分において、時間方向に隣り合う２個の直線成分に挟まれた時間間隔が所定時間よりも短い場合の当該２個の直線成分の少なくとも一方を、シーンカットタイミングの候補から除外する。
次に、シーン検出部２１２は、シーンカットタイミングの候補として残っている全ての直線成分に対応するフレーム画像のフレーム識別情報と正規化動画像データとを対応付けてキーフレーム抽出部２２０に供給する。
【００３７】
次に、ステップＳ３において、キーフレーム抽出部２２０は、シーン検出部２１２から供給されるフレーム識別情報と正規化動画像データとを取り込み、正規化動画像データから１個のキーフレームとなるフレーム画像に対応するフレーム識別情報を抽出して特徴量解析部２３０に供給する。具体的には、シーン抽出部２２０は、フレーム識別情報と正規化動画像データとに基づいて、正規化動画像データにおける各シーンのシーン長を計算する。
次に、キーフレーム抽出部２２０は、シーンの中から最もシーン長が長いシーンを検出する。
次に、キーフレーム抽出部２２０は、正規化動画像データのうち、検出した１個のシーンに対応するフレーム画像から所定範囲の輝度値を有するフレーム画像を検出する。具体的には、キーフレーム抽出部２２０は、正規化動画像データのうち、検出した１個のシーンに対応するフレーム画像から、平均輝度値が第１の閾値よりも低い低輝度フレーム画像、もしくは平均輝度値が第２の閾値よりも高い高輝度フレーム画像、または低輝度フレーム画像および高輝度フレーム画像を検出する。
次に、キーフレーム抽出部２２０は、低輝度フレーム画像もしくは高輝度フレーム画像または低輝度フレーム画像および高輝度フレーム画像を除いたフレーム画像の中から、時系列的に中央または中央近傍の１個のフレーム画像をキーフレームとして抽出する。
次に、キーフレーム抽出部２２０は、抽出したキーフレームに対応するフレーム識別情報を、特徴量解析部２３０に供給する。
【００３８】
次に、ステップＳ４において、特徴量解析部２３０の画像正規化部２３１は、動画像データとキーフレーム抽出部２２０から供給されるフレーム識別情報とをそれぞれ取り込み、フレーム識別情報に対応する画像データを動画像データから抽出する。
次に、画像正規化部２３１は、抽出した画像データを所定の属性にしたがって正規化した正規化画像データを生成する。例えば、画像正規化部２３１は、水平方向３２０画素×垂直方向２４０画素の解像度で、輝度情報により表現される正規化画像データを生成する。
【００３９】
次に、ステップＳ５において、特徴量抽出部２３２は、画像正規化部２３１が生成した正規化画像データを取り込み、正規化画像データから特徴量を抽出する。
次に、ステップＳ６において、クラスタリング処理部２３３は、特徴量抽出部２３２から供給された正規化画像データの特徴量のクラスタリング処理を実行して特徴量ヒストグラムを生成する。
【００４０】
次に、ステップＳ７において、分類処理部２４０は、クラスタリング処理部２３３が生成した特徴量ヒストグラムを取り込み、この特徴量ヒストグラムを分析して正規化画像データ、すなわちキーフレームを分類し、その分類結果を分類データとして出力する。
【００４１】
次に、図７を参照して、本発明に係る識別情報算出装置１００の概要ついて説明する。図７は、本発明に係る識別情報算出装置１００の概要を示す図である。
図７に示す通り、識別情報算出装置１００は、学習過程１と、学習過程２と、識別過程とを実行する装置である。なお、学習過程１を画像特徴量学習部２００が、学習過程２をテキスト特徴量学習部３００が、識別過程を識別情報算出部４００が、それぞれ実行する。
【００４２】
学習過程１では、画像特徴量学習部２００が、全ての訓練画像データＰＧｄから画像特徴量を抽出し、訓練クラスＡｉ｛Ａ１，Ａ２，・・・，ＡＭ｝のそれぞれの識別するための識別器Ｙｉを作成する。この識別器Ｙｉは、識別情報算出部４００による識別過程において、識別器Ｙｉとして利用される情報である。なお、上述の分類処理部２４０によって分類されたクラスが、訓練クラスＡｉに相当する。
本実施形態では、上述の特徴量解析部２３０が、各訓練クラスＡｉのために用意された複数の訓練画像データＰＧｄから取得した複数の特徴量に基づき、各訓練クラスＡｉを識別する識別パターンを示す識別器Ｙｉを作成する。この識別器（識別パターン）Ｙｉは、画像の特徴を表わす成分毎に、訓練クラスＡｉに属する画像であるか、あるいは、訓練クラスＡｉに属さない画像であるかを判定するための閾値を示す数値によって示される。例えば、ＳＵＲＦ特徴量を用いた場合、複数の特徴ヒストグラムに基づき、訓練クラスＡｉに属する画像であるか否かを判定するための閾値を示す数値（特徴ヒストグラム）を、識別器Ｙｉとして作成する。色平均特徴量を用いた場合、複数の色の平均値（ＲＧＢ）に基づき、訓練クラスＡｉに属する画像であるか否かを判定するための閾値を示す数値（ＲＧＢ値）を、識別器Ｙｉとして作成する。
また、特徴量の算出方法が複数（Ｓ）個ある場合、画像特徴量学習部２００は、訓練画像データＰＧｄのそれぞれからＳ個の画像特徴量を抽出する。つまり、全ての訓練クラスＡｉ｛１，２，・・・，Ｍ｝ごとに、Ｓ個の画像特徴量に対応する識別器Ｙｉ，ｓ｛ｓ＝１，２，・・・，Ｓ｝が取得される。
【００４３】
学習過程２では、テキスト特徴量学習部３００が、全ての訓練画像データＰＧｄに関連付けられたテキストデータＰＴｄからそれぞれの訓練クラスＡｉ｛ｉ＝１，２，・・・，Ｍ｝の特徴を示すテキスト特徴量ａｉ（→）を取得する。また、学習過程２では、テキスト特徴量学習部３００が、全てのターゲット画像データＴＧｅに関連付けられたテキストデータＴＴｅからそれぞれのターゲットクラスＢｊ｛ｊ＝１，２，・・・，Ｎ｝の特徴を示すテキスト特徴量ｂｊ（→）を取得する。なお、本明細書の文章中において、ベクトルは、（→）を付して表現する。また、図面中においては、（→）をアルファベットの上に付して表現する。
この学習過程２では、訓練クラスＡｉ｛ｉ＝１，２，・・・，Ｍ｝の特徴を示すテキスト特徴量ａｉ（→）と、ターゲットクラスＢｊ｛ｊ＝１，２，・・・，Ｎ｝の特徴を示すテキスト特徴量ｂｊ（→）とに基づき、テキスト特徴量学習部３００は、訓練クラスＡｉ｛ｉ＝１，２，・・・，Ｍ｝とターゲットクラスＢｊ｛ｊ＝１，２，・・・，Ｎ｝との間の相関を示す相関係数Ｃｊ，ｉを取得する。
【００４４】
このように、学習過程１では、画像データに基づき画像特徴量が取得され、この画像特徴量に基づき訓練クラスＡｉを識別するための識別器Ｙｉ，ｓ｛ｓ＝１，２，・・・，Ｓ｝が取得される。一方、学習過程２では、画像データに関連付けられているテキストデータを用いて、識別器Ｙｉ，ｓ｛ｓ＝１，２，・・・，Ｓ｝が取得された訓練クラスＡｉと、この訓練クラスＡｉとターゲットクラスＢｊとの相関係数Ｃｊ，ｉが取得される。
識別過程では、識別情報算出部４００は、この訓練クラスＡｉの識別器Ｙｉ，ｓ｛ｓ＝１，２，・・・，Ｓ｝と、訓練クラスＡｉとターゲットクラスＢｊとの相関係数Ｃｊ，ｉとに基づき、入力する識別対象の画像データについて、ターゲットクラスＢｊに対する関連性の強さを示す推定値ｑ´ｊを取得する。
【００４５】
次に、テキスト特徴量学習部３００の構成について説明する。図８は、テキスト特徴量学習部３００の機能構成を表すブロック図である。同図に示すように、テキスト特徴量学習部３００は、テキスト情報収集部３０１と、テキスト情報分解部３０２と、特徴量算出部３０３と、相関係数算出部３０４と、記憶部３０５とを備える。
テキスト情報収集部３０１は、訓練クラスＡｉとターゲットクラスＢｊの内容やそれぞれに関連する事項をテキストで記述したメタ情報を適当に集める。本実施形態において、テキスト情報収集部３０１は、訓練画像データＰＧｄ｛ｄ＝１，２，・・・，Ｄ｝に関連付けられているテキストデータＰＴｄと、ターゲット画像データＴＧｅに関連付けられたテキストデータＴＴｅとを取得し、テキスト情報分解部３０２に出力する。
なお、本発明に係るテキスト情報収集部３０１は、訓練クラスＡｉとターゲットクラスＢｊのそれぞれに関連付けられているテキストデータ以外にも、辞典のような定義的な文章を参照して、ユーザがクラス毎に調べたテキストデータであってもよい。また、インターネットを用いて信頼あるサイトから、各クラスに関連するキーワードに基づく検索結果を示すテキストデータであってもよい。
【００４６】
テキスト情報分解部３０２は、テキスト情報収集部３０１から入力するテキストデータＰＴｄ、ＴＴｅを、単語レベルで分解する。このテキスト情報分解部３０２は、例えば、形態素解析により、テキストデータＰＴｄ、ＴＴｅを単語レベルで分解し、分解された単語から無意味な単語や文字列を除外する。テキスト情報分解部３０２は、分解した単語を、各クラス（訓練クラスＡｉあるいはターゲットクラスＢｊ）に対応付けて、記憶部３０５に格納する。
【００４７】
特徴量算出部３０３は、記憶部３０５を参照して、各クラスに対応付けられた単語に基づき、各クラスの特徴を示すヒストグラム（以下、“単語ヒストグラム”と記す）を作成する。この特徴量算出部３０３は、単語ヒストグラムを作成する際、クラス間において単語を共通化したり、単語を組み合わせたフレーズを用いたりしてもよい。さらに、テキストデータに含まれるノイズ（クラスの特徴量として重要でない単語）の影響を減らすため、単語ヒストグラムの値にある閾値を設けて、特徴量算出部３０３が、単語ヒストグラムの作成時に、閾値より小さい単語ヒストグラムの値の単語を除外するものであってもよい。この単語ヒストグラムは、特徴量算出部３０３によって採用された単語の数の分の次元を持ち、それぞれのクラスを表現する特徴量である。
【００４８】
本実施形態において、特徴量算出部３０３は、各クラスの特徴を示す単語として重要な単語をクラス毎に取得し、各クラスに対応する単語の和集合｛ｗ１，ｗ２，・・・，ｗＫ｝の単語ヒストグラムを作成する。
この特徴量算出部３０３により、訓練画像データＰＧｄに関連付けられたテキストデータＰＴｄに基づき取得された単語ヒストグラム（テキスト特徴量）がａｉ（→）であり、以下のように示される。また、特徴量算出部３０３により、ターゲット画像データＴＧｅに関連付けられたテキストデータＴＴｅに基づき取得された単語ヒストグラム（テキスト特徴量）がｂｊ（→）であり、以下のように示される。
【００４９】
【数１】
2013097686.tif 000003
【００５０】
なお、式（１）において、ａｉ，ｋ、ｂｊ，ｋは、それぞれ、訓練クラスＡｉ、ターゲットクラスＢｊにおいて単語ｗｋが出現した頻度に比例する値である。
【００５１】
相関係数算出部３０４は、特徴量算出部３０３によって算出された特徴量ａｉ（→）と特徴量ｂｊ（→）とに基づき、以下に示す式（２）に従って、訓練クラスＡｉとターゲットクラスＢｊの関連性の強度を示す相互相関係数ｃｊ，ｉを算出する。なお、相互相関係数ｃｊ，ｉは、以下の式で表わすことができる。
【００５２】
【数２】
2013097686.tif 000004
【００５３】
式（２）において、相互相関係数ｃｊ，ｉが１に近いほど、訓練クラスＡｉとターゲットクラスＢｊとの関連性が強いことを示している。また、ターゲットクラスＢｊを行列の行に対応させ、訓練クラスＡｉを行列の列に対応させて、この相互相関係数ｃｊ，ｉを並べてできるＮ×Ｍ行列をＣとすると、以下のように示される。
【００５４】
【数３】
2013097686.tif 000005
【００５５】
ここで、図９を参照して、訓練クラスＡｉ｛ｉ＝１，２，・・・，Ｍ｝の特徴を示す単語ヒストグラムａｉ（→）と、ターゲットクラスＢｊ｛ｊ＝１，２，・・・，Ｎ｝の特徴を示す単語ヒストグラムｂｊ（→）の一例について説明する。
図９（ａ）〜（ｃ）は、訓練クラスＡ１、Ａ２、・・・、ＡＭのそれぞれの特徴を示す単語ヒストグラムａ１（→）、ａ２（→）、・・・、ａＫ（→）を示す図である。
図９（ｄ）〜（ｆ）は、ターゲットクラスＢ１、Ｂ２、・・・、ＢＮのそれぞれの特徴を示す単語ヒストグラムｂ１（→）、ｂ２（→）、・・・、ｂＫ（→）を示す図である。
図示の通り、各ヒストグラムは、特徴量算出部３０３によって取得された各クラスに対応する単語の和集合｛ｗ１，ｗ２，・・・，ｗＫ｝の単語ヒストグラムである。各単語ヒストグラムの成分は、各クラスに関連付けられたテキストデータにおいて単語ｗｋ｛ｋ＝１，２，・・・，Ｋ｝が出現した頻度に比例する値であって、上述のａｉ，ｋ、ｂｊ，ｋに相当する値である。
【００５６】
次に、識別情報算出部４００の構成について説明する。図１０は、識別情報算出部４００の機能構成を表すブロック図である。同図に示すように、識別情報算出部４００は、シーン解析部４０１と、キーフレーム抽出部４０２と、特徴量解析部４０３と、訓練クラス関連性算出部４０４と、ターゲットクラス関連性算出部４０５とを備える。なお、シーン解析部４０１、キーフレーム抽出部４０２、および特徴量解析部４０３は、上述の画像特徴量学習部２００におけるシーン解析部２１０、キーフレーム抽出部２２０、および特徴量解析部２３０と、それぞれ同様の構成を有する構成部である。よって、同一の名称を付して、詳細な説明は省略する。
これらシーン解析部４０１、キーフレーム抽出部４０２、および特徴量解析部４０３は、識別対象である画像データＸを入力し、この画像データＸの画像ヒストグラムを取得する。なお、特徴量解析部４０３は、画像特徴量学習部２００の特徴量解析部４０３によって用いられた特徴量の算出方法と同様の方法を用いて、画像ヒストグラムｘ（→）を作成する。なお、特徴量の算出方法が複数ある場合、特徴量解析部４０３は、それぞれの特徴量の算出方法（Ｓ）毎に、画像ヒストグラムｘｓ（→）｛ｓ＝１，２，・・・，Ｓ｝を作成する。特徴量解析部４０３は、作成した画像ヒストグラムｘｓ（→）を訓練クラス関連性算出部４０４に出力する。
【００５７】
訓練クラス関連性算出部４０４は、記憶部５００から識別器Ｙｉ，ｓ読み出し、特徴量解析部４０３から入力する画像ヒストグラムｘｓ（→）を適用させて、識別結果Ｙｉ，ｓ（ｘｓ（→））を得る。具体的に説明すると、訓練クラス関連性算出部４０４は、画像ヒストグラムｘｓ（→）を構成する各成分の数値を、それぞれ、識別器Ｙｉ，ｓに含まれる画像ヒストグラムの各成分の数値に、成分毎に加算した識別結果Ｙｉ，ｓ（ｘｓ（→））を算出する。
この訓練クラス関連性算出部４０４は、特徴量の算出方法が複数ある場合、つまり、１つの画像データＸについて、複数の特徴量である画像ヒストグラムｘｓ（→）を作成した場合、予め決められた方法を用いて、訓練クラスＡｉに対する画像データＸの関連性の強さを示す関連値ｑｉを算出する。なお、１つの画像ヒストグラムｘ１（→）のみを作成した場合、訓練クラス関連性算出部４０４は、この画像ヒストグラムｘ１（→）を、訓練クラスＡｉに対する画像データＸの関連性の強さを示す関連値ｑｉと決定する。
【００５８】
訓練クラス関連性算出部４０４は、複数の画像ヒストグラムｘｓ（→）を作成した場合、これらを識別器Ｙｉ，ｓに適用した複数の識別結果Ｙｉ，ｓ（ｘｓ（→））に対して、特徴量全体の総意となる１つの関連値ｑｉを取得するための操作Ｚ（例えば、平均操作あるいは選択操作）を行う。この関連値ｑｉを、以下の式（４）に示す。
【００５９】
【数４】
2013097686.tif 000006
【００６０】
この訓練クラス関連性算出部４０４は、以下の式（５）〜（８）に示されるいずれかの方法を用いて、関連値ｑｉを算出することができる。
【００６１】
【数５】
2013097686.tif 000007
【００６２】
【数６】
2013097686.tif 000008
【００６３】
【数７】
2013097686.tif 000009
【００６４】
【数８】
2013097686.tif 000010
【００６５】
式（５）は、複数の識別結果Ｙｉ，ｓ（ｘｓ（→））の相加平均により、特徴量全体の総意となる１つの関連値ｑｉが取得される演算方法を示す例である。
式（６）は、複数の識別結果Ｙｉ，ｓ（ｘｓ（→））の相乗平均により、特徴量全体の総意となる１つの関連値ｑｉが取得される演算方法を示す例である。
式（７）は、複数の識別結果Ｙｉ，ｓ（ｘｓ（→））の調和平均により、特徴量全体の総意となる１つの関連値ｑｉが取得される演算方法を示す例である。
式（８）は、複数の識別結果Ｙｉ，ｓ（ｘｓ（→））のうちの最大値を、特徴量全体の総意となる１つの関連値ｑｉとして取得される演算方法を示す例である。
このようにして、訓練クラス関連性算出部４０４は、すべてのｉ（つまり、全ての訓練クラスＡｉ）について、関連値ｑｉを算出し、ターゲットクラス関連性算出部４０５に出力する。
【００６６】
ターゲットクラス関連性算出部４０５は、訓練クラス関連性算出部４０４から入力する関連値ｑｉと、記憶部５００から読み出した相関係数Ｃｊ，ｉとに基づき、式（９）に従って、ターゲットクラスＢｊに対する画像データＸの関連性の強さを示す推定値ｑ´ｊを算出する。
【００６７】
【数９】
2013097686.tif 000011
【００６８】
なお、訓練クラスＡｉに対する関連性の強さを示す関連値ｑｉと、ターゲットクラスＢｊに対する関連性の強さを示す推定値ｑ´ｊとを、ベクトル形式で並べることによって、相互相関係数の行列表現（上述の式（３）参照）を用いて、以下のように表わすことができる。
【００６９】
【数１０】
2013097686.tif 000012
【００７０】
次に、図１１を参照して、本実施形態に係る識別情報算出方法の一例について説明する。図１１は、本実施形態に係る識別情報算出方法の一例を示すフローチャートである。
（ステップＳ１１）
画像特徴量学習部２００は、複数の訓練画像データＰＧｄ｛ｄ＝１，２，・・・，Ｄ｝を取り込む。本実施形態において、画像特徴量学習部２００は、図５に示したような、テニスの試合の様子を撮影した（訓練クラスＡ１「テニスの試合の風景」に属する）画像データＰＧ１と、クッキーを作っている少女の様子を撮影した（訓練クラスＡ２「クッキー作りの風景」に属する）画像データＰＧ２とを取り込む。なお、画像特徴量学習部２００は、各訓練クラスＡ１とＡ２に属する訓練画像データＰＧｄとして、この訓練画像データＰＧ１，ＰＧ２以外にも、複数の画像データを取り込むが、ここでは、説明を簡略化するため、他の画像についての説明は省略する。
【００７１】
（ステップＳ１２）
次いで、画像特徴量学習部２００は、取り込んだ訓練画像データＰＧｄから、各訓練クラスＡｉの特徴を示す画像特徴量を取得する。本実施形態において、画像特徴量学習部２００は、訓練画像データＰＧｄのそれぞれから、Ｄ個のＳＵＲＦ特徴量と、Ｄ個の色平均特徴量を取得する。つまり、訓練画像データＰＧｄ毎に、ＳＵＲＦ特徴量と色平均特徴量を取得する。
そして、画像特徴量学習部２００は、取得したＳＵＲＦ特徴量に基づき各訓練クラスＡｉを識別するための識別器Ｙｉ，１を生成するとともに、色平均特徴量に基づき各訓練クラスＡｉを識別するための識別器Ｙｉ，２を生成する。画像特徴量学習部２００は、生成した識別器Ｙｉ，１と識別器Ｙｉ，２とを示す情報を、記憶部５００に記憶させる。
本実施形態において、画像特徴量学習部２００は、テニスの試合の様子を撮影した画像を含む画像データＰＧ１（その他、同一の訓練クラスＡｉに属する他の訓練画像データを含む）に基づき、訓練クラスＡ１「テニスの試合の風景」を識別するための識別器Ｙ１，１と識別器Ｙ１，２を生成する。また、画像特徴量学習部２００は、クッキーを作っている少女の様子を撮影した画像を含む画像データＰＧ２（その他、同一の訓練クラスＡｉに属する他の訓練画像データを含む）に基づき、訓練クラスＡ２「クッキー作りの風景」を識別するための識別器Ｙ２，１と識別器Ｙ２，２を生成する。
【００７２】
（ステップＳ１３）
一方、テキスト特徴量学習部３００では、テキスト情報収集部３０１が、訓練画像データＰＧｄ｛ｄ＝１，２，・・・，Ｄ｝に関連付けられているテキストデータＰＴｄと、ターゲット画像データＴＧｅに関連付けられたテキストデータＴＴｅとを取り込む。
本実施形態において、テキスト情報収集部３０１は、上述のテニスの試合の様子を撮影した画像を含む訓練画像データＰＧ１に関連付けられているテキストデータＰＴ１として「テニスの試合，○月○日，関東選抜大会，□□社製のラケット，適度に緊張したおかげで良いプレーができました」を取り込む。
また、テキスト情報収集部３０１は、上述のクッキーを作っている少女の様子を撮影した画像を含む訓練画像データＰＧ２に関連付けられているテキストデータＰＴ２として「クリスマスパーティーのためにチョコレートクッキーに初挑戦，○○さんのレシピで作ったらサクサクでおいしいクッキーができました」を取り込む。
【００７３】
さらに、テキスト情報収集部３０１は、ターゲット画像データＴＧ１に関連付けられたテキストデータＴＴ１として「地区選抜卓球大会，プレーヤー同士の白熱した打ち合い，△△社製のラケット使用」を取り込む。なお、このターゲット画像データＴＧ１は、ターゲットクラスＢ１の「卓球の試合の風景」に属する画像である。
また、テキスト情報収集部３０１は、ターゲット画像データＴＧ２に関連付けられたテキストデータＴＴ２として「ママの誕生日ケーキを手作りしました，イチゴのショートケーキ，ママと一緒にろうそくを吹き消しておいしく食べました」を取り込む。なお、このターゲット画像データＴＧ２は、ターゲットクラスＢ２の「ケーキ作りの風景」に属する画像である。
【００７４】
（ステップＳ１４）
テキスト情報分解部３０２は、訓練画像データＰＧｄに関連付けられているテキストデータＰＴｄを、形態素解析により、単語レベルで分解し、分解された単語から無意味な単語や文字列を除外する。
本実施形態において、テキスト情報分解部３０２は、テキストデータＰＴ１から複数の単語「テニス」「試合」「関東選抜」「大会」「□□社製」「ラケット」「適度」「緊張」「プレー」を取得する。また、テキスト情報分解部３０２は、テキストデータＰＴ２から複数の単語「クリスマスパーティー」「チョコレートクッキー」「初挑戦」「レシピ」「作ったら」「サクサク」「おいしい」「クッキー」を取得する。
そして、テキスト情報分解部３０２は、テキストデータＰＴ１から取得した複数の単語「テニス」「試合」「関東」「選抜」「大会」「□□社製」「ラケット」「適度」「緊張」「プレー」を、訓練クラスＡ１「テニスの試合の風景」と対応付けて、記憶部３０５に格納する。また、テキスト情報分解部３０２は、テキストデータＰＴ２から取得した複数の単語「クリスマスパーティー」「チョコレートクッキー」「初挑戦」「レシピ」「作ったら」「サクサク」「おいしい」「クッキー」を、訓練クラスＡ２「クッキー作りの風景」と対応付けて、記憶部３０５に格納する。
【００７５】
また、テキスト情報分解部３０２は、ターゲット画像データＴＧｅに関連付けられているテキストデータＴＴｅを、形態素解析により、単語レベルで分解し、分解された単語から無意味な単語や文字列を除外する。
本実施形態において、テキスト情報分解部３０２は、テキストデータＴＴ１から複数の単語「地区」「選抜」「卓球」「大会」「プレーヤー」「同士」「白熱」「打ち合い」「△△社製」「ラケット」「使用」を取得する。また、テキスト情報分解部３０２は、テキストデータＴＴ２から複数の単語「ママ」「誕生日」「ケーキ」「手作り」「イチゴ」「ショートケーキ」「ママと一緒に」「ろうそく」「吹き消して」「おいしく」「食べました」を取得する。
そして、テキスト情報分解部３０２は、テキストデータＴＴ１から取得した複数の単語「地区」「選抜」「卓球」「大会」「プレーヤー」「同士」「白熱」「打ち合い」「△△社製」「ラケット」「使用」を、ターゲットクラスＢ１「卓球の試合の風景」と対応付けて、記憶部３０５に格納する。また、テキスト情報分解部３０２は、テキストデータＴＴ２から取得した複数の単語「ママ」「誕生日」「ケーキ」「手作り」「イチゴ」「ショートケーキ」「ママと一緒に」「ろうそく」「吹き消して」「おいしく」「食べました」を、ターゲットクラスＢ２「ケーキ作りの風景」と対応付けて、記憶部３０５に格納する。
【００７６】
（ステップＳ１５）
特徴量算出部３０３は、記憶部３０５を参照して、各クラスに対応付けられた単語に基づき、各クラスの特徴を示す単語ヒストグラムを作成する。
本実施形態において、特徴量算出部３０３は、各クラスの特徴を示す単語として重要な単語をクラス毎に取得し、各クラスに対応する単語の和集合｛ｗ１＝「テニス」，ｗ２＝「試合」，・・・，ｗＫ＝「食べました」｝の単語ヒストグラムを作成する。具体的説明すると、特徴量算出部３０３は、訓練クラスＡ１「テニスの試合の風景」の特徴を示す単語ヒストグラムａ１（→）と、訓練クラスＡ２「クッキー作りの風景」の特徴を示す単語ヒストグラムａ２（→）と、ターゲットクラスＢ１「卓球の試合の風景」の特徴を示す単語ヒストグラムｂ１（→）と、ターゲットクラスＢ２「ケーキ作りの風景」の特徴を示す単語ヒストグラムｂ２（→）と、を作成して、相関係数算出部３０４に出力する。
【００７７】
（ステップＳ１６）
相関係数算出部３０４は、特徴量算出部３０３によって算出された特徴量ａｉ（→）と特徴量ｂｊ（→）とに基づき、訓練クラスＡｉとターゲットクラスＢｊの関連性の強度を示す相互相関係数ｃｊ，ｉを算出する。具体的説明すると、特徴量算出部３０３は、訓練クラスＡ１「テニスの試合の風景」とターゲットクラスＢ１「卓球の試合の風景」との関連性の強度を示す相互相関係数ｃ１，１を算出する。また、特徴量算出部３０３は、訓練クラスＡ１「テニスの試合の風景」とターゲットクラスＢ２「ケーキ作りの風景」との関連性の強度を示す相互相関係数ｃ２，１を算出する。さらにまた、特徴量算出部３０３は、訓練クラスＡ２「クッキー作りの風景」とターゲットクラスＢ１「卓球の試合の風景」との関連性の強度を示す相互相関係数ｃ１，２を算出する。また、特徴量算出部３０３は、訓練クラスＡ２「クッキー作りの風景」とターゲットクラスＢ２「ケーキ作りの風景」との関連性の強度を示す相互相関係数ｃ２，２を算出する。相関係数算出部３０４は、算出した相互相関係数ｃｊ，ｉを記憶部５００に記憶させる。
【００７８】
（ステップＳ１７）
次いで、識別情報算出部４００は、識別対象である画像データＸを入力する。本実施形態において、画像データＸは、卓球の試合の風景を撮影した画像を含む動画像データである。
（ステップＳ１８）
識別情報算出部４００のシーン解析部４０１、キーフレーム抽出部４０２、および特徴量解析部４０３は、この画像データＸの画像ヒストグラムを作成する。本実施形態において、特徴量解析部４０３は、画像データＸから抽出されたＳＵＲＦ特徴量に基づき画像ヒストグラムｘ１（→）を作成するとともに、画像データＸから抽出された色平均特徴量に基づき画像ヒストグラムｘ２（→）を作成する。特徴量解析部４０３は、作成した画像ヒストグラムｘ１（→）、ｘ２（→）を訓練クラス関連性算出部４０４に出力する。
【００７９】
（ステップＳ１９）
訓練クラス関連性算出部４０４は、記憶部５００から識別器Ｙｉ，ｓを読み出し、特徴量解析部４０３から入力する画像ヒストグラムｘｓ（→）を適用させて、識別結果Ｙｉ，ｓ（ｘｓ（→））を得る。具体的に説明すると、訓練クラス関連性算出部４０４は、画像ヒストグラムｘ１（→）を構成する各成分の数値を、それぞれ、識別器Ｙｉ，１に含まれる画像ヒストグラムの各成分の数値に、成分毎に加算した識別結果Ｙｉ，１（ｘ１（→））を算出する。また、訓練クラス関連性算出部４０４は、画像ヒストグラムｘ２（→）を構成する各成分の数値を、それぞれ、識別器Ｙｉ，２に含まれる画像ヒストグラムの各成分の数値に、成分毎に加算した識別結果Ｙｉ，２（ｘ１（→））を算出する。
そして、訓練クラス関連性算出部４０４は、識別結果Ｙｉ，１（ｘ１（→））と識別結果Ｙｉ，２（ｘ１（→））の相加平均値、相乗平均値、調和平均値、あるいは、識別結果Ｙｉ，１（ｘ１（→））と識別結果Ｙｉ，２（ｘ１（→））のうちの最大値を、特徴量全体の総意となる１つの関連値ｑｉとして決定し、ターゲットクラス関連性算出部４０５に出力する。
本実施形態において、訓練クラス関連性算出部４０４は、識別結果Ｙｉ，１（ｘ１（→））と識別結果Ｙｉ，２（ｘ１（→））の相加平均値を特徴量全体の総意となる１つの関連値ｑｉとして決定し、ターゲットクラス関連性算出部４０５に出力する。この関連値ｑｉの演算式を下に示す。
【００８０】
【数１１】
2013097686.tif 000013
【００８１】
次いで、ターゲットクラス関連性算出部４０５は、訓練クラス関連性算出部４０４から入力する関連値ｑｉと、記憶部５００から読み出した相関係数Ｃｊ，ｉとに基づき、式（９）に従って、ターゲットクラスＢｊに対する画像データＸの関連性の強さを示す推定値ｑ´ｊを算出する。
【００８２】
本実施形態においては、画像データＸは、訓練クラスＡｉの何れにも属さないが、ターゲットクラスＢ１の「卓球の試合の風景」に属する画像データである。よって、ターゲットクラス関連性算出部４０５は、推定値ｑ´ｊとして、画像データＸが複数のターゲットクラスＢｊのうちターゲットクラスＢ１「卓球の試合の風景」に最も類似していることを示す値を算出することが想定される。また、画像データＸは、訓練クラスＡ１「テニスの試合の風景」とは類似する画像ではあるが、この訓練クラスＡ１に属するものではないため、訓練クラスＡ１との関連性の強さを示す関連値ｑ１の値よりも、ターゲットクラスＢ１との関連性の強さを示す推定値ｑ´１の値の方が、より、関連性が強いことを表わす数値であると想定される。
【００８３】
よって、本実施形態に係る識別情報算出装置１００によって算出されたターゲットクラスＢ１との関連性の強さを示す推定値ｑ´１は、画像データＸがターゲットクラスＢ１のいずれかにかに属する可能性が高いものであるかを識別する際の重要な情報として利用することができる。なお、詳細な説明は省略するが、識別情報算出部４００は、取得されたＮ個の推定値ｑ´ｊのうち、関連性が最も強いことを表わす数値を示す推定値ｑ´ｊと関連付けられたターゲットクラスＢｊが、入力する画像データＸの属するターゲットクラスＢｊであると判定する識別判定部を備える構成であってもよい。また、この識別判定部は、複数の関連値ｑｉと複数の推定値ｑ´１のうち、関連性が最も強いことを表わす数値を示す関連値ｑｉと複数の推定値ｑ´１のそれぞれと関連付けられた訓練クラスＡｉあるいはターゲットクラスＢｊが、入力する画像データＸの属する訓練クラスＡｉあるいはターゲットクラスＢｊであると判定する識別判定部を備える構成であってもよい。この場合、識別判定部は、関連値ｑｉと推定値ｑ´ｊに基づき、画像データＸが訓練クラスＡｉあるいはターゲットクラスＢｊのいずれか一方に属する画像であるかを判定することができる。
【００８４】
また、本発明の実施形態である画像特徴量学習部２００では、シーン解析部２１０が動画像データのシーンを検出し、キーフレーム抽出部２２０が、シーン長が最も長いシーンから時系列的に中央または中央近傍の１個のフレーム画像をキーフレームとして抽出するようにした。このように構成したことにより、画像特徴量学習部２００は、動画の特性に関する“動画のテーマは、シーン長が長いシーンに含まれている。”（仮定３）と、“シーンカット付近のフレーム画像は、テーマ性が高い画像ではない。”（仮定２）とを満足させて、キーフレームを精度よく抽出することができる。特に、画像特徴量学習部２００は、動画の特性を考慮してキーフレームを抽出するため、演算処理の負荷が軽く低コストに実現することができる。
【００８５】
また、この画像特徴量学習部２００では、特徴量解析部２３０がキーフレームである画像データを正規化して画像の特徴量を抽出し、特徴量をクラスタリング処理して特徴量の特性を表す特徴量ヒストグラムを生成するようにした。また、この画像特徴量学習部２００は、特徴量ヒストグラムを機会学習して分類し分類データを出力するようにした。このように構成したことにより、画像特徴量学習部２００は、抽出したキーフレームである画像データを、画像の特徴に応じて機動的に分類することができる。よって、画像特徴量学習部２００は、キーフレームおよび分類データまたはいずれか一方の情報を適用して、保持する動画像データを視覚的に見易くまた検索容易に管理することができる。
【００８６】
なお、本発明に係る識別情報算出装置は上記構成に限られず、以下のような構成であってもよい。例えば、上述の画像特徴量学習部２００は、入力するデータが静止画像のデータである場合、シーン解析部２１０とキーフレーム抽出部２２０を備えず、特徴量解析部２３０と分類処理部２４０を備えるものであってもよい。
【００８７】
また、テキスト特徴量学習部３００は、ターゲット画像データＴＧｅに関連付けられたテキストデータＴＴｅとして、インターネット上に公開されている動画サイトの動画データや、ブログやホームページ等に掲載されている静止画の画像データに関連付けられたコメントや、カテゴリ名、タグ情報等を取得するものであってもよい。
【００８８】
また、訓練画像データＰＧｄに"動画ID", "イベント名", "カテゴリ", "内容", "備考"等のそれぞれの属性情報が関連付けられていた場合、テキスト特徴量学習部３００は、"カテゴリ", "内容"の属性情報のみを、訓練画像データＰＧｄに関連付けられたテキストデータＰＴｄとして取得する。
例えば、"動画ID", "イベント名", "カテゴリ", "内容", "備考"のそれぞれの属性情報としては、画像１に"AAAA.mp4", "沖縄旅行", "旅行", "真っ青な空と透き通った海。とても美しいビーチが広がっている。家族で海水浴を楽しんでいる。",""が対応付けられている。また、"動画ID", "イベント名", "カテゴリ", "内容", "備考"のそれぞれの属性情報としては、画像２に"BBBB.mp4", "運動会", "学校行事", "小学生の子供たちが徒競走をしている。赤い帽子の男の子がゴール間違えて退場門の方へ走っていってしまった。", "少々ピンボケ気味。音声が途中で切れる。"が対応付けられている。また、"動画ID", "イベント名", "カテゴリ", "内容", "備考"のそれぞれの属性情報としては、画像３に"CCCC.mp4", "野球観戦", "スポーツ", "球場でプロチームの試合を観戦している。お父さんらしき人がビールを飲んでご機嫌の様子である。子供たちがメガホンを持って応援している。", "画質が良い。"が対応付けられている。
【００８９】
また、上述した実施形態である識別情報算出装置１００の一部の機能をコンピュータで実現するようにしてもよい。この場合、その機能を実現するための識別情報算出プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたキーフレーム抽出プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺装置のハードウェアを含むものである。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵される磁気ハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【００９０】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００９１】
１００  識別情報算出装置
２００  画像特徴量学習部
３００  テキスト特徴量学習部
４００  識別情報算出部
５００  記憶部
２１０  シーン解析部
２１１  時空間画像生成部
２１２  シーン検出部
２２０  キーフレーム抽出部
２３０  特徴量解析部
２３１  画像正規化部
２３２  特徴量抽出部
２３３  クラスタリング処理部
２４０  分類処理部
３０１  テキスト情報収集部
３０２  テキスト情報分解部
３０３  特徴量算出部
３０４  相関係数算出部
３０５  記憶部
４０１  シーン解析部
４０２  キーフレーム抽出部
４０３  特徴量解析部
４０４  訓練クラス関連性算出部
４０５  ターゲットクラス関連性算出部
【図１】
2013097686.tif 000014
【図２】
2013097686.tif 000015
【図３】
2013097686.tif 000016
【図４】
2013097686.tif 000017
【図５】
2013097686.tif 000018
【図６】
2013097686.tif 000019
【図７】
2013097686.tif 000020
【図８】
2013097686.tif 000021
【図９】
2013097686.tif 000022
【図１０】
2013097686.tif 000023
【図１１】
2013097686.tif 000024