(57)【特許請求の範囲】
【請求項１】
予め蓄積された蓄積映像集合の要素である蓄積映像の各々を所定の区間で時分割した蓄積映像区間の各々から抽出された該蓄積映像区間の特徴を示す蓄積映像区間特徴の各々と、前記蓄積映像区間の各々に対応して付加された蓄積付加情報の各々から抽出された該蓄積付加情報の特徴を示す蓄積付加情報特徴の各々に基づいて、前記蓄積映像区間特徴の集合である蓄積映像区間特徴集合と前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合とに基づく蓄積潜在変数導出関数を用いて得られた蓄積映像区間と蓄積付加情報との関係を記述する蓄積潜在変数の分布を示す蓄積状態変数の集合である蓄積状態変数集合または該蓄積状態変数の分布である蓄積状態変数分布を抽出するトピック軌跡モデル学習手段により構築された該蓄積状態変数集合または該蓄積状態変数分布、及び前記蓄積潜在変数導出関数からなるトピック軌跡モデルを記憶したトピック軌跡モデル記憶手段と、映像認識手段とを含む映像管理装置であって、
前記映像認識手段は、
入力映像を所定の区間で時分割した入力映像区間の各々から、該入力映像区間の特徴を示す入力映像区間特徴の各々を抽出する入力映像区間特徴抽出手段と、
前記入力映像区間特徴抽出手段により抽出された入力映像区間特徴の集合である入力映像区間特徴集合に基づく入力潜在変数導出関数を用いて、該入力映像区間特徴に対応する入力潜在変数を得て、該入力潜在変数の集合である入力潜在変数集合を抽出する入力潜在変数抽出手段と、
前記入力潜在変数抽出手段により抽出された入力潜在変数集合と、前記蓄積状態変数集合または前記蓄積状態変数分布とに基づいて、入力潜在変数の分布を記述する変数である入力状態変数の集合である入力状態変数集合、または該入力状態変数の分布である入力状態変数分布を抽出する入力状態変数抽出手段と、
前記入力状態変数抽出手段により抽出された前記入力状態変数集合または前記入力状態変数分布に基づいて、前記入力潜在変数抽出手段により抽出された入力潜在変数集合を補正した新たな補正入力潜在変数集合を抽出する入力潜在変数補正手段と、
前記入力潜在変数補正手段により抽出された補正入力潜在変数集合と、前記入力映像区間特徴抽出手段により抽出された入力映像区間特徴集合に基づいて、該入力映像区間特徴と関連する出力付加情報特徴の集合である出力付加情報特徴集合を推定する出力付加情報特徴推定手段と、
前記出力付加情報特徴推定手段により推定された出力付加情報特徴集合が示す特徴に対応した出力付加情報を推定する出力付加情報推定手段と、
を含む映像管理装置。
【請求項２】
蓄積映像集合の要素である蓄積映像の各々を前記入力映像として入力して、前記映像認識手段により、該蓄積映像集合に対応する付加情報として出力蓄積付加情報の集合である出力蓄積付加情報集合を出力させる蓄積映像認識手段と、
入力された入力付加情報、入力された前記蓄積映像集合に対応する蓄積付加情報集合、及び前記映像認識手段により出力された出力蓄積付加情報集合に基づいて、前記蓄積映像集合から前記入力付加情報に適合した映像を出力映像として推定する出力映像推定手段と、
をさらに含む請求項１記載の映像管理装置。
【請求項３】
前記トピック軌跡モデル学習手段をさらに含む請求項１または請求項２記載の映像管理装置。
【請求項４】
予め蓄積された蓄積映像集合の要素である蓄積映像の各々を所定の区間で時分割した蓄積映像区間の各々から抽出された該蓄積映像区間の特徴を示す蓄積映像区間特徴の各々と、前記蓄積映像区間の各々に対応して付加された蓄積付加情報の各々から抽出された該蓄積付加情報の特徴を示す蓄積付加情報特徴の各々に基づいて、前記蓄積映像区間特徴の集合である蓄積映像区間特徴集合と前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合とに基づく蓄積潜在変数導出関数を用いて得られた蓄積映像区間と蓄積付加情報との関係を記述する蓄積潜在変数の分布を示す蓄積状態変数の集合である蓄積状態変数集合または該蓄積状態変数の分布である蓄積状態変数分布を抽出して構築された該蓄積状態変数集合または該蓄積状態変数分布、及び前記蓄積潜在変数導出関数からなるトピック軌跡モデルを記憶しておき、
入力映像を所定の区間で時分割した入力映像区間の各々から、該入力映像区間の特徴を示す入力映像区間特徴の各々を抽出し、
抽出された入力映像区間特徴の集合である入力映像区間特徴集合に基づく入力潜在変数導出関数を用いて、該入力映像区間特徴に対応する入力潜在変数を得て、該入力潜在変数の集合である入力潜在変数集合を抽出し、
抽出された入力潜在変数集合と、前記蓄積状態変数集合または前記蓄積状態変数分布とに基づいて、入力潜在変数の分布を記述する変数である入力状態変数の集合である入力状態変数集合、または該入力状態変数の分布である入力状態変数分布を抽出し、
抽出された前記入力状態変数集合または前記入力状態変数分布に基づいて、入力潜在変数集合を補正した新たな補正入力潜在変数集合を抽出し、
抽出された補正入力潜在変数集合と、前記入力映像区間特徴集合に基づいて、該入力映像区間特徴と関連する出力付加情報特徴の集合である出力付加情報特徴集合を推定し、
推定された出力付加情報特徴集合が示す特徴に対応した出力付加情報を推定する
映像管理方法。
【請求項５】
蓄積映像集合の要素である蓄積映像の各々を前記入力映像として入力して、該蓄積映像集合に対応する付加情報として出力蓄積付加情報の集合である出力蓄積付加情報集合を出力し、
入力された入力付加情報、入力された前記蓄積映像集合に対応する蓄積付加情報集合、及び出力された出力蓄積付加情報集合に基づいて、前記蓄積映像集合から前記入力付加情報に適合した映像を出力映像として推定する
請求項４記載の映像管理方法。
【請求項６】
コンピュータを、請求項１〜請求項３のいずれか１項記載の映像管理装置を構成する各手段として機能させるための映像管理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像管理装置、方法、及びプログラムに係り、特に、映像とその映像に付加された付加情報との関係に基づいて、映像を認識または検索する映像管理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、所望の映像を与えられた言語情報に基づいて検索する映像検索技術、及び、与えられた映像に対してその映像を説明する言語情報を自動的に付与する映像認識技術の開発が行われている。近年では、ディジタルビデオカメラや携帯電話などの撮像装置の普及、インターネット上での映像共有の一般化などに伴い、このような映像検索技術及び映像認識技術が非常に重要な技術となってきている。
【０００３】
また、対象信号を静止画像に限定した場合には、画像検索と画像認識とを同一の枠組の下で実現する画像認識検索技術が数多く開発されている。例えば、潜在変数を用いて２つの観測情報を結びつける統計モデルであるトピックモデルを学習して、このトピックモデルを用いて、与えられた画像に適切なテキストラベルを自動的に付与する画像ラベル付けと、与えられたテキストラベルから適切な画像を見つけだす画像獲得とを統一的に扱う技術が提案されている（例えば、非特許文献１及び２参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】中山、原田、國吉、大津  “画像・単語間概念対応の確率構造学習を利用した超高速画像認識・検索方法”、電子情報通信学会技術報告、PRMU2007-147、2007 年12 月
【非特許文献２】木村、中野、亀岡、杉山、前田、坂野  “SSCDE：画像認識検索のための半教師正準密度推定法”、画像の認識・理解シンポジウムMIRU2010、OS8-1、2010年7月
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１及び２に記載された技術を映像に対する認識及び検索技術に適用しようとすると、映像の持つ重要な情報の１つである時間情報を完全に無視する形で処理が進められることになる。映像に含まれる画像情報・音響情報などが時間的な連続性を持つ点を考慮すると、映像信号を適切にモデル化することは困難であり、結果として映像認識及び映像検索の精度が低下する、という問題がある。
【０００６】
本発明は上記問題点に鑑みてなされたものであり、映像とその映像に付加された付加情報との関係に基づいて、時間情報も考慮した映像認識または映像検索を精度良く行うことができる映像管理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の映像管理装置は、予め蓄積された蓄積映像集合の要素である蓄積映像の各々を所定の区間で時分割した蓄積映像区間の各々から抽出された該蓄積映像区間の特徴を示す蓄積映像区間特徴の各々と、前記蓄積映像区間の各々に対応して付加された蓄積付加情報の各々から抽出された該蓄積付加情報の特徴を示す蓄積付加情報特徴の各々に基づいて、前記蓄積映像区間特徴の集合である蓄積映像区間特徴集合と前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合とに基づく蓄積潜在変数導出関数を用いて得られた蓄積映像区間と蓄積付加情報との関係を記述する蓄積潜在変数の分布を示す蓄積状態変数の集合である蓄積状態変数集合または該蓄積状態変数の分布である蓄積状態変数分布を抽出するトピック軌跡モデル学習手段により構築された該蓄積状態変数集合または該蓄積状態変数分布、及び前記蓄積潜在変数導出関数からなるトピック軌跡モデルを記憶したトピック軌跡モデル記憶手段と、映像認識手段とを含む映像管理装置であって、前記映像認識手段は、入力映像を所定の区間で時分割した入力映像区間の各々から、該入力映像区間の特徴を示す入力映像区間特徴の各々を抽出する入力映像区間特徴抽出手段と、前記入力映像区間特徴抽出手段により抽出された入力映像区間特徴の集合である入力映像区間特徴集合に基づく入力潜在変数導出関数を用いて、該入力映像区間特徴に対応する入力潜在変数を得て、該入力潜在変数の集合である入力潜在変数集合を抽出する入力潜在変数抽出手段と、前記入力潜在変数抽出手段により抽出された入力潜在変数集合と、前記蓄積状態変数集合または前記蓄積状態変数分布とに基づいて、入力潜在変数の分布を記述する変数である入力状態変数の集合である入力状態変数集合、または該入力状態変数の分布である入力状態変数分布を抽出する入力状態変数抽出手段と、前記入力状態変数抽出手段により抽出された前記入力状態変数集合または前記入力状態変数分布に基づいて、前記入力潜在変数抽出手段により抽出された入力潜在変数集合を補正した新たな補正入力潜在変数集合を抽出する入力潜在変数補正手段と、前記入力潜在変数補正手段により抽出された補正入力潜在変数集合と、前記入力映像区間特徴抽出手段により抽出された入力映像区間特徴集合に基づいて、該入力映像区間特徴と関連する出力付加情報特徴の集合である出力付加情報特徴集合を推定する出力付加情報特徴推定手段と、前記出力付加情報特徴推定手段により推定された出力付加情報特徴集合が示す特徴に対応した出力付加情報を推定する出力付加情報推定手段と、を含んで構成されている。
【０００８】
このように、入力映像区間と入力付加情報との関係を記述する入力映像区間特徴に基づく入力潜在変数から得られた入力状態変数と、蓄積映像集合と蓄積付加情報集合との関係を記述したトピック軌跡モデルとに基づいて入力潜在変数を補正し、補正された入力潜在変数と入力映像区間特徴とに基づいて、映像区間に付加される可能性の高い出力付加情報特徴を推定するため、時間情報も考慮して映像認識を精度良く行うことができる。
【０００９】
また、本発明の映像管理装置は、蓄積映像集合の要素である蓄積映像の各々を前記入力映像として入力して、前記映像認識手段により、該蓄積映像集合に対応する付加情報として出力蓄積付加情報の集合である出力蓄積付加情報集合を出力させる蓄積映像認識手段と、入力された入力付加情報、入力された前記蓄積映像集合に対応する蓄積付加情報集合、及び前記映像認識手段により出力された出力蓄積付加情報集合に基づいて、前記蓄積映像集合から前記入力付加情報に適合した映像を出力映像として推定する出力映像推定手段と、をさらに含んで構成することができる。
【００１０】
このように、時間情報も考慮して精度良く推定された蓄積映像集合に対する出力蓄積付加情報集合と、蓄積映像集合に対応する蓄積付加情報集合と、入力付加情報とを比較して、入力付加情報に適合する出力映像を推定するため、時間情報も考慮して精度良く映像検索を行うことができる。
【００１１】
また、本発明の映像管理装置は、前記トピック軌跡モデル学習手段をさらに含んで構成することができる。
【００１２】
また、本発明の映像管理方法は、予め蓄積された蓄積映像集合の要素である蓄積映像の各々を所定の区間で時分割した蓄積映像区間の各々から抽出された該蓄積映像区間の特徴を示す蓄積映像区間特徴の各々と、前記蓄積映像区間の各々に対応して付加された蓄積付加情報の各々から抽出された該蓄積付加情報の特徴を示す蓄積付加情報特徴の各々に基づいて、前記蓄積映像区間特徴の集合である蓄積映像区間特徴集合と前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合とに基づく蓄積潜在変数導出関数を用いて得られた蓄積映像区間と蓄積付加情報との関係を記述する蓄積潜在変数の分布を示す蓄積状態変数の集合である蓄積状態変数集合または該蓄積状態変数の分布である蓄積状態変数分布を抽出して構築された該蓄積状態変数集合または該蓄積状態変数分布、及び前記蓄積潜在変数導出関数からなるトピック軌跡モデルを記憶しておき、入力映像を所定の区間で時分割した入力映像区間の各々から、該入力映像区間の特徴を示す入力映像区間特徴の各々を抽出し、抽出された入力映像区間特徴の集合である入力映像区間特徴集合に基づく入力潜在変数導出関数を用いて、該入力映像区間特徴に対応する入力潜在変数を得て、該入力潜在変数の集合である入力潜在変数集合を抽出し、抽出された入力潜在変数集合と、前記蓄積状態変数集合または前記蓄積状態変数分布とに基づいて、入力潜在変数の分布を記述する変数である入力状態変数の集合である入力状態変数集合、または該入力状態変数の分布である入力状態変数分布を抽出し、抽出された前記入力状態変数集合または前記入力状態変数分布に基づいて、入力潜在変数集合を補正した新たな補正入力潜在変数集合を抽出し、抽出された補正入力潜在変数集合と、前記入力映像区間特徴集合に基づいて、該入力映像区間特徴と関連する出力付加情報特徴の集合である出力付加情報特徴集合を推定し、推定された出力付加情報特徴集合が示す特徴に対応した出力付加情報を推定する方法である。
【００１３】
また、本発明の映像管理方法は、蓄積映像集合の要素である蓄積映像の各々を前記入力映像として入力して、該蓄積映像集合に対応する付加情報として出力蓄積付加情報の集合である出力蓄積付加情報集合を出力し、入力された入力付加情報、入力された前記蓄積映像集合に対応する蓄積付加情報集合、及び出力された出力蓄積付加情報集合に基づいて、前記蓄積映像集合から前記入力付加情報に適合した映像を出力映像として推定することができる。
【００１４】
また、本発明の映像管理プログラムは、コンピュータを、上記の映像管理装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１５】
以上説明したように、本発明の映像管理装置、方法、及びプログラムによれば、映像とその映像に付加された付加情報との関係に基づいて、時間情報も考慮した映像認識または映像検索を精度良く行うことができる、という効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施の形態の映像認識装置の機能的構成を示すブロック図である。
【図２】第１の実施の形態の映像認識装置の詳細な機能的構成を示すブロック図である。
【図３】第１の実施の形態の映像認識装置における認識処理ルーチンの内容を示すフローチャートである。
【図４】第２の実施の形態の映像認識装置の機能的構成を示すブロック図である。
【図５】第２の実施の形態の映像認識装置の詳細な機能的構成を示すブロック図である。
【図６】第２の実施の形態の映像認識装置における検索処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１８】
まず、第１の実施の形態について説明する。第１の実施の形態では、本発明の映像管理装置を、入力映像に対応する付加情報を付加する映像認識装置に適用した場合について説明する。
【００１９】
第１の実施の形態に係る映像認識装置１０は、ＣＰＵと、ＲＡＭと、後述する認識処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には、図１に示すように、トピック軌跡モデル学習部１と、映像認識部２とを含んだ構成で表すことができる。
【００２０】
図２に示すように、トピック軌跡モデル学習部１は、さらに、蓄積映像区間特徴抽出部１１と、蓄積付加情報特徴抽出部１２と、蓄積潜在変数抽出部１３と、蓄積状態変数抽出部１４とを含んだ構成で表すことができる。トピック軌跡モデル学習部１は、予め蓄積された映像信号の集合である蓄積映像集合、及び蓄積映像の各々に対応する付加情報の集合である蓄積付加情報集合を入力し、これらの入力から、映像信号と付加情報との関係を記述した、映像認識のための統計モデルであるトピック軌跡モデルを構築して出力する。
【００２１】
蓄積映像区間特徴抽出部１１は、蓄積映像集合を入力し、その各要素である蓄積映像の各々を時間軸に沿って分割して、複数の蓄積映像区間を抽出する。蓄積映像の分割は、例えば、予め定めた時間長で均等に分割したり、蓄積映像からカット点を算出して、そのカット点を境界として分割したりすることができる。
【００２２】
次に、蓄積映像区間に含まれるフレームの中から、その蓄積映像区間を代表するキーフレームを抽出する。キーフレームの抽出方法としては、例えば、蓄積映像区間の予め定められた箇所のフレーム（先頭のフレーム、中央のフレーム、最後尾のフレーム等）のフレームを選択することができる。また、蓄積映像区間に含まれる任意のフレームの映像信号の平均をキーフレームとして作成してもよい。
【００２３】
続いて、キーフレームから、その特性を表現する画像特徴を算出し、これを蓄積映像区間特徴として抽出する。画像特徴の算出方法として、例えば、色ヒストグラム、デジタルコサイン変換の任意の成分、Haar waveletの任意の成分、高次局所自己相関特徴（N. Otsu and T. Kurita “A new scheme for practical flexible and intelligent vision systems,” Proc. IAPR Workshop on Computer Vision, pp.431-435, 1988.参照）、任意の方法で選択した特徴点のBag of Features表現（Li Fei-Fei et al.,“A Bayesian Hierarchical Model for Learning Natural Scene Categories Li Fei-Fei and Pietro Perona,”2005.参照）などの方法、及びこれらの方法の任意の組み合わせを用いることができる。特徴点の選択方法としては、SIFT（D. Lowe, “Distinctive image features from scale-invariant keypoints,” International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004.参照）、SURF（H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool,“Speeded-up robust features (surf),” CVIU, vol. 110, no. 3, pp. 346−359, 2008.参照）、Harris、Harris-Laplace、ランダム選択などの方法、及びこれらの方法の任意の組み合わせを用いることができる。また、特徴点からの特徴量の抽出方法としては、SIFT、SURFなどの方法を用いることができる。
【００２４】
また、蓄積映像に所定の長さの窓をあて、窓を1フレームずつずらしながら蓄積映像区間を抽出し、抽出された蓄積映像区間に対して、TAS（特許第３０６５３１４号明細書参照）やBAM（特許第４３５８２２９号明細書参照）などを代表例とする蓄積映像区間そのものから取り出す特徴量を計算するようにしてもよい。
【００２５】
蓄積付加情報特徴抽出部１２は、蓄積映像区間に付加された付加情報である蓄積付加情報の各々から、その特性を表現するベクトルである蓄積付加情報特徴を抽出する。ここで、付加情報とは、映像を説明する情報であり、一般的な付加情報としては、映像の内容や構造を記述したテキスト、映像が撮影された時刻や場所に関する情報等が挙げられる。
【００２６】
例えば、付加情報がテキスト、特に単語であるとすると、蓄積付加情報特徴としては、テキストラベルに含まれる単語（言語ラベル）の有無を表現する２値ベクトルを用いることができる。より具体的には、蓄積付加情報特徴は、考慮すべき単語の総数と同数の次元を持つベクトルで、ベクトルの各次元が考慮すべき単語に対応するようなベクトルとすることができる。例えば、蓄積付加情報に単語ｉが含まれている場合には、ベクトルの第ｉ次元を１とし、含まれていない場合には０とする蓄積付加情報特徴を抽出することができる。
【００２７】
また、蓄積付加情報特徴として、単語共起ベクトルを用いてもよい。より具体的には、単語共起ベクトルの第ｄ番目の要素を、テキストラベルに含まれるｄ番目の単語の個数とするベクトルを、蓄積付加情報特徴として抽出することができる。
【００２８】
蓄積潜在変数抽出部１３は、蓄積映像区間特徴の集合である蓄積映像区間特徴集合、及び蓄積付加情報特徴の集合である蓄積付加情報特徴集合に基づいて、蓄積映像区間と蓄積付加情報との関係性を記述するベクトル（蓄積潜在変数）を導出する関数である蓄積潜在変数導出関数を得て、蓄積潜在変数導出関数を用いて、蓄積映像区間特徴の各々と蓄積付加情報特徴の各々から潜在変数を得て、この潜在変数を蓄積潜在変数として蓄積潜在変数の集合である蓄積潜在変数集合を抽出する。
【００２９】
蓄積潜在変数は、例えば、非特許文献１に記載された正準相関分析を用いる方法、確率的正準相関分析を用いる方法（中山他“大規模Web 画像のための画像アノテーション・リトリーバル手法 Web 集合知からの自律的画像知識獲得へ向けて”、画像の認識・理解シンポジウムMIRU2009、OS2-4、2009年7月参照）、非特許文献２に記載された半教師付き正準相関分析を用いる方法等により抽出することができる。
【００３０】
例えば、確率的正準相関分析を用いる方法では、下記（１）式に示すような蓄積潜在変数を抽出することができる。
【００３１】
【数１】
0005481710.tif 000002
【００３２】
ここで、Λは蓄積映像区間特徴集合及び蓄積付加情報特徴集合を入力とした正準相関分析によって得られた特異値を対角要素とする対角行列、Ｗｘ及びＷｙは同様の正準相関分析によって得られた左特異ベクトルを行に持つ行列である。
【００３３】
蓄積状態変数抽出部１４は、蓄積潜在変数集合から、蓄積潜在変数の分布を記述する変数である蓄積状態変数の集合である蓄積状態変数集合、または蓄積状態変数の分布である蓄積状態変数分布を抽出する。ここで抽出された蓄積状態変数集合または蓄積状態変数分布、及び蓄積潜在変数導出関数により、トピック軌跡モデルが構築される。
【００３４】
蓄積状態変数集合または蓄積状態変数分布の抽出の方法は、特に限定されるものではないが、例えば、出力分布を混合正規分布と規定した隠れマルコフモデルを考え、ＥＭアルゴリズムのE-stepにViterbiアルゴリズムを組み込んだViterbi学習（特開２００９−２５９０３５号公報参照）、あるいはＥＭアルゴリズムのE-stepにForward-backwardアルゴリズムを組み込んだ方法（特開２００９−２５９０３５号公報参照）等を用いることができる。
【００３５】
また、図２に示すように、映像認識部２は、さらに、入力映像区間特徴抽出部２１と、入力潜在変数抽出部２２と、入力状態変数抽出部２３と、入力潜在変数補正部２４と、出力付加情報特徴推定部２５と、出力付加情報推定部２６とを含んだ構成で表すことができる。映像認識部２は、映像認識により付加情報を付加する対象となる入力映像の集合である入力映像集合を入力し、トピック軌跡モデル学習部１で構築されたトピック軌跡モデルを用いて、入力映像の各々に対応した付加情報を推定して出力する。
【００３６】
入力映像区間特徴抽出部２１は、蓄積映像区間特徴抽出部１１と同様の処理により、入力された入力映像集合の各要素である入力映像の各々を時間軸に沿って分割して、複数の入力映像区間を抽出する。そして、入力映像区間に含まれるフレームの中から、キーフレームを抽出し、キーフレームから、その特性を表現する画像特徴を算出し、これを入力映像区間特徴として抽出する。
【００３７】
入力潜在変数抽出部２２は、入力映像区間特徴の集合である入力映像区間特徴集合に基づく入力潜在変数導出関数に基づいて、入力映像区間特徴に対応する入力潜在変数の集合である入力潜在変数集合を抽出する。蓄積潜在変数抽出部１３とは異なり、付加情報なしで潜在変数を計算するため、例えば、非特許文献２に記載の下記（２）式に示すような入力潜在変数を抽出することができる。
【００３８】
【数２】
0005481710.tif 000003
【００３９】
入力状態変数抽出部２３は、入力潜在変数集合と、蓄積状態変数集合または蓄積状態変数分布とに基づいて、入力潜在変数の分布を記述する変数である入力状態変数の集合である入力状態変数集合、またはその入力状態変数の分布である入力状態変数分布を抽出する。これは、Viterbi searchまたはForward-backwardアルゴリズムを用いて、入力潜在変数の系列から入力状態変数~ｓｉの系列~ｓ＝｛~s１,~s２、...｝、または、その確率分布を求めればよい。
【００４０】
入力潜在変数補正部２４は、入力状態変数集合または入力状態変数分布に基づいて、入力潜在変数集合を補正し、これを新たに補正入力潜在変数集合として抽出する。入力状態変数抽出部２３によって入力状態変数~ｓが得られると、トピック軌跡モデル学習部１で構築されたトピック軌跡モデルを用いることにより、その入力状態変数に対応する形で与えられている潜在変数の混合正規分布が決定されることになる。この分布そのもの、またはその平均ベクトルから、補正後の入力潜在変数^ｚを算出する。
【００４１】
出力付加情報特徴推定部２５は、補正入力潜在変数集合と、入力映像区間特徴に基づいて、出力付加情報に対応するベクトルである出力付加情報特徴を推定する。入力潜在変数補正部２４によって補正後の入力潜在変数^ｚが得られると、例えば、確率的正準相関分析において潜在変数から付加情報を推定する式である下記（３）式、または、上記（１）式を式変形することで得られる下記（４）式により、入力潜在変数及び入力映像区間特徴に基づいて、出力付加情報特徴を計算する。
【００４２】
【数３】
0005481710.tif 000004
【００４３】
補正後の入力潜在変数^ｚは、平均ベクトルの形または分布の形で複数存在しているため、それらの値に基づいて可能性の高い出力付加情報特徴が複数得られる。
【００４４】
出力付加情報推定部２６は、蓄積付加情報特徴抽出部１２と逆の処理を行って、出力付加情報特徴推定部２５により推定された出力付加情報特徴集合の各々から出力付加情報の各々を推定して、出力付加情報の集合である出力付加情報集合を出力する。
【００４５】
次に、図３を参照して、第１の実施の形態の映像認識装置１０において実行される認識処理ルーチンについて説明する。
【００４６】
ステップ１００で、図示しない入力手段により入力された蓄積映像集合及び対応する蓄積付加情報集合を取得する。
【００４７】
次に、ステップ１０２で、上記ステップ１００で取得した蓄積映像集合の要素である蓄積映像の各々を時間軸に沿って、複数の蓄積映像区間に分割し、蓄積映像区間に含まれるキーフレームから、その特性を表現する画像特徴を算出し、これを蓄積映像区間特徴として抽出する。
【００４８】
次に、ステップ１０４で、上記ステップ１００で取得した蓄積付加情報集合の要素である蓄積付加情報の各々から、その特性を表現するベクトルである蓄積付加情報特徴を抽出する。
【００４９】
次に、ステップ１０６で、上記ステップ１０２で抽出した蓄積映像区間特徴の集合である蓄積映像区間特徴集合、及び上記ステップ１０４で抽出した蓄積付加情報特徴の集合である蓄積付加情報特徴集合に基づいて得られる蓄積潜在変数導出関数を用いて蓄積潜在変数を得て、蓄積潜在変数の集合である蓄積潜在変数集合を抽出する。
【００５０】
次に、ステップ１０８で、上記ステップ１０６で抽出した蓄積潜在変数集合から、蓄積潜在変数の分布を記述する変数である蓄積状態変数の集合である蓄積状態変数集合、または蓄積状態変数の分布である蓄積状態変数分布を抽出して、トピック軌跡モデルを構築する。
【００５１】
次に、ステップ１１０で、図示しない入力手段により入力された認識対象の入力映像集合を取得する。
【００５２】
次に、ステップ１１２で、上記ステップ１０２と同様の処理により、入力された入力映像集合の要素である入力映像の各々を時間軸に沿って、複数の入力映像区間に分割し、入力映像区間に含まれるキーフレームから、その特性を表現する画像特徴を算出し、これを入力映像区間特徴として抽出する。
【００５３】
次に、ステップ１１４で、上記ステップ１１２で抽出された入力映像区間特徴の集合である入力映像区間特徴集合と、入力潜在変数導出関数とに基づいて、入力映像区間特徴に対応する入力潜在変数を得て、入力潜在変数の集合である入力潜在変数集合を抽出する。
【００５４】
次に、ステップ１１６で、上記ステップ１１４で抽出した入力潜在変数集合と、上記ステップ１０８で抽出した蓄積状態変数集合または蓄積状態変数分布とに基づいて、入力潜在変数の分布を記述する変数である入力状態変数の集合である入力状態変数集合、またはその入力状態変数の分布である入力状態変数分布を抽出する。
【００５５】
次に、ステップ１１８で、上記ステップ１１６で抽出した入力状態変数集合または入力状態変数分布から、上記ステップ１１４で抽出した入力潜在変数集合を補正し、これを新たに補正入力潜在変数集合として抽出する。
【００５６】
次に、ステップ１２０で、上記ステップ１１８で抽出した補正入力潜在変数集合と、上記ステップ１１２で抽出した入力映像区間特徴とに基づいて、出力付加情報に対応するベクトルである出力付加情報特徴を得て、出力付加情報特徴の集合である出力付加情報特徴集合を推定する。
【００５７】
次に、ステップ１２２で、上記ステップ１０４と逆の処理を行って、上記ステップ１２０で推定された出力付加情報特徴集合の各々から出力付加情報の各々を推定して、出力付加情報の集合である出力付加情報集合として出力する。
【００５８】
以上説明したように、第１の実施の形態の映像認識装置によれば、入力映像区間と入力付加情報との関係を記述する入力映像区間特徴に基づく入力潜在変数から得られた入力状態変数と、蓄積映像集合と蓄積付加情報集合との関係を記述したトピック軌跡モデルとに基づいて入力潜在変数を補正し、補正された入力潜在変数と入力映像区間特徴とに基づいて、映像区間に付加される可能性の高い出力付加情報特徴を推定するため、時間情報も考慮して映像認識を精度良く行うことができる。
【００５９】
次に、第２の実施の形態について説明する。第２の実施の形態では、本発明の映像管理装置を、入力した付加情報に基づいて所望の映像を検索する映像検索装置に適用した場合について説明する。なお、第２の実施の形態の映像検索装置において、第１の実施の形態の映像認識装置の構成と同一の構成については、同一の符号を付して詳細な説明を省略する。
【００６０】
第２の実施の形態に係る映像検索装置２０は、ＣＰＵと、ＲＡＭと、後述する検索処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には、図４に示すように、トピック軌跡モデル記憶部１５と、映像認識部２と、映像検索部３とを含んだ構成で表すことができる。
【００６１】
トピック軌跡モデル記憶部１５には、第１の実施の形態の映像認識装置１０のトピック軌跡モデル学習部１により構築されたトピック軌跡モデルが記憶されている。
【００６２】
図５に示すように、映像検索部３は、さらに、蓄積映像認識部３１と、出力映像推定部３２とを含んだ構成で表すことができる。映像検索部３は、第１の実施の形態の映像認識装置１０により構築したトピック軌跡モデルを用いて、入力された付加情報（入力付加情報）に適合した映像を検索する。
【００６３】
蓄積映像認識部３１は、入力された蓄積映像集合の要素である蓄積映像の各々を入力映像として映像認識部２に入力し、映像認識部２の各部を第１の実施の形態と同様に動作させて、その出力である出力蓄積付加情報の集合である出力蓄積付加情報集合を出力する。
【００６４】
出力映像推定部３２は、入力された入力付加情報、蓄積映像認識部３１に入力された蓄積映像集合に対応する蓄積付加情報集合、及び映像認識部２から出力された出力蓄積付加情報集合を入力とし、それらを比較することにより、入力付加情報に適合する出力映像を推定して出力する。
【００６５】
次に、図６を参照して、第２の実施の形態の映像検索装置２０において実行される検索処理ルーチンについて説明する。
【００６６】
ステップ２００で、図示しない入力手段により入力された入力付加情報及び蓄積映像集合を取得する。
【００６７】
次に、ステップ２０２で、出力蓄積付加情報集合出力処理を実行する。出力付加情報集合出力処理では、上記ステップ２００で入力された蓄積映像集合の要素である蓄積映像の各々を入力映像として、第１の実施の形態の認識処理（図３）のステップ１１０〜１２２と同様の処理が実行される。
【００６８】
次に、ステップ２０４で、上記ステップ２００で入力された入力付加情報、上記ステップ２００で入力された蓄積映像集合に対応する蓄積付加情報集合、及び上記ステップ２０２で出力された出力蓄積付加情報集合を比較することにより、蓄積映像集合から入力付加情報に適合する出力映像を推定して出力する。なお、出力する出力映像は、１つであっても複数であってもよい。また、入力付加情報との適合度に応じて、ランキングを付して出力するようにしてもよい。
【００６９】
以上説明したように、第２の実施の形態の映像検索装置によれば、時間情報も考慮して精度良く推定された蓄積映像集合に対する出力蓄積付加情報集合と、蓄積映像集合に対応する蓄積付加情報集合と、入力付加情報とを比較して、入力付加情報に適合する出力映像を推定するため、時間情報も考慮して精度良く映像検索を行うことができる。
【００７０】
なお、第１の実施の形態は映像認識装置について、第２の実施の形態では映像検索装置について説明したが、第２の実施の形態において、トピック軌跡モデル記憶部を第１の実施の形態のトピック軌跡モデル学習部に置き換えることにより、映像の認識及び検索の両方を実行することができる映像認識検索装置として構成することができる。
【００７１】
また、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００７２】
例えば、上述の映像認識装置及び映像検索装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００７３】
また、本願明細書中において、プログラムが予めインストールされている実施の形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００７４】
１     トピック軌跡モデル学習部
２     映像認識部
３     映像検索部
１０   映像認識装置
１５   トピック軌跡モデル記憶部
２０   映像検索装置
【図１】
0005481710.tif 000005
【図２】
0005481710.tif 000006
【図３】
0005481710.tif 000007
【図４】
0005481710.tif 000008
【図５】
0005481710.tif 000009
【図６】
0005481710.tif 000010