(57)【特許請求の範囲】
【請求項１】
字幕のテキストを含む、学習用コンテンツの画像の各フレームの画像特徴量を抽出するとともに、前記学習用コンテンツの画像の内容を説明する、前記学習用コンテンツに含まれる字幕のテキストからなる説明テキストにおいて各単語が出現する頻度に関する単語頻度情報を、前記説明テキストのテキスト特徴量として抽出し、
前記画像特徴量、及び、前記テキスト特徴量を含むマルチストリームであるアノテーション用のアノテーション用系列を用いて、マルチストリームHMM(Hidden Markov Model)であるアノテーションモデルの学習を行う
学習手段と、
前記アノテーションモデルを用いて、シーンを抽出する対象の対象コンテンツから、時間的に連続する１フレーム以上のフレームの集まりであるシーンを抽出し、
前記シーンの代表画像を、時刻順に並べて表示させる
ブラウジング制御手段とを備え、
前記学習手段は、
所定の時間長の窓を、一定間隔でずらしながら、前記窓内に表示される前記字幕のテキストに含まれる単語を、１つの文書として抽出し、
前記文書において各単語が出現する頻度を表す多項分布を、前記テキスト特徴量として抽出し、
前記ブラウジング制御手段は、
前記対象コンテンツの画像の各フレームの画像特徴量を抽出し、その画像特徴量を用いて、前記アノテーション用系列を構成し、
前記アノテーションモデルにおいて、前記アノテーション用系列が観測される最尤状態系列を求め、
前記最尤状態系列の状態のうちの、注目する注目フレームに対応する状態において観測される前記多項分布に基づいて、時間的に連続する１フレーム以上のフレームの集まりを、シーンとして抽出し、
前記シーンの代表画像を、時刻順に並べて表示させる
情報処理装置。
【請求項２】
前記ブラウジング制御手段は、
前記多項分布において頻度が高い単語を、前記注目フレームに付与するアノテーションとして選択し、
前記対象コンテンツから、同一のアノテーションが付与されている、前記時間的に連続する１フレーム以上のフレームの集まりを、シーンとして抽出し、
前記シーンの代表画像を、時刻順に並べて表示させる
請求項１に記載の情報処理装置。
【請求項３】
前記対象コンテンツは、放送番組のコンテンツであり、
前記ブラウジング制御手段は、EPG(Electronic Program Guide)上の前記放送番組の番組欄に、その放送番組の前記シーンの代表画像を時刻順に並べて表示させる
請求項２に記載の情報処理装置。
【請求項４】
前記ブラウジング制御手段は、前記シーンの代表画像とともに、前記シーンを構成するフレームに付与されたアノテーションも表示させる
請求項２に記載の情報処理装置。
【請求項５】
前記ブラウジング制御手段は、
前記多項分布において、所定のキーワードの頻度が高い場合、前記注目フレームを、所定のキーワードに内容が合致するフレームであるキーワードフレームとして選択し、
前記キーワードフレームから、前記時間的に連続する１フレーム以上のフレームの集まりを、シーンとして抽出し、
前記シーンの代表画像を、時刻順に並べて表示させる
請求項１に記載の情報処理装置。
【請求項６】
前記対象コンテンツは、放送番組のコンテンツであり、
前記ブラウジング制御手段は、EPG(Electronic Program Guide)上の前記放送番組の番組欄に、その放送番組の前記シーンの代表画像を時刻順に並べて表示させる
請求項５に記載の情報処理装置。
【請求項７】
前記学習手段は、
前記画像特徴量、及び、テキスト特徴量の次元を小さくする次元圧縮を行い、
前記次元圧縮後の前記画像特徴量、及び、前記テキスト特徴量を含むマルチストリームを、アノテーション用系列として用いて、アノテーションモデルの学習を行う
請求項１に記載の情報処理装置。
【請求項８】
前記学習手段は、
前記画像特徴量を写像するための、前記画像特徴量の次元より小さい次元の画像用基底空間の基底空間データを、前記画像特徴量を用いて求め、
前記画像用基底空間の基底空間データに基づき、前記画像特徴量の次元圧縮を行い、
前記テキスト特徴量を写像するための、前記テキスト特徴量の次元より小さい次元のテキスト用基底空間の基底空間データを、前記テキスト特徴量を用いて求め、
前記テキスト用基底空間の基底空間データに基づき、前記テキスト特徴量の次元圧縮を行う
請求項７に記載の情報処理装置。
【請求項９】
前記学習手段は、
前記画像特徴量を用いて、ベクトル量子化に用いるコードブックを、前記画像用基底空間の基底空間データとして求め、
前記コードブックを用いて、前記画像特徴量のベクトル量子化を行うことにより、セントロイドベクトルを表すコードを、次元圧縮後の画像特徴量として求める
請求項８に記載の情報処理装置。
【請求項１０】
前記学習手段は、
所定の時間長の窓を、一定間隔でずらしながら、前記窓内に表示される前記字幕のテキストに含まれる単語を、１つの文書として抽出し、
前記文書において各単語が出現する頻度を、前記テキスト特徴量として抽出し、
前記学習用コンテンツから得られる文書を用いて、LDA(Latent Dirichlet Allocation)の学習を行うことにより、前記LDAのパラメータを、テキスト用基底空間の基底空間データとして求め、
前記LDAのパラメータを用いて、前記文書から得られた前記テキスト特徴量を、その文書に対する前記LDAの各潜在トピックの尤度であるトピック尤度に変換し、前記トピック尤度が最大の潜在トピックを表すトピックラベルを、次元圧縮後のテキスト特徴量として求める
請求項８に記載の情報処理装置。
【請求項１１】
前記学習手段は、
前記学習用コンテンツから得られる文書を用いて、前記文書に出現する単語の単語辞書を生成するとともに、前記LDAの学習によって得られる、前記LDAの各潜在トピックにおいて前記単語辞書の各単語が生起する生起確率を用いて、前記LDAの潜在トピックにおいて出現頻度が高い単語とその単語の出現頻度のトピック対頻出単語テーブルの作成を行い、
前記ブラウジング制御手段は、
前記対象コンテンツの画像の各フレームの画像特徴量を抽出し、次元圧縮を行って、次元圧縮後の画像特徴量を用いて、前記アノテーション用系列を構成し、
前記アノテーションモデルにおいて、前記アノテーション用系列が観測される最尤状態系列を求め、
前記最尤状態系列の状態のうちの、注目する注目フレームに対応する状態において出力確率が高いトピックラベルが表す潜在トピックを、前記注目フレームの内容を表すフレームトピックとして選択し、
前記トピック対頻出単語テーブルに基づき、前記フレームトピックにおいて出現頻度が高い単語を、前記注目フレームに付与するアノテーションとして選択し、
前記対象コンテンツから、同一のアノテーションが付与されている、時間的に連続する１フレーム以上のフレームの集まりを、シーンとして抽出し、
前記シーンの代表画像を、時刻順に並べて表示させる
請求項１０に記載の情報処理装置。
【請求項１２】
前記対象コンテンツは、放送番組のコンテンツであり、
前記ブラウジング制御手段は、EPG(Electronic Program Guide)上の前記放送番組の番組欄に、その放送番組の前記シーンの代表画像を時刻順に並べて表示させる
請求項１１に記載の情報処理装置。
【請求項１３】
前記ブラウジング制御手段は、前記シーンの代表画像とともに、前記シーンを構成するフレームに付与されたアノテーションも表示させる
請求項１１に記載の情報処理装置。
【請求項１４】
前記学習手段は、
前記学習用コンテンツから得られる文書を用いて、前記文書に出現する単語の単語辞書を生成するとともに、前記LDAの学習によって得られる、前記LDAの各潜在トピックにおいて前記単語辞書の各単語が生起する生起確率を用いて、前記LDAの潜在トピックにおいて出現頻度が高い単語とその単語の出現頻度のトピック対頻出単語テーブルの作成を行い、
前記ブラウジング制御手段は、
前記対象コンテンツの画像の各フレームの画像特徴量を抽出し、次元圧縮を行って、次元圧縮後の画像特徴量を用いて、前記アノテーション用系列を構成し、
前記アノテーションモデルにおいて、前記アノテーション用系列が観測される最尤状態系列を求め、
前記最尤状態系列の状態のうちの、注目する注目フレームに対応する状態において出力確率が高いトピックラベルが表す潜在トピックを、前記注目フレームの内容を表すフレームトピックとして選択し、
前記トピック対頻出単語テーブルに基づき、前記フレームトピックにおける所定のキーワードの出現頻度を求め、前記所定のキーワードの出現頻度が高い場合、前記注目フレームを、前記所定のキーワードに内容が合致するフレームであるキーワードフレームとして選択し、
前記キーワードフレームから、時間的に連続する１フレーム以上のフレームの集まりを、シーンとして抽出し、
前記シーンの代表画像を、時刻順に並べて表示させる
請求項１０に記載の情報処理装置。
【請求項１５】
前記対象コンテンツは、放送番組のコンテンツであり、
前記ブラウジング制御手段は、EPG(Electronic Program Guide)上の前記放送番組の番組欄に、その放送番組の前記シーンの代表画像を時刻順に並べて表示させる
請求項１４に記載の情報処理装置。
【請求項１６】
情報処理装置が、
字幕のテキストを含む、学習用コンテンツの画像の各フレームの画像特徴量を抽出するとともに、前記学習用コンテンツの画像の内容を説明する、前記学習用コンテンツに含まれる字幕のテキストからなる説明テキストにおいて各単語が出現する頻度に関する単語頻度情報を、前記説明テキストのテキスト特徴量として抽出し、
前記画像特徴量、及び、前記テキスト特徴量を含むマルチストリームであるアノテーション用のアノテーション用系列を用いて、マルチストリームHMM(Hidden Markov Model)であるアノテーションモデルの学習を行い、
前記アノテーションモデルを用いて、シーンを抽出する対象の対象コンテンツから、時間的に連続する１フレーム以上のフレームの集まりであるシーンを抽出し、
前記シーンの代表画像を、時刻順に並べて表示させ、ブラウジングを制御する
ステップを含み、
前記学習するステップの処理は、
所定の時間長の窓を、一定間隔でずらしながら、前記窓内に表示される前記字幕のテキストに含まれる単語を、１つの文書として抽出し、
前記文書において各単語が出現する頻度を表す多項分布を、前記テキスト特徴量として抽出し、
前記ブラウジングを制御するステップの処理は、
前記対象コンテンツの画像の各フレームの画像特徴量を抽出し、その画像特徴量を用いて、前記アノテーション用系列を構成し、
前記アノテーションモデルにおいて、前記アノテーション用系列が観測される最尤状態系列を求め、
前記最尤状態系列の状態のうちの、注目する注目フレームに対応する状態において観測される前記多項分布に基づいて、時間的に連続する１フレーム以上のフレームの集まりを、シーンとして抽出し、
前記シーンの代表画像を、時刻順に並べて表示させる
情報処理方法。
【請求項１７】
字幕のテキストを含む、学習用コンテンツの画像の各フレームの画像特徴量を抽出するとともに、前記学習用コンテンツの画像の内容を説明する、前記学習用コンテンツに含まれる字幕のテキストからなる説明テキストにおいて各単語が出現する頻度に関する単語頻度情報を、前記説明テキストのテキスト特徴量として抽出し、
前記画像特徴量、及び、前記テキスト特徴量を含むマルチストリームであるアノテーション用のアノテーション用系列を用いて、マルチストリームHMM(Hidden Markov Model)であるアノテーションモデルの学習を行う
学習手段と、
前記アノテーションモデルを用いて、シーンを抽出する対象の対象コンテンツから、時間的に連続する１フレーム以上のフレームの集まりであるシーンを抽出し、
前記シーンの代表画像を、時刻順に並べて表示させる
ブラウジング制御手段と
して、コンピュータを機能させ、
前記学習手段は、
所定の時間長の窓を、一定間隔でずらしながら、前記窓内に表示される前記字幕のテキストに含まれる単語を、１つの文書として抽出し、
前記文書において各単語が出現する頻度を表す多項分布を、前記テキスト特徴量として抽出し、
前記ブラウジング制御手段は、
前記対象コンテンツの画像の各フレームの画像特徴量を抽出し、その画像特徴量を用いて、前記アノテーション用系列を構成し、
前記アノテーションモデルにおいて、前記アノテーション用系列が観測される最尤状態系列を求め、
前記最尤状態系列の状態のうちの、注目する注目フレームに対応する状態において観測される前記多項分布に基づいて、時間的に連続する１フレーム以上のフレームの集まりを、シーンとして抽出し、
前記シーンの代表画像を、時刻順に並べて表示させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、例えば、コンテンツへのアノテーションの付与を、容易に行い、そのアノテーションを利用したアプリケーションを提供することができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
ユーザが、放送番組等の画像を含むコンテンツの概要を認識する方法としては、コンテンツのダイジェストを表示する方法がある（例えば、特許文献１，２，３）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2007-163568号公報
【特許文献２】特開2008-175994号公報
【特許文献３】特開2010-093461号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザがコンテンツの概要を認識する方法としては、コンテンツのダイジェストを表示する方法の他、コンテンツに対して、アノテーションを付与する方法がある。
【０００５】
そして、現在、コンテンツに対して、アノテーションを容易に付与する技術の提案が要請されている。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、コンテンツへのアノテーションの付与を、容易に行い、そのアノテーションを利用したアプリケーションを提供することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面の情報処理装置、又は、プログラムは、字幕のテキストを含む、学習用コンテンツの画像の各フレームの画像特徴量を抽出するとともに、前記学習用コンテンツの画像の内容を説明する、前記学習用コンテンツに含まれる字幕のテキストからなる説明テキストにおいて各単語が出現する頻度に関する単語頻度情報を、前記説明テキストのテキスト特徴量として抽出し、前記画像特徴量、及び、前記テキスト特徴量を含むマルチストリームであるアノテーション用のアノテーション用系列を用いて、マルチストリームHMM(Hidden Markov Model)であるアノテーションモデルの学習を行う学習手段と、前記アノテーションモデルを用いて、シーンを抽出する対象の対象コンテンツから、時間的に連続する１フレーム以上のフレームの集まりであるシーンを抽出し、前記シーンの代表画像を、時刻順に並べて表示させるブラウジング制御手段とを備え、前記学習手段は、所定の時間長の窓を、一定間隔でずらしながら、前記窓内に表示される前記字幕のテキストに含まれる単語を、１つの文書として抽出し、前記文書において各単語が出現する頻度を表す多項分布を、前記テキスト特徴量として抽出し、前記ブラウジング制御手段は、前記対象コンテンツの画像の各フレームの画像特徴量を抽出し、その画像特徴量を用いて、前記アノテーション用系列を構成し、前記アノテーションモデルにおいて、前記アノテーション用系列が観測される最尤状態系列を求め、前記最尤状態系列の状態のうちの、注目する注目フレームに対応する状態において観測される前記多項分布に基づいて、時間的に連続する１フレーム以上のフレームの集まりを、シーンとして抽出し、前記シーンの代表画像を、時刻順に並べて表示させる情報処理装置、又は、情報処理装置として、コンピュータを機能させるためのプログラムである。
【０００８】
本発明の一側面の情報処理方法は、情報処理装置が、字幕のテキストを含む、学習用コンテンツの画像の各フレームの画像特徴量を抽出するとともに、前記学習用コンテンツの画像の内容を説明する、前記学習用コンテンツに含まれる字幕のテキストからなる説明テキストにおいて各単語が出現する頻度に関する単語頻度情報を、前記説明テキストのテキスト特徴量として抽出し、前記画像特徴量、及び、前記テキスト特徴量を含むマルチストリームであるアノテーション用のアノテーション用系列を用いて、マルチストリームHMM(Hidden Markov Model)であるアノテーションモデルの学習を行い、前記アノテーションモデルを用いて、シーンを抽出する対象の対象コンテンツから、時間的に連続する１フレーム以上のフレームの集まりであるシーンを抽出し、前記シーンの代表画像を、時刻順に並べて表示させ、ブラウジングを制御するステップを含み、前記学習を行うステップの処理は、所定の時間長の窓を、一定間隔でずらしながら、前記窓内に表示される前記字幕のテキストに含まれる単語を、１つの文書として抽出し、前記文書において各単語が出現する頻度を表す多項分布を、前記テキスト特徴量として抽出し、前記ブラウジングを制御するステップの処理は、前記対象コンテンツの画像の各フレームの画像特徴量を抽出し、その画像特徴量を用いて、前記アノテーション用系列を構成し、前記アノテーションモデルにおいて、前記アノテーション用系列が観測される最尤状態系列を求め、前記最尤状態系列の状態のうちの、注目する注目フレームに対応する状態において観測される前記多項分布に基づいて、時間的に連続する１フレーム以上のフレームの集まりを、シーンとして抽出し、前記シーンの代表画像を、時刻順に並べて表示させる情報処理方法である。
【０００９】
以上のような本発明の一側面においては、字幕のテキストを含む、学習用コンテンツの画像の各フレームの画像特徴量が抽出されるとともに、前記学習用コンテンツの画像の内容を説明する、前記学習用コンテンツに含まれる字幕のテキストからなる説明テキストにおいて各単語が出現する頻度に関する単語頻度情報が、前記説明テキストのテキスト特徴量として抽出され、前記画像特徴量、及び、前記テキスト特徴量を含むマルチストリームであるアノテーション用のアノテーション用系列を用いて、マルチストリームHMM(Hidden Markov Model)であるアノテーションモデルの学習が行われる。そして、前記アノテーションモデルを用いて、シーンを抽出する対象の対象コンテンツから、時間的に連続する１フレーム以上のフレームの集まりであるシーンが抽出され、前記シーンの代表画像が、時刻順に並べて表示され、前記学習により、所定の時間長の窓が、一定間隔でずらされながら、前記窓内に表示される前記字幕のテキストに含まれる単語が、１つの文書として抽出され、前記文書において各単語が出現する頻度を表す多項分布が、前記テキスト特徴量として抽出され、前記ブラウジングが制御されることにより、前記対象コンテンツの画像の各フレームの画像特徴量が抽出され、その画像特徴量が用いられて、前記アノテーション用系列が構成され、前記アノテーションモデルにおいて、前記アノテーション用系列が観測される最尤状態系列が求められ、前記最尤状態系列の状態のうちの、注目する注目フレームに対応する状態において観測される前記多項分布に基づいて、時間的に連続する１フレーム以上のフレームの集まりが、シーンとして抽出され、前記シーンの代表画像が、時刻順に並べられて表示される。
【００１０】
なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１１】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１２】
本発明の一側面によれば、コンテンツへのアノテーションの付与を、容易に行い、そのアノテーションを利用したアプリケーションを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の情報処理装置を適用したレコーダの一実施の形態の構成例を示すブロック図である。
【図２】学習装置１２の構成例を示すブロック図である。
【図３】特徴量抽出部２１の第１の構成例を示すブロック図である。
【図４】字幕CSVデータ、及び、中間データの例を示す図である。
【図５】中間データを頻度データに変換する方法を説明する図である。
【図６】テキスト特徴量の例を示す図である。
【図７】学習装置１２がアノテーションモデルの学習を行う学習処理を説明するフローチャートである。
【図８】アノテーション付与装置１４の構成例を示すブロック図である。
【図９】アノテーション付与装置１４が対象コンテンツにアノテーションを付与するアノテーション付与処理を説明するフローチャートである。
【図１０】フレーム検索装置１５の構成例を示すブロック図である。
【図１１】フレーム検索装置１５が対象コンテンツからキーワードフレームを検索し、キーワードダイジェストを生成するフレーム検索処理を説明するフローチャートである。
【図１２】キーワードKW#1，KW#2，KW#3，KW#4のそれぞれに対して求められた、対象コンテンツの各フレームのキーワード合致度の例を示す図である。
【図１３】AND検索式の演算としての数値minオペレーションを説明する図である。
【図１４】OR検索式の演算としての数値maxオペレーションを説明する図である。
【図１５】表示制御装置１６の構成例を示すブロック図である。
【図１６】表示制御部６３で描画されるモデルマップの例を示す図である。
【図１７】修正後のエラー関数Eを用いて得られるモデルマップの表示例を示す図である。
【図１８】表示制御部６３によって表示される、代表画像とアノテーションとが配置されたモデルマップの表示例を示す図である。
【図１９】モデルマップの一部の拡大図である。
【図２０】表示制御装置１６がモデルマップを表示させる表示制御処理を説明するフローチャートである。
【図２１】特徴量抽出部２１の第２の構成例を示すブロック図である。
【図２２】特徴量抽出部２１の第３の構成例を示すブロック図である。
【図２３】基底空間学習部１６１が、テキスト用基底空間の基底空間データとしてのLDAのパラメータを求める、LDAの学習を説明する図である。
【図２４】次元圧縮部１６３が、テキスト用基底空間の基底空間データを用いて行う、テキスト特徴量の次元圧縮を説明する図である。
【図２５】アノテーション付与装置１４の特徴量抽出部４１の構成例を示すブロック図である。
【図２６】アノテーション付与装置１４によるアノテーション付与処理を説明するフローチャートである。
【図２７】検索装置１５によるフレーム検索処理を説明するフローチャートである。
【図２８】表示制御装置１６によるモデルマップの表示制御処理を説明するフローチャートである。
【図２９】対象コンテンツに付与されたアノテーションを、潜在トピックごとに表示した表示例を示す図である。
【図３０】表示制御装置１６によるトピックリストの表示制御処理を説明するフローチャートである。
【図３１】トピックリストを用いたアノテーションの表示形式の例を示す図である。
【図３２】モデルマップを用いたアノテーションの表示形式の例を示す図である。
【図３３】特徴量抽出部２１の第４の構成例を示すブロック図である。
【図３４】アノテーション付与装置１４の特徴量抽出部４１の構成例を示すブロック図である。
【図３５】本発明の情報処理装置を適用したレコーダの他の一実施の形態の構成例を示すブロック図である。
【図３６】ブラウジングレコーダによるアノテーションモデルの学習の概要を説明する図である。
【図３７】ブラウジングレコーダによる、アノテーションモデルを用いての、対象コンテンツからのシーンの抽出の概要を説明する図である。
【図３８】ブラウジングレコーダによる、シーンの代表画像を、表示時刻順に並べて表示させる表示制御の概要を説明する図である。
【図３９】ユーザが入力したキーワードによって内容が表現されるコーナ（シーン）のみの代表画像を、表示時刻順に並べた時刻順概要表示画像を表示させる表示制御の概要を説明する図である。
【図４０】ブラウジング制御装置３１４の構成例を示すブロック図である。
【図４１】ブラウジングレコーダで行われる設定処理を説明するフローチャートである。
【図４２】ブラウジングレコーダで行われるコンテンツ取得関連処理を説明するフローチャートである。
【図４３】ブラウジング制御装置３１４が、アノテーションモデルを用いて行う処理（ブラウジング制御処理）を説明するフローチャートである。
【図４４】ユーザがキーワードを入力した場合にブラウジング制御装置３１４が行う処理を説明するフローチャートである。
【図４５】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
＜第１実施の形態＞
【００１５】
［本発明の情報処理装置を適用したレコーダの一実施の形態］
【００１６】
図１は、本発明の情報処理装置を適用したレコーダの一実施の形態の構成例を示すブロック図である。
【００１７】
図１のレコーダは、例えば、HD(Hard Disk)レコーダ等であり、テレビジョン放送の番組や、インターネット等のネットワークを介して提供されるコンテンツ、ビデオカメラ等で撮影したコンテンツ等の各種のコンテンツを録画（記録）（記憶）することができる。
【００１８】
すなわち、図１において、レコーダは、コンテンツ記憶部１１、学習装置１２、アノテーションモデル記憶部１３、アノテーション付与装置１４、フレーム検索装置１５、及び、表示制御装置１６を有する。
【００１９】
なお、コンテンツ記憶部１１、学習装置１２、アノテーションモデル記憶部１３、アノテーション付与装置１４、フレーム検索装置１５、及び、表示制御装置１６は、全体を、１つの装置（筐体）として構成することもできるし、複数の装置に分けて構成することもできる。
【００２０】
すなわち、例えば、コンテンツ記憶部１１、学習装置１２、及び、アノテーションモデル記憶部１３を、ホームネットワーク上のサーバやインターネット上のサーバ等の１つの装置として構成し、アノテーション付与装置１４、フレーム検索装置１５、及び、表示制御装置１６のそれぞれは、クライアント等の別の装置として構成することができる。
【００２１】
コンテンツ記憶部１１は、例えば、テレビジョン放送の番組等の、画像を含むコンテンツを記憶（記録）する。コンテンツ記憶部１１へのコンテンツの記憶が、そのコンテンツの録画となり、その録画がされたコンテンツ（コンテンツ記憶部１１に記憶されたコンテンツ）は、例えば、ユーザの操作に応じて再生される。
【００２２】
なお、コンテンツ記憶部１１には、その他、ビデオカメラ等で撮影したコンテンツや、webサーバからダウンロードしたコンテンツ等を記憶させることができる。
【００２３】
学習装置１２は、例えば、コンテンツ記憶部１１に記憶されたコンテンツを、所定の特徴量空間において自己組織的に構造化し、コンテンツの構造（時空間構造）を表すモデルを求める学習（統計学習）を行う。
【００２４】
すなわち、学習装置１２は、コンテンツ記憶部１１に記憶されたコンテンツのうちの、コンテンツの画像の内容を説明する説明テキストを取得することができるコンテンツを、後述するアノテーションモデルの学習に用いる学習用コンテンツに選択する。
【００２５】
さらに、学習装置１２は、学習用コンテンツの画像の各フレームの画像特徴量を抽出するとともに、その学習用コンテンツの画像の内容を説明する説明テキストにおいて各単語が出現する頻度に関する単語頻度情報を、説明テキストのテキスト特徴量として抽出する。
【００２６】
そして、学習装置１２は、学習用コンテンツから抽出した画像特徴量、及び、テキスト特徴量を含むマルチストリームを、アノテーション用のアノテーション用系列として用いて、マルチストリームHMM(Hidden Markov Model)であるアノテーションモデルの学習を行い、その学習後のアノテーションモデルを、アノテーションモデル記憶部１３に供給する。
【００２７】
アノテーションモデル記憶部１３は、学習装置１２から供給されるアノテーションモデルを記憶する。
【００２８】
アノテーション付与装置１４は、アノテーションモデル記憶部１３に記憶されたアノテーションモデルを用いて、コンテンツ記憶部１１に記憶されたコンテンツのうちの、アノテーションを付与する対象とする対象コンテンツにアノテーションを付与する。
【００２９】
フレーム検索装置１５は、アノテーションモデル記憶部１３に記憶されたアノテーションモデルを用いて、コンテンツ記憶部１１に記憶されたコンテンツのうちの、所定のキーワードに内容が合致するフレームであるキーワードフレームを検索する対象とする対象コンテンツから、キーワードフレームを検索する。
【００３０】
表示制御装置１６は、アノテーションモデル記憶部１３に記憶されたアノテーションモデルを用いて、コンテンツ記憶部１１に記憶されたコンテンツのうちの、アノテーションを付与する対象とする対象コンテンツのフレームに付与されるアノテーションを表示させる表示制御を行う。
【００３１】
なお、ここでは、コンテンツ記憶部１１に記憶されるコンテンツのデータは、画像、音声、及び、必要な字幕のテキストのデータ（ストリーム）を含むこととする。
【００３２】
但し、学習用コンテンツは、少なくとも画像が含まれ、かつ、字幕のテキスト等の説明テキストが、何らかの方法で取得することができるコンテンツであればよく、アノテーション付与装置１４、フレーム検索装置１５、及び、表示制御装置１６で処理の対象となる対象コンテンツは、少なくとも画像が含まれるコンテンツであればよい。
【００３３】
また、学習用コンテンツ、及び、対象コンテンツは、画像を含まないが、音声を含むコンテンツであって良い。
【００３４】
［学習装置１２の構成例］
【００３５】
図２は、図１の学習装置１２の構成例を示すブロック図である。
【００３６】
学習装置１２は、特徴量抽出部２１、及び、モデル学習部２２を有する。
【００３７】
特徴量抽出部２１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、アノテーションモデルの学習に用いるコンテンツを、学習用コンテンツとして選択し、コンテンツ記憶部１１から取得する（読み出す）。
【００３８】
ここで、特徴量抽出部２１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、例えば、字幕のテキストを含むコンテンツ等の、コンテンツの画像の内容を説明する説明テキストを取得することができるコンテンツを、学習用コンテンツとして選択する。
【００３９】
説明テキストとしては、コンテンツに含まれる字幕のテキストの他、放送番組のコーナごとの放送開始時刻、放送終了時刻、出演者、及び、コーナの内容の要約等のメタデータを、放送番組の終了後に配信する有料サービス（以下、番組メタデータサービスともいう）のサービス提供者が提供するメタデータや、ユーザがキーボード等を操作することによって入力する、コンテンツを説明するテキスト等を採用することができる。
【００４０】
また、特徴量抽出部２１は、例えば、所定のカテゴリに属する１以上のコンテンツを、１つのアノテーションモデルの学習に用いる学習用コンテンツとして選択する。
【００４１】
所定のカテゴリに属するコンテンツとは、例えば、ジャンルが同一の番組や、連続番組、毎週又は毎日その他周期的に放送される番組（タイトルが同一の、いわゆるシリーズものの番組）等の、コンテンツに潜む、コンテンツの構造が共通するコンテンツを意味する。
【００４２】
カテゴリとなるジャンルについては、例えば、スポーツ番組や、ニュース番組、音楽番組等といった、いわば大まかな分類を採用することもできるが、例えば、サッカーの試合の番組や野球の試合の番組等といった、いわば細かい分類であることが望ましい。
【００４３】
また、例えば、サッカーの試合の番組であれば、チャンネル（放送局）が異なるごとに、異なるカテゴリに属するコンテンツに分類することができる。
【００４４】
なお、コンテンツのカテゴリとして、どのようなカテゴリを採用するかは、例えば、図１のレコーダに、あらかじめ設定されていることとする。
【００４５】
また、コンテンツ記憶部１１に記憶されたコンテンツのカテゴリは、例えば、テレビジョン放送で番組とともに送信されてくる、番組のタイトルやジャンル等のメタデータや、インターネット上のサイトが提供する番組の情報等から認識することができる。
【００４６】
ここで、学習装置１２は、アノテーションモデルの学習を、カテゴリごとに行う。図１のアノテーション付与装置１４、フレーム検索装置１５、及び、表示制御装置１６でも、対象コンテンツの処理を、その対象コンテンツのカテゴリに一致するカテゴリのアノテーションモデルを用いて行う。但し、以下では、カテゴリについての説明は、適宜、省略する。
【００４７】
特徴量抽出部２１は、コンテンツ記憶部１１からの学習用コンテンツに含まれる画像の各フレームの特徴量である画像特徴量を抽出して、モデル学習部２２に供給する。
【００４８】
ここで、特徴量抽出部２１は、例えば、学習用コンテンツのフレームを、順次、注目フレームとして、注目フレームを、複数の小領域であるサブ領域に分割する。
【００４９】
さらに、特徴量抽出部２１は、例えば、各サブ領域のサブ領域特徴量を抽出し、注目フレームのサブ領域特徴量をコンポーネントとするベクトルを、注目フレームの画像特徴量として、モデル学習部２２に供給する。
【００５０】
サブ領域特徴量としては、サブ領域の画素値（例えば、RGB成分や、YUV成分等）を用いて、サブ領域の大域的な特徴量が求められる。
【００５１】
ここで、サブ領域の大域的な特徴量とは、サブ領域を構成する画素の位置の情報を用いずに、画素値だけを用いて、加法的に計算される、例えば、ヒストグラムのような特徴量をいう。
【００５２】
大域的な特徴量としては、例えば、GISTと呼ばれる特徴量を採用することができる。GISTについては、例えば、A. Torralba, K. Murphy, W. Freeman, M. Rubin, "Context-based vision system for place and object recognition", IEEE Int. Conf. Computer Vision, vol. 1, no. 1, pp. 273-280, 2003.に、詳細が記載されている。
【００５３】
なお、大域的な特徴量は、GISTに限定されるものではない。すなわち、大域的な特徴量は、局所的な位置、明度、視点等の見えの変化に対して頑強な（変化を吸収するような）（Robustな）特徴量であれば良い。そのような特徴量としては、例えば、HLCA（局所高次相関）や、LBP(Local Binary Patterns)、カラーヒストグラム等がある。
【００５４】
HLCAについては、例えば、N. Otsu, T. Kurita, "A new scheme for practical flexible and intelligent vision systems", Proc. IAPR Workshop on Computer Vision, pp.431-435, 1988に、詳細が記載されている。LBPについては、例えば、Ojala T, Pietikainen M & Maenpaa T, "Multiresolution gray-scale and rotation invariant texture classification with Local Binary Patterns", IEEE Transactions on Pattern Analysis and Machine Intelligence 24(7):971-987に、詳細が記載されている（Pietikainen、及び、Maenpaaの"a"は、正確には、"a"の上部に、"・・"を付加した文字）。
【００５５】
以上のような、サブ領域特徴量をコンポーネントとするベクトルである画像特徴量は、局所的な変化（サブ領域内で起こる変化）に対しては頑強であるが、フレーム全体としてのパターンの配置の変化に対してはディスクリミネイティブ（鋭敏に違いを見分ける性質）であるような特徴量となる。
【００５６】
このような画像特徴量によれば、フレーム間のシーン（内容）の類似性を、適切に判定することができる。例えば、「浜辺」のシーンは、フレームの上方に「空」があり、中央に「海」があり、画面下方に「砂浜」があればよく、「砂浜」のどこに人がいるかや、「空」のどこに雲があるか等は、シーンが「浜辺」のシーンであるかどうかに関係がない。サブ領域特徴量をコンポーネントとするベクトルである画像特徴量は、このような観点からシーンの類似性を判定する（シーンを分類する）のに適しており、以下、適宜、シーン特徴量ともいう。
【００５７】
特徴量抽出部２１は、コンテンツ記憶部１１からの学習用コンテンツに含まれる画像の各フレームの画像特徴量（シーン特徴量）を抽出する他、その学習用コンテンツの説明テキストにおいて各単語が出現する頻度に関する単語頻度情報を、説明テキストのテキスト特徴量として抽出し、モデル学習部２２に供給する。
【００５８】
なお、特徴量抽出部２１は、学習用コンテンツに、字幕のテキストが含まれている場合には、その字幕のテキストを、説明テキストとして採用する。
【００５９】
また、特徴量抽出部２１は、外部から、説明テキストが入力される場合、すなわち、例えば、番組メタデータサービスのサービス提供者から、番組のメタデータが提供される場合や、ユーザがキーボード等を操作することによって、学習用コンテンツを説明するテキストが入力される場合には、そのサービス提供者からのメタデータや、ユーザからのテキストを、説明テキストとして採用することができる。
【００６０】
その他、特徴量抽出部２１では、学習用コンテンツに含まれる音声の音声認識を行い、その音声認識の結果であるテキストを、説明テキストとして採用することができる。
【００６１】
ここで、以下では、説明を簡単にするために、説明テキストとしては、コンテンツに含まれる字幕のテキストを採用することとする。
【００６２】
モデル学習部２２は、特徴量抽出部２１から供給される学習用コンテンツの画像特徴量、及び、テキスト特徴量を含むマルチストリームを、コンテンツにアノテーションを付与するためのアノテーション用のアノテーション用系列として、そのアノテーション用系列を用いて、マルチストリームHMMであるアノテーションモデルの学習を行う。
【００６３】
そして、モデル学習部２２は、学習後のアノテーションモデルを、アノテーションモデル記憶部１３に供給して記憶させる。
【００６４】
ここで、HMMは、最初に、状態siにいる初期確率πi、状態siから状態sjに状態遷移する状態遷移確率aij、及び、状態siから、所定の観測値oが観測（出力）される出力確率分布bi(o)で規定される。
【００６５】
出力確率分布bi(o)としては、観測値oが離散値（多項分布）である場合には、確率となる離散値（の分布）が用いられるが、観測値oが連続値である場合には、確率分布関数が用いられる。確率分布関数としては、例えば、平均値（平均ベクトル）と分散（共分散行列）とで定義されるガウス分布等を採用することができる。
【００６６】
HMMの学習は、例えば、EM(Expextation Maximization)アルゴリズムに基づくパラメータ推定方法であるBaum-Welchの再推定法によって行うことができる。
【００６７】
なお、アノテーションモデルとして、エルゴディック(Ergodic)型のHMM（状態遷移に制約がないHMM）を採用する場合には、HMMの状態数が多いと、HMMのパラメータ（初期確率πi、状態遷移確率aij、及び、出力確率分布bi(o)）の初期値によっては、ローカルミニマムに収束し、適切なパラメータを得られないことがある。
【００６８】
そこで、「自然界の現象の殆どや、ビデオコンテンツを生み出すカメラワークや番組構成は、スモールワールドネットワークのようなスパースな結合によって表現可能である」という仮説を採用し、アノテーションモデルとしては、状態遷移を、スパース(Sparse)な構造に制約したHMMを採用することとする。
【００６９】
ここで、スパースな構造とは、ある状態から任意の状態への状態遷移が可能なエルゴディック型のHMMのような密な状態遷移ではなく、ある状態から状態遷移することができる状態が非常に限定されている構造（状態遷移が疎らな構造）である。
【００７０】
なお、ここでは、スパースな構造であっても、他の状態への状態遷移は、少なくとも１つ存在し、また、自己遷移は存在することとする。
【００７１】
上述したように、モデル学習部２２は、特徴量抽出部２１から供給される学習用コンテンツの画像特徴量、及び、テキスト特徴量を含むマルチストリームであるアノテーション用系列を用いて、マルチストリームHMMであるアノテーションモデルの学習を、例えば、Baum-Welchの再推定法によって行う。
【００７２】
マルチストリームHMMでは、観測値の複数の系列（ストリーム）であるマルチストリームが観測される。
【００７３】
そして、マルチストリームHMMでは、マルチストリームを構成する個々の系列（ストリーム）（以下、構成要素系列ともいう）に対して、その構成要素系列をマルチストリームHMMに影響させる度合いである重み（以下、系列重みともいう）を設定することができる。
【００７４】
系列重みにいついては、マルチストリームHMMの学習時に重要視する構成要素系列に対して、大きな系列重みを設定することで、マルチストリームHMMの学習結果が局所解に陥らないように事前知識を与えることができる。
【００７５】
また、マルチストリームHMMを用いた認識時（最尤状態系列を求めるとき）に、重要視しない構成要素系列に対して、小さな系列重みを設定することで、その構成要素系列の影響を（ほとんど）受けない認識結果を得ることができる。
【００７６】
なお、マルチストリームHMMの詳細は、例えば、田村 哲嗣, 岩野 公司, 古井 貞煕,「オプティカルフローを用いたマルチモーダル音声認識の検討」、日本音響学会 2001年秋季講演論文集, 1-1-14, pp.27-28 (2001-10)等に記載されている。
【００７７】
上述の文献では、audio-visual speech recognition の分野での、マルチストリームHMMの使用例が紹介されている。すなわち、音声のSN比(Signal to Noise ratio)が低いときは、音声の特徴量の系列の系列重みを低くし、音声よりも画像の影響がより大きくなるようにして、学習と認識を行うことが記載されている。
【００７８】
マルチストリームHMMが、マルチストリームでない単一の系列を用いるHMMと異なる点は、式（１）に示すように、マルチストリームを構成する各構成要素系列o[m]の出力確率分布b[m]j(o[m])に、事前に設定した系列重みWmを考慮して、マルチストリーム全体の出力確率分布bj(o[1],o[2],・・・,o[M])を計算する点である。
【００７９】
【数１】
0005691289.tif 000002
・・・（１）
【００８０】
ここで、式（１）において、Mは、マルチストリームを構成する構成要素系列o[m]の数（ストリーム数）を表し、系列重みWmは、マルチストリームを構成するM個の構成要素系列のうちのm番目の構成要素系列o[m]の系列重みを表す。
【００８１】
いまの場合、モデル学習部２２で学習に用いられるマルチストリームであるアノテーション用系列は、画像特徴量の系列o[1]とテキスト特徴量の系列o[2]との２つの構成要素系列で構成される。
【００８２】
この場合、系列重みW1及びW2としては、例えば、いずれも、0.5を採用することができる。
【００８３】
いま、例えば、１個目の構成要素系列o[1]である画像特徴量として、サブ領域特徴量をコンポーネントとするベクトルを採用するとともに、２個目の構成要素系列o[2]であるテキスト特徴量として、各単語の頻度（頻度そのもの、又は、頻度を正規化した値）を採用することとする。
【００８４】
この場合、１個目の構成要素系列o[1]である画像特徴量は、連続値のベクトルであり、出力確率分布（観測モデル）b[1]j(o[1])として、例えば、平均値（平均ベクトル）がμ[1]jで、分散（共分散行列）がσ2[1]jのガウス分布N(μ[1]j，σ2[1]j)が用いられる。
【００８５】
また、２個目の構成要素系列o[2]であるテキスト特徴量は、各単語の頻度（頻度そのもの、又は、頻度を正規化した値）の多項分布であり、出力確率分布b[2]j(o[2])として、多項分布が用いられる。
【００８６】
以上のような２つの構成要素系列o[1]及びo[2]で構成されるアノテーション用系列を用いたマルチストリームHMMの学習、すなわち、Baum-Welchの再推定法では、E(Expextation)ステップにおいて、初期確率πi、状態遷移確率aij、及び、式（１）に従って求められる出力確率分布bj(o[1],o[2])を用いて、h番目の学習用コンテンツについて、時刻t（学習用コンテンツの第tフレーム（先頭からtフレーム目））に、状態jにいる状態確率γ(h)t,jが、単一の系列を用いるHMMの学習の場合と同様にして求められる。
【００８７】
また、M(Maximization)ステップでは、Eステップで求められた状態確率γ(h)t,jを用いて、画像特徴量の出力確率分布（観測モデル）b[1]j(o[1])としてのガウス分布の平均値μ[1]j、及び、分散σ2[1]jが、単一の系列を用いるHMMの学習の場合と同様に、式（２）に従って求められる。
【００８８】
【数２】
0005691289.tif 000003
・・・（２）
【００８９】
ここで、式（２）において、Hは、学習用コンテンツの数（コンテンツ数）を表し、o(h)[1](t)は、H個の学習用コンテンツのうちのh番目の学習用コンテンツの第tフレームの画像特徴量を表す。
【００９０】
さらに、Mステップでは、Eステップで求められた状態確率γ(h)t,jを用いて、テキスト特徴量によって頻度が表される各単語の出力確率分布（離散シンボル観測モデル）b[2]jとしての多項分布が、多項分布を観測モデル（出力確率分布）として有するHMMの学習の場合と同様に、式（３）に従って求められる。
【００９１】
【数３】
0005691289.tif 000004
・・・（３）
【００９２】
ここで、式（３）において、o(h)[2](t)は、H個の学習用コンテンツのうちのh番目の学習用コンテンツの第tフレームのテキスト特徴量である各単語の頻度の多項分布を表し、b[2]jは、状態sjにおいて、各単語が観測される出力確率分布である多項分布を表す。
【００９３】
なお、多項分布がK個のシンボルの分布を表し、各時刻tに、K個のシンボルのうちの1個のシンボルが観測される場合には、多項分布o(h)[2](t)は、時刻tに観測される１個のシンボルの分布（確率）が1であり、残りのシンボルの分布がすべて0である多項分布となる。
【００９４】
［特徴量抽出部２１の第１の構成例］
【００９５】
図３は、図２の特徴量抽出部２１の第１の構成例を示すブロック図である。
【００９６】
図３において、特徴量抽出部２１は、画像取得部３１、画像特徴量抽出部３２、説明テキスト取得部３３、テキスト特徴量抽出部３４、及び、同期部３５を有する。
【００９７】
画像取得部３１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、説明テキストを取得することができるコンテンツを、学習用コンテンツとして選択して取得する。
【００９８】
さらに、画像取得部３１は、学習用コンテンツから、画像を逆多重化（分離）することにより取得して、画像特徴量抽出部３２に供給する。
【００９９】
画像特徴量抽出部３２は、画像取得部３１からの画像の各フレームを、時間順に、注目フレームに選択し、注目フレームから、フレームの内容（シーン）の類似性を判定するのに適した画像特徴量であるシーン特徴量を抽出し、同期部３５に供給する。
【０１００】
説明テキスト取得部３３は、例えば、コンテンツ記憶部１１から、画像取得部３１が取得するのと同一の学習用コンテンツを取得し、その学習用コンテンツから、字幕のテキストを逆多重化することにより取得して、説明テキストとして、テキスト特徴量抽出部３４に供給する。
【０１０１】
なお、説明テキスト取得部３３では、学習用コンテンツに含まれる字幕のテキストの他、上述したように、番組メタデータサービスのサービス提供者から、番組のメタデータを取得することや、ユーザがキーボード等を操作することによって入力したテキスト、学習用コンテンツに含まれる音声の音声認識を行うことにより得られる音声認識結果としてのテキスト等を、説明テキストとして取得することができる。
【０１０２】
テキスト特徴量抽出部３４は、説明テキスト取得部３３からの説明テキストとしての字幕のテキストについて、例えば、数秒や数十秒等の所定の時間長の窓を、一定間隔でずらしながら、窓内に表示される字幕のテキストに含まれる単語を、１つの文書として抽出する。
【０１０３】
さらに、テキスト特徴量抽出部３４は、文書から、その文書において各単語が出現する頻度を表す多項分布を、テキスト特徴量として抽出し、同期部３５に供給する。
【０１０４】
ここで、文書において各単語が出現する頻度を表す多項分布は、単語頻度情報、すなわち、説明テキストにおいて各単語が出現する頻度に関する情報である。
【０１０５】
同期部３５は、画像特徴量抽出部３２から供給されるシーン特徴量と、テキスト特徴量抽出部３４から供給されるテキスト特徴量とを、フレーム単位で同期させて出力する。
【０１０６】
すなわち、シーン特徴量は、フレームごとに得られるので、フレーム単位に存在するが、テキスト特徴量は、文書、つまり、一定間隔でずらされる窓ごとに得られるので、フレーム単位に存在するとは限らない。
【０１０７】
同期部３５は、注目する注目フレームから抽出されたシーン特徴量と、例えば、注目フレームに時間的に最も近い位置の窓から得られた（文書から抽出された）テキスト特徴量や、注目フレーム以降の時刻の位置の窓であって、注目フレームに時間的に最も近い位置の窓から得られたテキスト特徴量とのセットが、注目フレームのシーン特徴量とテキスト特徴量とのセットになるように、画像特徴量抽出部３２から供給されるシーン特徴量と、テキスト特徴量抽出部３４から供給されるテキスト特徴量とを同期させ、モデル学習部２２（図２）に出力する。
【０１０８】
［テキスト特徴量の抽出］
【０１０９】
図４ないし図６は、図３のテキスト特徴量抽出部３４によるテキスト特徴量の抽出を説明する図である。
【０１１０】
すなわち、図４は、字幕CSVデータ、及び、中間データの例を示す図である。
【０１１１】
説明テキスト取得部３３（図３）は、学習用コンテンツから、説明テキストとしての字幕のテキストを含む字幕データ（字幕ストリーム）を取得し、テキスト特徴量抽出部３４に供給する。
【０１１２】
テキスト特徴量抽出部３４（図３）は、字幕データから、字幕の表示開始時刻と、説明テキストとしての字幕のテキストとを抽出する。
【０１１３】
ここで、図４の字幕CSVデータは、コンテンツに含まれる字幕データを、CSV（カンマ区切り）表現にデコードしたデータである。
【０１１４】
字幕CSVデータの第１列（左から１列目）のデータは、字幕の表示開始時刻としてのPTS(Presentation Time Stamp)であり、第４列のデータは、字幕のテキストである。
【０１１５】
なお、字幕CSVデータのある行の字幕のテキストは、その行の表示開始時刻から、次の行の表示開始時刻の直前まで表示されることとする。
【０１１６】
テキスト特徴抽出部３４は、字幕CSVデータの第１列のPTSで表現された表示開始時刻を、例えば、学習用コンテンツの先頭を基準とするミリ秒で表現された時刻に変換する。
【０１１７】
さらに、テキスト特徴抽出部３４は、字幕CSVデータの第４列の字幕のテキストを形態素解析することにより、字幕のテキストを、単語（形態素）に分節化するとともに、各単語の品詞を求める。
【０１１８】
また、テキスト特徴量抽出部３４は、字幕のテキストから分節化された単語の中から、アノテーションに有用な単語を抽出する。
【０１１９】
すなわち、テキスト特徴量抽出部３４は、字幕のテキストから分節化された単語の中から、例えば、名詞、動詞、形容詞、及び、副詞等の特定の品詞の単語を、有用な単語の候補として抽出し、さらに、有用な単語の候補から、例えば、ひらがな１文字の単語や、ひらがなだけで構成される単語を削除する。
【０１２０】
そして、テキスト特徴量抽出部３４は、残った有用な単語の候補を、有用な単語に確定し、その有用な単語と、ミリ秒で表現された表示開始時刻とのセットを、テキスト特徴量の抽出に用いる中間的な中間データとする。
【０１２１】
ここで、本件発明者が行った、実際のデータを用いた実験によれば、品詞が、名詞、及び、動詞の単語を、有用な単語の候補として抽出し、その有用な単語の候補から、ひらがな１文字の単語、ひらがなだけで構成されている単語、及び、数字を削除することで、アノテーションとして、比較的適切な単語が付与される結果が得られている。
【０１２２】
図５は、中間データを頻度データに変換する方法を説明する図である。
【０１２３】
テキスト特徴量抽出部３４は、学習用コンテンツから中間データを求めると、その中間データを頻度データに変換する。
【０１２４】
すなわち、テキスト特徴量抽出部３４は、学習用コンテンツの時間軸に沿って、例えば、30秒の時間長の窓（窓関数）を、30秒間隔でずらしていく。そして、テキスト特徴量抽出部３４は、学習用コンテンツの中間データに含まれる単語の中から、窓内（窓に対応する時間内）に表示される字幕のテキストに含まれる単語を、１つの擬似的な文書（以下、擬似文書ともいう）として抽出する。
【０１２５】
この場合、学習用コンテンツについて、30秒ごとに、その30秒の間に表示される字幕のテキストに含まれる単語（のうちの有用な単語）を、擬似文書として得ることができる。
【０１２６】
学習用コンテンツとして、複数のコンテンツが存在する場合には、テキスト特徴量抽出部３４は、その複数のコンテンツごとに、擬似文書を得る。
【０１２７】
なお、テキスト特徴量抽出部３４において、擬似文書の抽出に用いる窓の時間長は、30秒に限定されるものではない。
【０１２８】
また、擬似文書の抽出にあたり、窓は、一部がオーバーラップするようにずらすことができる。例えば、30秒の時間長の窓を、15秒間隔でずらすことにより、15秒間ずつオーバラップしながらずれていく窓を実現することができる。
【０１２９】
テキスト特徴量抽出部３４は、学習用コンテンツすべてについて、擬似文書を得ると、擬似文書すべてから、重複しないように単語を列挙し、各単語と、その単語にユニークな単語ID(Identification)とを対応付けて登録した単語辞書を生成する。
【０１３０】
なお、擬似文書から生成される単語辞書は、学習用コンテンツの中間データからであっても、生成することができる。
【０１３１】
テキスト特徴量抽出部３４は、単語辞書を生成すると、その単語辞書を参照し、各擬似文書について、その擬似文書に出現する単語の頻度を求め、その単語の単語IDと対応付けた頻度データを生成する。
【０１３２】
ここで、単語辞書は、例えば、アノテーションモデル記憶部１３に供給され、単語辞書の生成に用いられた学習用コンテンツを用いた学習によって得られるアノテーションモデルとともに記憶される。
【０１３３】
図６は、テキスト特徴量の例を示す図である。
【０１３４】
テキスト特徴量抽出部３４は、擬似文書の頻度データを、単語辞書に登録されている各単語の頻度に変換する。
【０１３５】
すなわち、単語辞書に登録されている単語の総数がK個であり、そのうちのk番目の単語の頻度をk番目のコンポーネントとするK次元のベクトルを、登録単語頻度ベクトルということとすると、テキスト特徴量抽出部３４は、擬似文書の頻度データを、登録単語頻度ベクトルに変換する。
【０１３６】
ここで、自然言語処理では、文書の特徴量として、BoW(Bag-of-Words)と呼ばれる特徴量が用いられることがあるが、登録単語頻度ベクトルは、BoWと呼ばれる特徴量と等価である。
【０１３７】
テキスト特徴量抽出部３４は、擬似文書の頻度データを変換した登録単語頻度ベクトルの各コンポーネントを、そのコンポーネントである頻度の総和で除算し、その除算の結果られるベクトルを、テキスト特徴量として、同期部３５に出力する。
【０１３８】
以上のような擬似文書のテキスト特徴量は、擬似文書において、単語辞書に登録されている各単語が出現する頻度（確率）を表す多項分布になっている。
【０１３９】
［学習処理］
【０１４０】
図７は、図２の学習装置１２がアノテーションモデルの学習を行う学習処理を説明するフローチャートである。
【０１４１】
学習装置１２（図２）では、ステップＳ１１において、特徴量抽出部２１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、例えば、字幕のテキストを含むコンテンツ等の、コンテンツの画像の内容を説明する説明テキストを取得することができるコンテンツを、学習用コンテンツとして選択し、処理は、ステップＳ１２に進む。
【０１４２】
ステップＳ１２では、特徴量抽出部１２は、コンテンツ記憶部１１からの学習用コンテンツに含まれる画像の各フレームから、画像特徴量としてのシーン特徴量を抽出するとともに、コンテンツ記憶部１１からの学習用コンテンツに含まれる説明テキストとしての字幕テキストから、各単語が出現する頻度に関する単語頻度情報を、テキスト特徴量として抽出する。
【０１４３】
そして、特徴量抽出部１２は、シーン特徴量と、テキスト特徴量とを、フレーム単位で同期させ、モデル学習部２２に供給して、処理は、ステップＳ１２からステップＳ１３に進む。
【０１４４】
ステップＳ１３では、モデル学習部２２は、特徴量抽出部２１からの学習用コンテンツの画像特徴量、及び、テキスト特徴量を含むマルチストリームであるアノテーション用系列を用いて、マルチストリームHMMであるアノテーションモデルの学習を行う。
【０１４５】
そして、モデル学習部２２は、学習後のアノテーションモデルを、アノテーションモデル記憶部１３に供給して記憶させ、学習処理は終了する。
【０１４６】
以上の学習処理によれば、マルチストリームHMMであるアノテーションモデルにおいて、学習用コンテンツに潜む、コンテンツの構造（例えば、番組構成や、カメラワーク等が作り出す構造）が自己組織的に獲得される。
【０１４７】
その結果、学習処理よって得られるアノテーションモデルとしてのマルチストリームHMMの各状態は、学習によって獲得されたコンテンツの構造の要素に対応し、状態遷移は、コンテンツの構造の要素どうしの間での、時間的な遷移（シーンの移り変わり）を表現する。
【０１４８】
そして、アノテーションモデルの状態は、特徴量空間（特徴量抽出部２１（図２）で抽出されるシーン特徴量及びテキスト特徴量のそれぞれの軸によって定義される空間）において、空間的な距離が近く、かつ、時間的な前後関係が似ているフレーム群（つまり「似たシーン」）をまとめて表現する。
【０１４９】
したがって、学習処理によれば、特徴量空間が、状態分割される。
【０１５０】
ここで、例えば、コンテンツがクイズ番組である場合には、大雑把には、クイズの出題、ヒントの提示、出演者による解答、正解発表、という流れを、番組の基本的な流れとして、この基本的な流れの繰り返しによって、クイズ番組が進行していく。
【０１５１】
上述の番組の基本的な流れが、コンテンツの構造に相当し、その流れ（構造）を構成する、クイズの出題、ヒントの提示、出演者による解答、正解発表のそれぞれが、コンテンツの構造の要素に相当する。
【０１５２】
また、例えば、クイズの出題から、ヒントの提示への進行等が、コンテンツの構造の要素どうしの間での、時間的な遷移に相当する。
【０１５３】
なお、アノテーションモデルとしてのマルチストリームHMMの各状態は、その状態において、シーン特徴量（のモーダル）と、テキスト特徴量（のモーダル）とのそれぞれが観測される観測モデル（出力確率分布）を有する。
【０１５４】
すなわち、アノテーションモデルの各状態は、各値のシーン特徴量が観測（出力）される出力確率分布と、単語辞書の各単語が観測される頻度（確率）を表す多項分布である出力確率分布とを有する。
【０１５５】
そして、アノテーションモデルの各状態において観測される確率が高いシーン特徴量が抽出される画像と、その状態において観測される確率が高い単語とは、同時に観測されやすいので、ある状態において観測される確率が高い単語は、その状態において観測される確率が高いシーン特徴量が抽出される画像（シーン）の内容を表現している、ということができる。
【０１５６】
したがって、アノテーションモデルの各状態において観測される確率が高い単語は、その状態において観測される確率が高いシーン特徴量が抽出される画像（フレーム）のアノテーションとして利用することができる。
【０１５７】
すなわち、アノテーションモデルによれば、コンテンツへのアノテーションの付与を、容易に行うことができる。
【０１５８】
［アノテーション付与装置１４の構成例］
【０１５９】
図８は、図１のアノテーション付与装置１４の構成例を示すブロック図である。
【０１６０】
アノテーション付与装置１４は、特徴量抽出部４１、最尤状態系列算出部４２、及び、単語選択部４３を有する。
【０１６１】
特徴量抽出部４１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、アノテーションの付与の対象とする対象コンテンツを選択し、コンテンツ記憶部１１から取得する（読み出す）。
【０１６２】
ここで、特徴量抽出部４１では、対象コンテンツが、例えば、ユーザの操作に従って選択される。また、例えば、コンテンツ記憶部１１に記憶されたコンテンツのうちの、まだ、対象コンテンツとして選択されていないコンテンツ（アノテーションが付与されていないコンテンツ）を、対象コンテンツとして選択することもできる。
【０１６３】
コンテンツ記憶部１１に記憶されたコンテンツの中から対象コンテンツとして選択するコンテンツは、学習用コンテンツのように、説明テキストを取得することができるコンテンツであってもよいし、説明テキストを取得することができないコンテンツであってもよい。
【０１６４】
対象コンテンツが、説明テキストを取得することができるコンテンツである場合、すなわち、例えば、対象コンテンツが、字幕のテキストを含むコンテンツである場合、特徴量抽出部４１は、学習装置１２の特徴量抽出部２１（図２）と同様に、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量と、説明テキストとしての字幕のテキストのテキスト特徴量としての単語頻度情報とを抽出する。
【０１６５】
さらに、特徴量抽出部４１は、フレームごとのシーン特徴量とテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成し、そのアノテーション用系列を、最尤状態系列算出部４２に供給する。
【０１６６】
また、対象コンテンツが、説明テキストを取得することができないコンテンツである場合、特徴量抽出部４１は、学習装置１２の特徴量抽出部２１（図２）と同様に、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量を抽出する。
【０１６７】
さらに、特徴量抽出部４１は、例えば、0や1等の所定の値の多項分布であるダミーのデータ（テキスト特徴量と同一次元の多項分布）を、テキスト特徴量として用い、フレームごとのシーン特徴量とダミーのデータであるテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成し、そのアノテーション用系列を、最尤状態系列算出部４２に供給する。
【０１６８】
最尤状態系列算出部４２は、アノテーションモデル記憶部１３に記憶されたアノテーションモデル（マルチストリームHMM）において、特徴量抽出部４１からのアノテーション用系列が観測される最尤状態系列（アノテーション用系列が観測される尤度が最も高いアノテーションモデルの状態の系列）を、例えば、Viterbiアルゴリズムに従って求め、単語選択部４３に供給する。
【０１６９】
最尤状態系列は、その最尤状態系列のt番目の状態（になっているアノテーションモデルの状態）において、対象コンテンツの第tフレームが観測されることが、尤もらしいことを表す。
【０１７０】
ここで、マルチストリームHMMであるアノテーションモデルにおいて、ある系列（時系列データ）が観測される最尤状態系列を求めることは、その系列を、マルチストリームHMMを用いて認識（パターン認識）することに相当する。
【０１７１】
また、アノテーション用系列は、対象コンテンツのフレーム単位のシーン特徴量とテキスト特徴量とから構成されるので、対象コンテンツのフレーム単位のサンプル値の系列であり、そのようなアノテーション用系列に対して、最尤状態系列を求めることにより、対象コンテンツの各フレームは、最尤状態系列を構成する各状態に対応付けられる。
【０１７２】
したがって、最尤状態系列によれば、対象コンテンツの第tフレームは、最尤状態系列のt番目の状態に対応付けられるので、対象コンテンツの第tフレームが、最尤状態系列のt番目の状態にクラスタリングされているとみなすことができる。
【０１７３】
なお、アノテーション用系列を構成するテキスト特徴量が、単語頻度情報である場合には、最尤状態系列算出部４２は、最尤状態系列を求めるにあたり、式（１）に従って計算する、マルチストリームであるアノテーション用系列の出力確率分布bj(o[1],o[2],・・・,o[M])の系列重みWmを、各構成要素系列o[m]に等分配する値、すなわち、例えば、1/Mとする。
【０１７４】
したがって、アノテーション用系列が、シーン特徴量の構成要素系列o[1]と、テキスト特徴量の構成要素系列o[2]との２種類（２モーダル）で構成される場合、系列重みW1及びW2は、いずれも、0.5にされる。
【０１７５】
また、アノテーション用系列を構成するテキスト特徴量が、ダミーのデータである場合には、最尤状態系列算出部４２は、最尤状態系列を求めるにあたり、式（１）に従って計算する、マルチストリームであるアノテーション用系列の出力確率分布bj(o[1],o[2],・・・,o[M])の系列重みWmを、テキスト特徴量の構成要素系列については、0とし、他の構成要素系列については、例えば、1/(M-1)とする。
【０１７６】
ここで、式（１）では、系列重みWmの総和が1になるように、系列重みWmを設定するようになっているが、系列重みWmは、その総和が1以外の値になるように設定してもよい。
【０１７７】
単語選択部４３は、対象コンテンツのフレームを、順次、注目フレームとして、最尤状態系列算出部４２からの最尤状態系列の、注目フレームに対応する状態において観測される単語の頻度（出力確率）の多項分布である出力確率分布において、頻度が高い単語（観測される確率が高い単語）、すなわち、例えば、頻度が最も高い単語や、頻度が上位R（＞１）位以内の単語を、注目フレームに付与するアノテーション（となる単語）として選択する。
【０１７８】
単語選択部４３において、注目フレームについて、アノテーションが選択されることにより、注目フレームにアノテーションが付与される。
【０１７９】
そして、単語選択部４３は、対象コンテンツの各フレームに、アノテーションを付与すると、対象コンテンツのフレームごとに付与されたアノテーションを、アノテーション単語情報として出力する。
【０１８０】
単語選択部４３が出力するアノテーション単語情報は、例えば、コンテンツ記憶部１１に供給され、対象コンテンツに対応付けて記憶される。コンテンツ記憶部１１に記憶されたアノテーション単語情報は、例えば、対象コンテンツの再生時に、その対象コンテンツのフレームとともに、そのフレームに付与されるアノテーションを表示するのに用いることができる。
【０１８１】
［アノテーション付与処理］
【０１８２】
図９は、図８のアノテーション付与装置１４が対象コンテンツにアノテーションを付与するアノテーション付与処理を説明するフローチャートである。
【０１８３】
ステップＳ２１において、特徴量抽出部４１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、アノテーションの付与の対象とする対象コンテンツを選択し、コンテンツ記憶部１１から取得して、処理は、ステップＳ２２に進む。
【０１８４】
ステップＳ２２では、特徴量抽出部４１は、対象コンテンツが、説明テキストを取得することができるコンテンツであるか、又は、説明テキストを取得することができないコンテンツであるかを判定する。
【０１８５】
ステップＳ２２において、対象コンテンツが、説明テキストを取得することができるコンテンツであると判定された場合、すなわち、例えば、対象コンテンツが、字幕のテキストを含むコンテンツである場合、処理は、ステップＳ２３に進み、特徴量抽出部４１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量と、説明テキストとしての字幕のテキストのテキスト特徴量としての単語頻度情報とを抽出する。
【０１８６】
さらに、特徴量抽出部４１は、フレームごとのシーン特徴量とテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成し、そのアノテーション用系列を、最尤状態系列算出部４２に供給して、処理は、ステップＳ２３からステップＳ２５に進む。
【０１８７】
また、ステップＳ２２において、対象コンテンツが、説明テキストを取得することができないコンテンツであると判定された場合、すなわち、例えば、対象コンテンツが、字幕のテキストを含まないコンテンツである場合、処理は、ステップＳ２４に進み、特徴量抽出部４１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量を抽出する。
【０１８８】
さらに、特徴量抽出部４１は、例えば、ダミーのデータを、テキスト特徴量として用い、フレームごとのシーン特徴量とダミーのデータであるテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成し、そのアノテーション用系列を、最尤状態系列算出部４２に供給して、処理は、ステップＳ２４からステップＳ２５に進む。
【０１８９】
ステップＳ２５では、最尤状態系列算出部４２は、アノテーションモデル記憶部１３に記憶されたアノテーションモデル（マルチストリームHMM）の中から、対象コンテンツのカテゴリに一致するカテゴリのアノテーションモデル（対象コンテンツのカテゴリに一致するカテゴリの学習用コンテンツを用いて学習が行われたアノテーションモデル）を取得する。
【０１９０】
さらに、最尤状態系列算出部４２は、アノテーションモデル記憶部１３から取得したアノテーションモデルにおいて、特徴量抽出部４１からのアノテーション用系列が観測される最尤状態系列を求め、単語選択部４３に供給して、処理は、ステップＳ２５からステップＳ２６に進む。
【０１９１】
ステップＳ２６では、単語選択部４３は、対象コンテンツのフレームを、順次、注目フレームとして、最尤状態系列算出部４２からの最尤状態系列の、注目フレームに対応する状態において観測される単語の頻度の多項分布に基づいて、注目フレームに付与するアノテーション（となる単語）を選択する。
【０１９２】
すなわち、対象コンテンツの第tフレームが注目フレームであるとすると、単語選択部４３は、最尤状態系列のt番目の状態において観測される単語の頻度の多項分布において、頻度が高い単語を、第tフレームに付与するアノテーションとして選択し、これにより、第tフレームに、アノテーションが付与される。
【０１９３】
その後、対象コンテンツのフレームのすべてに、アノテーションが付与されると、処理は、ステップＳ２６からステップＳ２７に進み、単語選択部４３は、対象コンテンツのフレームごとに付与されたアノテーションと、そのフレームのフレーム番号（第tフレームのt）とを対応付け、アノテーション単語情報として出力し、アノテーション付与処理は、終了する。
【０１９４】
以上のように、アノテーション付与装置１４では、対象コンテンツの画像の各フレームの画像特徴量を抽出し、その画像特徴量を用いて、アノテーション用系列を構成し、アノテーションモデルにおいて、アノテーション用系列が観測される最尤状態系列を求め、最尤状態系列の状態のうちの、注目する注目フレームに対応する状態において観測される多項分布において頻度が高い単語を、注目フレームに付与するアノテーションとして選択するので、対象コンテンツへのアノテーションの付与を、容易に行うことができる。
【０１９５】
また、アノテーション付与装置１４では、対象コンテンツについて、説明テキストを取得することができる場合（説明テキストが存在する場合）には、対象コンテンツの画像の各フレームの画像特徴量と、説明テキストのテキスト特徴量とを抽出し、その画像特徴量、及び、テキスト特徴量を含むアノテーション用系列を構成し、対象コンテンツについて、説明テキストを取得することができない場合（説明テキストが存在しない場合）には、テキスト特徴量として、ダミーのデータを用い、画像特徴量、及び、ダミーのデータであるテキスト特徴量を含むアノテーション用系列を構成するので、説明テキストの存在の有無に関係なく、対象コンテンツ（の各フレーム）に、アノテーションを付与することができる。
【０１９６】
すなわち、例えば、説明テキストとしての字幕のテキストを含む対象コンテンツについては、その対象コンテンツの字幕のテキストに出現しない単語であっても、対象コンテンツの内容を適切に表現する単語が、アノテーションモデルにおいて観測される確率が高い場合には、その単語が、アノテーションとして、対象コンテンツに付与される。
【０１９７】
また、例えば、説明テキストとしての字幕のテキストを含まない対象コンテンツについては、説明テキストが存在しないのにもかかわらず、アノテーションが付与される。
【０１９８】
［フレーム検索装置１５の構成例］
【０１９９】
図１０は、図１のフレーム検索装置１５の構成例を示すブロック図である。
【０２００】
フレーム検索装置１５は、特徴量抽出部５１、最尤状態系列算出部５２、キーワード合致度算出部５３、キーワード供給部５４、及び、フレーム選択部５５を有する。
【０２０１】
特徴量抽出部５１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、所定のキーワードに内容が合致するフレームであるキーワードフレームを検索する対象とする対象コンテンツを、例えば、図８の特徴量抽出部４１と同様に選択し、コンテンツ記憶部１１から取得する（読み出す）。
【０２０２】
すなわち、特徴量抽出部５１は、例えば、ユーザの操作に従って、対象コンテンツを選択する。また、特徴量抽出部５１は、例えば、コンテンツ記憶部１１に記憶されたコンテンツのうちの、まだ、対象コンテンツとして選択されていないコンテンツを、対象コンテンツとして選択する。
【０２０３】
なお、コンテンツ記憶部１１に記憶されたコンテンツの中から対象コンテンツとして選択するコンテンツは、学習用コンテンツのように、説明テキストを取得することができるコンテンツであってもよいし、説明テキストを取得することができないコンテンツであってもよい。
【０２０４】
対象コンテンツが、説明テキストを取得することができるコンテンツである場合、すなわち、例えば、対象コンテンツが、字幕のテキストを含むコンテンツである場合、特徴量抽出部５１は、図８の特徴量抽出部４１と同様に、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量と、説明テキストとしての字幕のテキストのテキスト特徴量としての単語頻度情報とを抽出する。
【０２０５】
さらに、特徴量抽出部５１は、フレームごとのシーン特徴量とテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成し、そのアノテーション用系列を、最尤状態系列算出部５２に供給する。
【０２０６】
また、対象コンテンツが、説明テキストを取得することができないコンテンツである場合、特徴量抽出部５１は、図８の特徴量抽出部４１と同様に、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量を抽出し、ダミーのデータを、テキスト特徴量として用い、フレームごとのシーン特徴量とダミーのデータであるテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成する。
【０２０７】
そして、特徴量抽出部５１は、フレームごとのシーン特徴量とダミーのデータであるテキスト特徴量とから構成したアノテーション用系列を、最尤状態系列算出部５２に供給する。
【０２０８】
最尤状態系列算出部５２は、図８の最尤状態系列算出部４２と同様に、アノテーションモデル記憶部１３に記憶されたアノテーションモデル（マルチストリームHMM）において、特徴量抽出部５１からのアノテーション用系列が観測される最尤状態系列を求め、キーワード合致度算出部５３に供給する。
【０２０９】
キーワード合致度算出部５３には、最尤状態系列５２から、対象コンテンツについての最尤状態系列が供給される他、キーワード供給部５４から、所定の単語（群）が、キーワードとして供給される。
【０２１０】
キーワード合致度算出部５３は、対象コンテンツのフレームを、順次、注目フレームとして、最尤状態系列算出部５２からの最尤状態系列の、注目フレームに対応する状態において観測される単語の頻度の多項分布、つまり、注目フレームに対応する状態の出力確率分布において、キーワード供給部５４からのキーワードが観測される確率（頻度）を、注目フレームの内容がキーワードに合致しているキーワード合致度として算出し、フレーム選択部５５に供給する。
【０２１１】
キーワード供給部５４は、例えば、ユーザがキーボード等を操作することにより入力した単語を、対象コンテンツからフレームを検索するためのキーワードとして、そのキーワードを含む、検索を要求する検索クエリ(query)を、キーワード合致度算出部５３に供給する。
【０２１２】
フレーム選択部５５は、コンテンツ記憶部１１から、対象コンテンツを取得し、キーワード合致度選択部５３からのキーワード合致度に基づいて、対象コンテンツから、キーワード（検索クエリ）に合致するキーワードフレームを選択する。
【０２１３】
すなわち、フレーム選択部５５は、例えば、対象コンテンツから、キーワード合致度選択部５３からのキーワード合致度が所定の閾値（以下、検索閾値ともいう）より高いフレームを、キーワードフレームとして選択する。
【０２１４】
そして、フレーム選択部５５は、対象コンテンツから選択したキーワードフレームの時系列順の並びを、対象コンテンツのダイジェストであるキーワードダイジェストとして出力する。
【０２１５】
なお、検索閾値は、例えば、あらかじめ設定しておくこともできるし、ユーザの操作に応じて設定することもできる。
【０２１６】
フレーム選択部５５が出力するキーワードダイジェストは、例えば、ユーザの操作に応じて再生される。この場合、ユーザは、対象コンテンツのうちの、キーワードが内容を表すシーンだけを、ダイジェストとして、視聴することができる。
【０２１７】
ここで、キーワードダイジェストの再生については、キーワードダイジェストを構成するフレームを、その並び順（時系列順）に再生する他、キーワード合致度が高い順に再生することも可能である。
【０２１８】
［フレーム検索処理］
【０２１９】
図１１は、図１０のフレーム検索装置１５が対象コンテンツからキーワードフレームを検索し、キーワードダイジェストを生成するフレーム検索処理を説明するフローチャートである。
【０２２０】
キーワード供給部５５は、例えば、ユーザの操作に応じて、キーワードを含む検索クエリを、キーワード合致度算出部５３に供給する。
【０２２１】
また、ステップＳ３１ないしＳ３５において、図９のステップＳ２１ないしＳ２５とそれぞれ同様の処理が行われる。
【０２２２】
すなわち、ステップＳ３１において、特徴量抽出部５１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、アノテーションの付与の対象とする対象コンテンツを選択し、コンテンツ記憶部１１から取得して、処理は、ステップＳ３２に進む。
【０２２３】
ステップＳ３２では、特徴量抽出部５１は、対象コンテンツが、説明テキストを取得することができるコンテンツであるか、又は、説明テキストを取得することができないコンテンツであるかを判定する。
【０２２４】
ステップＳ３２において、対象コンテンツが、説明テキストを取得することができるコンテンツであると判定された場合、ステップＳ３３に進み、特徴量抽出部５１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量と、説明テキストのテキスト特徴量としての単語頻度情報とを抽出する。
【０２２５】
さらに、特徴量抽出部５１は、フレームごとのシーン特徴量とテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成し、そのアノテーション用系列を、最尤状態系列算出部５２に供給して、処理は、ステップＳ３３からステップＳ３５に進む。
【０２２６】
また、ステップＳ３２において、対象コンテンツが、説明テキストを取得することができないコンテンツであると判定された場合、処理は、ステップＳ３４に進み、特徴量抽出部５１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量を抽出する。
【０２２７】
さらに、特徴量抽出部５１は、例えば、ダミーのデータを、テキスト特徴量として用い、フレームごとのシーン特徴量とダミーのデータであるテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成し、そのアノテーション用系列を、最尤状態系列算出部５２に供給して、処理は、ステップＳ３４からステップＳ３５に進む。
【０２２８】
ステップＳ３５では、最尤状態系列算出部５２は、アノテーションモデル記憶部１３に記憶されたアノテーションモデルの中から、対象コンテンツのカテゴリに一致するカテゴリのアノテーションモデルを取得する。
【０２２９】
さらに、最尤状態系列算出部５２は、アノテーションモデル記憶部１３から取得したアノテーションモデルにおいて、特徴量抽出部５１からのアノテーション用系列が観測される最尤状態系列を求め、キーワード合致度算出部５３に供給して、処理は、ステップＳ３５からステップＳ３６に進む。
【０２３０】
ステップＳ３６では、キーワード合致度算出部５３は、対象コンテンツのフレームを、順次、注目フレームとして、最尤状態系列算出部５２からの最尤状態系列の、注目フレームに対応する状態において観測される単語の頻度の多項分布に基づいて、注目フレームのキーワード合致度を求める。
【０２３１】
すなわち、対象コンテンツの第tフレームが注目フレームであるとすると、キーワード合致度算出部５３は、最尤状態系列のt番目の状態において観測される単語の頻度の多項分布における、キーワード供給部５４からの検索クエリに含まれるキーワードの頻度（キーワードが観測される確率）を、第tフレームのキーワード合致度として求める。
【０２３２】
キーワード合致度算出部５３は、対象コンテンツのフレームのすべてについて、キーワード合致度を求めると、そのキーワード合致度を、フレーム選択部５５に供給して、処理は、ステップＳ３６からステップＳ３７に進む。
【０２３３】
ステップＳ３７では、フレーム選択部５５は、コンテンツ記憶部１１から、対象コンテンツを取得し、キーワード合致度選択部５３からのキーワード合致度に基づいて、対象コンテンツから、キーワード（検索クエリ）に合致するキーワードフレームを選択する。
【０２３４】
すなわち、フレーム選択部５５は、例えば、対象コンテンツから、キーワード合致度選択部５３からのキーワード合致度が検索閾値より高いフレームを、キーワードフレームとして選択し、そのキーワードフレームの時系列順の並びを、キーワードダイジェストとして出力して、フレーム検索処理を終了する。
【０２３５】
以上のように、フレーム検索装置１５では、対象コンテンツの画像の各フレームの画像特徴量を抽出し、その画像特徴量を用いて、アノテーション用系列を構成し、アノテーションモデルにおいて、アノテーション用系列が観測される最尤状態系列を求め、最尤状態系列の状態のうちの、注目する注目フレームに対応する状態において観測される単語の多項分布において、キーワードの頻度が検索閾値より高い場合に、注目フレームを、キーワードフレームとして選択するので、そのようなキーワードフレームだけのキーワードダイジェストを再生するという、アノテーションモデルを利用したアプリケーションを提供することができる。
【０２３６】
なお、フレーム検索装置１５でも、アノテーション付与装置１４と同様に、対象コンテンツについて、説明テキストを取得することができる場合には、対象コンテンツの画像の各フレームの画像特徴量と、説明テキストのテキスト特徴量とを抽出し、その画像特徴量、及び、テキスト特徴量を含むアノテーション用系列を構成し、対象コンテンツについて、説明テキストを取得することができない場合には、テキスト特徴量として、ダミーのデータを用い、画像特徴量、及び、ダミーのデータであるテキスト特徴量を含むアノテーション用系列を構成するので、説明テキストの存在の有無に関係なく、対象コンテンツから、キーワードダイジェストを生成することができる。
【０２３７】
ここで、図１０及び図１１では、検索クエリに、１つのキーワードだけが含まれることとして、フレーム選択部５５において、そのキーワードに合致するフレーム（キーワード合致度が検索閾値より高いフレーム）を、キーワードフレームとして、対象コンテンツから検索（選択）するようにしたが、検索クエリには、複数のキーワードからなる検索式を含め、その検索式に合致するフレームを、キーワードフレームとして、対象コンテンツから検索することができる。
【０２３８】
図１２ないし図１４は、複数のキーワードからなる検索式に合致するフレームを、キーワードフレームとして検索する方法を説明する図である。
【０２３９】
例えば、いま、４つのキーワードKW#1，KW#2，KW#3，KW#4からなる検索式(KW#1 AND KW#2) OR (KW#3 AND KW#4)を含む検索クエリが、キーワード供給部５４からキーワード合致度算出部５３に供給されたとする。
【０２４０】
ここで、AND検索式KW#1 AND KW#2は、キーワードKW#1とKW#2の両方に合致することを表し、OR検索式KW#1 OR KW#2は、キーワードKW#1又はKW#2に合致することを表す。検索式(KW#1 AND KW#2) OR (KW#3 AND KW#4)において、括弧()は、そのかっこ内の検索式を優先的に処理することを表す。
【０２４１】
検索式(KW#1 AND KW#2) OR (KW#3 AND KW#4)を含む検索クエリについては、キーワード合致度算出部５３は、その検索クエリに含まれるキーワードKW#1，KW#2，KW#3，KW#4のそれぞれに対して、対象コンテンツの各フレームのキーワード合致度を求める。
【０２４２】
図１２は、キーワードKW#1，KW#2，KW#3，KW#4のそれぞれに対して求められた、対象コンテンツの各フレームのキーワード合致度の例を示す図である。
【０２４３】
図１２では、キーワードKW#1に対する対象コンテンツの第tフレーム、第t+1フレーム、第t+2フレーム、第t+3フレーム、第t+4フレーム、及び、第t+5フレームのキーワード合致度は、それぞれ、100,150,20,0,0,0になっている。
【０２４４】
また、キーワードKW#2に対する対象コンテンツの第tフレームないし第t+5フレームのキーワード合致度は、それぞれ、50,200,30,0,0,0になっている。
【０２４５】
さらに、キーワードKW#3に対する対象コンテンツの第tフレームないし第t+5フレームのキーワード合致度は、それぞれ、0,0,0,150,40,200になっており、キーワードKW#4に対する対象コンテンツの第tフレームないし第t+5フレームのキーワード合致度は、それぞれ、0,0,0,200,100,50になっている。
【０２４６】
キーワード合致度算出部５３は、キーワードKW#1ないしKW#4のそれぞれに対するキーワード合致度を求めると、検索クエリのAND検索式については、キーワード合致度の数値minオペレーションを行い、検索クエリのOR検索式については、キーワード合致度の数値maxオペレーションを行うことによって、検索クエリ（の検索式）に対するキーワード合致度を求める。
【０２４７】
図１３は、AND検索式の演算としての数値minオペレーションを説明する図である。
【０２４８】
キーワード合致度算出部５３は、検索式(KW#1 AND KW#2) OR (KW#3 AND KW#4)のAND検索式KW#1 AND KW#2、及び、AND検索式KW#3 AND KW#4のそれぞれに従い、キーワード合致度の数値minオペレーションを行うことによって、AND検索式KW#1 AND KW#2に対するキーワード合致度と、AND検索式KW#3 AND KW#4に対するキーワード合致度とを求める。
【０２４９】
すなわち、キーワード合致度算出部５３は、AND検索式KW#1 AND KW#2に従い、対象コンテンツの各フレームについて、キーワードKW#1に対するキーワード合致度と、キーワードKW#2に対するキーワード合致度とのうちの、値が小さい方のキーワード合致度を、AND検索式KW#1 AND KW#2に対するキーワード合致度として選択する。
【０２５０】
同様に、キーワード合致度算出部５３は、AND検索式KW#3 AND KW#4に従い、対象コンテンツの各フレームについて、キーワードKW#3に対するキーワード合致度と、キーワードKW#4に対するキーワード合致度とのうちの、値が小さい方のキーワード合致度を、AND検索式KW#3 AND KW#4に対するキーワード合致度として選択する。
【０２５１】
その結果、図１３に示すように、第tフレームないし第t+5フレームの、AND検索式KW#1 AND KW#2に対するキーワード合致度は、それぞれ、100,150,100,0,0,0となり、AND検索式KW#3 AND KW#4に対するキーワード合致度は、それぞれ、0,0,0,150,40,50となる。
【０２５２】
その後、キーワード合致度算出部５３は、検索式(KW#1 AND KW#2) OR (KW#3 AND KW#4)のOR検索式に従い、キーワード合致度の数値maxオペレーションを行うことによって、そのOR検索式に対するキーワード合致度を求める。
【０２５３】
図１４は、OR検索式の演算としての数値maxオペレーションを説明する図である。
【０２５４】
キーワード合致度算出部５３は、OR検索式(KW#1 AND KW#2) OR (KW#3 AND KW#4)に従い、対象コンテンツの各フレームについて、AND検索式KW#1 AND KW#2に対するキーワード合致度と、AND検索式KW#3 AND KW#4に対するキーワード合致度とのうちの、値が大きい方のキーワード合致度を、OR検索式(KW#1 AND KW#2) OR (KW#3 AND KW#4)に対するキーワード合致度として選択する。
【０２５５】
その結果、図１４に示すように、第tフレームないし第t+5フレームの、OR検索式(KW#1 AND KW#2) OR (KW#3 AND KW#4)に対するキーワード合致度、すなわち、検索クエリの検索式(KW#1 AND KW#2) OR (KW#3 AND KW#4)に対するキーワード合致度は、それぞれ、100,150,100,150,40,50となる。
【０２５６】
キーワード合致度算出部５３は、以上のようにして、検索クエリ（の検索式(KW#1 AND KW#2) OR (KW#3 AND KW#4)）に対するキーワード合致度を求めると、その検索クエリに対するキーワード合致度を、フレーム選択部５５（図１０）に供給する。
【０２５７】
フレーム選択部５５は、キーワード合致算出部５３からの、検索クエリに対するキーワード合致度が検索閾値より高いフレームを、検索クエリに合致するキーワードフレームとして、対象コンテンツから選択する。
【０２５８】
例えば、いま、検索閾値が、90に設定されていることとすると、図１４では、第tフレームないし第t+5フレームの中の、検索クエリに対するキーワード合致度が検索閾値より高い第tフレームないし第t+3フレームが、キーワードフレームとして選択される。
【０２５９】
［表示制御装置１６の構成例］
【０２６０】
図１５は、図１の表示制御装置１６の構成例を示すブロック図である。
【０２６１】
表示制御装置１６は、特徴量抽出部６１、最尤状態系列算出部６２、及び、表示制御部６３を有する。
【０２６２】
特徴量抽出部６１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、アノテーションの付与の対象とする対象コンテンツを、例えば、ユーザの操作に従って選択し、コンテンツ記憶部１１から取得する（読み出す）。
【０２６３】
そして、特徴量抽出部６１は、図８の特徴量抽出部４１と同様に、対象コンテンツから、画像特徴量としてのシーン特徴量を抽出し、そのシーン特徴量を用いて、アノテーション用系列を構成して、最尤状態系列算出部６２に供給する。
【０２６４】
すなわち、対象コンテンツが、説明テキストを取得することができるコンテンツである場合、特徴量抽出部６１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量と、説明テキストのテキスト特徴量としての単語頻度情報とを抽出する。
【０２６５】
さらに、特徴量抽出部６１は、フレームごとのシーン特徴量とテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成し、そのアノテーション用系列を、最尤状態系列算出部６２に供給する。
【０２６６】
また、対象コンテンツが、説明テキストを取得することができないコンテンツである場合、特徴量抽出部６１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量を抽出し、ダミーのデータを、テキスト特徴量として用い、フレームごとのシーン特徴量とダミーのデータであるテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成する。
【０２６７】
そして、特徴量抽出部６１は、フレームごとのシーン特徴量とダミーのデータであるテキスト特徴量とから構成したアノテーション用系列を、最尤状態系列算出部６２に供給する。
【０２６８】
最尤状態系列算出部６２は、図８の最尤状態系列算出部４２と同様に、アノテーションモデル記憶部１３に記憶されたアノテーションモデル（マルチストリームHMM）において、特徴量抽出部６１からのアノテーション用系列が観測される最尤状態系列を求め、表示制御部６３に供給する。
【０２６９】
表示制御部６３は、例えば、図８の単語選択部４３と同様に、最尤状態系列算出部６２からの最尤状態系列を用いて、対象コンテンツのフレームに付与されるアノテーションを求め（アノテーションとなる単語を選択し）、図示せぬディスプレイに表示させる。
【０２７０】
すなわち、表示制御部６３は、対象コンテンツのフレームを、順次、注目フレームとして、最尤状態系列算出部６２からの最尤状態系列の、注目フレームに対応する状態において観測される単語の頻度（出力確率）の多項分布である出力確率分布において、頻度が高い単語（観測される確率が高い単語）を、注目フレームに付与するアノテーション（となる単語）として選択することにより、注目フレームにアノテーションを付与する。
【０２７１】
そして、表示制御部６３は、対象コンテンツの各フレームに付与されたアノテーションを、例えば、アノテーションモデルの状態ごとに、ディスプレイに表示させる。
【０２７２】
ここで、対象コンテンツのフレームのうちの、ある状態siに対応するフレーム（最尤状態系列を構成する状態の中に、アノテーションモデルの状態siが存在する場合の、その状態siに対応するフレームすべて）については、その状態siの出力確率分布に基づいて、アノテーションが付与されるので、同一の単語が、アノテーションとして付与される。
【０２７３】
したがって、フレームには、アノテーションモデルの状態の単位で、アノテーションが付与されるので（同一の状態siに対応するフレームには、同一のアノテーションが付与されるので）、表示制御部６３では、対象コンテンツの各フレームに付与されたアノテーションを、アノテーションモデルの状態ごとに、ディスプレイに表示させることができる。
【０２７４】
対象コンテンツの各フレームに付与されたアノテーションを、アノテーションモデルの状態ごとに表示する方法としては、例えば、モデルマップを用いる方法がある。
【０２７５】
モデルマップは、アノテーションモデルの状態が配置されるマップであり、表示制御部６３は、モデルマップ上の状態の位置の座標である状態座標を求め、その状態座標の位置に、対応する状態を配置したモデルマップを描画する。
【０２７６】
図１６は、表示制御部６３で描画されるモデルマップの例を示す図である。
【０２７７】
ここで、アノテーションモデルにおいて、対象コンテンツから得られるアノテーション用系列が観測される最尤状態系列（以下、対象コンテンツに対するアノテーションモデルの最尤状態系列ともいう）の先頭を基準とする時刻tの状態（最尤状態系列を構成する、先頭からt番目の状態）を、s(t)と表すとともに、対象コンテンツのフレーム数を、Tと表すこととする。
【０２７８】
この場合、対象コンテンツに対するアノテーションモデルの最尤状態系列は、T個の状態s(1)，S(2)，・・・，s(T)の系列であり、そのうちのt番目の状態（時刻tの状態）s(t)は、対象コンテンツの時刻tのフレーム（フレームt）に対応する。
【０２７９】
また、アノテーションモデルの状態の総数をNと表すこととすると、時刻tの状態s(t)は、アノテーションモデルを構成するN個の状態s1，s2，・・・，sNのうちのいずれかである。
【０２８０】
いま、対象コンテンツに対するアノテーションモデルの最尤状態系列の時刻tの状態s(t)が、N個の状態s1ないしsNのうちのi番目の状態siであるとすると、時刻tのフレームは、状態siに対応する。
【０２８１】
したがって、最尤状態系列が求められることにより、対象コンテンツの各フレームは、アノテーションモデルのN個の状態s1ないしsNのうちのいずれかに対応付けられる。
【０２８２】
対象コンテンツに対するアノテーションモデルの最尤状態系列の実体は、対象コンテンツの各時刻tのフレームが対応する、N個の状態s1ないしsNのうちのいずれかの状態の状態IDの系列である。
【０２８３】
表示制御部６３（図１５）は、アノテーションモデル記憶部１３に記憶されたアノテーションモデル（最尤状態系列を求めるのに用いられたアノテーションモデル）の１つの状態siから他の１つの状態sjへの状態間距離dij*を、１つの状態siから他の１つの状態sjへの状態遷移確率aijに基づいて求める。
【０２８４】
ここで、表示制御部６３は、例えば、状態遷移確率aijが所定の閾値（例えば、(1/N)×10-2）より大である場合、状態間距離dij*を、例えば、0.1（小さい値）とし、状態遷移確率aijが所定の閾値以下である場合、状態間距離dij*を、例えば、1.0（大きい値）とする。
【０２８５】
表示制御部６３は、アノテーションモデルのN個の状態の任意の状態siから任意の状態sjへの状態間距離dij*を求めると、その状態間距離dij*をコンポーネントとするN行N列の行列（状態間距離行列）を用いて、状態座標Yiを求める。
【０２８６】
すなわち、表示制御部６３は、アノテーションモデルのN個の状態s1ないしsNが配置されるマップであるモデルマップ上の、１つの状態siから他の１つの状態sjへのユークリッド距離dijと、状態間距離行列の状態間距離dij*との誤差が小さくなるように、モデルマップ上の状態siの位置の座標である状態座標Yiを求める。
【０２８７】
具体的には、例えば、表示制御部６３は、ユークリッド距離dijと、状態間距離dij*との統計的な誤差に比例するSammon Mapのエラー関数Eを最小にするように、状態座標Yiを求める。
【０２８８】
ここで、Sammon Mapは、多次元尺度法の１つであり、その詳細は、例えば、J. W. Sammon, JR., "A Nonlinear Mapping for Data Structure Analysis", IEEE Transactions on Computers, vol. C-18, No. 5, May 1969に記載されている。
【０２８９】
Sammon Mapでは、例えば、式（４）のエラー関数Eを最小にするように、例えば、２次元のマップであるモデルマップ上の状態座標Yi=(xi,yi)（x座標とy座標）が求められる。
【０２９０】
【数４】
0005691289.tif 000005
・・・（４）
【０２９１】
ここで、式（４）において、Nは、アノテーションモデルの状態の総数を表し、i及びjは、1ないしNの範囲の整数値をとる、状態を特定する状態IDである。
【０２９２】
dij*は、状態間距離行列の第i行第j列の要素（コンポーネント）を表し、状態siから状態sjへの状態間距離を表す。dijは、モデルマップ上の、状態siの位置の座標（状態座標）Yiと、状態sjの位置の座標Yjとの間のユークリッド距離を表す。
【０２９３】
表示制御部６３は、式（４）のエラー関数Eが最小になるように、状態座標Yi(i=1,2,・・・,N)を、勾配法の反復適用により求める。
【０２９４】
そして、表示制御部６３は、状態座標Yiの位置に、対応する状態si（の画像）を配置したモデルマップ（のグラフィクス）を描画する。また、表示制御部６３は、モデルマップ上の状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画する。
【０２９５】
さらに、表示制御部６３は、モデルマップ上の状態siの位置に、その状態siに対応するフレームを代表する代表画像や、その状態siに対応するフレームに付与されたアノテーションを配置し、ディスプレイに表示させる。
【０２９６】
なお、表示制御部６３は、コンテンツ記憶部１１から対象コンテンツを取得し、その対象コンテンツの、状態siに対応するフレームのうちの、表示時刻（再生時刻）が最も早いフレーム（コンテンツの、より先頭側のフレーム）を縮小することで得られるサムネイル等を、状態siに対応するフレームの代表画像として生成する。
【０２９７】
ここで、状態siに対応するフレームの代表画像としては、状態siに対応するフレームのうちの、表示時刻が最も早いフレーム（先頭のフレーム）だけを用いた静止画のサムネイルの他、例えば、先頭側の複数フレームを用いた、アニメーションGIFのような動画のサムネイルを採用することが可能である。
【０２９８】
図１６は、表示制御部６３によって表示されるモデルマップのみの表示例（代表画像とアノテーションが配置されていないモデルマップの表示例）を示している。
【０２９９】
図１６のモデルマップにおいて、楕円は、状態を表し、楕円どうしを結ぶ線分（点線）は、状態遷移を表す。また、楕円に付してある数字は、その楕円が表す状態の状態IDを表す。
【０３００】
表示制御部６３は、上述したようにして求められる状態座標Yiの位置に、対応する状態si（の画像（図１６では、楕円））を配置したモデルマップ（のグラフィクス）を描画する。
【０３０１】
さらに、表示制御部６３は、モデルマップ上の状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画する。すなわち、表示制御部６３は、モデルマップ上の状態siから他の状態sjへの状態遷移確率が、所定の閾値より大である場合には、それらの状態siとsjとの間を結ぶ線分を描画する。
【０３０２】
ここで、モデルマップにおいて、状態等は、強調して描画することができる。
【０３０３】
すなわち、図１６のモデルマップにおいて、状態siは、楕円（円を含む）等で描画されるが、この状態siを表す楕円等は、例えば、その状態siの出力確率分布bi(o)の最大値等に応じて、半径や色を変化させて描画することができる。
【０３０４】
また、モデルマップ上の状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分は、状態遷移確率の大きさに応じて、線分の幅や色を変化させて描画することができる。
【０３０５】
ところで、図１５の表示制御部６３において、式（４）のエラー関数Eを、そのまま採用し、エラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めた場合、状態（を表す楕円）は、図１６に示したように、モデルマップ上に、円状に配置される。
【０３０６】
そして、この場合、円状のモデルマップの円周付近（外側）（外縁）に、状態が密集し、状態の配置が見にくくなって、いわば、可視性が損なわれることがある。
【０３０７】
そこで、図１５の表示制御部６３では、式（４）のエラー関数Eを修正し、修正後のエラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めることができる。
【０３０８】
すなわち、表示制御部６３では、ユークリッド距離dijが、所定の閾値THd（例えば、THd=1.0等）より大であるかどうかを判定する。
【０３０９】
そして、ユークリッド距離dijが、所定の閾値THdより大でない場合には、表示制御部６３は、式（４）のエラー関数の演算において、ユークリッド距離dijとして、そのユークリッド距離dijを、そのまま用いる。
【０３１０】
一方、ユークリッド距離dijが、所定の閾値THdより大である場合には、表示制御部６３は、式（４）のエラー関数の演算において、ユークリッド距離dijとして、状態間距離dij*を用いる（dij＝dij*とする）（ユークリッド距離dijを、状態間距離dij*に等しい距離とする）。
【０３１１】
この場合、モデルマップにおいて、ユークリッド距離dijが、ある程度近い（閾値THdより大でない）２つの状態si及びsjに注目したときには、状態座標Yi及びYjは、ユークリッド距離dijと状態間距離dij*とが一致するように（ユークリッド距離dijが状態間距離dij*に近づくように）変更される。
【０３１２】
一方、モデルマップにおいて、ユークリッド距離dijが、ある程度遠い（閾値THdより大の）２つの状態si及びsjに注目したときには、状態座標Yi及びYjは、変更されない。
【０３１３】
その結果、ユークリッド距離dijが、ある程度遠い２つの状態si及びsjは、ユークリッド距離dijが遠いままとされるので、図１６に示したように、モデルマップの円周（外縁）付近に、状態が密集することによって、可視性が損なわれることを防止することができる。
【０３１４】
図１７は、修正後のエラー関数Eを用いて得られるモデルマップの表示例を示す図である。
【０３１５】
図１７のモデルマップによれば、円周付近に、状態が密集していないことを確認することができる。
【０３１６】
図１８及び図１９は、表示制御部６３によって表示される、代表画像とアノテーションとが配置されたモデルマップの表示例を示す図である。
【０３１７】
なお、図１９は、図１８の太線の楕円で囲む部分を拡大した拡大図である。
【０３１８】
図１８及び図１９では、状態siは、矩形で描画されている。
【０３１９】
但し、図１８及び図１９のモデルマップでは、アノテーションモデルの状態の中で、対応するフレーム（対象コンテンツのフレーム）が存在する状態だけが、矩形で描画されており、対応するフレームが存在しない状態は、描画されていない（状態遷移を表す線分どうしの交点として描画されている）。
【０３２０】
また、対応するフレームが存在する状態を表す矩形には、その状態に対応するフレームの代表画像が表示（配置）され、さらに、下部には、その状態に対応するフレームに付与されたアノテーションとしての単語が表示されている。
【０３２１】
表示制御部６３では、例えば、ユーザが再生を要求したコンテンツを、対象コンテンツとして、その対象コンテンツについて、図１８及び図１９に示したような、代表画像とアノテーションとが配置されたモデルマップを表示させることができる。
【０３２２】
さらに、表示制御部６３では、現在再生されているフレーム（以下、再生フレームともいう）に対応する状態については、代表画像に代えて、再生フレームの画像を、代表画像より大きく表示させることができる。
【０３２３】
また、表示制御部６３では、再生フレームに対応する状態については、アノテーションも、他の状態より大きく表示させることができる。
【０３２４】
さらに、表示制御部６３では、ユーザにより、代表画像が指定されたときに、その代表画像が表示された状態に対応するフレームのうちの、例えば、表示時刻が最も早いフレームから再生を開始するように、対象コンテンツの再生制御を行うことができる。
【０３２５】
ここで、アノテーションモデルの状態に対応するフレームに付与されるアノテーションを、状態のアノテーションともいい、アノテーションモデルの状態に対応するフレームの代表画像を、状態の代表画像ともいう。
【０３２６】
以上のように、対象コンテンツについて、アノテーションモデルの状態ごとに、その状態のアノテーション及び代表画像を表示することにより、ユーザは、アノテーションや代表画像を参照することにより、興味がある内容のフレームを（の集まり）、容易に探し出すことができ、そのフレームからの再生を行うことができる。
【０３２７】
したがって、ユーザが、状態のアノテーションを見て、再生を開始するフレームを指定するという、アノテーションを利用したアプリケーションを提供することができる。
【０３２８】
［表示制御処理］
【０３２９】
図２０は、図１５の表示制御装置１６がモデルマップを表示させる表示制御処理を説明するフローチャートである。
【０３３０】
ステップＳ５１ないしＳ５５において、表示制御装置１６では、図９のステップＳ２１ないしＳ２５とそれぞれ同様の処理が行われる。
【０３３１】
すなわち、ステップＳ５１において、特徴量抽出部６１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、ユーザの操作に従って再生が指示されたコンテンツを、アノテーションの付与の対象とする対象コンテンツとして選択し、コンテンツ記憶部１１から取得して、処理は、ステップＳ５２に進む。
【０３３２】
ステップＳ５２では、特徴量抽出部６１は、対象コンテンツが、説明テキストを取得することができるコンテンツであるか、又は、説明テキストを取得することができないコンテンツであるかを判定する。
【０３３３】
ステップＳ５２において、対象コンテンツが、説明テキストを取得することができるコンテンツであると判定された場合、ステップＳ５３に進み、特徴量抽出部６１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量と、説明テキストのテキスト特徴量としての単語頻度情報とを抽出する。
【０３３４】
さらに、特徴量抽出部６１は、フレームごとのシーン特徴量とテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成し、そのアノテーション用系列を、最尤状態系列算出部６２に供給して、処理は、ステップＳ５３からステップＳ５５に進む。
【０３３５】
また、ステップＳ５２において、対象コンテンツが、説明テキストを取得することができないコンテンツであると判定された場合、処理は、ステップＳ５４に進み、特徴量抽出部６１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量を抽出する。
【０３３６】
さらに、特徴量抽出部６１は、例えば、ダミーのデータを、テキスト特徴量として用い、フレームごとのシーン特徴量とダミーのデータであるテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成し、そのアノテーション用系列を、最尤状態系列算出部６２に供給して、処理は、ステップＳ５４からステップＳ５５に進む。
【０３３７】
ステップＳ５５では、最尤状態系列算出部６２は、アノテーションモデル記憶部１３に記憶されたアノテーションモデルの中から、対象コンテンツのカテゴリに一致するカテゴリのアノテーションモデルを取得する。
【０３３８】
さらに、最尤状態系列算出部６２は、アノテーションモデル記憶部１３から取得したアノテーションモデルにおいて、特徴量抽出部６１からのアノテーション用系列が観測される最尤状態系列を求め、表示制御部６３に供給して、処理は、ステップＳ５５からステップＳ５６に進む。
【０３３９】
ここで、対象コンテンツについて、最尤状態系列が求められることにより、対象コンテンツの第tフレームは、アノテーションモデルの状態のうちの、最尤状態系列のt番目の状態になっている状態に対応付けられる。
【０３４０】
ステップＳ５６では、表示制御部６３は、コンテンツ記憶部１１から対象コンテンツを取得する。さらに、表示制御部６３は、アノテーションモデル記憶部１３に記憶されたアノテーションモデルの各状態について、その状態に対応する、対象コンテンツのフレームを用いて、状態（に対応するフレーム）の代表画像を生成し、処理は、ステップＳ５６からステップＳ５７に進む。
【０３４１】
すなわち、いま、アノテーションモデルのある状態に注目すると、表示制御部６３は、注目する注目状態に対応する、対象コンテンツのフレームのうちの、表示時刻が最も早いフレームを縮小することで得られるサムネイルを、注目状態の代表画像として生成する。
【０３４２】
なお、注目状態に対応するフレームが存在しない場合（最尤状態系列に、注目状態が存在しない場合）、注目状態については、代表画像は生成されない。
【０３４３】
ステップＳ５７では、表示制御部６３は、アノテーション付与装置１４（図１８）と同様に、対象コンテンツのフレームを、順次、注目フレームとして、最尤状態系列算出部６２からの最尤状態系列の、注目フレームに対応する状態において観測される単語の頻度の多項分布に基づいて、頻度（出力確率）が高い単語を、注目フレームに付与するアノテーション（となる単語）として選択し、これにより、注目フレームに、アノテーションを付与する。
【０３４４】
ここで、ある状態に対応するフレームには、同一のアノテーションが付与されるので、対象コンテンツの各フレームに、アノテーションを付与することは、状態にアノテーションを付与することと等価である。
【０３４５】
なお、状態へのアノテーションの付与は、その状態に対応するフレームへのアノテーションの付与と同様に、その状態において観測される単語の頻度の多項分布に基づいて、頻度（出力確率）が高い単語を、状態に付与するアノテーション（となる単語）として選択することにより行うことができる。
【０３４６】
ステップＳ５７において、対象コンテンツのフレームのすべてに、アノテーションが付与されると、処理は、ステップＳ５８に進み、表示制御部６３は、アノテーションモデル記憶部１３に記憶されたアノテーションモデル（対象コンテンツについて、最尤状態系列を求めるのに用いられたアノテーションモデル）を用い、上述したようにして、モデルマップ（図１６、図１７）を生成する。
【０３４７】
そして、処理は、ステップＳ５８からステップＳ５９に進み、表示制御部６３は、モデルマップを、ディスプレイに表示させる。
【０３４８】
さらに、表示制御部６３は、ステップＳ５６で生成された代表画像、及び、ステップＳ５７で求められたアノテーションを用い、モデルマップ上の各状態（但し、対象コンテンツについて求められた最尤状態系列を構成しない状態を除く）に、その状態の代表画像とアノテーションとを表示させる。
【０３４９】
その後、処理は、ステップＳ５９からステップＳ６０に進み、表示制御部６３は、対象コンテンツの再生制御を行う。
【０３５０】
すなわち、表示制御部６３は、例えば、対象コンテンツの最初のフレームから再生を開始させ、図１８に示したように、モデルマップ上の、現在再生されているフレーム（再生フレーム）に対応する状態については、代表画像に代えて、再生フレームの画像を、代表画像より大きく表示させるとともに、アノテーションを、他の状態より大きく表示させる。
【０３５１】
さらに、表示制御部６３は、例えば、ユーザにより、モデルマップ上の、代表画像及びアノテーションが表示された状態が指定されると、いま、再生フレームになっているフレームの再生を終了させ、ユーザにより指定された状態に対応するフレームのうちの、表示時刻が最も早いフレームを、再生フレームとして、再生を再開させる。
【０３５２】
以上のように、表示制御装置１６では、対象コンテンツの画像の各フレームの画像特徴量を抽出し、その画像特徴量を用いて、アノテーション用系列を構成し、アノテーションモデルにおいて、アノテーション用系列が観測される最尤状態系列を求め、最尤状態系列の状態のうちの、注目する注目フレームに対応する状態において観測される多項分布において頻度が高い単語を、注目フレームに付与するアノテーションとして選択し、例えば、モデルマップを用いた表示形式（図１８、図１９）で、アノテーションモデルの状態ごとに、状態に対応するフレームに付与するアノテーションを表示させるので、ユーザは、対象コンテンツに付与されたアノテーションを、一覧することができる。
【０３５３】
また、表示制御装置１６によれば、アノテーションが表示されるモデルマップ上の状態が指定されると、その状態に対応するフレームの再生を開始するという、アノテーションを利用したアプリケーションを提供することができる。
【０３５４】
さらに、表示制御装置１６でも、アノテーション付与装置１４、及び、フレーム検索装置１５と同様に、対象コンテンツについて、説明テキストを取得することができる場合には、対象コンテンツの画像の各フレームの画像特徴量と、説明テキストのテキスト特徴量とを抽出し、その画像特徴量、及び、テキスト特徴量を含むアノテーション用系列を構成し、対象コンテンツについて、説明テキストを取得することができない場合には、テキスト特徴量として、ダミーのデータを用い、画像特徴量、及び、ダミーのデータであるテキスト特徴量を含むアノテーション用系列を構成するので、説明テキストの存在の有無に関係なく、対象コンテンツについて、アノテーションを表示することができる。
【０３５５】
ここで、対象コンテンツのフレームに付与されたアノテーションの、アノテーションモデルの状態ごとの表示は、モデルマップを用いた表示形式（図１８、図１９）以外の表示形式（ビュー）で行うことが可能である。
【０３５６】
すなわち、対象コンテンツのフレームに付与されたアノテーションの、アノテーションモデルの状態ごとの表示は、状態のアノテーションを、例えば、一方向に並べた表示形式や、２次元の表形式に並べた表示形式等で表示することが可能である。
【０３５７】
なお、学習装置１２の特徴量抽出部２１（図２）、アノテーション付与装置１４の特徴量抽出部４１（図８）、フレーム検索装置１５の特徴量抽出部５１（図１０）、及び、表示制御装置１６の特徴量抽出部６１（図１５）は、学習装置１２の特徴量抽出部２１（図２）によって兼用することが可能である。
【０３５８】
また、アノテーション付与装置１４の最尤状態系列算出部４２（図８）、フレーム検索装置１５の最尤状態系列算出部５２（図１０）、及び、表示制御装置１６の最尤状態系列算出部６２（図１６）は、そのうちのいずれか１つによって兼用することが可能である。
【０３５９】
［特徴量抽出部２１の第２の構成例］
【０３６０】
図２１は、図２の特徴量抽出部２１の第２の構成例を示すブロック図である。
【０３６１】
なお、図２１において、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３６２】
図２１の特徴量抽出部２１は、画像取得部３１、説明テキスト取得部３３、テキスト特徴量抽出部３４、及び、同期部３５を有する点で、図３の場合と共通する。
【０３６３】
但し、図２１の特徴量抽出部２１は、画像特徴量抽出部３２に代えて、画像特徴量抽出部１０１が設けられているとともに、音声取得部１０２、及び、音声特徴量抽出部１０３が新たに設けられている点で、図３の場合と相違する。
【０３６４】
画像特徴量抽出部１０１は、第１画像特徴量抽出部１０１１、第２画像特徴量抽出部１０１２、及び、第３画像特徴量抽出部１０１３を有し、画像取得部３１から供給される画像の各フレームから、複数種類の画像特徴量として、例えば、第１画像特徴量、第２画像特徴量、及び、第３画像特徴量を抽出し、同期部３５に供給する。
【０３６５】
すなわち、第１画像特徴量抽出部１０１１は、画像取得部３１からの画像の各フレームを、時間順に、注目フレームに選択し、注目フレームから、例えば、図３の画像特徴量抽出部３２と同様にして、シーン特徴量を、第１画像特徴量として抽出し、同期部３５に供給する。
【０３６６】
第２画像特徴量抽出部１０１２は、画像取得部３１からの画像の各フレームを、時間順に、注目フレームに選択し、注目フレームから、例えば、人物が映っている領域を囲む最小の矩形の領域である人物矩形領域を検出する。
【０３６７】
さらに、第２画像特徴量抽出部１０１２は、注目フレームを、複数の小領域であるサブ領域に分割し、各サブ領域について、そのサブ領域に存在する人物矩形領域のピクセル数を、サブ領域のピクセル数で除算することによって、サブ領域に占める人物矩形領域の割合（以下、人物矩形領域率ともいう）を求める。
【０３６８】
そして、第２画像特徴量抽出部１０１２は、注目フレームの各サブ領域の人物矩形領域率をコンポーネントとするベクトルを構成し、そのベクトルを、注目フレームから抽出された第２画像特徴量として、同期部３５に供給する。
【０３６９】
第３特徴量抽出部１０１２は、画像取得部３１からの画像の各フレームを、時間順に、注目フレームに選択し、注目フレームから、例えば、人物の顔が映っている領域を囲む最小の矩形の領域である顔矩形領域を検出する。
【０３７０】
さらに、第３画像特徴量抽出部１０１３は、注目フレームを、複数の小領域であるサブ領域に分割し、各サブ領域について、そのサブ領域に存在する顔矩形領域のピクセル数を、サブ領域のピクセル数で除算することによって、サブ領域に占める顔矩形領域の割合（以下、顔矩形領域率ともいう）を求める。
【０３７１】
そして、第３画像特徴量抽出部１０１３は、注目フレームの各サブ領域の顔矩形領域率をコンポーネントとするベクトルを構成し、そのベクトルを、注目フレームから抽出された第３画像特徴量として、同期部３５に供給する。
【０３７２】
なお、画像特徴量抽出部１０１において抽出する複数種類の画像特徴量は、上述したような第１画像特徴量ないし第３画像特徴量に限定されるものではない。
【０３７３】
音声取得部１０２は、例えば、コンテンツ記憶部１１から、画像取得部３１が取得するのと同一の学習用コンテンツを取得し、その学習用コンテンツから、音声を逆多重化（分離）することにより取得して、音声特徴量抽出部１０３に供給する。
【０３７４】
音声特徴量抽出部１０３は、音声取得部１０２からの音声から、音声特徴量を抽出し、同期部３５に供給する。
【０３７５】
すなわち、例えば、音声特徴量抽出部１０３は、音声分類（sound classification, audio classification)の分野で利用されているような、音声からシーン（例えば、「音楽」、「非音楽」、「ノイズ」、「人の声」、「人の声＋音楽」、および「観衆」など）を分類するのに適した音声特徴量を生成するための原始的な特徴量であるプリミティブ特徴量を抽出する。
【０３７６】
ここで、プリミティブ特徴量としては、例えば、音声のエネルギーや、ゼロ交差レート、スペクトル重心等がある。プリミティブ特徴量の抽出の方法については、例えば、「Zhu Liu; Jincheng Huang; Yao Wang; Tsuhan Chen, Audio feature extraction and analysis for scene classification, First Workshop on Multimedia Signal Processing, 1997., IEEE Volume, Issue , 23-25 Jun 1997 Page(s):343 - 348」、および「Brezeale, D. Cook, D.J., Automatic Video Classification: A Survey of the Literature, IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, May 2008, Volume: 38, Issue: 3, pp. 416-430」に記載されている。
【０３７７】
音声特徴量抽出部１０３は、例えば、0.05秒等の時間長の窓を、0.05秒等の一定間隔でずらしながら、窓内の音声から、１種類以上のプリミティブ特徴量を抽出する。
【０３７８】
さらに、音声特徴量抽出部１０３は、プリミティブ特徴量を抽出した時刻を、順次、注目時刻として注目し、注目時刻の前後の0.5秒等の間のプリミティブ特徴量の平均値と分散等の統計量を求め、その平均値と分散をコンポーネントとするベクトルを、注目時刻の音声特徴量として、同期部３５に供給する。
【０３７９】
なお、図２１において、同期部３５は、画像特徴量抽出部１０１から供給される第１画像特徴量ないし第３画像特徴量、音声特徴量抽出部１０３から供給される音声特徴量、及び、テキスト特徴量抽出部３４から供給されるテキスト特徴量を、フレーム単位で同期させて出力する。
【０３８０】
すなわち、同期部３５は、例えば、注目する注目フレームから抽出された第１画像特徴量ないし第３画像特徴量、注目フレームの開始時刻等の所定の時刻に最も近い時刻の音声特徴量、及び、注目フレーム以降の時刻の位置の窓であって、注目フレームに時間的に最も近い位置の窓から得られたテキスト特徴量のセットが、注目フレームの第１画像特徴量ないし第３画像特徴量、音声特徴量、及び、テキスト特徴量のセットになるように、画像特徴量抽出部１０１から供給される第１画像特徴量ないし第３画像特徴量、音声特徴量抽出部１０３から供給される音声特徴量、及び、テキスト特徴量抽出部３４から供給されるテキスト特徴量を同期させ、モデル学習部２２（図２）に出力する。
【０３８１】
この場合、モデル学習部２２は、特徴量抽出部２１から供給される学習用コンテンツの第１画像特徴量ないし第３画像特徴量、音声特徴量、及び、テキスト特徴量を含むマルチストリームを、コンテンツにアノテーションを付与するためのアノテーション用のアノテーション用系列として、そのアノテーション用系列を用いて、マルチストリームHMMであるアノテーションモデルの学習を行う。
【０３８２】
したがって、この場合、モデル学習部２２で学習に用いられるマルチストリームであるアノテーション用系列は、第１画像特徴量ないし第３画像特徴量、音声特徴量、及び、テキスト特徴量の５つの構成要素系列o[1]，o[2]，o[3]，o[4]，o[5]で構成される。
【０３８３】
そして、そのようなアノテーション用系列を用いて学習が行われることにより得られるアノテーションモデルの状態は、第１画像特徴量ないし第３画像特徴量、音声特徴量、及び、テキスト特徴量の（５つのモーダルの）軸によって定義される空間である特徴量空間において、空間的な距離が近く、かつ、時間的な前後関係が似ているフレーム群をまとめて表現する（特徴量空間を状態分割する）。
【０３８４】
なお、図２１に示したように、学習装置１２の特徴量抽出部２１において、第１画像特徴量ないし第３画像特徴量、音声特徴量、及び、テキスト特徴量の５つの特徴量が抽出される場合には、アノテーション付与装置１４の特徴量抽出部４１（図８）、フレーム検索装置１５の特徴量抽出部５１（図１０）、及び、表示制御装置１６の特徴量抽出部６１（図１５）でも、特徴量抽出部２１と同様に、第１画像特徴量ないし第３画像特徴量、音声特徴量、及び、テキスト特徴量の５つの特徴量が抽出され、その５つの特徴量を含むアノテーション用系列を用いて、処理が行われる。
【０３８５】
但し、アノテーション付与装置１４の特徴量抽出部４１（図８）、フレーム検索装置１５の特徴量抽出部５１（図１０）、及び、表示制御装置１６の特徴量抽出部６１（図１５）では、対象コンテンツが、説明テキストを取得することができないコンテンツである場合には、テキスト特徴量としては、上述したように、ダミーのデータが用いられる。
【０３８６】
以上のように、アノテーション用系列を、多数の種類の特徴量である第１画像特徴量ないし第３画像特徴量、音声特徴量、及び、テキスト特徴量から構成することにより、アノテーション用系列をシーン特徴量とテキスト特徴量とから構成する場合に比較して、コンテンツを、より適切に（精度良く）、内容が類似するフレームに分類することができる（最尤状態系列を求めたときに、内容が類似するフレームが、同一の状態に対応するようになる）。
【０３８７】
なお、音声特徴量としては、上述したプリミティブ特徴量（の平均値や分散）の他、音声認識等の音声処理で用いられている、例えば、MFCC(Mel Frequency Cepstrum Coefficient)等を採用することができる。
【０３８８】
［特徴量抽出部２１の第３の構成例］
【０３８９】
図２２は、図２の特徴量抽出部２１の第３の構成例を示すブロック図である。
【０３９０】
なお、図２２において、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３９１】
図２２の特徴量抽出部２１は、画像取得部３１、画像特徴量抽出部３２、説明テキスト取得部３３、テキスト特徴量抽出部３４、及び、同期部３５を有する点で、図３の場合と共通する。
【０３９２】
但し、図２２の特徴量抽出部２１は、基底空間学習部１５１、基底空間データ記憶部１５２、次元圧縮部１５３、基底空間学習部１６１、基底空間データ記憶部１６２、及び、次元圧縮部１５３が新たに設けられている点で、図３の場合と相違する。
【０３９３】
基底空間学習部１５１には、画像特徴量抽出部３２から、学習用コンテンツの画像特徴量が供給される。
【０３９４】
基底空間学習部１５１は、画像特徴量を写像するための、画像特徴量の次元より小さい次元の画像用基底空間の基底空間データを、画像特徴量抽出部３２からの画像特徴量を用いて求め、基底空間データ記憶部１５２に供給する。
【０３９５】
基底空間データ記憶部１５２は、基底空間学習部１５１からの画像用基底空間の基底空間データを記憶する。
【０３９６】
次元圧縮部１５３には、画像特徴量抽出部３２から、学習用コンテンツの画像特徴量が供給される。
【０３９７】
次元圧縮部１５３は、基底空間データ記憶部１５２に記憶された画像用基底空間の基底空間データに基づき、画像特徴量抽出部３２からの画像特徴量の次元を小さくする次元圧縮を行い、次元圧縮後の画像特徴量を、同期部３５に供給する。
【０３９８】
ここで、画像特徴量抽出部３２で抽出される画像特徴量は、ベクトルであり、基底空間学習部１５１は、画像特徴量抽出部３２からの学習用コンテンツの画像特徴量を用い、例えば、k-means法により、ベクトル量子化に用いるコードブックを、画像用基底空間の基底空間データとして求める。
【０３９９】
そして、次元圧縮部１５３は、画像用基底空間の基底空間データとしてのコードブックを用いて、画像特徴量抽出部３２からの画像特徴量のベクトル量子化を行うことにより次元圧縮を行い、コードブックに登録されたセントロイドベクトルのうちの、画像特徴量抽出部３２からの画像特徴量としてのベクトルとの距離が最も近いセントロイドベクトルを表すコード（スカラの離散値）を、次元圧縮後の画像特徴量として求める。
【０４００】
したがって、次元圧縮部１５３では、画像特徴量抽出部３２からの画像特徴量としての所定の次元のベクトルが、１次元のコードに次元圧縮されるが、この次元圧縮は、１次元のコードの空間を、画像用基底空間として、所定の次元のベクトルを、画像用基底空間に写像していると捉えることができる。
【０４０１】
なお、画像特徴量の次元圧縮は、ベクトル量子化の他、例えば、HMMやSOM(Self Organizing Maps)を用いて行うことができる。
【０４０２】
すなわち、画像特徴量抽出部３２で抽出される画像特徴量を用いて、HMMの学習を行い、学習後のHMMにおいて、画像特徴量の時系列が観測される最尤状態系列を求め、その最尤状態系列において、各画像特徴量に対応する状態の状態IDを、次元圧縮後の画像特徴量として求めることができる。
【０４０３】
また、例えば、画像特徴量抽出部３２で抽出される画像特徴量を用いて、SOMの学習を行い、学習後のSOMに対して、画像特徴量を入力したときに、勝者(winner)となるノードを表すIDを、次元圧縮後の画像特徴量として求めることができる。
【０４０４】
基底空間学習部１６１には、テキスト特徴量抽出部３４から、学習用コンテンツのテキスト特徴量が供給される。
【０４０５】
基底空間学習部１６１は、テキスト特徴量を写像するための、テキスト特徴量の次元より小さい次元のテキスト用基底空間の基底空間データを、テキスト特徴量抽出部３４からのテキスト特徴量を用いて求め、基底空間データ記憶部１６２に供給する。
【０４０６】
基底空間データ記憶部１６２は、基底空間学習部１６１からのテキスト用基底空間の基底空間データを記憶する。
【０４０７】
次元圧縮部１６３には、テキスト特徴量抽出部３４から、学習用コンテンツのテキスト特徴量が供給される。
【０４０８】
次元圧縮部１６３は、基底空間データ記憶部１６２に記憶されたテキスト用基底空間の基底空間データに基づき、テキスト特徴量抽出部３４からのテキスト特徴量の次元を小さくする次元圧縮を行い、次元圧縮後のテキスト特徴量を、同期部３５に供給する。
【０４０９】
ここで、テキスト特徴量抽出部３４で抽出されるテキスト特徴量は、説明テキストにおいて各単語が出現する頻度に関する単語頻度情報であり、例えば、図５及び図６で説明したように、所定の窓内（窓に対応する時間内）に表示される字幕のテキストに含まれる単語を、擬似文書として得られる、その擬似文書に、K個の単語が登録された単語辞書（図５）の各単語が出現する頻度をコンポーネントとするK次元のベクトル（登録単語頻度ベクトル）である。
【０４１０】
基底空間学習部１６１は、擬似文書から得られるテキスト特徴量としての登録単語頻度ベクトルを用いて、例えば、LDA(Latent Dirichlet Allocation)の学習を行うことにより、LDAのパラメータを、テキスト用基底空間の基底空間データとして求める。
【０４１１】
そして、次元圧縮部１６３は、テキスト用基底空間の基底空間データとしてのLDAのパラメータを用いて、擬似文書から得られたテキスト特徴量を、その擬似文書に対するLDAの各潜在トピックの尤度であるトピック尤度に変換し、トピック尤度が最大の潜在トピックを表すトピックラベル（スカラの離散値）を、次元圧縮後のテキスト特徴量として求める。
【０４１２】
したがって、次元圧縮部１６３では、テキスト特徴量抽出部３４からのテキスト特徴量としてのK次元の登録単語頻度ベクトルが、１次元のトピックラベルに次元圧縮されるが、この次元圧縮は、１次元のトピックラベルの空間を、テキスト用基底空間として、K次元の登録単語頻度ベクトルを、テキスト用基底空間に写像していると捉えることができる。
【０４１３】
図２３は、図２２の基底空間学習部１６１が、テキスト用基底空間の基底空間データとしてのLDAのパラメータを求める、LDAの学習を説明する図である。
【０４１４】
基底空間学習部１６１は、擬似文書から得られるテキスト特徴量としての登録単語頻度ベクトルを用いて、LDAの学習を行うことにより、LDAのパラメータを求める。
【０４１５】
LDAについては、例えば、David M. Blei,  Andrew Y. Ng,  Michael I. Jordan 著 “Latent Dirichlet Allocation”, Journal of Machine Learning Research 3 (2003) 993-1022.等に記載されている。
【０４１６】
ここで、図２３では、擬似文書から得られるテキスト特徴量としての登録単語頻度ベクトルの代わりに、図５で説明した頻度データ、すなわち、単語辞書に登録されているK個の単語のうちの、擬似文書に出現する単語の単語IDと、その単語の出現頻度（擬似文書に出現する頻度）とを対応付けた頻度データを図示してある。テキスト特徴量としての登録単語頻度ベクトルと、頻度データとは、等価なデータである。
【０４１７】
LDAのパラメータとしては、いわゆるαパラメータ及びβパラメータが求められるとともに、LDAの潜在トピックtopic（をトピックとする文書）において、単語辞書に登録された単語wordが生起される（対数）生起確率log（P(word|topic))が、単語辞書に登録された各単語（学習用コンテンツから得られる擬似文書に出現するすべての単語それぞれ）と、LDAの各潜在トピックとの組み合わせすべてについて求められる。
【０４１８】
したがって、単語辞書に登録された単語の数がK個であり、LDAの潜在トピックの数がD個であるとすると、単語の生起確率log（P(word|topic))は、は、K×D個だけ求められる。
【０４１９】
なお、LDAの学習において、潜在トピックの数Dとしては、あらかじめ決められた所定の値が用いられる。
【０４２０】
基底空間学習部１６１は、LDAの学習を行うことにより、LDAのパラメータを求めた後、単語の生起確率log（P(word|topic))を用いて、LDAの各潜在トピックにおいて出現頻度が高い単語とその単語の出現頻度とを登録したトピック対頻出単語テーブルの作成を行う。
【０４２１】
すなわち、基底空間学習部１６１は、LDAの各潜在トピックを、順次、注目トピックとして、注目トピックにおいて、単語辞書の各単語が生起される生起確率log（P(word|topic))に、所定の定数（例えば、1000等）を乗算することにより、生起確率log（P(word|topic))を、注目トピックの文書に単語辞書の各単語が出現する出現頻度（回数）に変換する。
【０４２２】
さらに、基底空間学習部１６１は、注目トピックについて求められた単語辞書の各単語が出現する出現頻度を、所定の閾値（例えば、1等）と比較し、単語辞書の単語の中から、所定の閾値以上の出現頻度の単語を、注目トピックにおいて出現頻度が高い単語（以下、頻出単語ともいう）として選択する。
【０４２３】
そして、基底空間学習部１６１は、注目トピックのトピックラベル、注目トピックにおいて出現頻度が高い頻出単語、及び、頻出単語の出現頻度を対応付けて、トピック対頻出単語テーブルに登録する。
【０４２４】
ここで、図２３のトピック対頻出単語テーブルにおいて、"ldamap"の後の括弧{}内の数字が、トピックラベルであり、その後の"words"に続いて記載されている単語が、直前のトピックラベルが表す潜在トピックにおいて出現頻度が高い頻出単語である。
【０４２５】
また、頻出単語の後の"word_cnt"に続いて記載されている数字が、各頻出単語の出現頻度であり、その後の"numwords"に続く数字は、頻出単語の出現頻度の総和である。
【０４２６】
なお、トピック対頻出単語テーブルにおいて、各潜在トピックの頻出単語は、出現頻度の降順（出現頻度の大きい順）にソートしておくことができる。
【０４２７】
また、トピック対頻出単語テーブルは、例えば、アノテーションモデル、及び、単語辞書とともに、アノテーションモデル記憶部１３に記憶しておくことができる。
【０４２８】
基底空間学習部１６１は、以上のLDAのパラメータと、トピック対頻出単語テーブルとを、テキスト用基底空間の基底空間データとして求める。
【０４２９】
図２４は、図２２の次元圧縮部１６３が、図２３で説明したテキスト用基底空間の基底空間データを用いて行う、テキスト特徴量の次元圧縮を説明する図である。
【０４３０】
次元圧縮部１６３は、テキスト用基底空間の基底空間データとしてのLDAのパラメータを用いて、擬似文書から得られたテキスト特徴量を、その擬似文書に対するLDAの各潜在トピックの尤度であるトピック尤度に変換し、トピック尤度が最大の潜在トピックを表すトピックラベル（スカラの離散値）を、次元圧縮後のテキスト特徴量として求める。
【０４３１】
ここで、LDAのパラメータを用いたLDA認識処理によれば、文書docにおける各単語の出現頻度を表す頻度データから、その文書docのトピックがLDAの各潜在トピックであることの尤度を表すトピック尤度P(topic|doc)を、LDA認識処理の結果であるLDA認識結果データとして得ることができる。
【０４３２】
次元圧縮部１６３は、テキスト用基底空間の基底空間データとしてのLDAのパラメータを用い、テキスト特徴量抽出部３４からの、擬似文書から得られたテキスト特徴量としてのK次元の登録単語頻度ベクトルを入力として、LDA認識処理を行うことにより、テキスト特徴量が得られた擬似文書に対するLDAの各潜在トピックのトピック尤度を求める。
【０４３３】
したがって、LDA認識処理によれば、LDAの潜在トピックの数がD個であるとすると、K次元の登録単語頻度ベクトルが、D次元の離散確率分布としてのD個の潜在トピックのトピック尤度に写像されることになる。
【０４３４】
次元圧縮部１６３は、テキスト特徴量に対して、LDAのD個の潜在トピックのトピック尤度を求めると、そのD個の潜在トピックのトピック尤度の中の最大値である最大トピック尤度を検出し、その最大トピック尤度の潜在トピックのトピックラベルを、次元圧縮後のテキスト特徴量として出力する。
【０４３５】
以上のように、画像特徴量やテキスト特徴量の次元圧縮を行うことにより、次元圧縮を行わない場合に比較して、アノテーションモデルとしてのマルチストリームHMMの学習や、最尤状態系列を求める処理に要する演算量を低減することができる。
【０４３６】
なお、図２２では、同期部３５は、次元圧縮部１５３からの次元圧縮後の画像特徴量であるコード（以下、画像コードともいう）と、次元圧縮部１６３からの次元圧縮後のテキスト特徴量であるトピックラベルとを、フレーム単位で同期させて、モデル学習部２２（図２）に出力する。
【０４３７】
モデル学習部２２は、特徴量抽出部２１（の同期部３５）からの画像コードとトピックラベルとの系列を、アノテーション用系列として、マルチストリームHMMであるアノテーションモデルの学習を、Baum-Welchの再推定法に従って行う。
【０４３８】
ここで、いまの場合、アノテーション用系列は、１個目の構成要素系列o[1]としての画像コードの系列と、２個目の構成要素系列o[2]としてのトピックラベルの系列との２つの構成要素系列で構成される。
【０４３９】
アノテーション用系列の１個目の構成要素系列o[1]である画像コードは、離散値であり、アノテーションモデルの各状態sjの出力確率分布（観測モデル）b[1]j(o[1])として、多項分布が用いられる。
【０４４０】
また、２個目の構成要素系列o[2]であるトピックラベルも、離散値であり、アノテーションモデルの各状態sjの出力確率分布b[2]j(o[2])として、多項分布が用いられる。
【０４４１】
この場合、Baum-Welchの再推定法では、Eステップにおいて、初期確率πi、状態遷移確率aij、及び、式（１）に従って求められる出力確率分布bj(o[1],o[2])を用いて、h番目の学習用コンテンツについて、時刻tに、状態jにいる状態確率γ(h)t,jが、単一の系列を用いるHMMの学習の場合と同様にして求められる。
【０４４２】
また、Mステップでは、Eステップで求められた状態確率γ(h)t,jを用いて、各画像コードが観測される出力確率分布b[1]jとしての多項分布、及び、各トピックラベルが観測される出力確率分布b[2]jとしての多項分布が、多項分布を観測モデル（出力確率分布）として有するHMMの学習の場合と同様に、式（５）に従って求められる。
【０４４３】
【数５】
0005691289.tif 000006
・・・（５）
【０４４４】
ここで、式（５）において、o(h)[m](t)は、H個の学習用コンテンツのうちのh番目の学習用コンテンツの第tフレームにおいて、各画像コード（m=1のとき）、又は、各トピックラベル（m=2のとき）の観測の有無を示す多項分布を表す。
【０４４５】
画像コードの多項分布o(h)[1](t)は、画像コードの総数がK'個であるとすると、時刻tに観測される１個の画像コードの分布（確率）が1であり、残りの画像コードの分布がすべて0である多項分布となる。
【０４４６】
また、トピックラベルの多項分布o(h)[2](t)は、トピックラベルの総数（潜在トピックの数）がD個であるとすると、時刻tに観測される１個のトピックラベルの分布（確率）が1であり、残りのトピックラベルの分布がすべて0である多項分布となる。
【０４４７】
図２５は、学習装置１２の特徴量抽出部２１が図２２に示したように構成される場合の、アノテーション付与装置１４の特徴量抽出部４１（図８）の構成例を示すブロック図である。
【０４４８】
なお、フレーム検索装置１５の特徴量抽出部５１（図１０）、及び、表示制御装置１６の特徴量抽出部６１（図１５）も、アノテーション付与装置１４の特徴量抽出部４１と同様に構成される。
【０４４９】
図２５において、アノテーション付与装置１４（図８）の特徴量抽出部４１は、画像取得部１７１、画像特徴量抽出部１７２、基底空間データ記憶部１７３、次元圧縮部１７４、説明テキスト取得部１８１、テキスト特徴量抽出部１８２、基底空間データ記憶部１８３、次元圧縮部１８４、及び、同期部１９１を有する。
【０４５０】
図２５の特徴抽出部４１において、基底空間データ記憶部１７３は、図２２の基底空間学習部１５１で求められた画像用基底空間の基底空間データを記憶し、基底空間データ記憶部１８３は、図２２の基底空間学習部１６１で求められたテキスト用基底空間の基底空間データを記憶する。
【０４５１】
そして、画像取得部１７１、画像特徴量抽出部１７２、次元圧縮部１７４、説明テキスト取得部１８１、テキスト特徴量抽出部１８２、次元圧縮部１８４、及び、同期部１９１では、対象コンテンツについて、図２２の画像取得部３１、画像特徴量抽出部３２、次元圧縮部１５３、説明テキスト取得部３３、テキスト特徴量抽出部３４、次元圧縮部１６３、及び、同期部３５とそれぞれ同様の処理が行われ、これにより、次元圧縮後の画像特徴量としての画像コードと、次元圧縮後のテキスト特徴量としてのトピックラベルとがフレーム単位で同期したアノテーション用系列が構成される。
【０４５２】
但し、説明テキストを取得することができない対象コンテンツについては、次元圧縮後のテキスト特徴量としてのトピックラベルとして、ダミーのデータ（１次元の離散値）を用いて、アノテーション用系列が構成される。
【０４５３】
なお、図２２の特徴量抽出部２１では、画像特徴量とテキスト特徴量の両方について、次元圧縮を行うこととしたが、次元圧縮は、画像特徴量とテキスト特徴量のうちの一方についてだけ行うことが可能である。
【０４５４】
図２５の特徴量抽出部４１でも、同様である。但し、画像特徴量やテキスト特徴量について、次元圧縮を行うかどうかは、特徴量抽出部２１と、特徴量抽出部４１（特徴量抽出部５１及び６１）とで、一致させる必要がある。
【０４５５】
［テキスト特徴量について次元圧縮を行う場合のアノテーション付与処理］
【０４５６】
図２６は、少なくともテキスト特徴量の次元圧縮が行われる場合の、図８のアノテーション付与装置１４によるアノテーション付与処理を説明するフローチャートである。
【０４５７】
なお、図２６では（後述する図２７、図２８、及び、図３０でも同様）、例えば、画像特徴量、及び、テキスト特徴量の次元圧縮が行われることとする。
【０４５８】
ステップＳ１０１において、特徴量抽出部４１（図８）は、コンテンツ記憶部１１に記憶されたコンテンツの中から、アノテーションの付与の対象とする対象コンテンツを選択し、コンテンツ記憶部１１から取得して、処理は、ステップＳ１０２に進む。
【０４５９】
ステップＳ１０２では、特徴量抽出部４１は、対象コンテンツが、説明テキストを取得することができるコンテンツであるか、又は、説明テキストを取得することができないコンテンツであるかを判定する。
【０４６０】
ステップＳ１０２において、対象コンテンツが、説明テキストを取得することができるコンテンツであると判定された場合、処理は、ステップＳ１０３に進み、特徴量抽出部４１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量と、説明テキストとしての字幕のテキストのテキスト特徴量としての単語頻度情報とを抽出する。
【０４６１】
さらに、特徴量抽出部４１は、フレームごとのシーン特徴量とテキスト特徴量とのそれぞれの次元圧縮を行い、その次元圧縮後のシーン特徴量とテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成する。そして、特徴量抽出部４１は、アノテーション用系列を、最尤状態系列算出部４２に供給して、処理は、ステップＳ１０３からステップＳ１０５に進む。
【０４６２】
また、ステップＳ１０２において、対象コンテンツが、説明テキストを取得することができないコンテンツであると判定された場合、処理は、ステップＳ１０４に進み、特徴量抽出部４１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量を抽出する。
【０４６３】
さらに、特徴量抽出部４１は、フレームごとのシーン特徴量の次元圧縮を行う。そして、特徴量抽出部４１は、例えば、ダミーのデータ（例えば、所定の値のトピックラベル）を、次元圧縮後のテキスト特徴量として用い、次元圧縮後のシーン特徴量とダミーのデータである次元圧縮後のテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成し、そのアノテーション用系列を、最尤状態系列算出部４２に供給して、処理は、ステップＳ１０４からステップＳ１０５に進む。
【０４６４】
ステップＳ１０５では、最尤状態系列算出部４２は、アノテーションモデル記憶部１３に記憶されたアノテーションモデル（マルチストリームHMM）の中から、対象コンテンツのカテゴリに一致するカテゴリのアノテーションモデル（対象コンテンツのカテゴリに一致するカテゴリの学習用コンテンツを用いて学習が行われたアノテーションモデル）を取得する。
【０４６５】
さらに、最尤状態系列算出部４２は、アノテーションモデル記憶部１３から取得したアノテーションモデルにおいて、特徴量抽出部４１からのアノテーション用系列が観測される最尤状態系列を求め、単語選択部４３に供給して、処理は、ステップＳ１０５からステップＳ１０６に進む。
【０４６６】
ステップＳ１０６では、単語選択部４３は、対象コンテンツのフレームを、順次、注目フレームとして、最尤状態系列算出部４２からの最尤状態系列の、注目フレームに対応する状態において観測される潜在トピック（のトピックラベル）の出力確率分布に基づいて、注目フレームの内容を表現するのに適した潜在トピックを、フレームトピックとして選択する。
【０４６７】
すなわち、対象コンテンツの第tフレームが注目フレームであるとすると、単語選択部４３は、最尤状態系列のt番目の状態において観測される潜在トピック（のトピックラベル）の出力確率分布において、出力確率が高い潜在トピックを、第tフレームのフレームトピックとして選択する。
【０４６８】
ここで、第tフレームのフレームトピックとしては、最尤状態系列のt番目の状態において観測される潜在トピックの出力確率分布において、出力確率が最も高い潜在トピックや、出力確率が上位の複数の潜在トピックを選択することができる。
【０４６９】
対象コンテンツの各フレームのフレームトピックが選択されると、処理は、ステップＳ１０６からステップＳ１０７に進み、単語選択部４３は、トピック対頻出単語テーブル（図２３）に基づき、対象コンテンツの各フレームについて、そのフレームのフレームトピックの頻出単語を、そのフレームに付与するアノテーションとして選択する。
【０４７０】
すなわち、対象コンテンツの第tフレームが注目フレームであるとすると、単語選択部４３は、トピック対頻出単語テーブルにおいて、注目フレームである第tフレームのフレームトピック（になっている潜在トピック）の頻出単語のうちの、例えば、出現頻度が最も高い頻出単語や、出現頻度が上位の複数の頻出単語を、注目フレームに付与するアノテーションとして選択する。
【０４７１】
なお、注目フレームである第tフレームのフレームトピックとして、複数の潜在トピックが選択されている場合には、その複数の潜在トピックのそれぞれの頻出単語から、注目フレームに付与するアノテーション（となる単語）を選択することができる。
【０４７２】
すなわち、注目フレームである第tフレームのフレームトピックとして、複数の潜在トピックが選択されている場合には、例えば、第tフレームのフレームトピックになっている複数の潜在トピックのそれぞれの頻出単語のうちの、出現頻度が最も高い頻出単語を、第tフレームに付与するアノテーションとして選択することができる。
【０４７３】
また、注目フレームである第tフレームのフレームトピックとして、複数の潜在トピックが選択されている場合には、例えば、第tフレームのフレームトピックになっている潜在トピックの出力確率（最尤状態系列のt番目の状態において観測される、フレームトピックになっている潜在トピックの出力確率）を、その潜在トピックの頻出単語の出現頻度に乗算することにより、出現頻度を補正し、補正後の出現頻度が最も高い単語や、補正後の出現頻度が上位の複数の頻出単語を、第tフレームに付与するアノテーションとして選択することができる。
【０４７４】
単語選択部４３が、対象コンテンツのフレームすべてを、注目フレームとして、注目フレームに付与するアノテーションとしての単語を選択し、これにより、対象コンテンツのフレームのすべてに、アノテーションが付与されると、処理は、ステップＳ１０７からステップＳ１０８に進み、単語選択部４３は、対象コンテンツのフレームごとに付与されたアノテーションと、そのフレームのフレーム番号（第tフレームのt）とを対応付け、アノテーション単語情報として出力し、アノテーション付与処理は、終了する。
【０４７５】
以上のように、アノテーション付与装置１４において、対象コンテンツの画像の各フレームの画像特徴量を抽出し、次元圧縮を行って、次元圧縮後の画像特徴量を用いて、アノテーション用系列を構成し、アノテーションモデルにおいて、アノテーション用系列が観測される最尤状態系列を求め、最尤状態系列の状態のうちの、注目する注目フレームに対応する状態において出力確率が高いトピックラベルが表す潜在トピックを、注目フレームの内容を表すフレームトピックとして選択し、トピック対頻出単語テーブルに基づき、フレームトピックにおいて出現頻度が高い頻出単語を、注目フレームに付与するアノテーションとして選択する場合にも、図９の場合と同様に、対象コンテンツへのアノテーションの付与を、容易に行うことができる。
【０４７６】
［テキスト特徴量について次元圧縮を行う場合のフレーム検索処理］
【０４７７】
図２７は、少なくともテキスト特徴量の次元圧縮が行われる場合の、図１０のフレーム検索装置１５によるフレーム検索処理を説明するフローチャートである。
【０４７８】
キーワード供給部５５は、例えば、ユーザの操作に応じて、キーワードを含む検索クエリを、キーワード合致度算出部５３に供給する。
【０４７９】
また、ステップＳ１２１ないしＳ１２５において、図２６のステップＳ１０１ないしＳ１０５とそれぞれ同様の処理が行われる。
【０４８０】
すなわち、ステップＳ１２１において、特徴量抽出部５１（図１０）は、コンテンツ記憶部１１に記憶されたコンテンツの中から、対象コンテンツを選択し、コンテンツ記憶部１１から取得して、処理は、ステップＳ１２２に進む。
【０４８１】
ステップＳ１２２では、特徴量抽出部５１は、対象コンテンツが、説明テキストを取得することができるコンテンツであるか、又は、説明テキストを取得することができないコンテンツであるかを判定する。
【０４８２】
ステップＳ１２２において、対象コンテンツが、説明テキストを取得することができるコンテンツであると判定された場合、ステップＳ１２３に進み、特徴量抽出部５１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量と、説明テキストのテキスト特徴量としての単語頻度情報とを抽出する。
【０４８３】
さらに、特徴量抽出部５１は、フレームごとのシーン特徴量とテキスト特徴量とのそれぞれの次元圧縮を行い、次元圧縮後のシーン特徴量とテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成する。そして、特徴量抽出部５１は、アノテーション用系列を、最尤状態系列算出部５２に供給して、処理は、ステップＳ１２３からステップＳ１２５に進む。
【０４８４】
また、ステップＳ１２２において、対象コンテンツが、説明テキストを取得することができないコンテンツであると判定された場合、処理は、ステップＳ１２４に進み、特徴量抽出部５１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量を抽出する。
【０４８５】
さらに、特徴量抽出部５１は、フレームごとのシーン特徴量の次元圧縮を行う。そして、特徴量抽出部５１は、例えば、ダミーのデータを、次元圧縮後のテキスト特徴量として用い、次元圧縮後のシーン特徴量とダミーのデータである次元圧縮後のテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成し、そのアノテーション用系列を、最尤状態系列算出部５２に供給して、処理は、ステップＳ１２４からステップＳ１２５に進む。
【０４８６】
ステップＳ１２５では、最尤状態系列算出部５２は、アノテーションモデル記憶部１３に記憶されたアノテーションモデルの中から、対象コンテンツのカテゴリに一致するカテゴリのアノテーションモデルを取得する。
【０４８７】
さらに、最尤状態系列算出部５２は、アノテーションモデル記憶部１３から取得したアノテーションモデルにおいて、特徴量抽出部５１からのアノテーション用系列が観測される最尤状態系列を求め、キーワード合致度算出部５３に供給して、処理は、ステップＳ１２５からステップＳ１２６に進む。
【０４８８】
ステップＳ１２６では、キーワード合致度算出部５３は、対象コンテンツのフレームを、順次、注目フレームとして、最尤状態系列算出部５２からの最尤状態系列の、注目フレームに対応する状態において観測される潜在トピック（のトピックラベル）の出力確率分布に基づいて、注目フレームの内容を表現するのに適した潜在トピックを、フレームトピックとして選択する。
【０４８９】
すなわち、対象コンテンツの第tフレームが注目フレームであるとすると、キーワード度合致度算出部５３は、例えば、最尤状態系列のt番目の状態において観測される潜在トピック（のトピックラベル）の出力確率分布において、出力確率が最も高い潜在トピックを、第tフレームのフレームトピックとして選択する。
【０４９０】
その後、処理は、ステップＳ１２６からステップＳ１２７に進み、キーワード合致度算出部５３は、トピック対頻出単語テーブル（図２３）に基づき、各潜在トピックについて、キーワード供給部５４からの検索クエリに含まれるキーワード（に一致する頻出単語）の出現頻度を求め、その出現頻度をコンポーネントとする頻度ベクトルを求める。
【０４９１】
すなわち、LDAの潜在トピックの数がD個であるとすると、キーワード合致度算出部５３は、トピック対頻出単語テーブルにおいて、D個の潜在トピックのうちの１個目の潜在トピックの頻出単語の中から、キーワードに一致する頻出単語を検出し、その頻出単語の出現頻度を獲得する。
【０４９２】
キーワード合致度算出部５３は、２個目以降の潜在トピックについても、同様にして、キーワードに一致する頻出単語の出現頻度を獲得し、D個の潜在トピックについて獲得した、キーワードに一致する頻出単語の出現頻度をコンポーネントとするD次元の頻度ベクトルを求める。
【０４９３】
したがって、例えば、LDAの潜在トピックの数が10個である場合、例えば、(10,50,0,0,2,0,0,0,4,0)のような10次元のベクトルが、頻度ベクトルとして求められる。
【０４９４】
ここで、頻度ベクトル(10,50,0,0,2,0,0,0,4,0)の、例えば、（左から）３番目のコンポーネントである0は、３個目の潜在トピックの頻出単語のうちの、キーワードに一致する頻出単語の出現頻度が、0であることを表す。
【０４９５】
なお、トピック対頻出単語テーブルにおいて、ある潜在トピックの頻出単語の中に、キーワードに一致する頻出単語が存在しない場合、その潜在トピックについては、キーワードに一致する頻出単語の出現頻度は、0とされる。
【０４９６】
キーワードについて、頻度ベクトルが求められると、処理は、ステップＳ１２７からステップＳ１２８に進み、キーワード合致度算出部５３は、頻度ベクトルに基づき、対象コンテンツの各フレームについて、そのフレームのフレームトピック（になっている潜在トピック）において、キーワード（に一致する頻出単語）が出現する出現頻度を、キーワード合致度として求める。
【０４９７】
すなわち、対象コンテンツの第tフレームが注目フレームであるとすると、キーワード合致度算出部５３は、第tフレームのフレームトピックになっている潜在トピックにおいて、キーワードに一致する頻出単語が出現する出現頻度を、第tフレームのキーワード合致度として、頻度ベクトルから獲得する。
【０４９８】
例えば、第tフレームのフレームトピックが、D個の潜在トピックのうちのd番目の潜在トピックである場合には、D次元の頻度ベクトルのd番目（第d次元）のコンポーネントになっている出現頻度が、第tフレームのキーワード合致度として獲得される。
【０４９９】
キーワード合致度算出部５３は、対象コンテンツのフレームのすべてについて、キーワード合致度を求めると、そのキーワード合致度を、フレーム選択部５５に供給して、処理は、ステップＳ１２８からステップＳ１２９に進む。
【０５００】
ステップＳ１２９では、フレーム選択部５５は、コンテンツ記憶部１１から、対象コンテンツを取得し、キーワード合致度選択部５３からのキーワード合致度に基づいて、対象コンテンツから、キーワード（検索クエリ）に合致するキーワードフレームを選択する。
【０５０１】
すなわち、フレーム選択部５５は、例えば、図１１の場合と同様に、対象コンテンツから、キーワード合致度選択部５３からのキーワード合致度が検索閾値より高いフレームを、キーワードフレームとして選択し、そのキーワードフレームの時系列順の並びを、キーワードダイジェストとして出力して、フレーム検索処理を終了する。
【０５０２】
以上のように、フレーム検索装置１５において、対象コンテンツの画像の各フレームの画像特徴量を抽出し、次元圧縮を行って、次元圧縮後の画像特徴量を用いて、アノテーション用系列を構成し、アノテーションモデルにおいて、アノテーション用系列が観測される最尤状態系列を求め、最尤状態系列の状態のうちの、注目する注目フレームに対応する状態において出力確率が高いトピックラベルが表す潜在トピックを、注目フレームの内容を表すフレームトピックとして選択し、トピック対頻出単語テーブルに基づき、フレームトピックにおけるキーワードの出現頻度を求め、キーワードの出現頻度が高い注目フレームを、キーワードフレームとして選択する場合にも、図１１の場合と同様に、キーワードフレームだけのキーワードダイジェストを再生するという、アノテーションモデルを利用したアプリケーションを提供することができる。
【０５０３】
［テキスト特徴量について次元圧縮を行う場合の表示制御処理］
【０５０４】
図２８は、少なくともテキスト特徴量の次元圧縮が行われる場合の、図１５の表示制御装置１６によるモデルマップの表示制御処理を説明するフローチャートである。
【０５０５】
ステップＳ１４１ないしＳ１４５において、表示制御装置１６では、図２６のステップＳ１０１ないしＳ１０５とそれぞれ同様の処理が行われる。
【０５０６】
すなわち、ステップＳ１４１において、特徴量抽出部６１（図１５）は、コンテンツ記憶部１１に記憶されたコンテンツの中から、ユーザの操作に従って再生が指示されたコンテンツを、アノテーションの付与の対象とする対象コンテンツとして選択し、コンテンツ記憶部１１から取得して、処理は、ステップＳ１４２に進む。
【０５０７】
ステップＳ１４２では、特徴量抽出部６１は、対象コンテンツが、説明テキストを取得することができるコンテンツであるか、又は、説明テキストを取得することができないコンテンツであるかを判定する。
【０５０８】
ステップＳ１４２において、対象コンテンツが、説明テキストを取得することができるコンテンツであると判定された場合、ステップＳ１４３に進み、特徴量抽出部６１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量と、説明テキストのテキスト特徴量としての単語頻度情報とを抽出する。
【０５０９】
さらに、特徴量抽出部６１は、フレームごとのシーン特徴量とテキスト特徴量とのそれぞれの次元圧縮を行い、その次元圧縮後のシーン特徴量とテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成する。そして、特徴量抽出部６１は、アノテーション用系列を、最尤状態系列算出部６２に供給して、処理は、ステップＳ１４３からステップＳ１４５に進む。
【０５１０】
また、ステップＳ１４２において、対象コンテンツが、説明テキストを取得することができないコンテンツであると判定された場合、処理は、ステップＳ１４４に進み、特徴量抽出部６１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量を抽出する。
【０５１１】
さらに、特徴量抽出部６１は、フレームごとのシーン特徴量の次元圧縮を行う。そして、特徴量抽出部６１は、例えば、ダミーのデータを、次元圧縮後のテキスト特徴量として用い、次元圧縮後のシーン特徴量とダミーのデータである次元圧縮後のテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成し、そのアノテーション用系列を、最尤状態系列算出部６２に供給して、処理は、ステップＳ１４４からステップＳ１４５に進む。
【０５１２】
ステップＳ１４５では、最尤状態系列算出部６２は、アノテーションモデル記憶部１３に記憶されたアノテーションモデル（マルチストリームHMM）の中から、対象コンテンツのカテゴリに一致するカテゴリのアノテーションモデルを取得する。
【０５１３】
さらに、最尤状態系列算出部６２は、アノテーションモデル記憶部１３から取得したアノテーションモデルにおいて、特徴量抽出部６１からのアノテーション用系列が観測される最尤状態系列を求め、表示制御部６３に供給して、処理は、ステップＳ１４５からステップＳ１４６に進む。
【０５１４】
ステップＳ１４６では、表示制御部６３は、図２０のステップＳ５６と同様に、コンテンツ記憶部１１から対象コンテンツを取得する。さらに、表示制御部６３は、図２０のステップＳ５６と同様に、アノテーションモデル記憶部１３に記憶されたアノテーションモデルの各状態について、その状態に対応する、対象コンテンツのフレームを用いて、状態（に対応するフレーム）の代表画像を生成し、処理は、ステップＳ１４６からステップＳ１４７に進む。
【０５１５】
ステップＳ１４７では、表示制御部６３は、アノテーションモデルとトピック対頻出単語テーブルとを用いて、図２６のステップＳ１０６及びＳ１０７と同様の処理を行い、対象コンテンツの各フレームに付与するアノテーション（となる単語）として選択し、対象コンテンツの各フレームに、アノテーションを付与する。
【０５１６】
すなわち、表示制御部６３は、対象コンテンツのフレームを、順次、注目フレームとして、最尤状態系列算出部６２からの最尤状態系列の、注目フレームに対応する状態において観測される潜在トピック（のトピックラベル）の出力確率分布に基づいて、注目フレームの内容を表現するのに適した潜在トピックを、フレームトピックとして選択する。
【０５１７】
さらに、表示制御部６３は、トピック対頻出単語テーブル（図２３）に基づき、対象コンテンツの各フレームについて、そのフレームのフレームトピックの頻出単語を、そのフレームに付与するアノテーションとして選択する。
【０５１８】
その後、処理は、ステップＳ１４７からステップＳ１４８に進み、表示制御部６３は、図２０のステップＳ５８と同様に、アノテーションモデル記憶部１３に記憶されたアノテーションモデル（対象コンテンツについて、最尤状態系列を求めるのに用いられたアノテーションモデル）を用い、モデルマップ（図１６、図１７）を生成して、処理は、ステップＳ１４９に進む。
【０５１９】
ステップＳ１４９では、表示制御部６３は、図２０のステップＳ５９と同様に、モデルマップを、ディスプレイに表示させ、さらに、モデルマップ上の各状態に、その状態の代表画像とアノテーションとを表示させ、処理は、ステップＳ１５０に進む。
【０５２０】
ステップＳ１５０では、表示制御部６３は、図２０のステップＳ６０と同様に、対象コンテンツの再生制御を行う。
【０５２１】
以上のように、表示制御装置１６において、対象コンテンツの画像の各フレームの画像特徴量を抽出し、次元圧縮を行って、次元圧縮後の画像特徴量を用いて、アノテーション用系列を構成し、アノテーションモデルにおいて、アノテーション用系列が観測される最尤状態系列を求めることにより、対象コンテンツの各フレームに対応する状態を求め、その状態において出力確率が高いトピックラベルが表す潜在トピックを、その状態に対応するフレームの内容を表すフレームトピックとして選択し、トピック対頻出単語テーブルに基づき、フレームトピックにおいて出現頻度が高い単語を、そのフレームトピックが内容を表すフレームに付与するアノテーションとして求め、アノテーションモデルの状態ごとに、その状態に対応するフレームに付与するアノテーションを表示させる場合にも、図２０の場合と同様に、ユーザは、対象コンテンツに付与されたアノテーションを、一覧することができ、また、アノテーションが表示されるモデルマップ上の状態が指定されると、その状態に対応するフレームの再生を開始するというような、アノテーションを利用したアプリケーションを提供することができる。
【０５２２】
ところで、上述のように、LDAのパラメータ（テキスト用基底空間の基底空間データ）を用いて、テキスト特徴量の次元圧縮を行い、その次元圧縮後のテキスト特徴量であるトピックラベルを含むアノテーション用系列を用いて学習を行うことにより得られるアノテーションモデルによれば、表示制御装置１６において、いわば、LDAの潜在トピックを媒介として、アノテーション（となる頻出単語）が、対象コンテンツ（の各フレーム）に付与される。
【０５２３】
このように、潜在トピックを媒介として、アノテーションが対象コンテンツに付与される場合には、対象コンテンツに付与されたアノテーションは、上述したようなモデルマップ（図１６、図１７）を用いた表示形式等によって、アノテーションモデルの状態ごとに表示する他、潜在トピックごとに表示することができる。
【０５２４】
図２９は、対象コンテンツに付与されたアノテーションを、潜在トピックごとに表示した表示例を示す図である。
【０５２５】
すなわち、図２９は、LDAの潜在トピックに対応する矩形のトピック欄が、２次元の表形式に並んだトピックリストの例を示している。
【０５２６】
トピックリストには、LDAの潜在トピックの数に等しい数のトピック欄が格子状に配置され、各トピック欄には、１つの潜在トピックが対応付けられる。
【０５２７】
そして、トピック欄には、そのトピック欄に対応する潜在トピック（トピック欄に対応付けられた潜在トピック）の頻出単語が、例えば、出現頻度の高い順に並べて表示される。
【０５２８】
なお、図２９では、トピック欄に表示される頻出単語は、トピック欄の大きさの都合で、所定の文字数としての20文字に制限されている。
【０５２９】
また、トピックリストの、あるトピック欄に注目すると、注目する注目トピック欄に、頻出単語が表示されるのは、その注目トピック欄に対応する潜在トピックをフレームトピックとするフレームが、対象コンテンツに存在する場合である。
【０５３０】
したがって、対象コンテンツのいずれのフレームのフレームトピックにも選択されなかった潜在トピックに対応するトピック欄には、頻出単語は表示されない。
【０５３１】
図２９では、例えば、左上や右上等のトピック欄に、頻出単語が表示されていないが、このように、頻出単語が表示されていない左上や右上等のトピック欄は、そのトピック欄に対応する潜在トピックをフレームトピックとするフレームが、対象コンテンツに存在しなかったことを表す。
【０５３２】
図３０は、図１５の表示制御装置１６によるトピックリストの表示制御処理を説明するフローチャートである。
【０５３３】
ステップＳ１７１ないしＳ１７６において、表示制御装置１６では、図２６のステップＳ１０１ないしＳ１０６とそれぞれ同様の処理が行われる。
【０５３４】
すなわち、ステップＳ１７１において、特徴量抽出部６１（図１５）は、コンテンツ記憶部１１に記憶されたコンテンツの中から、ユーザの操作に従って再生が指示されたコンテンツを、アノテーションの付与の対象とする対象コンテンツとして選択し、コンテンツ記憶部１１から取得して、処理は、ステップＳ１７２に進む。
【０５３５】
ステップＳ１７２では、特徴量抽出部６１は、対象コンテンツが、説明テキストを取得することができるコンテンツであるか、又は、説明テキストを取得することができないコンテンツであるかを判定する。
【０５３６】
ステップＳ１７２において、対象コンテンツが、説明テキストを取得することができるコンテンツであると判定された場合、ステップＳ１７３に進み、特徴量抽出部６１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量と、説明テキストのテキスト特徴量としての単語頻度情報とを抽出する。
【０５３７】
さらに、特徴量抽出部６１は、フレームごとのシーン特徴量とテキスト特徴量とのそれぞれの次元圧縮を行い、その次元圧縮後のシーン特徴量とテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成する。そして、特徴量抽出部６１は、アノテーション用系列を、最尤状態系列算出部６２に供給して、処理は、ステップＳ１７３からステップＳ１７５に進む。
【０５３８】
また、ステップＳ１７２において、対象コンテンツが、説明テキストを取得することができないコンテンツであると判定された場合、処理は、ステップＳ１７４に進み、特徴量抽出部６１は、対象コンテンツから、フレームごとの画像特徴量としてのシーン特徴量を抽出する。
【０５３９】
さらに、特徴量抽出部６１は、フレームごとのシーン特徴量の次元圧縮を行う。そして、特徴量抽出部６１は、例えば、ダミーのデータを、次元圧縮後のテキスト特徴量として用い、次元圧縮後のシーン特徴量とダミーのデータである次元圧縮後のテキスト特徴量とを含むマルチストリームを、アノテーション用系列として構成し、そのアノテーション用系列を、最尤状態系列算出部６２に供給して、処理は、ステップＳ１７４からステップＳ１７５に進む。
【０５４０】
ステップＳ１７５では、最尤状態系列算出部６２は、アノテーションモデル記憶部１３に記憶されたアノテーションモデル（マルチストリームHMM）の中から、対象コンテンツのカテゴリに一致するカテゴリのアノテーションモデルを取得する。
【０５４１】
さらに、最尤状態系列算出部６２は、アノテーションモデル記憶部１３から取得したアノテーションモデルにおいて、特徴量抽出部６１からのアノテーション用系列が観測される最尤状態系列を求め、表示制御部６３に供給して、処理は、ステップＳ１７５からステップＳ１７６に進む。
【０５４２】
ステップＳ１７６では、表示制御部６３は、対象コンテンツのフレームを、順次、注目フレームとして、最尤状態系列算出部６２からの最尤状態系列の、注目フレームに対応する状態において観測される潜在トピック（のトピックラベル）の出力確率分布に基づいて、出力確率が最も高い潜在トピックを、フレームトピックとして選択し、処理は、ステップＳ１７７に進む。
【０５４３】
ステップＳ１７７では、表示制御部６３は、LDAの各潜在トピックに対応するトピック欄を有するトピックリスト（図２９）を生成し、処理は、ステップＳ１７８に進む。
【０５４４】
ステップＳ１７８では、表示制御部６３は、トピックリストの各トピック欄に、そのトピック欄に対応する潜在トピックをフレームトピックとする、対象コンテンツのフレームを対応付け、処理は、ステップＳ１７９に進む。
【０５４５】
ステップＳ１７９では、表示制御部６３は、トピック対頻出単語テーブル（図２３）に基づき、トピック欄に対応する潜在トピックの頻出単語を、そのトピック欄に対応付けられたフレームに付与するアノテーションとして選択し、そのトピック欄に配置する。
【０５４６】
その後、処理は、ステップＳ１７９からステップＳ１８０に進み、表示制御部６３は、トピックリストを、ディスプレイに表示させ、処理は、ステップＳ１８１に進む。
【０５４７】
ステップＳ１８１では、表示制御部６３は、対象コンテンツの再生制御を行う。
【０５４８】
すなわち、表示制御部６３は、例えば、ユーザにより、トピックリスト上のトピック欄が指定されると、そのトピック欄に対応付けられているフレームの再生を開始させる。
【０５４９】
したがって、ユーザは、トピック欄に表示されたアノテーションとしての単語を見て、そのトピック欄に対応付けられているフレームの内容の概要を把握し、興味があれば、トピック欄を指定することにより、そのトピック欄に対応付けられたフレームの再生を行わせることができる。
【０５５０】
なお、表示制御装置１６において、対象コンテンツに付与されたアノテーションの表示形式は、ユーザの操作等に従って切り替えることが可能である。
【０５５１】
すなわち、表示制御装置１６では、例えば、モデルマップと、トピックリストとの両方を作成し、アノテーションの表示形式を、モデルマップを用いた表示形式と、トピックリストを用いた表示形式との間で、相互に切り替えることができる。
【０５５２】
図３１及び図３２は、アノテーションの表示形式の切り替えを説明する図である。
【０５５３】
すなわち、図３１は、トピックリストを用いたアノテーションの表示形式の例を示す図である。
【０５５４】
ユーザは、トピックリストのトピック欄に表示されたアノテーションとしての単語を見て、そのトピック欄に対応付けられているフレームの内容の概要を把握し、興味を持った場合には、そのトピック欄を指定することにより、そのトピック欄に対応する潜在トピックを、興味がある興味トピックとして選択することができる。
【０５５５】
表示制御装置１６は、ユーザによって、興味トピックが選択された場合、興味トピックに選択された潜在トピックに対応するトピック欄（以下、興味トピック欄ともいう）を、強調して表示させることができる。
【０５５６】
図３１では、興味トピック欄（となったトピック欄）が、その興味トピック欄に配置されたアノテーションとしての単語に、太線によるアンダーラインが表示されることにより強調されている。
【０５５７】
なお、興味トピック欄の強調の方法は、アンダーラインを表示する方法に限定されるものではない。すなわち、興味トピック欄は、他のトピック欄とは異なる特定の色（例えば、赤等）で表示すること等によって、強調することが可能である。
【０５５８】
また、図３１では（図２９でも同様）、トピックリストのトピック欄には、アノテーションとしての単語だけを表示することとしたが、トピック欄には、その他、例えば、そのトピック欄に対応付けられたフレームを代表する代表画像を生成して表示することができる。
【０５５９】
図３２は、モデルマップを用いたアノテーションの表示形式の例を示す図である。
【０５６０】
すなわち、図３２は、図３１のトピックリストの表示から切り替えられたモデルマップ（の表示）を示している。
【０５６１】
モデルマップでは、図１８及び図１９で説明したように、アノテーションモデルの状態の中で、対応するフレーム（対象コンテンツのフレーム）が存在する状態だけが、矩形で表示される。そして、対応するフレームが存在する状態を表す矩形には、その状態に対応するフレームの代表画像が表示され、さらに、下部には、その状態に対応するフレームに付与されたアノテーションとしての単語が表示される。
【０５６２】
そして、現在再生されているフレーム（再生フレーム）に対応する状態については、代表画像に代えて、再生フレームの画像が、代表画像より大きく表示され、アノテーションも、他の状態より大きく表示される。
【０５６３】
表示制御装置１６では、トピックリストの表示から切り替えられたモデルマップについては、トピックリストの興味トピック欄に対応付けられたフレームに対応する状態（を表す矩形や、その矩形内の代表画像、アノテーション等）を、強調して表示することができる。
【０５６４】
ここで、図３２では、モデルマップ上の、興味トピック欄に対応付けられたフレームに対応する状態が、その状態を表す矩形の下部に、太線が表示されることにより強調されている。
【０５６５】
以上のように、トピックリストの表示から切り替えられたモデルマップにおいて、トピックリストの興味トピック欄に対応付けられたフレームに対応する状態を、強調して表示することにより、ユーザは、トピックリストにおいて、興味トピック欄とするトピック欄を選択した後に、モデルマップに切り替えることで、モデルマップ上で、興味トピックに対応付けられたフレーム、つまり、ユーザが興味を持っている内容のフレームに対応する状態を、一目で認識することができる。
【０５６６】
なお、モデルマップにおいて、ユーザによって、ある状態が選択された場合には、表示制御装置１６では、ユーザによって選択された状態である選択状態に対応するフレームのフレームトピックと一致するフレームトピックのフレームに対応する他の状態を検出し、選択状態とともに、強調して表示することができる。
【０５６７】
［特徴量抽出部２１の第４の構成例］
【０５６８】
図３３は、図２の特徴量抽出部２１の第４の構成例を示すブロック図である。
【０５６９】
なお、図３３において、図２１、又は、図２２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０５７０】
図３３の特徴量抽出部２１は、画像取得部３１、画像特徴量抽出部１０１、説明テキスト取得部３３、テキスト特徴量抽出部３４、同期部３５、音声取得部１０２、及び、音声特徴量抽出部１０３を有する点で、図２１の場合と共通する。
【０５７１】
さらに、図３３の特徴量抽出部２１は、基底空間学習部１５１、基底空間データ記憶部１５２、次元圧縮部１５３、基底空間学習部１６１、基底空間データ記憶部１６２、及び、次元圧縮部１５３を有する点で、図２２の場合と共通する。
【０５７２】
そして、図３３の特徴量抽出部２１は、基底空間学習部２０１、基底空間データ記憶部２０２、次元圧縮部２０３、基底空間学習部２１１、基底空間データ記憶部２１２、次元圧縮部２１３、基底空間学習部２２１、基底空間データ記憶部２２２、及び、次元圧縮部２２３が、新たに設けられている点で、図２１及び図２２の場合と相違する。
【０５７３】
基底空間学習部２０１には、画像特徴量抽出部１０１から、学習用コンテンツの第２画像特徴量が供給される。
【０５７４】
基底空間学習部２０１は、例えば、基底空間学習部１５１と同様に、第２画像特徴量を写像するための、第２画像特徴量の次元より小さい次元の画像用基底空間の基底空間データとしてのコードブック等を、画像特徴量抽出部１０１からの第２画像特徴量を用いて求め、基底空間データ記憶部２０２に供給する。
【０５７５】
基底空間データ記憶部２０２は、基底空間学習部２０１からの基底空間データを記憶する。
【０５７６】
次元圧縮部２０３には、画像特徴量抽出部１０１から、学習用コンテンツの第２画像特徴量が供給される。
【０５７７】
次元圧縮部２０３は、例えば、次元圧縮部１５３と同様に、基底空間データ記憶部２０２に記憶された基底空間データに基づき、画像特徴量抽出部１０１からの第２画像特徴量の次元を小さくする次元圧縮としてのベクトル量子化等を行い、次元圧縮後の第２画像特徴量を、同期部３５に供給する。
【０５７８】
基底空間学習部２１１には、画像特徴量抽出部１０１から、学習用コンテンツの第３画像特徴量が供給される。
【０５７９】
基底空間学習部２１１は、例えば、基底空間学習部１５１と同様に、第３画像特徴量を写像するための、第３画像特徴量の次元より小さい次元の画像用基底空間の基底空間データとしてのコードブック等を、画像特徴量抽出部１０１からの第３画像特徴量を用いて求め、基底空間データ記憶部２１２に供給する。
【０５８０】
基底空間データ記憶部２１２は、基底空間学習部２１１からの基底空間データを記憶する。
【０５８１】
次元圧縮部２１３には、画像特徴量抽出部１０１から、学習用コンテンツの第３画像特徴量が供給される。
【０５８２】
次元圧縮部２１３は、例えば、次元圧縮部１５３と同様に、基底空間データ記憶部２１２に記憶された基底空間データに基づき、画像特徴量抽出部１０１からの第３画像特徴量の次元を小さくする次元圧縮としてのベクトル量子化等を行い、次元圧縮後の第３画像特徴量を、同期部３５に供給する。
【０５８３】
基底空間学習部２２１には、音声特徴量抽出部１０３から、学習用コンテンツの音声特徴量が供給される。
【０５８４】
基底空間学習部２２１は、例えば、基底空間学習部１５１と同様に、音声特徴量を写像するための、音声特徴量の次元より小さい次元の音声用基底空間の基底空間データとしてのコードブック等を、音声特徴量抽出部１０３からの音声特徴量を用いて求め、基底空間データ記憶部２２２に供給する。
【０５８５】
基底空間データ記憶部２２２は、基底空間学習部２２１からの基底空間データを記憶する。
【０５８６】
次元圧縮部２２３には、音声特徴量抽出部１０３から、学習用コンテンツの音声特徴量が供給される。
【０５８７】
次元圧縮部２２３は、例えば、次元圧縮部１５３と同様に、基底空間データ記憶部２２２に記憶された基底空間データに基づき、音声特徴量抽出部１０３からの音声特徴量の次元を小さくする次元圧縮としてのベクトル量子化等を行い、次元圧縮後の音声特徴量を、同期部３５に供給する。
【０５８８】
図２１では、第１画像特徴量ないし第３画像特徴量、音声特徴量、及び、テキスト特徴量を、そのまま用いて、アノテーション用系列が構成されるが、図３３では、第１画像特徴量ないし第３画像特徴量、音声特徴量、及び、テキスト特徴量の次元圧縮が行われ、その次元圧縮後の第１画像特徴量ないし第３画像特徴量、音声特徴量、及び、テキスト特徴量から、アノテーション用系列が構成され、アノテーションモデルの学習に用いられる。
【０５８９】
図３４は、学習装置１２の特徴量抽出部２１が図３３に示したように構成される場合の、図８のアノテーション付与装置１４の特徴量抽出部４１（フレーム検索装置１５の特徴量抽出部５１（図１０）、及び、表示制御装置１６の特徴量抽出部６１（図１５））の構成例を示すブロック図である。
【０５９０】
図３４において、アノテーション付与装置１４（図８）の特徴量抽出部４１は、画像取得部１７１、画像特徴量抽出部１７２、基底空間データ記憶部１７３、次元圧縮部１７４、説明テキスト取得部１８１、テキスト特徴量抽出部１８２、基底空間データ記憶部１８３、次元圧縮部１８４、同期部１９１、基底空間データ記憶部２６１、次元圧縮部２６２、基底空間データ記憶部２７１、次元圧縮部２７２、音声取得部２８１、音声特徴量抽出部２８２、基底空間データ記憶部２８３、及び、次元圧縮部２８４を有する。
【０５９１】
さらに、画像特徴量抽出部１７２は、第１画像特徴量抽出部１７２１、第２画像特徴量抽出部１７２２、及び、第３画像特徴量抽出部１７２３を有する。
【０５９２】
図３４の特徴量抽出部４１において、基底空間データ記憶部１７３は、図３３の基底空間学習部１５１で求められた基底空間データを、基底空間データ記憶部１８３は、図３３の基底空間学習部１６１で求められた基底空間データを、基底空間データ記憶部２６１は、図３３の基底空間学習部２０１で求められた基底空間データを、基底空間データ記憶部２７１は、図３３の基底空間学習部２１１で求められた基底空間データを、基底空間データ記憶部２８３は、図３３の基底空間学習部２２１で求められた基底空間データを、それぞれ記憶する。
【０５９３】
そして、画像取得部１７１、第１画像特徴量抽出部１７２１、第２画像特徴量抽出部１７２２、第３画像特徴量抽出部１７２３、次元圧縮部１７４、説明テキスト取得部１８１、テキスト特徴量抽出部１８２、次元圧縮部１８４、同期部１９１、次元圧縮部２６２、次元圧縮部２７２、音声取得部２８１、音声特徴量抽出部２８２、及び、次元圧縮部２８４において、対象コンテンツについて、図３３の画像取得部３１、第１画像特徴量抽出部１０２１、第２画像特徴量抽出部１０２２、第３画像特徴量抽出部１０２３、次元圧縮部１５３、説明テキスト取得部３３、テキスト特徴量抽出部３４、次元圧縮部１６３、同期部３５、次元圧縮部２０３、次元圧縮部２１３、音声取得部１０２、音声特徴量抽出部１０３、及び、次元圧縮部２２３とそれぞれ同様の処理が行われ、これにより、次元圧縮後の第１画像特徴量ないし第３画像特徴量、音声特徴量、及び、テキスト特徴量を含むアノテーション用系列が構成される。
【０５９４】
但し、説明テキストを取得することができない対象コンテンツについては、次元圧縮後のテキスト特徴量としてのトピックラベルとして、ダミーのデータを用いて、アノテーション用系列が構成される。
【０５９５】
＜第２実施の形態＞
【０５９６】
［本発明の情報処理装置を適用したレコーダの他の一実施の形態］
【０５９７】
図３５は、本発明の情報処理装置を適用したレコーダの他の一実施の形態の構成例を示すブロック図である。
【０５９８】
図３５のレコーダ（以下、ブラウジングレコーダともいう）は、例えば、HD(Hard Disk)レコーダ等であり、テレビジョン放送の番組や、インターネット等のネットワークを介して提供されるコンテンツ、ビデオカメラ等で撮影したコンテンツ等の各種のコンテンツを録画（記録）（記憶）することができる。
【０５９９】
すなわち、図３５において、ブラウジングレコーダは、操作部３０１、制御部３０２、コンテンツ取得部３１０、コンテンツ記憶部３１１、学習装置３１２、アノテーションモデル記憶部３１３、及び、ブラウジング制御装置３１４を有する。
【０６００】
操作部３０１は、図３５のブラウジングレコーダの筐体に設けられたボタンや、ブラウジングレコーダを遠隔制御するリモートコマンダ等であり、ユーザによって操作され、その操作に対応した操作信号を、制御部３０２に供給する。
【０６０１】
制御部３０２は、操作部３０１の操作等に応じて、コンテンツ取得部３１０ないしブラウジング制御部３１４を制御する。
【０６０２】
コンテンツ取得部３１０は、テレビジョン放送の番組等の画像を含むコンテンツを取得し、コンテンツ記憶部３１１に供給する。
【０６０３】
すなわち、コンテンツ取得部３１０は、例えば、チューナや、STB(Set Top Box)、NIC(Network Interface Card)等のネットワークI/F(Inter face)で構成することができ、この場合、コンテンツを、地上ディジタル放送、衛星ディジタル放送、CATV網、インターネットその他のネットワーク等の、図示せぬ伝送媒体を介して取得する。
【０６０４】
また、コンテンツ取得部３１０は、例えば、記録媒体を駆動するドライブ等で構成することができ、この場合、コンテンツを、例えば、ビデオカメラが内蔵するハードディスクや、ビデオカメラから取り外されたメモリカード等の半導体メモリ、テープ状記録媒体、ディスク状記録媒体等の記録媒体から取得する。
【０６０５】
なお、以下では、説明を簡単にするため、コンテンツ取得部３１０は、テレビジョン放送の番組（放送番組）を受信するチューナで構成されることとする。
【０６０６】
コンテンツ記憶部３１１は、コンテンツ取得部３１０からのコンテンツを記憶（記録）する。コンテンツ記憶部３１１へのコンテンツの記憶が、そのコンテンツの録画となり、その録画がされたコンテンツ（コンテンツ記憶部３１１に記憶されたコンテンツ）は、例えば、ユーザによる操作部３０１の操作に応じて再生される。
【０６０７】
学習装置３１２は、図１の学習装置１２と同様に構成され、コンテンツ記憶部３１１に記憶されたコンテンツを、所定の特徴量空間において自己組織的に構造化し、コンテンツの構造（時空間構造）を表すモデルを求める学習（統計学習）を行う。
【０６０８】
すなわち、学習装置３１２は、コンテンツ記憶部３１１に記憶されたコンテンツのうちの、コンテンツの画像の内容を説明する説明テキストを取得することができるコンテンツを、アノテーションモデルの学習に用いる学習用コンテンツに選択する。
【０６０９】
さらに、学習装置３１２は、学習用コンテンツの画像の各フレームの画像特徴量を抽出するとともに、その学習用コンテンツの画像の内容を説明する説明テキストにおいて各単語が出現する頻度に関する単語頻度情報を、説明テキストのテキスト特徴量として抽出する。
【０６１０】
そして、学習装置３１２は、学習用コンテンツから抽出した画像特徴量、及び、テキスト特徴量を含むマルチストリームであるアノテーション用系列を構成し、そのアノテーション用系列を用いて、マルチストリームHMMであるアノテーションモデルの学習を行う。
【０６１１】
学習装置３１２は、アノテーションモデルの学習を行うと、その学習後のアノテーションモデルを、アノテーションモデル記憶部３１３に供給する。
【０６１２】
アノテーションモデル記憶部３１３は、学習装置３１２から供給されるアノテーションモデルを記憶する。
【０６１３】
ブラウジング制御装置３１４は、アノテーションモデル記憶部３１３に記憶されたアノテーションモデルを用いて、コンテンツ記憶部３１１に記憶されたコンテンツのうちの、シーンを抽出する対象の対象コンテンツから、時間的に連続する１フレーム以上のフレームの集まりであるシーンを抽出し、そのシーンの代表画像を、表示時刻（再生時刻）順に並べて表示させる。
【０６１４】
すなわち、ブラウジング制御装置３１４は、ユーザが、対象コンテンツの内容を迅速に把握することができるように、対象コンテンツを、シーンに分けて、各シーンを構成するフレームの代表画像と、アノテーションとを、表示時刻順に表示させる。
【０６１５】
また、ブラウジング制御装置３１４は、対象コンテンツの中から、ユーザが興味を持っているシーンを迅速に探し出すことができるように、対象コンテンツから、ユーザが操作部３０１を操作することにより入力したキーワードに内容が合致するフレーム（キーワードフレーム）を有するシーンを検出し、各シーンを構成するフレームの代表画像を、表示時刻順に表示させる。
【０６１６】
［ブラウジングレコーダが行う処理の概要］
【０６１７】
図３６ないし図３９は、図３５のブラウジングレコーダが行う処理の概要を説明する図である。
【０６１８】
ここで、番組の中には、複数のコーナから構成される番組がある。例えば、テレビジョン放送のニュース番組は、経済ニュースや、社会ニュース、スポーツニュース等の複数のニューストピックのコーナ（シーン）から構成される。
【０６１９】
かかるニュース番組については、例えば、レコーダにおいて、EPG(Electronic Program Guide)のデータを取得することにより、放送開始時刻や、放送終了時刻、出演者、番組の内容の概要を提示する（表示させる）ことができる。
【０６２０】
しかしながら、レコーダにおいて、EPGのデータを用いて、例えば、ある日のあるチャンネル（放送局）のニュース番組において、どのようなニューストピックが何時何分から取り上げられているかを提示することはできない。
【０６２１】
また、レコーダによれば、レコーダに組み込まれたブラウザにおいて、EPG上に、番組が録画済みかどうかを表示し、EPG上の、録画済みの番組が指定されたときに、その録画済みの番組の再生を、番組の先頭から開始する、いわゆる頭出しを行うことができる。
【０６２２】
しかしながら、レコーダにおいて、録画済みの番組の所定のコーナの頭出しを行うことはできない。
【０６２３】
以上のように、レコーダは、番組を、いわば、番組単位で扱い、コーナ単位では扱わないので、番組"全体"の概要の表示や、番組の頭出しは、行うことができるが、番組のコーナごとの概要の表示や、コーナの頭出しは、行うことができない。
【０６２４】
ところで、番組を、コーナ等の、内容的にまとまったシーンに区切り、そのシーンごとに、シーンの概要を認識することができるような番組のブラウジング（以下、シーンブラウジングともいう）の仕方を、ユーザに提供することができれば便利である。
【０６２５】
レコーダにおいて、前述の、有料サービスである番組メタデータサービスで配信される、番組のコーナごとの開始時刻、終了時刻、出演者、及び、コーナの内容の要約等のメタデータを処理することにより、ユーザがシーンブラウジングを行うことが可能になると考えられるが、そのようなレコーダは提案されていない。
【０６２６】
また、レコーダにおいて、録画済みの番組について、ユーザが所望するコーナの頭出しを行う方法として、ユーザに、所望するコーナの内容を表現する単語を、キーワードとして入力してもらい、録画済みの番組から、ユーザが入力したキーワードを含む字幕が表示されるフレームを検出し、そのフレームから再生を開始する方法が考えられる。
【０６２７】
しかしながら、録画済みの番組から、ユーザが入力したキーワードを含む字幕が表示されるフレームを検出する方法は、字幕がない番組には、適用することができない。さらに、ユーザが所望するコーナに字幕が表示されても、その字幕に、ユーザが入力したキーワードが含まれなければ、ユーザが所望するコーナ（のフレーム）は、検出されない。
【０６２８】
また、レコーダにおいて、録画済みの番組の音声から、ユーザが入力したキーワードを検出し、そのキーワードを含む音声が発話されているフレームから、再生を開始することで、ユーザが所望するコーナの頭出しを行う方法が考えられる。
【０６２９】
しかしながら、録画済みの番組の音声から、ユーザが入力したキーワードを検索する方法では、やはり、ユーザが所望するコーナの音声に、ユーザが入力したキーワードが発話されていなければ、ユーザが所望するコーナ（のフレーム）は、検出されない。
【０６３０】
図３５のブラウジングレコーダでは、上述したアノテーションモデルを用いて、シーンを抽出する対象の対象コンテンツから、時間的に連続する１フレーム以上のフレームの集まりであるシーンを抽出し、そのシーンの代表画像を、時刻順に並べて表示させることで、ユーザが、コンテンツを構成するシーンの概要を容易に認識することができるシーンブラウジングを行うことを可能とする。
【０６３１】
すなわち、ブラウジングレコーダでは、アノテーションモデルの学習、アノテーションモデルを用いての、対象コンテンツからのシーンの抽出、及び、シーンの代表画像を、時刻順に並べて表示させる表示制御が行われる。
【０６３２】
図３６は、図３５のブラウジングレコーダによるアノテーションモデルの学習の概要を説明する図である。
【０６３３】
ブラウジングレコーダでは、制御部３０２が、シーンブラウジングを行うコンテンツのジャンルを、ブラウジングジャンルに設定する。
【０６３４】
ここで、制御部３０２は、例えば、ユーザによる操作部３０１の操作に従って、ブラウジングジャンルの設定を行う。ここでは、例えば、ジャンルとしてのニュースが、ブラウジングジャンルに設定されたこととする。
【０６３５】
ブラウジングレコーダでは、コンテンツ取得部３１０が、例えば、EPGのデータから、各番組のジャンルを認識し、ジャンルがブラウジングジャンルであるニュースに一致する番組を録画する。すなわち、これにより、ジャンルがブラウジングジャンルに一致するニュース番組が、コンテンツ記憶部３１１に記憶される。
【０６３６】
そして、ブラウジングレコーダでは、学習装置３１２が、コンテンツ記憶部３１１に記憶された、過去の一定期間に（放送されて）録画された録画番組の中で、ジャンルがブラウジングジャンルであるニュースに一致し、かつ、字幕のテキストを含む録画番組を、アノテーションモデルの学習に用いる学習用コンテンツとして読み出し、その学習用コンテンツを用いて、マルチストリームHMMであるアノテーションモデルの学習（コンテンツ構造学習）を、図１の学習装置１２と同様にして行う。
【０６３７】
そして、学習装置３１２は、学習後のアノテーションモデルを、アノテーションモデル記憶部３１３に供給して記憶させる。
【０６３８】
図３７は、図３５のブラウジングレコーダによる、アノテーションモデルを用いての、対象コンテンツからのシーンの抽出の概要を説明する図である。
【０６３９】
ブラウジングレコーダでは、ブラウジング制御装置３１４が、コンテンツ記憶部３１１に記憶された、過去の一定期間に（放送されて）録画された録画番組の中で、ジャンルがブラウジングジャンルであるニュースに一致する録画番組を、字幕のテキストの有無に関係なく、対象コンテンツとして読み出し、アノテーションモデル記憶部３１３に記憶されたアノテーションモデルを用いて、対象コンテンツに、アノテーションを付与するアノテーション付与処理を、図１のアノテーション付与装置１４と同様にして行う。
【０６４０】
すなわち、ブラウジング制御装置３１４は、対象コンテンツについて、アノテーション用系列を構成し、アノテーションモデル記憶部３１３に記憶されたアノテーションモデル（マルチストリームHMM）において、対象コンテンツのアノテーション用系列が観測される最尤状態系列を求める（状態認識を行う）。
【０６４１】
さらに、ブラウジング制御装置３１４は、対象コンテンツのアノテーション用系列が観測される最尤状態系列に基づいて、対象コンテンツの各フレーム（各時刻）に、アノテーション（となる単語）を付与する。
【０６４２】
そして、ブラウジング制御装置３１４は、対象コンテンツから、同一のアノテーションが付与されている、時間的に連続する１フレーム以上のフレームの集まりを、シーンとして抽出し、これにより、対象コンテンツを、シーンに区分する。
【０６４３】
ここで、ある注目フレームと同一のアノテーションが付与されているフレームには、アノテーションとして付与されている単語すべてが注目フレームと一致するフレームの他、アノテーションとして付与されている単語のうちの一部の単語が注目フレームと一致するフレームを含めることができる。
【０６４４】
図３８は、図３５のブラウジングレコーダによる、シーンの代表画像を、表示時刻順に並べて表示させる表示制御の概要を説明する図である。
【０６４５】
ブラウジングレコーダにおいて、ブラウジング制御装置３１４は、対象コンテンツのすべてを、シーンに区分すると、各対象コンテンツについて、シーンの代表画像を、表示時刻順に並べて表示させる。
【０６４６】
すなわち、ブラウジング制御装置３１４は、対象コンテンツの各シーンについて、例えば、そのシーンの最初のフレームのサムネイルを、代表画像として生成し、対象コンテンツの各シーンの代表画像を、表示時刻順に、例えば、上から下方向（縦方向）等の一方向に並べた画像（以下、時刻順概要表示画像ともいう）を生成する。
【０６４７】
そして、ブラウジング制御装置３１４は、図示せぬディスプレイに、EPGを表示させ、そのEPGの番組欄のうちの対象コンテンツの番組欄に、その対象コンテンツの時刻順概要表示画像を表示させる。
【０６４８】
ここで、ブラウジング制御装置３１４では、時刻順概要表示画像の各シーンの代表画像の縦方向（時刻方向）の長さは、そのシーンの時間（そのシーンを構成するフレーム数）に比例させることができる。
【０６４９】
また、ブラウジング制御装置３１４では、時刻順概要表示画像の各シーンの代表画像については、例えば、図３８に示すように、吹き出しの形等で、シーンを構成するフレームに付与されたアノテーションとしての単語を表示させることができる。
【０６５０】
さらに、ブラウジング制御装置３１４では、アノテーションとしての単語と、対象コンテンツとしてのニュース番組において、その単語が使用されるときのニュースのジャンル（以下、メタジャンルともいう）とを対応付けたメタジャンル辞書を用意しておき、時刻順概要表示画像の各シーンの代表画像については、アノテーションとともに、又は、アノテーションに代えて、メタジャンルを表示させることができる。
【０６５１】
以上のように、ブラウジング制御装置３１４によれば、ブラウジングジャンルの番組、すなわち、ここでは、ニュース番組について、時刻順概要表示画像が、その時刻順概要表示画像の各シーン（を構成するフレーム）に付与されたアノテーションとともに、EPG上に表示される。
【０６５２】
したがって、ユーザは、時刻順概要表示画像とアノテーションを見て、過去の一定期間に録画されたニューズ番組を構成するシーンの概要を、容易に認識することができる。
【０６５３】
また、ブラウジング制御装置３１４では、対象コンテンツから、同一のアノテーションが付与されている、時間的に連続する１フレーム以上のフレームの集まりを、シーンとして抽出することにより、対象コンテンツを、シーンに区分するので、シーンは、対象コンテンツであるニュース番組の、例えば、経済ニュースや、社会ニュース、スポーツニュース等のコーナに一致している蓋然性が高い。
【０６５４】
したがって、EPG上に表示された、ニュース番組の時刻順概要表示画像によれば、ユーザは、各ニュース番組が、どのようなコーナで構成されているかを、一見して（いわゆる、パッと見で）把握することができる。
【０６５５】
さらに、ユーザは、例えば、スポーツニュースに興味がある場合に、ニュース番組の中で、スポーツニュースのコーナが、そのくらいの時刻から、どのくらいの時間だけ放送されているのかを把握することができる。
【０６５６】
なお、ブラウジング制御装置３１４では、対象コンテンツを、シーンに区分するときに、例えば、対象コンテンツの先頭（のフレーム）を基準とする各シーンの開始時刻と終了時刻とを検出することができる。
【０６５７】
この場合、ブラウジング制御装置３１４では、EPG上に表示された、ニュース番組の時刻順概要表示画像を構成する代表画像のうちの、あるシーンの代表画像が、ユーザによる操作部３０１の操作によって指定されたときに、そのシーンを、開始時刻から再生することができる。すなわち、ニュース番組の、あるコーナ（シーン）の頭出しを行うことができる。
【０６５８】
また、ブラウジング制御装置３１４では、ニュース番組の時刻順概要表示画像として、ニュース番組のすべてのシーン（コーナ）の代表画像を並べた画像の他、ニュース番組のシーン（コーナ）のうちの、ユーザが操作部３０１を操作することにより入力したキーワードによって内容が表現されるコーナの代表画像を並べた画像を生成し、EPG上に表示させることができる。
【０６５９】
すなわち、図３９は、ユーザが入力したキーワードによって内容が表現されるコーナ（シーン）のみの代表画像を、表示時刻順に並べた時刻順概要表示画像を表示させる表示制御の概要を説明する図である。
【０６６０】
ユーザは、操作部３０１を操作することにより、キーワードを含む検索クエリを入力することができる。
【０６６１】
ここで、検索クエリには、キーワードの他、図１２ないし図１４で説明したようなAND検索式やOR検索式を含めることができる。
【０６６２】
図３５のブラウジングレコーダでは、ブラウジング制御装置３１４が、コンテンツ記憶部３１１に記憶された、過去の一定期間に録画された録画番組の中で、ジャンルがブラウジングジャンルであるニュースに一致する録画番組を、対象コンテンツとして読み出し、アノテーションモデル記憶部３１３に記憶されたアノテーションモデルを用いて、対象コンテンツから、ユーザが入力した検索クエリに含まれるキーワードに内容が合致するフレームであるキーワードフレームを検索するフレーム検索処理を、図１のフレーム検索装置１５と同様にして行う。
【０６６３】
そして、ブラウジング制御装置３１４は、対象コンテンツから検索したキーワードフレームから、時間的に連続する１フレーム以上のキーワードフレームの集まりを、シーンとして抽出し、これにより、対象コンテンツのキーワードフレームを、シーンに区分する。
【０６６４】
すなわち、ブラウジング制御装置３１４は、対象コンテンツのキーワードフレームのうちの、最初のキーワードフレームを注目フレームに選択し、注目フレームを、１番目のシーンを構成するフレームとして、１番目のシーンに含める。
【０６６５】
さらに、ブラウジング制御装置３１４は、対象コンテンツのキーワードフレームのうちの、次のキーワードフレームを新たな注目フレームに選択し、注目フレームが、直前に注目フレームであったキーワードフレーム（以下、直前フレームともいう）と表示時刻が連続しているキーワードフレームである場合、つまり、対象コンテンツにおいて、注目フレームが、直前フレームの次のフレームである場合、注目フレームを、１番目のシーンを構成するフレームとして、１番目のシーンに含める。
【０６６６】
その後、ブラウジング制御装置３１４は、対象コンテンツのキーワードフレームのうちの、次のキーワードフレームを新たな注目フレームに選択し、注目フレームが、直前フレームと表示時刻が連続しているキーワードフレームである間は、注目フレームを、１番目のシーンを構成するフレームとして、１番目のシーンに含めることを繰り返す。
【０６６７】
一方、注目フレームが、直前フレームと表示時刻が連続していないキーワードフレームである場合、つまり、対象コンテンツにおいて、注目フレームが、直前フレームの次の次のフレーム以降のフレームである場合、ブラウジング制御装置３１４は、注目フレームを、新たなシーンとしての２番目のシーンを構成するフレームとして、２番目のシーンに含める。
【０６６８】
以下、同様にして、ブラウジング制御装置３１４は、対象コンテンツのキーワードフレームを、１以上のシーンに区分する。
【０６６９】
その後、ブラウジング制御装置３１４は、各対象コンテンツについて、シーンの代表画像を、表示時刻順に並べて表示させる。
【０６７０】
すなわち、ブラウジング制御装置３１４は、対象コンテンツのキーワードフレームから構成される各シーンについて、例えば、そのシーンの最初のフレームのサムネイルを、代表画像として生成し、対象コンテンツの各シーンの代表画像を、表示時刻順に、例えば、上から下方向等の一方向に並べた時刻順概要表示画像を生成する。
【０６７１】
そして、ブラウジング制御装置３１４は、図示せぬディスプレイに、EPGを表示させ、そのEPGの番組欄のうちの対象コンテンツの番組欄に、その対象コンテンツの時刻順概要表示画像を表示させる。
【０６７２】
ここで、ブラウジング制御装置３１４では、図３８の場合と同様に、時刻順概要表示画像の各シーンの代表画像の縦方向の長さは、そのシーンの時間に比例させることができる。さらに、図３８の場合と同様に、時刻順概要表示画像の各シーンの代表画像については、シーンを構成するフレームに付与されるアノテーションとしての単語や、メタジャンルを表示させることができる。
【０６７３】
［ブラウジング制御装置３１４の構成例］
【０６７４】
図４０は、図３５のブラウジング制御装置３１４の構成例を示すブロック図である。
【０６７５】
ブラウジング制御装置３１４は、アノテーション付与部３３１、フレーム検索部３３２、シーン構成部３３３、及び、表示制御部３３４を有する。
【０６７６】
アノテーション付与部３３１は、コンテンツ記憶部３１１に記憶された対象コンテンツを、順次、注目コンテンツに選択する。
【０６７７】
そして、アノテーション付与部３３１は、図１のアノテーション付与装置１４と同様に、アノテーションモデル記憶部３１３に記憶されたアノテーションモデルを用いて、注目コンテンツの各フレームに、アノテーションを付与し、注目コンテンツのフレームごとに付与されたアノテーションと、そのフレームのフレーム番号（第tフレームのt）とを対応付けたアノテーション単語情報を、シーン構成部３３３に供給する。
【０６７８】
フレーム検索部３３２は、コンテンツ記憶部３１１に記憶された対象コンテンツを、順次、注目コンテンツに選択する。
【０６７９】
そして、フレーム検索部３３２は、図１のフレーム検索装置１５と同様に、アノテーションモデル記憶部３１３に記憶されたアノテーションモデルを用いて、注目コンテンツからキーワードフレームを検索し、そのキーワードフレームの時系列順の並びであるキーワードダイジェストを、シーン構成部３３３に供給する。
【０６８０】
シーン構成部３３３は、アノテーション付与部３３１から供給されるアノテーション単語情報や、フレーム検索部３３２から供給されるキーワードダイジェストを用いて、コンテンツ記憶部３１１に記憶された注目コンテンツをシーンに区分する（注目コンテンツのシーンを構成する）。
【０６８１】
さらに、シーン構成部３３３は、注目コンテンツの各シーンの代表画像を生成し、その各シーンの代表画像を、表示時刻順に、上から下方向に並べた時刻順概要表示画像を生成し、表示制御部３３４に供給する。
【０６８２】
ここで、シーン構成部３３３は、注目コンテンツを、シーンに区分するときに、各シーンの開始時刻、及び、終了時刻（以下、シーン時刻情報ともいう）を検出し、時刻順概要表示画像とともに、表示制御部３３４に供給する。
【０６８３】
表示制御部３３４は、図示せぬディスプレイに、EPGを表示させ、そのEPGの番組欄のうちの注目コンテンツの番組欄に、その注目コンテンツの時刻順概要表示画像を表示させる。
【０６８４】
また、表示制御部３３４は、アノテーション付与部３３１で得られたアノテーション単語情報を用いて、例えば、図３８に示したように、シーンを構成するフレームに付与されたアノテーションとしての単語を表示させる。
【０６８５】
さらに、表示制御部３３４は、EPG上に表示された時刻順概要表示画像を構成する代表画像のうちの、あるシーンの代表画像が、ユーザによる操作部３０１（図３５）の操作によって指定されることによって、そのシーンの頭出しが指示された場合、そのシーンを含むコンテンツを、頭出しの対象とする頭出しコンテンツとして認識し、頭出しを行うシーンの開始時刻を、シーン構成部３３３からのシーン時刻情報から認識する。
【０６８６】
そして、表示制御部３３４は、コンテンツ記憶部３１１から、頭出しコンテンツを読み出し、頭出しを行うシーンから再生する再生制御を行う。
【０６８７】
［ブラウジングレコーダの処理］
【０６８８】
以下、図３５のブラウジングレコーダで行われる各種の処理を説明する。
【０６８９】
図４１は、図３５のブラウジングレコーダで行われる設定処理を説明するフローチャートである。
【０６９０】
設定処理では、各種の設定が行われる。
【０６９１】
すなわち、設定処理では、ステップＳ２１１において、制御部３０２（図３５）が、アノテーションモデルの学習を開始する時刻である学習開始時刻の設定を行い、処理は、ステップＳ２１２に進む。
【０６９２】
ここで、学習開始時刻については、ブラウジングレコーダの工場等において、例えば、22時等の所定の時刻を、デフォルトの時刻に設定しておき、そのデフォルトの時刻を、学習開始時刻に設定することができる。
【０６９３】
また、学習開始時刻は、ユーザの操作に従って設定することができる。すなわち、例えば、ユーザが、操作部３０１（図３５）を操作することにより、学習開始時刻となる時刻を入力した場合には、その時刻を、学習開始時刻に設定することができる。
【０６９４】
なお、学習開始時刻としては、例えば、曜日ごとに異なる時刻を設定することができる。
【０６９５】
また、学習開始時刻の設定では、カレンダを表示し、ユーザに、一日ごとに異なる時刻を、学習開始時刻として入力してもらうことが可能である。
【０６９６】
さらに、学習開始時刻としては、ユーザが操作部３０１を操作することにより、過去に、学習開始時刻として入力した時刻を設定することが可能である。
【０６９７】
ステップＳ２１２では、制御部３０２は、学習用コンテンツを取得する学習用コンテンツ取得期間を設定し、処理は、ステップＳ２１３に進む。
【０６９８】
ここで、制御部３０２では、学習開始時刻から１週間ないし数週間等だけ遡った時刻から、学習開始時刻（の直前）までの期間を、デフォルトの期間として、そのデフォルトの期間を、学習用コンテンツ取得期間に設定することができる。
【０６９９】
また、制御部３０２では、ユーザによる操作部３０１の操作に従った、学習開始時刻以前の期間を、学習用コンテンツ取得期間に設定することができる。
【０７００】
ステップＳ２１３では、制御部３０２は、シーンブラウジングを行う対象のコンテンツ、すなわち、ブラウジング制御装置３１４（図３５、図４０）において、シーンを抽出する対象の対象コンテンツを取得する対象コンテンツ取得期間を設定し、処理は、ステップＳ２１４に進む。
【０７０１】
ここで、制御部３０２は、例えば、学習開始時刻から１週間等だけ遡った時刻から、学習開始時刻（の直前）までの期間を、デフォルトの期間として、そのデフォルトの期間を、対象コンテンツ取得期間に設定する。
【０７０２】
また、制御部３０２では、ユーザによる操作部３０１の操作に従って、対象コンテンツ取得期間を設定することができる。
【０７０３】
但し、制御部３０２は、学習用コンテンツ取得期間と重複する期間を、対象コンテンツ取得期間に設定する。したがって、対象コンテンツ取得期間は、学習用コンテンツ取得期間に包含される。
【０７０４】
学習用コンテンツ取得期間と重複する期間を、対象コンテンツ取得期間に設定することにより、内容がそれほど異ならないコンテンツを、学習用コンテンツ、及び、対象コンテンツとして用いることができる。
【０７０５】
すなわち、例えば、オリンピックが開催されている時期のコンテンツを、対象コンテンツとする場合に、やはり、オリンピックが開催されている時期のコンテンツを、学習用コンテンツとして学習を行ったアノテーションモデルを用いて、アノテーション付与処理、及び、フレーム検索処理を行うことができる。
【０７０６】
ステップＳ２１４では、制御部３０２は、ジャンルがブラウジングジャンルであるニュースのコンテンツ（ニュース番組）の中で、学習用コンテンツ取得期間に放送されるコンテンツを、録画対象のコンテンツである録画対象コンテンツに設定する。
【０７０７】
そして、制御部３０２は、録画対象コンテンツの録画予約を行って、すなわち、録画対象コンテンツが放送されるチャンネル、録画を開始する録画開始時刻（録画対象コンテンツの放送開始時刻）、及び、録画を終了する録画終了時刻（録画対象コンテンツの放送終了時刻）の設定を行って、設定処理は、終了する。
【０７０８】
ここで、上述したように、対象コンテンツ取得期間は、学習用コンテンツ取得期間に包含されるので、ジャンルがブラウジングジャンルであるニュースのコンテンツ（ニュース番組）の中で、学習用コンテンツ取得期間に放送されるニュース番組が、録画対象コンテンツに設定されることにより、ジャンルがブラウジングジャンルであるニュースのコンテンツ（ニュース番組）の中で、対象コンテンツ取得期間に放送されるニュース番組も、録画対象コンテンツに設定される。
【０７０９】
なお、ジャンルがブラウジングジャンルであるニュースのコンテンツの中からの、録画対象コンテンツの設定は、ユーザによる操作部３０１の操作に従って行うことが可能である。
【０７１０】
すなわち、制御部３０２では、EPG上に、学習用コンテンツ取得期間に放送される、ジャンルがブラウジングジャンルであるニュースのコンテンツ（ニュース番組）を、図示せぬディスプレイに表示させ、そのEPG上から、ユーザが操作部３０１を操作することにより選択したニュース番組を、録画対象コンテンツに設定することができる。
【０７１１】
図４２は、図３５のブラウジングレコーダで行われるコンテンツ取得関連処理を説明するフローチャートである。
【０７１２】
コンテンツ取得関連処理では、録画対象コンテンツの取得に関連する処理が行われる。
【０７１３】
すなわち、コンテンツ取得関連処理では、ステップＳ２２１において、制御部３０２は、現在時刻が、任意の録画対象コンテンツの録画開始時刻であるかどうかを判定する。
【０７１４】
ステップＳ２２１において、現在時刻が録画開始時刻であると判定された場合、処理は、ステップＳ２２２に進み、制御部３０２は、録画対象コンテンツの録画を、録画終了時刻まで行うように、コンテンツ取得部３１０を制御し、処理は、ステップＳ２２１に戻る。
【０７１５】
ここで、コンテンツ取得部３１０は、制御部３０２の制御に従って、録画対象コンテンツの予約録画を行い、コンテンツ記憶部３１１に記憶させる。
【０７１６】
一方、ステップＳ２２１において、現在時刻が録画開始時刻でないと判定された場合、処理は、ステップＳ２２２をスキップして、ステップＳ２２３に進み、制御部３０２は、コンテンツ記憶部３１１に記憶（録画）されたコンテンツの中に、消去条件を満たすコンテンツがあるかどうかを判定する。
【０７１７】
ここで、消去条件とは、コンテンツを消去する条件であり、例えば、学習用コンテンツ取得期間より前に放送（録画）されたことを採用することができる。
【０７１８】
この場合、コンテンツ記憶部３１１に記憶されたコンテンツの中に、学習用コンテンツ取得期間より前に放送されたコンテンツがあれば、消去条件を満たすコンテンツがあると判定される。
【０７１９】
ステップＳ２２３において、コンテンツ記憶部３１１に記憶されたコンテンツの中に、消去条件を満たすコンテンツがあると判定された場合、処理は、ステップＳ２２４に進み、制御部３０２は、コンテンツ記憶部３１１に記憶されたコンテンツの中の、消去条件を満たすコンテンツを消去して、処理は、ステップＳ２２１に戻る。
【０７２０】
ここで、消去条件を満たすコンテンツを、コンテンツ記憶部３１１から消去することにより、コンテンツ記憶部３１１の記憶容量が圧迫されることを防止することができる。
【０７２１】
なお、ユーザは、操作部３０１を操作することにより、コンテンツ記憶部３１１に記憶されたコンテンツに、いわゆるプロテクトをかけることができる。
【０７２２】
制御部３０２は、プロテクトがかけられているコンテンツについては、消去条件を満たしても、消去を行わない。
【０７２３】
一方、ステップＳ２２３において、コンテンツ記憶部３１１に記憶されたコンテンツの中に、消去条件を満たすコンテンツがないと判定された場合、処理は、ステップＳ２２４をスキップして、ステップＳ２２１に戻る。
【０７２４】
なお、図３５のブラウジングレコーダの性能によっては、コンテンツの予約録画を行いながら、学習装置３１２において、そのコンテンツの各フレームの特徴量の抽出を行うことができる。
【０７２５】
学習装置３１２において抽出された特徴量は、学習装置３１２でのアノテーションモデルの学習の他、ブラウジング制御装置３１４（図４０）のアノテーション付与部３３１でのアノテーション付与処理や、フレーム検索部３３２でのフレーム検索処理に用いることができる。
【０７２６】
また、本実施の形態では、コンテンツ取得部３１０は、テレビジョン放送の番組を受信するチューナで構成されるが、コンテンツ取得部３１０が、複数のチューナを有する場合には、録画（放送）の時間帯が重複する複数の録画対象コンテンツがあっても、コンテンツ取得部３１０が有するチューナの数を限度として、録画の時間帯が重複する複数の録画対象コンテンツの録画を行うことができる。
【０７２７】
なお、録画の時間帯が重複する録画対象コンテンツの数が、コンテンツ取得部３１０が有するチューナの数を超える場合には、コンテンツ取得部３１０は、所定の録画ルールに従って、チューナの数に等しい数の録画対象コンテンツを、優先的に録画する。
【０７２８】
録画ルールとしては、例えば、録画開始時刻が早いコンテンツほど、優先的に録画することや、録画開始時刻が同一のコンテンツどうしについては、字幕のテキストを含むコンテンツを、優先的に録画すること等を採用することができる。
【０７２９】
また、ユーザは、操作部３０１を操作することにより、録画の時間帯が重複する複数の録画対象コンテンツについて、録画の優先順位を設定することができる。ユーザが録画の優先順位を設定した場合、録画ルールにかかわらず、ユーザが設定した優先順位で、コンテンツの録画が行われる。
【０７３０】
ここで、コンテンツ記憶部３１１には、録画がされたコンテンツ（及びその特徴量）を、字幕のテキストを含むコンテンツと、含まないコンテンツとに分けて記憶させておくことができる。
【０７３１】
図３５のブラウジングレコーダにおいて、予約録画によって、学習用コンテンツ取得期間に放送された録画対象コンテンツがコンテンツ記憶部３１１に記憶され、（現在時刻が）学習開始時刻となると、学習装置３１２は、コンテンツ記憶部３１１に記憶された、ジャンルがブラウジングジャンルであるニュースのコンテンツ（ニュース番組）のうちの、学習用コンテンツ取得期間に放送されたコンテンツの中から、字幕のテキストを有するコンテンツを、学習用コンテンツとして選択する。
【０７３２】
なお、字幕のテキストを有しないコンテンツであっても、例えば、番組メタデータサービス等から、説明テキストとなる番組のメタデータを取得することができるコンテンツについては、学習用コンテンツとして選択することが可能である。
【０７３３】
学習装置３１２（図３５）は、学習用コンテンツの選択後、図１の学習装置１２と同様に、学習用コンテンツから、アノテーション用系列を構成し、そのアノテーション用系列を用いて、マルチストリームHMMであるアノテーションモデルの学習を行う。
【０７３４】
そして、学習装置３１２は、学習後のアノテーションモデルを、アノテーションモデル記憶部３１３に供給して記憶させる。
【０７３５】
図４３は、ブラウジング制御装置３１４が、アノテーションモデルを用いて行う処理（ブラウジング制御処理）を説明するフローチャートである。
【０７３６】
ユーザが、例えば、ジャンルがブラウジングジャンルの番組のブラウジングを行うように、操作部３０１を操作すると、ブラウジング制御装置３１４は、ブラウジング制御処理を開始する。
【０７３７】
ブラウジング制御処理では、ステップＳ２４１において、ブラウジング制御装置３１４（図４０）のアノテーション付与部３３１が、コンテンツ記憶部３１１に記憶された、ジャンルがブラウジングジャンルであるニュースのコンテンツ（ニュース番組）のうちの、対象コンテンツ取得期間に放送されたコンテンツのすべてを、対象コンテンツに選択し、処理は、ステップＳ２４２に進む。
【０７３８】
ステップＳ２４２では、アノテーション付与部３３１は、図１のアノテーション付与装置１４と同様に、アノテーションモデル記憶部３１３に記憶されたアノテーションモデルを用いて、各対象コンテンツの各フレームに、アノテーション（となる単語）を付与し、各対象コンテンツについて、各フレームに付与されたアノテーションを含むアノテーション単語情報を、シーン構成部３３３に供給して、処理は、ステップＳ２４３に進む。
【０７３９】
ステップＳ２４３では、シーン構成部３３３が、コンテンツ記憶部３１１に記憶された各対象コンテンツについて、アノテーション付与部３３１からのアノテーション単語情報に基づき、同一のアノテーションが付与されている、時間的に連続する１フレーム以上のフレームの集まりを、シーンとして抽出し、これにより、対象コンテンツを、シーンに区分する。
【０７４０】
さらに、シーン構成部３３３は、各対象コンテンツについて、各シーンの開始時刻、及び、終了時刻であるシーン時刻情報を検出し、処理は、ステップＳ２４４に進む。
【０７４１】
ステップＳ２４４では、シーン構成部３３３は、各対象コンテンツについて、対象コンテンツを構成する各シーンの代表画像を生成し、処理は、ステップＳ２４５に進む。
【０７４２】
ステップＳ２４５では、シーン構成部３３３は、各対象コンテンツについて、対象コンテンツを構成する各シーンの代表画像を、表示（再生）時刻順に、上から下方向に並べた時刻順概要表示画像を生成する。
【０７４３】
そして、シーン構成部３３３は、各対象コンテンツについて、時刻順概要表示画像を、シーン時刻情報、及び、アノテーション単語情報とともに、表示制御部３３４に供給して、処理は、ステップＳ２４５からステップＳ２４６に進む。
【０７４４】
ステップＳ２４６では、表示制御部３３４は、EPGのデータを取得（受信）し、そのEPGのデータを用いて、EPG（の画像）を生成する。
【０７４５】
さらに、表示制御部３３４は、各対象コンテンツについて、EPG上の対象コンテンツの番組欄に、その対象コンテンツの時刻順概要表示画像を配置するとともに、その時刻順概要表示画像の各シーンの代表画像の近傍に、例えば、図３８に示したように、吹き出しの形で、シーンを構成するフレームに付与されたアノテーションとしての単語を配置する。
【０７４６】
ここで、表示制御部３３４は、シーンを構成するフレームに付与されたアノテーションとしての単語を、シーン構成部３３３からのアノテーション単語情報から認識する。
【０７４７】
その後、処理は、ステップＳ２４６からステップＳ２４７に進み、表示制御部３３４は、時刻順概要表示画像とアノテーションとが配置されたEPGを、図示せぬディスプレイに表示させ、処理は、ステップＳ２４８に進む。
【０７４８】
ステップＳ２４８では、表示制御部３３４は、対象コンテンツの再生制御を行う。
【０７４９】
すなわち、表示制御部３３４は、EPG上に表示された、対象コンテンツの時刻順概要表示画像を構成する代表画像のうちの、あるシーンの代表画像が、ユーザによる操作部３０１の操作によって指定されると、そのシーンを含むコンテンツを、頭出しの対象とする頭出しコンテンツとして認識し、ユーザによって代表画像が指定されたシーンの開始時刻を、シーン構成部３３３からのシーン時刻情報から認識する。
【０７５０】
そして、表示制御部３３４は、コンテンツ記憶部３１１から、頭出しコンテンツとしての対象コンテンツを読み出し、その対象コンテンツの再生を、ユーザによって代表画像が指定されたシーンの開始時刻から開始する再生制御を行う。
【０７５１】
ところで、表示制御部３３４は、時刻順概要表示画像とアノテーションとが配置されたEPGを表示するときに、キーワード（を含む検索クエリ）を入力するキーワード入力欄も、図示せぬディスプレイに表示させることができる。
【０７５２】
キーワード入力欄には、ユーザが操作部３０１（図３５）を操作することにより、キーワード（を含む検索クエリ）を入力することができ、ブラウジング制御部３１４は、キーワード入力欄に、キーワードが入力されると、各対象コンテンツについて、対象コンテンツのシーン（コーナ）のうちの、ユーザが操作部３０１を操作することにより入力したキーワードによって内容が表現されるコーナのみの代表画像を並べた画像を生成し、EPG上に表示させる。
【０７５３】
すなわち、図４４は、ユーザがキーワードを入力した場合にブラウジング制御装置３１４が行う処理を説明するフローチャートである。
【０７５４】
ユーザが操作部３０１（図３５）を操作することにより、キーワード入力欄にキーワード（を含む検索クエリ）を入力すると、ステップＳ２６１において、ブラウジング制御装置３１４（図４０）のフレーム検索部３３２が、コンテンツ記憶部３１１に記憶された、ジャンルがブラウジングジャンルであるニュースのコンテンツ（ニュース番組）のうちの、対象コンテンツ取得期間に放送されたコンテンツのすべてを、対象コンテンツに選択し、処理は、ステップＳ２６２に進む。
【０７５５】
すなわち、ステップＳ２６１では、コンテンツ記憶部３１１（図３５）に記憶されたコンテンツのうちの、図４３のステップＳ２４１において対象コンテンツに選択されるコンテンツが、対象コンテンツとして選択される。
【０７５６】
ステップＳ２６２では、フレーム検索部３３２が、図１のフレーム検索装置１５と同様に、アノテーションモデル記憶部３１３に記憶されたアノテーションモデルを用い、各対象コンテンツについて、ユーザが入力したキーワードに対するキーワード合致度が高いフレームであるキーワードフレームを検索し、そのキーワードフレームを時系列に並べたキーワードダイジェストを生成して、シーン構成部３３３（図４０）に供給する。
【０７５７】
その後、処理は、ステップＳ２６２からステップＳ２６３に進み、シーン構成部３３３は、各対象コンテンツについて、フレーム検索部３３２からのキーワードダイジェストを構成するキーワードフレームから、時間的に連続する１フレーム以上のフレームの集まり（表示（再生）時刻が連続しているフレームの集まり）を、シーンとして抽出し、これにより、対象コンテンツのキーワードダイジェストを、シーンに区分する。
【０７５８】
さらに、シーン構成部３３３は、各対象コンテンツについて、各シーンの開始時刻、及び、終了時刻であるシーン時刻情報を検出し、処理は、ステップＳ２６４に進む。
【０７５９】
ステップＳ２６４では、シーン構成部３３３は、各対象コンテンツについて、対象コンテンツのキーワードダイジェストを構成する各シーンの代表画像を生成し、処理は、ステップＳ２６５に進む。
【０７６０】
ステップＳ２６５では、シーン構成部３３３は、各対象コンテンツについて、対象コンテンツのキーワードダイジェストを構成する各シーンの代表画像を、表示（再生）時刻順に、上から下方向に並べた時刻順概要表示画像を生成する。
【０７６１】
そして、シーン構成部３３３は、各対象コンテンツについて、時刻順概要表示画像を、シーン時刻情報とともに、表示制御部３３４に供給して、処理は、ステップＳ２６５からステップＳ２６６に進む。
【０７６２】
ステップＳ２６６では、表示制御部３３４は、EPGのデータを取得（受信）し、そのEPGのデータを用いて、EPG（の画像）を生成する。
【０７６３】
さらに、表示制御部３３４は、各対象コンテンツについて、EPG上の対象コンテンツの番組欄に、その対象コンテンツの時刻順概要表示画像を配置する。
【０７６４】
その後、処理は、ステップＳ２６６からステップＳ２６７に進み、表示制御部３３４は、時刻順概要表示画像が配置されたEPGを、図示せぬディスプレイに表示させ、処理は、ステップＳ２６８に進む。
【０７６５】
ステップＳ２６８では、表示制御部３３４は、対象コンテンツの再生制御を行う。
【０７６６】
すなわち、表示制御部３３４は、EPG上に表示された、対象コンテンツの時刻順概要表示画像を構成する代表画像のうちの、あるシーンの代表画像が、ユーザによる操作部３０１の操作によって指定されると、そのシーンを含むコンテンツを、頭出しの対象とする頭出しコンテンツとして認識し、ユーザによって代表画像が指定されたシーンの開始時刻を、シーン構成部３３３からのシーン時刻情報から認識する。
【０７６７】
そして、表示制御部３３４は、コンテンツ記憶部３１１から、頭出しコンテンツとしての対象コンテンツを読み出し、その対象コンテンツの再生を、ユーザによって代表画像が指定されたシーンの開始時刻から開始する再生制御を行う。
【０７６８】
なお、ユーザは、操作部３０１を操作することによって、EPG上の、時刻順概要表示画像が配置された番組欄を指定することができる。
【０７６９】
この場合、表示制御部３３４では、ユーザによって指定された番組欄に対応する対象コンテンツのキーワードダイジェストを再生する再生制御を行うことができる。
【０７７０】
キーワードダイジェストの再生では、そのキーワードダイジェストを構成するキーワードフレームを、時系列に（表示時刻順で）再生することや、キーワード合致度が高い順に再生することができる。
【０７７１】
なお、ブラウジングジャンルは、ニュースに限定されるものではない。
【０７７２】
また、時刻順概要表示画像は、EPG上ではなく、単独で表示することができる。すなわち、１以上の対象コンテンツの時刻順概要表示画像は、先頭の位置（最初のシーンの代表画像の位置）を揃えて、時刻順概要表示画像を構成するシーンの代表画像が並ぶ方向（本実施の形態では、縦方向）と直交する方向（本実施の形態では、横方向）に並べて表示することができる。
【０７７３】
さらに、図３５のブラウジングレコーダにおいて、学習用コンテンツ及び対象コンテンツとして用いるコンテンツは、テレビジョン放送の放送番組の他、インターネット上のサーバから提供されるコンテンツ等を採用することができる。
【０７７４】
［本発明を適用したコンピュータの説明］
【０７７５】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０７７６】
そこで、図４５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０７７７】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やROM４０３に予め記録しておくことができる。
【０７７８】
あるいはまた、プログラムは、リムーバブル記録媒体４１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０７７９】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク４０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０７８０】
コンピュータは、CPU(Central Processing Unit)４０２を内蔵しており、CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されている。
【０７８１】
CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、入力部４０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、CPU４０２は、ハードディスク４０５に格納されたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。
【０７８２】
これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０７８３】
なお、入力部４０７は、キーボードや、マウス、マイク等で構成される。また、出力部４０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０７８４】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０７８５】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０７８６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０７８７】
１１  コンテンツ記憶部，  １２  学習装置，  １３  アノテーションモデル記憶部，  １４  アノテーション付与装置，  １５  フレーム検索装置，  １６  表示制御装置，  ２１  特徴量抽出部，  ２２  モデル学習部，  ３１  画像取得部，  ３２  画像特徴量抽出部，  ３３  説明テキスト取得部，  ３４  テキスト特徴量抽出部，  ３５  同期部，  ４１  特徴量抽出部，  ４２  最尤状態系列算出部，  ４３  単語選択部，  ５１  特徴量抽出部，  ５２  最尤状態系列算出部，  ５３  キーワード合致度算出部，  ５４  キーワード供給部，  ５５  フレーム選択部，  ６１  特徴量抽出部，  ６２  最尤状態系列算出部，  ６３  表示制御部，  １０１  画像特徴量抽出部，  １０１１  第１画像特徴量抽出部，  １０１２  第２画像特徴量抽出部，  １０１３  第３画像特徴量抽出部，  １０２  遁世取得部，  １０３  音声特徴量抽出部，  １５１  基底空間学習部，  １５２  基底空間データ記憶部，  １５３  次元圧縮部，  １６１  基底空間学習部，  １６２  基底空間データ記憶部，  １６３  次元圧縮部，  １７１  画像取得部，  １７２  画像特徴量抽出部，  １７２１  第１画像特徴量抽出部，  １７２２  第２画像特徴量抽出部，  １７２３  第３画像特徴量抽出部，  １７３  基底空間データ記憶部，  １７４  次元圧縮部，  １８１  説明テキスト取得部，  １８２  テキスト特徴量抽出部，  １８３  基底空間データ記憶部，  １８４  次元圧縮部，  １９１  同期部，  ２０１  基底空間学習部，  ２０２  基底空間データ記憶部，  ２０３  次元圧縮部，  ２１１  基底空間学習部，  ２１２  基底空間データ記憶部，  ２１３  次元圧縮部，  ２２１  基底空間学習部，  ２２２  基底空間データ記憶部，  ２２３  次元圧縮部，  ２６１  基底空間データ記憶部，  ２６２  次元圧縮部，  ２７１  基底空間データ記憶部，  ２７２  次元圧縮部，  ２８１  音声取得部，  ２８２  音声特徴量抽出部，  ２８３  基底空間データ記憶部，  ２８４  次元圧縮部，  ３０１  操作部，  ３０２  制御部，  ３１０  コンテンツ取得部，  ３１１  コンテンツ記憶部，  ３１２  学習装置，  ３１３  アノテーションモデル記憶部，  ３１４  ブラウジング制御装置，  ３３１  アノテーション付与部，  ３３２  フレーム検索部，  ３３３  シーン構成部，  ３３４  表示制御部，  ４０１  バス，  ４０２  CPU，  ４０３  ROM，  ４０４  RAM，  ４０５  ハードディスク，  ４０６  出力部，  ４０７  入力部，  ４０８  通信部，  ４０９  ドライブ，  ４１０  入出力インタフェース，  ４１１  リムーバブル記録媒体
【図１】
0005691289.tif 000007
【図２】
0005691289.tif 000008
【図３】
0005691289.tif 000009
【図４】
0005691289.tif 000010
【図５】
0005691289.tif 000011
【図６】
0005691289.tif 000012
【図７】
0005691289.tif 000013
【図８】
0005691289.tif 000014
【図９】
0005691289.tif 000015
【図１０】
0005691289.tif 000016
【図１１】
0005691289.tif 000017
【図１２】
0005691289.tif 000018
【図１３】
0005691289.tif 000019
【図１４】
0005691289.tif 000020
【図１５】
0005691289.tif 000021
【図１６】
0005691289.tif 000022
【図１７】
0005691289.tif 000023
【図１８】
0005691289.tif 000024
【図１９】
0005691289.tif 000025
【図２０】
0005691289.tif 000026
【図２１】
0005691289.tif 000027
【図２２】
0005691289.tif 000028
【図２３】
0005691289.tif 000029
【図２４】
0005691289.tif 000030
【図２５】
0005691289.tif 000031
【図２６】
0005691289.tif 000032
【図２７】
0005691289.tif 000033
【図２８】
0005691289.tif 000034
【図２９】
0005691289.tif 000035
【図３０】
0005691289.tif 000036
【図３１】
0005691289.tif 000037
【図３２】
0005691289.tif 000038
【図３３】
0005691289.tif 000039
【図３４】
0005691289.tif 000040
【図３５】
0005691289.tif 000041
【図３６】
0005691289.tif 000042
【図３７】
0005691289.tif 000043
【図３８】
0005691289.tif 000044
【図３９】
0005691289.tif 000045
【図４０】
0005691289.tif 000046
【図４１】
0005691289.tif 000047
【図４２】
0005691289.tif 000048
【図４３】
0005691289.tif 000049
【図４４】
0005691289.tif 000050
【図４５】
0005691289.tif 000051