(57)【要約】【課題】ユーザの興味があるシーンを、ハイライトシーンとして検出する。【解決手段】クラスタリング部６４は、学習用コンテンツを用いて得られたコードブック等のクラスタ情報を用いて、コンテンツのフレームごとの特徴量をクラスタリングし、各特徴量が属するクラスタを表すコードのコード系列を求め、ハイライトラベル生成部６５は、ユーザの操作に従い、ハイライトシーンであるか否かを表すハイライトラベルを、コンテンツの各フレームにラベリングしたハイライトラベル系列を生成する。学習部６７は、コード系列と、ハイライトラベル系列とのペアである学習用ラベル系列を用いて、ハイライトシーンを検出する検出器としてのHMMの学習を行う。本発明は、例えば、ユーザの興味があるシーンを検出して、ダイジェストを生成する場合等に適用できる。【選択図】図１５
2011223287.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出手段と、
前記特徴量の空間である特徴量空間を、複数のクラスタに分割するクラスタ学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、
前記学習用コンテンツの各フレームの特徴量を用いて、前記特徴量空間を、複数のクラスタに分割するクラスタ学習を行う
ことにより得られる、前記クラスタの情報であるクラスタ情報を用いて、前記注目検出器学習用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目検出器学習用コンテンツの特徴量の時系列を、前記注目検出器学習用コンテンツの特徴量が属するクラスタを表すコードのコード系列に変換するクラスタリング手段と、
ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成するハイライトラベル生成手段と、
前記注目検出器学習用コンテンツから得られる前記コード系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルである前記ハイライト検出器の学習を行うハイライト検出器の学習手段と
を備える情報処理装置。
【請求項２】
ハイライトシーンを検出する対象のコンテンツである注目ハイライト検出用コンテンツの画像の各フレームの特徴量を抽出し、
前記クラスタ情報を用いて、前記注目ハイライト検出用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目ハイライト検出用コンテンツの特徴量の時系列を、前記コード系列に変換し、
前記ハイライト検出器において、前記注目ハイライト検出用コンテンツから得られる前記コード系列と、ハイライトシーンであること又はハイライトシーンでないことを表すハイライトラベルのハイライトラベル系列とのペアである検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定し、
前記検出用ラベル系列から得られる前記最尤状態系列であるハイライト関係状態系列の各状態の前記ハイライトラベルの観測確率に基づいて、前記注目ハイライト検出用コンテンツから、ハイライトシーンのフレームを検出し、
前記ハイライトシーンのフレームを用いて、前記注目ハイライト検出用コンテンツのダイジェストであるダイジェストコンテンツを生成する
ハイライト検出手段
を、さらに備える
請求項１に記載の情報処理装置。
【請求項３】
前記ハイライト検出手段は、前記ハイライト関係状態系列の所定の時刻の状態における、ハイライトシーンであることを表すハイライトラベルの観測確率と、ハイライトシーンでないことを表すハイライトラベルの観測確率との差分が、所定の閾値より大である場合、前記所定の時刻の状態に対応する、前記注目ハイライト検出用コンテンツのフレームを、ハイライトシーンのフレームとして検出する
請求項２に記載の情報処理装置。
【請求項４】
コンテンツの画像の各フレームの特徴量を抽出し、
前記クラスタ情報を用いて、前記コンテンツの特徴量をクラスタリングすることにより、コード系列に変換し、
前記学習用コンテンツのコード系列を用いて、状態遷移確率モデルの学習であるモデル学習を行うことにより得られる、前記モデル学習後の状態遷移確率モデルであるコードモデルにおいて、前記コンテンツのコード系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定し、
前記最尤状態系列の状態のうちの、ユーザによって指示された状態と一致する状態に対応するフレームを、前記コンテンツから抽出し、
前記ハイライトシーンを登録するスクラップブックに、前記コンテンツから抽出されたフレームを登録する
スクラップブック生成手段
を、さらに備える
請求項１に記載の情報処理装置。
【請求項５】
前記コードモデルの１つの状態から他の１つの状態への状態間距離を、前記１つの状態から前記他の１つの状態への状態遷移確率に基づいて求める状態間距離算出手段と、
前記コードモデルの状態が配置される２次元又は３次元のマップであるモデルマップ上の、前記１つの状態から前記他の１つの状態へのユークリッド距離と、前記状態間距離との誤差が小さくなるように、前記モデルマップ上の前記状態の位置の座標である状態座標を求める座標算出手段と、
前記状態座標の位置に、対応する前記状態を配置した前記モデルマップを表示する表示制御を行う表示制御手段と
を、さらに備える
請求項１に記載の情報処理装置。
【請求項６】
前記座標算出手段は、
前記ユークリッド距離と、前記状態間距離との統計的な誤差に比例するSammon Mapのエラー関数を最小にするように、前記状態座標を求め、
前記１つの状態から前記他の１つの状態へのユークリッド距離が、所定の閾値より大である場合、前記１つの状態から前記他の１つの状態へのユークリッド距離を、前記１つの状態から前記他の１つの状態への前記状態間距離に等しい距離にして、前記エラー関数の計算を行う
請求項５に記載の情報処理装置。
【請求項７】
コンテンツの画像の各フレームの特徴量を抽出し、
前記クラスタ情報を用いて、前記コンテンツの特徴量をクラスタリングすることにより、コード系列に変換し、
前記学習用コンテンツのコード系列を用いて、状態遷移確率モデルの学習であるモデル学習を行うことにより得られる、前記モデル学習後の状態遷移確率モデルであるコードモデルにおいて、前記コンテンツのコード系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定し、
前記最尤状態系列の状態のうちの、ユーザによって指示された、前記モデルマップ上の状態と一致する状態に対応するフレームを、前記コンテンツから抽出し、
前記ハイライトシーンを登録するスクラップブックに、前記コンテンツから抽出されたフレームを登録する
スクラップブック生成手段
を、さらに備える
請求項５に記載の情報処理装置。
【請求項８】
前記フレームの特徴量は、
前記フレームを、複数の小領域であるサブ領域に分割し、
前記複数のサブ領域のそれぞれの特徴量を抽出し、
前記複数のサブ領域それぞれの特徴量を結合する
ことにより求められる
請求項１に記載の情報処理装置。
【請求項９】
前記フレームの特徴量は、
前記フレームに対応する所定の時間内における音声のエネルギー、ゼロ交差レート、またはスペクトル重心における平均値、および分散を結合する
ことにより求められる
請求項１に記載の情報処理装置。
【請求項１０】
前記フレームの特徴量は、
前記フレーム内の対象物の表示領域を検出し、
前記フレームを、複数の小領域であるサブ領域に分割し、
前記複数のサブ領域のそれぞれのピクセル数に対する、前記サブ領域における前記対象物の表示領域のピクセル数の割合を特徴量として抽出し、
前記複数のサブ領域それぞれの特徴量を結合する
ことにより求められる
請求項１に記載の情報処理装置。
【請求項１１】
前記学習用コンテンツの特徴量を用いて、前記特徴量空間を、複数のクラスタに分割するクラスタ学習を行うことにより、前記クラスタ情報を求めるとともに、
前記学習用コンテンツの特徴量を、前記クラスタ情報を用いてクラスタリングすることにより得られるコード系列を用いて、状態遷移確率モデルのモデル学習を行うことにより、前記コードモデルを生成する
クラスタ情報、及び、コードモデルの学習手段
を、さらに備える
請求項１に記載の情報処理装置。
【請求項１２】
情報処理装置が、
ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出ステップと、
前記特徴量の空間である特徴量空間を、複数のクラスタに分割するクラスタ学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、
前記学習用コンテンツの各フレームの特徴量を用いて、前記特徴量空間を、複数のクラスタに分割するクラスタ学習を行う
ことにより得られる、前記クラスタの情報であるクラスタ情報を用いて、前記注目検出器学習用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目検出器学習用コンテンツの特徴量の時系列を、前記注目検出器学習用コンテンツの特徴量が属するクラスタを表すコードのコード系列に変換するクラスタリングステップと、
ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成するハイライトラベル生成ステップと、
前記注目検出器学習用コンテンツから得られる前記コード系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルである前記ハイライト検出器の学習を行うハイライト検出器の学習ステップと
を含む情報処理方法。
【請求項１３】
ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出手段と、
前記特徴量の空間である特徴量空間を、複数のクラスタに分割するクラスタ学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、
前記学習用コンテンツの各フレームの特徴量を用いて、前記特徴量空間を、複数のクラスタに分割するクラスタ学習を行う
ことにより得られる、前記クラスタの情報であるクラスタ情報を用いて、前記注目検出器学習用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目検出器学習用コンテンツの特徴量の時系列を、前記注目検出器学習用コンテンツの特徴量が属するクラスタを表すコードのコード系列に変換するクラスタリング手段と、
ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成するハイライトラベル生成手段と、
前記注目検出器学習用コンテンツから得られる前記コード系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルである前記ハイライト検出器の学習を行うハイライト検出器の学習手段と
して、コンピュータを機能させるためのプログラム。
【請求項１４】
ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出し、
前記特徴量の空間である特徴量空間を、複数のクラスタに分割するクラスタ学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、
前記学習用コンテンツの各フレームの特徴量を用いて、前記特徴量空間を、複数のクラスタに分割するクラスタ学習を行う
ことにより得られる、前記クラスタの情報であるクラスタ情報を用いて、前記注目検出器学習用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目検出器学習用コンテンツの特徴量の時系列を、前記注目検出器学習用コンテンツの特徴量が属するクラスタを表すコードのコード系列に変換し、
ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成し、
前記注目検出器学習用コンテンツから得られる前記コード系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルである前記ハイライト検出器の学習を行う
ことにより得られる前記ハイライト検出器を取得する取得手段と、
ハイライトシーンを検出する対象のコンテンツである注目ハイライト検出用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出手段と、
前記クラスタ情報を用いて、前記注目ハイライト検出用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目ハイライト検出用コンテンツの特徴量の時系列を、前記コード系列に変換するクラスタリング手段と、
前記ハイライト検出器において、前記注目ハイライト検出用コンテンツから得られる前記コード系列と、ハイライトシーンであること又はハイライトシーンでないことを表すハイライトラベルのハイライトラベル系列とのペアである検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する最尤状態系列推定手段と、
前記検出用ラベル系列から得られる前記最尤状態系列であるハイライト関係状態系列の各状態の前記ハイライトラベルの観測確率に基づいて、前記注目ハイライト検出用コンテンツから、ハイライトシーンのフレームを検出するハイライトシーン検出手段と、
前記ハイライトシーンのフレームを用いて、前記注目ハイライト検出用コンテンツのダイジェストであるダイジェストコンテンツを生成するダイジェストコンテンツ生成手段と
を備える情報処理装置。
【請求項１５】
前記ハイライトシーン検出手段は、前記ハイライト関係状態系列の所定の時刻の状態における、ハイライトシーンであることを表すハイライトラベルの観測確率と、ハイライトシーンでないことを表すハイライトラベルの観測確率との差分が、所定の閾値より大である場合、前記所定の時刻の状態に対応する、前記注目ハイライト検出用コンテンツのフレームを、ハイライトシーンのフレームとして検出する
請求項１４に記載の情報処理装置。
【請求項１６】
コンテンツの画像の各フレームの特徴量を抽出し、
前記クラスタ情報を用いて、前記コンテンツの特徴量をクラスタリングすることにより、コード系列に変換し、
前記学習用コンテンツのコード系列を用いて、状態遷移確率モデルの学習であるモデル学習を行うことにより得られる、前記モデル学習後の状態遷移確率モデルであるコードモデルにおいて、前記コンテンツのコード系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定し、
前記最尤状態系列の状態のうちの、ユーザによって指示された状態と一致する状態に対応するフレームを、前記コンテンツから抽出し、
前記ハイライトシーンを登録するスクラップブックに、前記コンテンツから抽出されたフレームを登録する
スクラップブック生成手段
を、さらに備える
請求項１４に記載の情報処理装置。
【請求項１７】
前記コードモデルの１つの状態から他の１つの状態への状態間距離を、前記１つの状態から前記他の１つの状態への状態遷移確率に基づいて求める状態間距離算出手段と、
前記コードモデルの状態が配置される２次元又は３次元のマップであるモデルマップ上の、前記１つの状態から前記他の１つの状態へのユークリッド距離と、前記状態間距離との誤差が小さくなるように、前記モデルマップ上の前記状態の位置の座標である状態座標を求める座標算出手段と、
前記状態座標の位置に、対応する前記状態を配置した前記モデルマップを表示する表示制御を行う表示制御手段と
を、さらに備える
請求項１４に記載の情報処理装置。
【請求項１８】
前記座標算出手段は、
前記ユークリッド距離と、前記状態間距離との統計的な誤差に比例するSammon Mapのエラー関数を最小にするように、前記状態座標を求め、
前記１つの状態から前記他の１つの状態へのユークリッド距離が、所定の閾値より大である場合、前記１つの状態から前記他の１つの状態へのユークリッド距離を、前記１つの状態から前記他の１つの状態への前記状態間距離に等しい距離にして、前記エラー関数の計算を行う
請求項１７に記載の情報処理装置。
【請求項１９】
コンテンツの画像の各フレームの特徴量を抽出し、
前記クラスタ情報を用いて、前記コンテンツの特徴量をクラスタリングすることにより、コード系列に変換し、
前記学習用コンテンツのコード系列を用いて、状態遷移確率モデルの学習であるモデル学習を行うことにより得られる、前記モデル学習後の状態遷移確率モデルであるコードモデルにおいて、前記コンテンツのコード系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定し、
前記最尤状態系列の状態のうちの、ユーザによって指示された、前記モデルマップ上の状態と一致する状態に対応するフレームを、前記コンテンツから抽出し、
前記ハイライトシーンを登録するスクラップブックに、前記コンテンツから抽出されたフレームを登録する
スクラップブック生成手段
を、さらに備える
請求項１７に記載の情報処理装置。
【請求項２０】
前記フレームの特徴量は、
前記フレームを、複数の小領域であるサブ領域に分割し、
前記複数のサブ領域のそれぞれの特徴量を抽出し、
前記複数のサブ領域それぞれの特徴量を結合する
ことにより求められる
請求項１４に記載の情報処理装置。
【請求項２１】
前記フレームの特徴量は、
前記フレームに対応する所定の時間内における音声のエネルギー、ゼロ交差レート、またはスペクトル重心における平均値、および分散を結合する
ことにより求められる
請求項１４に記載の情報処理装置。
【請求項２２】
前記フレームの特徴量は、
前記フレーム内の対象物の表示領域を検出し、
前記フレームを、複数の小領域であるサブ領域に分割し、
前記複数のサブ領域のそれぞれのピクセル数に対する、前記サブ領域における前記対象物の表示領域のピクセル数の割合を特徴量として抽出し、
前記複数のサブ領域それぞれの特徴量を結合する
ことにより求められる
請求項１４に記載の情報処理装置。
【請求項２３】
情報処理装量が、
ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出し、
前記特徴量の空間である特徴量空間を、複数のクラスタに分割するクラスタ学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、
前記学習用コンテンツの各フレームの特徴量を用いて、前記特徴量空間を、複数のクラスタに分割するクラスタ学習を行う
ことにより得られる、前記クラスタの情報であるクラスタ情報を用いて、前記注目検出器学習用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目検出器学習用コンテンツの特徴量の時系列を、前記注目検出器学習用コンテンツの特徴量が属するクラスタを表すコードのコード系列に変換し、
ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成し、
前記注目検出器学習用コンテンツから得られる前記コード系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルである前記ハイライト検出器の学習を行う
ことにより得られる前記ハイライト検出器を取得する取得ステップと、
ハイライトシーンを検出する対象のコンテンツである注目ハイライト検出用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出ステップと、
前記クラスタ情報を用いて、前記注目ハイライト検出用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目ハイライト検出用コンテンツの特徴量の時系列を、前記コード系列に変換するクラスタリングステップと、
前記ハイライト検出器において、前記注目ハイライト検出用コンテンツから得られる前記コード系列と、ハイライトシーンであること又はハイライトシーンでないことを表すハイライトラベルのハイライトラベル系列とのペアである検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する最尤状態系列推定ステップと、
前記検出用ラベル系列から得られる前記最尤状態系列であるハイライト関係状態系列の各状態の前記ハイライトラベルの観測確率に基づいて、前記注目ハイライト検出用コンテンツから、ハイライトシーンのフレームを検出するハイライトシーン検出ステップと、
前記ハイライトシーンのフレームを用いて、前記注目ハイライト検出用コンテンツのダイジェストであるダイジェストコンテンツを生成するダイジェストコンテンツ生成ステップと
を含む情報処理方法。
【請求項２４】
ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出し、
前記特徴量の空間である特徴量空間を、複数のクラスタに分割するクラスタ学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、
前記学習用コンテンツの各フレームの特徴量を用いて、前記特徴量空間を、複数のクラスタに分割するクラスタ学習を行う
ことにより得られる、前記クラスタの情報であるクラスタ情報を用いて、前記注目検出器学習用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目検出器学習用コンテンツの特徴量の時系列を、前記注目検出器学習用コンテンツの特徴量が属するクラスタを表すコードのコード系列に変換し、
ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成し、
前記注目検出器学習用コンテンツから得られる前記コード系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルである前記ハイライト検出器の学習を行う
ことにより得られる前記ハイライト検出器を取得する取得手段と、
ハイライトシーンを検出する対象のコンテンツである注目ハイライト検出用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出手段と、
前記クラスタ情報を用いて、前記注目ハイライト検出用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目ハイライト検出用コンテンツの特徴量の時系列を、前記コード系列に変換するクラスタリング手段と、
前記ハイライト検出器において、前記注目ハイライト検出用コンテンツから得られる前記コード系列と、ハイライトシーンであること又はハイライトシーンでないことを表すハイライトラベルのハイライトラベル系列とのペアである検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する最尤状態系列推定手段と、
前記検出用ラベル系列から得られる前記最尤状態系列であるハイライト関係状態系列の各状態の前記ハイライトラベルの観測確率に基づいて、前記注目ハイライト検出用コンテンツから、ハイライトシーンのフレームを検出するハイライトシーン検出手段と、
前記ハイライトシーンのフレームを用いて、前記注目ハイライト検出用コンテンツのダイジェストであるダイジェストコンテンツを生成するダイジェストコンテンツ生成手段と
して、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、例えば、ユーザの興味があるシーンを、ハイライトシーンとして集めたダイジェストを、容易に得ることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、映画やテレビジョン放送の番組等のコンテンツから、ハイライトシーンを検出するハイライトシーン検出技術としては、エキスパート（設計者）の経験や知識を利用する技術や、学習サンプルを用いた統計学習を利用する技術等がある。
【０００３】
エキスパートの経験や知識を利用する技術では、ハイライトシーンで生じるイベントを検出する検出器や、そのイベントから定義されるシーン（イベントが生じるシーン）を検出する検出器が、エキスパートの経験や知識に基づいて設計される。そして、それらの検出器を用いて、ハイライトシーンが検出される。
【０００４】
学習サンプルを用いた統計学習を利用する技術では、学習サンプルを用いて、ハイライトシーンを検出する検出器（ハイライト検出器）や、ハイライトシーンで生じるイベントを検出する検出器（イベント検出器）が求められる。そして、それらの検出器を用いて、ハイライトシーンが検出される。
【０００５】
また、ハイライトシーン検出技術では、コンテンツの画像や音声の特徴量を抽出し、その特徴量を用いて、ハイライトシーンが検出される。この、ハイライトシーンの検出のための特徴量としては、一般に、ハイライトシーンを検出する対象のコンテンツのジャンルに特化した特徴量が用いられる。
【０００６】
例えば、Wangら、及びDuanらのハイライトシーン検出技術では、サッカーの試合のビデオから、サッカーフィールドのライン、サッカーボールの軌跡、画面全体の動き、音声のMFCC(Mel-Frequency Cepstrum Coefficient)を利用した、イベント「ホイッスル」や「喝采」等を検出するための高次の特徴量を抽出し、それらを組み合わせた特徴量を用いて、「攻撃」や「ファウル」等の、サッカーのプレーシーンの検出を行っている。
【０００７】
また、例えば、Wangらは、サッカーの試合のビデオから、カラーヒストグラム特徴量を用いたビュータイプ分類器、ライン検出器を用いたプレーロケーション同定器、リプレイロゴ検出器、司会興奮度検出器、ホイッスル検出器等を設計し、それらの時間的な関係をベイジアンネットワークによりモデル化し、サッカーハイライト検出器を構成するハイライトシーン検出技術を提案している。
【０００８】
ハイライトシーン検出技術としては、その他、例えば、特許文献１において、音の盛り上がり（歓声）を特徴付ける特徴量を用いて、コンテンツのハイライトシーンを検出する技術が提案されている。
【０００９】
以上のハイライトシーン検出技術は、特定のジャンルのコンテンツについては、ハイライトシーン（又は、イベント）を検出することができるが、他のジャンルのコンテンツについては、ハイライトシーンとして適切なシーンを検出することが困難となる。
【００１０】
すなわち、例えば、特許文献１に記載のハイライトシーン検出技術では、歓声があるシーンが、ハイライトシーンであるというルールの下で、ハイライトシーンが検出されるが、歓声があるシーンが、ハイライトシーンとなるコンテンツのジャンルは、限られている。そして、特許文献１に記載のハイライトシーン検出技術では、歓声がないシーンをハイライトシーンとするジャンルのコンテンツを対象として、ハイライトシーンを検出することは、困難である。
【００１１】
したがって、特許文献１に記載のハイライトシーン検出技術等によって、特定のジャンル以外のジャンルのコンテンツを対象として、ハイライトシーンの検出を行うには、そのジャンルに適した特徴量を設計する必要がある。さらに、その特徴量を用いたハイライトシーンの検出（又は、イベントの定義）のためのルールデザインを、エキスパートへのインタビュー等に基づいて行う必要がある。
【００１２】
そこで、例えば、特許文献２では、一般的にハイライトシーンとされるシーンの検出に用いることができる特徴量と閾値を設計し、その特徴量と閾値とを用いた閾値処理によりハイライトシーンを検出する方法が提案されている。
【００１３】
しかしながら、近年においては、コンテンツが多様化しており、すべてのコンテンツについて、ハイライトシーンとして適切なシーンを検出するための、例えば、特徴量や、閾値処理のルール等の一般的なルールを求めることは、極めて困難となっている。
【００１４】
したがって、ハイライトシーンとして適切なシーンを検出するには、例えば、ジャンル等ごとに、そのジャンルに適した、ハイライトシーンを検出するための特徴量やルールを設計（デザイン）する必要がある。但し、そのようなルールを設計した場合でも、そのルールからはずれるような、いわば例外的なハイライトシーンを検出することは困難となる。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開2008-185626号公報
【特許文献２】特開2000-299829号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
例えば、サッカーの試合のゴールシーン等の、スポーツの試合等のコンテンツについて、一般的にハイライトシーンと呼ばれているシーンについては、そのシーンを検出するルールを、エキスパートの知識を用いて精密高精度に設計することが可能である。
【００１７】
しかしながら、ユーザの嗜好は、ユーザごとに、多種多様である。すなわち、例えば、「ベンチの監督が映っているシーン」や、「野球の１塁走者への牽制のシーン」、「クイズ番組の問題と答えのシーン」等のそれぞれを好む別々のユーザが存在する。この場合に、それらのユーザすべての嗜好それぞれに適したルールを、個別に設計し、ハイライトシーンを検出するAV(Audio Visual)機器等の検出システムに組み込むことは、現実的ではない。
【００１８】
一方、ユーザが、検出システムに組み込まれた固定のルールに従って検出されるハイライトシーンを集めたダイジェストを視聴するのではなく、検出システムが、個々のユーザの嗜好を学習し、その嗜好にあったシーン（ユーザの興味があるシーン）を、ハイライトシーンとして検出して、そのようなハイライトシーンを集めたダイジェストを提供することで、コンテンツの視聴の、いわば「個人化」が実現され、コンテンツの楽しみ方が広がっていく。
【００１９】
本発明は、このような状況に鑑みてなされたものであり、ユーザの興味があるシーンを、ハイライトシーンとして集めたダイジェストを、容易に得ることができるようにするものである。
【課題を解決するための手段】
【００２０】
本発明の第１の側面の情報処理装置、又は、プログラムは、ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出手段と、前記特徴量の空間である特徴量空間を、複数のクラスタに分割するクラスタ学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、前記学習用コンテンツの各フレームの特徴量を用いて、前記特徴量空間を、複数のクラスタに分割するクラスタ学習を行うことにより得られる、前記クラスタの情報であるクラスタ情報を用いて、前記注目検出器学習用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目検出器学習用コンテンツの特徴量の時系列を、前記注目検出器学習用コンテンツの特徴量が属するクラスタを表すコードのコード系列に変換するクラスタリング手段と、ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成するハイライトラベル生成手段と、前記注目検出器学習用コンテンツから得られる前記コード系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルである前記ハイライト検出器の学習を行うハイライト検出器の学習手段とを備える情報処理装置、又は、情報処理装置として、コンピュータを機能させるためのプログラムである。
【００２１】
本発明の第１の側面の情報処理方法は、情報処理装置が、ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出ステップと、前記特徴量の空間である特徴量空間を、複数のクラスタに分割するクラスタ学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、前記学習用コンテンツの各フレームの特徴量を用いて、前記特徴量空間を、複数のクラスタに分割するクラスタ学習を行うことにより得られる、前記クラスタの情報であるクラスタ情報を用いて、前記注目検出器学習用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目検出器学習用コンテンツの特徴量の時系列を、前記注目検出器学習用コンテンツの特徴量が属するクラスタを表すコードのコード系列に変換するクラスタリングステップと、ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成するハイライトラベル生成ステップと、前記注目検出器学習用コンテンツから得られる前記コード系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルである前記ハイライト検出器の学習を行うハイライト検出器の学習ステップとを含む情報処理方法である。
【００２２】
以上のような第１の側面においては、ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量が抽出される。さらに、前記特徴量の空間である特徴量空間を、複数のクラスタに分割するクラスタ学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、前記学習用コンテンツの各フレームの特徴量を用いて、前記特徴量空間を、複数のクラスタに分割するクラスタ学習を行うことにより得られる、前記クラスタの情報であるクラスタ情報を用いて、前記注目検出器学習用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目検出器学習用コンテンツの特徴量の時系列が、前記注目検出器学習用コンテンツの特徴量が属するクラスタを表すコードのコード系列に変換される。また、ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列が生成される。そして、前記注目検出器学習用コンテンツから得られる前記コード系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルである前記ハイライト検出器の学習が行われる。
【００２３】
本発明の第２の側面の情報処理装置、又は、プログラムは、ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出し、前記特徴量の空間である特徴量空間を、複数のクラスタに分割するクラスタ学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、前記学習用コンテンツの各フレームの特徴量を用いて、前記特徴量空間を、複数のクラスタに分割するクラスタ学習を行うことにより得られる、前記クラスタの情報であるクラスタ情報を用いて、前記注目検出器学習用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目検出器学習用コンテンツの特徴量の時系列を、前記注目検出器学習用コンテンツの特徴量が属するクラスタを表すコードのコード系列に変換し、ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成し、前記注目検出器学習用コンテンツから得られる前記コード系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルである前記ハイライト検出器の学習を行うことにより得られる前記ハイライト検出器を取得する取得手段と、ハイライトシーンを検出する対象のコンテンツである注目ハイライト検出用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出手段と、前記クラスタ情報を用いて、前記注目ハイライト検出用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目ハイライト検出用コンテンツの特徴量の時系列を、前記コード系列に変換するクラスタリング手段と、前記ハイライト検出器において、前記注目ハイライト検出用コンテンツから得られる前記コード系列と、ハイライトシーンであること又はハイライトシーンでないことを表すハイライトラベルのハイライトラベル系列とのペアである検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する最尤状態系列推定手段と、前記検出用ラベル系列から得られる前記最尤状態系列であるハイライト関係状態系列の各状態の前記ハイライトラベルの観測確率に基づいて、前記注目ハイライト検出用コンテンツから、ハイライトシーンのフレームを検出するハイライトシーン検出手段と、前記ハイライトシーンのフレームを用いて、前記注目ハイライト検出用コンテンツのダイジェストであるダイジェストコンテンツを生成するダイジェストコンテンツ生成手段とを備える情報処理装置、又は、情報処理装置として、コンピュータを機能させるためのプログラムである。
【００２４】
本発明の第２の側面の情報処理方法は、情報処理装量が、ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出し、前記特徴量の空間である特徴量空間を、複数のクラスタに分割するクラスタ学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、前記学習用コンテンツの各フレームの特徴量を用いて、前記特徴量空間を、複数のクラスタに分割するクラスタ学習を行うことにより得られる、前記クラスタの情報であるクラスタ情報を用いて、前記注目検出器学習用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目検出器学習用コンテンツの特徴量の時系列を、前記注目検出器学習用コンテンツの特徴量が属するクラスタを表すコードのコード系列に変換し、ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成し、前記注目検出器学習用コンテンツから得られる前記コード系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルである前記ハイライト検出器の学習を行うことにより得られる前記ハイライト検出器を取得する取得ステップと、ハイライトシーンを検出する対象のコンテンツである注目ハイライト検出用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出ステップと、前記クラスタ情報を用いて、前記注目ハイライト検出用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目ハイライト検出用コンテンツの特徴量の時系列を、前記コード系列に変換するクラスタリングステップと、前記ハイライト検出器において、前記注目ハイライト検出用コンテンツから得られる前記コード系列と、ハイライトシーンであること又はハイライトシーンでないことを表すハイライトラベルのハイライトラベル系列とのペアである検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する最尤状態系列推定ステップと、前記検出用ラベル系列から得られる前記最尤状態系列であるハイライト関係状態系列の各状態の前記ハイライトラベルの観測確率に基づいて、前記注目ハイライト検出用コンテンツから、ハイライトシーンのフレームを検出するハイライトシーン検出ステップと、前記ハイライトシーンのフレームを用いて、前記注目ハイライト検出用コンテンツのダイジェストであるダイジェストコンテンツを生成するダイジェストコンテンツ生成ステップとを含む情報処理方法である。
【００２５】
以上のような第２の側面においては、ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出し、前記特徴量の空間である特徴量空間を、複数のクラスタに分割するクラスタ学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、前記学習用コンテンツの各フレームの特徴量を用いて、前記特徴量空間を、複数のクラスタに分割するクラスタ学習を行う
ことにより得られる、前記クラスタの情報であるクラスタ情報を用いて、前記注目検出器学習用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目検出器学習用コンテンツの特徴量の時系列を、前記注目検出器学習用コンテンツの特徴量が属するクラスタを表すコードのコード系列に変換し、ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成し、前記注目検出器学習用コンテンツから得られる前記コード系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルである前記ハイライト検出器の学習を行うことにより得られる前記ハイライト検出器が取得される。さらに、ハイライトシーンを検出する対象のコンテンツである注目ハイライト検出用コンテンツの画像の各フレームの特徴量が抽出され、前記クラスタ情報を用いて、前記注目ハイライト検出用コンテンツの各フレームの特徴量を、前記複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、前記注目ハイライト検出用コンテンツの特徴量の時系列が、前記コード系列に変換される。また、前記ハイライト検出器において、前記注目ハイライト検出用コンテンツから得られる前記コード系列と、ハイライトシーンであること又はハイライトシーンでないことを表すハイライトラベルのハイライトラベル系列とのペアである検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列が推定され、前記検出用ラベル系列から得られる前記最尤状態系列であるハイライト関係状態系列の各状態の前記ハイライトラベルの観測確率に基づいて、前記注目ハイライト検出用コンテンツから、ハイライトシーンのフレームが検出される。そして、前記ハイライトシーンのフレームを用いて、前記注目ハイライト検出用コンテンツのダイジェストであるダイジェストコンテンツが生成される。
【００２６】
なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００２７】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００２８】
本発明の第１及び第２の側面によれば、ユーザの興味があるシーンを、ハイライトシーンとして集めたダイジェストを、容易に得ることができる。
【図面の簡単な説明】
【００２９】
【図１】本発明を適用したレコーダの一実施の形態の構成例を示すブロック図である。
【図２】コンテンツモデル学習部１２の構成例を示すブロック図である。
【図３】HMMの例を示す図である。
【図４】HMMの例を示す図である。
【図５】HMMの例を示す図である。
【図６】HMMの例を示す図である。
【図７】特徴量抽出部２２による特徴量の抽出の処理を説明する図である。
【図８】コンテンツモデル学習処理を説明するフローチャートである。
【図９】コンテンツ構造提示部１４の構成例を示すブロック図である。
【図１０】コンテンツ構造提示処理の概要を説明する図である。
【図１１】モデルマップの例を示す図である。
【図１２】モデルマップの例を示す図である。
【図１３】コンテンツ構造提示部１４によるコンテンツ構造提示処理を説明するフローチャートである。
【図１４】ダイジェスト生成部１５の構成例を示すブロック図である。
【図１５】ハイライト検出器学習部５１の構成例を示すブロック図である。
【図１６】ハイライトラベル生成部６５の処理を説明する図である。
【図１７】ハイライト検出器学習部５１によるハイライト検出器学習処理を説明するフローチャートである。
【図１８】ハイライト検出部５３の構成例を示すブロック図である。
【図１９】ダイジェストコンテンツ生成部７９が生成するダイジェストコンテンツの例を説明する図である。
【図２０】ハイライト検出部５３によるハイライト検出処理を説明するフローチャートである。
【図２１】ハイライトシーン検出処理を説明するフローチャートである。
【図２２】スクラップブック生成部１６の構成例を示すブロック図である。
【図２３】初期スクラップブック生成部１０１の構成例を示すブロック図である。
【図２４】ユーザがモデルマップ上の状態を指定するための、ユーザインターフェースの例を示す図である。
【図２５】初期スクラップブック生成部１０１による初期スクラップブック生成処理を説明するフローチャートである。
【図２６】登録スクラップブック生成部１０３の構成例を示すブロック図である。
【図２７】登録スクラップブック生成部１０３による登録スクラップブック生成処理を説明するフローチャートである。
【図２８】登録スクラップブック生成処理を説明する図である。
【図２９】サーバクライアントシステムの第１の構成例を示すブロック図である。
【図３０】サーバクライアントシステムの第２の構成例を示すブロック図である。
【図３１】サーバクライアントシステムの第３の構成例を示すブロック図である。
【図３２】サーバクライアントシステムの第４の構成例を示すブロック図である。
【図３３】サーバクライアントシステムの第５の構成例を示すブロック図である。
【図３４】サーバクライアントシステムの第６の構成例を示すブロック図である。
【図３５】本発明を適用したレコーダの他の実施の形態の構成例を示すブロック図である。
【図３６】コンテンツモデル学習部２０１の構成例を示すブロック図である。
【図３７】音声特徴量抽出部２２１による特徴量の抽出の処理を説明する図である。
【図３８】音声特徴量抽出部２２１による特徴量の抽出の処理を説明する図である。
【図３９】対象物特徴量抽出部２２４による特徴量の抽出の処理を説明する図である。
【図４０】コンテンツモデル学習部２０１による音声コンテンツモデル学習処理を説明するフローチャートである。
【図４１】コンテンツモデル学習部２０１による対象物コンテンツモデル学習処理を説明するフローチャートである。
【図４２】ダイジェスト生成部２０４の構成例を示すブロック図である。
【図４３】ハイライト検出器学習部２９１の構成例を示すブロック図である。
【図４４】ハイライト検出器学習部２９１によるハイライト検出器学習処理を説明するフローチャートである。
【図４５】ハイライト検出部２９３の構成例を示すブロック図である。
【図４６】ハイライト検出部２９３によるハイライト検出処理を説明するフローチャートである。
【図４７】スクラップブック生成部２０３の構成例を示すブロック図である。
【図４８】初期スクラップブック生成部３７１の構成例を示すブロック図である。
【図４９】ユーザがモデルマップ上の状態を指定するための、ユーザインターフェースの例を示す図である。
【図５０】登録スクラップブック生成部３７３の構成例を示すブロック図である。
【図５１】登録スクラップブック生成部３７３による登録スクラップブック生成処理を説明するフローチャートである。
【図５２】登録スクラップブック生成処理を説明する図である。
【図５３】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００３０】
［本発明の情報処理装置を適用したレコーダの一実施の形態］
【００３１】
図１は、本発明の情報処理装置を適用したレコーダの一実施の形態の構成例を示すブロック図である。
【００３２】
図１のレコーダは、例えば、HD(Hard Disk)レコーダ等であり、テレビジョン放送の番組や、インターネット等のネットワークを介して提供されるコンテンツ、ビデオカメラ等で撮影したコンテンツ等の各種のコンテンツを録画（記録）（記憶）することができる。
【００３３】
すなわち、図１において、レコーダは、コンテンツ記憶部１１、コンテンツモデル学習部１２、モデル記憶部１３、コンテンツ構造提示部１４、ダイジェスト生成部１５、及び、スクラップブック生成部１５から構成される。
【００３４】
コンテンツ記憶部１１は、例えば、テレビジョン放送の番組等のコンテンツを記憶（記録）する。コンテンツ記憶部１１へのコンテンツの記憶が、そのコンテンツの録画となり、その録画がされたコンテンツ（コンテンツ記憶部１１に記憶されたコンテンツ）は、例えば、ユーザの操作に応じて再生される。
【００３５】
コンテンツモデル学習部１２は、例えば、コンテンツ記憶部１１に記憶されたコンテンツ等を、所定の特徴量空間において自己組織的に構造化し、コンテンツの構造（時空間構造）を表すモデル（以下、コンテンツモデルともいう）を求める学習（統計学習）を行う。コンテンツモデル学習部１２は、学習の結果得られるコンテンツモデルを、モデル記憶部１３に供給する。
【００３６】
モデル記憶部１３は、コンテンツモデル学習部１２から供給されるコンテンツモデルを記憶する。
【００３７】
コンテンツ構造提示部１４は、コンテンツ記憶部１１に記憶されたコンテンツと、モデル記憶部１３に記憶されたコンテンツモデルとを用いて、コンテンツの構造を表す、後述するモデルマップを作成して提示する。
【００３８】
ダイジェスト生成部１５は、モデル記憶部１３に記憶されたコンテンツモデルを利用いて、コンテンツ記憶部１１に記憶されたコンテンツから、ユーザの興味があるシーンを、ハイライトシーンとして検出する。そして、ダイジェスト生成部１５は、ハイライトシーンを集めたダイジェストを生成する。
【００３９】
スクラップブック生成部１６は、モデル記憶部１３に記憶されたコンテンツモデルを利用いて、ユーザが興味のあるシーンを検出し、そのシーンを集めたスクラップブックを生成する。
【００４０】
なお、ダイジェスト生成部１５によるダイジェストの生成と、スクラップブック生成部１６によるスクラップブックの生成とでは、結果として、ユーザの興味があるシーンが検出される点では共通するが、その検出の方法（アルゴリズム）が異なる。
【００４１】
また、図１のレコーダは、コンテンツ構造提示部１４やスクラップブック生成部１６等を設けずに構成することができる。
【００４２】
すなわち、例えば、モデル記憶部１３に、学習済みのコンテンツモデルが、既に記憶されている場合には、コンテンツモデル学習部１２を設けずに、レコーダを構成することができる。
【００４３】
また、例えば、コンテンツ構造提示部１４、ダイジェスト生成部１５、及び、スクラップブック生成部１６については、それらのうちの１つ、又は、２つのブロックだけを設けて、レコーダを構成することができる。
【００４４】
ここで、コンテンツ記憶部１１に記憶されるコンテンツのデータは、画像、音声、及び、必要なテキスト（字幕）のデータ（ストリーム）を含むこととする。
【００４５】
また、ここでは、コンテンツのデータのうちの、画像のデータだけを、コンテンツモデルの学習の処理や、コンテンツモデルを用いた処理に用いることとする。
【００４６】
但し、コンテンツモデルの学習の処理や、コンテンツモデルを用いた処理には、画像のデータの他、音声やテキストのデータをも用いることが可能であり、この場合、処理の精度を向上させることができる。
【００４７】
また、コンテンツモデルの学習の処理や、コンテンツモデルを用いた処理には、画像ではなく、音声のデータだけを用いることが可能である。
【００４８】
［コンテンツモデル学習部１２の構成例］
【００４９】
図２は、図１のコンテンツモデル学習部１２の構成例を示すブロック図である。
【００５０】
コンテンツモデル学習部１２は、状態が遷移する状態遷移確率と、状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルの学習（モデル学習）や、後述するクラスタ情報を得るためのクラスタ学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出する。さらに、コンテンツモデル学習部１２は、学習用コンテンツの特徴量を用いて、コンテンツモデルの学習を行う。
【００５１】
すなわち、コンテンツモデル学習部１２は、学習用コンテンツ選択部２１、特徴量抽出部２２、特徴量記憶部２６、及び、学習部２７から構成される。
【００５２】
学習用コンテンツ選択部２１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、モデル学習及びクラスタ学習に用いるコンテンツを、学習用コンテンツとして選択し、特徴量抽出部２２に供給する。
【００５３】
ここで、学習用コンテンツ選択部２１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、例えば、所定のカテゴリに属する１以上のコンテンツを、学習用コンテンツとして選択する。
【００５４】
所定のカテゴリに属するコンテンツとは、例えば、ジャンルが同一の番組や、連続番組、毎週又は毎日その他周期的に放送される番組（タイトルが同一の番組）等の、コンテンツに潜む、コンテンツの構造が共通するコンテンツを意味する。
【００５５】
ジャンルとしては、例えば、スポーツ番組やニュース番組等といった、いわば大まかな分類を採用することもできるが、例えば、サッカーの試合の番組や野球の試合の番組等といった、いわば細かい分類であることが望ましい。
【００５６】
また、例えば、サッカーの試合の番組であれば、チャンネル（放送局）が異なるごとに、異なるカテゴリに属するコンテンツに分類することもできる。
【００５７】
なお、コンテンツのカテゴリとして、どのようなカテゴリを採用するかは、例えば、図１のレコーダに、あらかじめ設定されていることとする。
【００５８】
また、コンテンツ記憶部１１に記憶されたコンテンツのカテゴリは、例えば、テレビジョン放送で番組とともに送信されてくる、番組のタイトルやジャンル等のメタデータや、インターネット上のサイトが提供する番組の情報等から認識することができる。
【００５９】
特徴量抽出部２２は、学習用コンテンツ選択部２１からの学習用コンテンツを、画像と音声のデータに逆多重化し、画像の各フレームの特徴量を抽出して、特徴量記憶部２６に供給する。
【００６０】
すなわち、特徴量抽出部２２は、フレーム分割部２３、サブ領域特徴量抽出部２４、及び、結合部２５から構成される。
【００６１】
フレーム分割部２３には、学習用コンテンツ選択部２１からの学習用コンテンツの画像の各フレームが、時系列に供給される。
【００６２】
フレーム分割部２３は、学習用コンテンツ選択部２１から時系列に供給される学習用コンテンツのフレームを、順次、注目フレームとする。そして、フレーム分割部２３は、注目フレームを、複数の小領域であるサブ領域に分割し、サブ領域特徴量抽出部２４に供給する。
【００６３】
サブ領域特徴量抽出部２４は、フレーム分割部２３からの注目フレームの各サブ領域から、そのサブ領域の特徴量（以下、サブ領域特徴量ともいう）を抽出し、結合部２５に供給する。
【００６４】
結合部２５は、サブ領域特徴量抽出部２４からの注目フレームのサブ領域のサブ領域特徴量を結合し、その結合結果を、注目フレームの特徴量として、特徴量記憶部２６に供給する。
【００６５】
特徴量記憶部２６は、特徴量抽出部２２（の結合部２５）から供給される学習用コンテンツの各フレームの特徴量を時系列に記憶する。
【００６６】
学習部２７は、特徴量記憶部２６に記憶された学習用コンテンツの各フレームの特徴量を用いて、コンテンツモデルの学習を行う。
【００６７】
すなわち、学習部２７は、特徴量記憶部２６に記憶された学習用コンテンツの各フレームの特徴量（ベクトル）を用いて、その特徴量の空間である特徴量空間を、複数のクラスタに分割するクラスタ学習を行い、クラスタの情報であるクラスタ情報を求める。
【００６８】
ここで、クラスタ学習としては、例えば、k-means法を採用することができる。クラスタ学習として、k-means法を採用する場合、クラスタ学習の結果得られるクラスタ情報は、特徴量空間のクラスタを代表する代表ベクトルと、その代表ベクトル（が代表するクラスタ）を表すコードとが対応付けられたコードブックとなる。
【００６９】
なお、k-means法では、注目する注目クラスタの代表ベクトルは、学習用コンテンツの特徴量（ベクトル）の中で、注目クラスタに属する特徴量（コードブックの各代表ベクトルとの距離（ユークリッド距離）の中で、注目クラスタの代表ベクトルとの距離が最も短い特徴量）の平均値（ベクトル）となる。
【００７０】
学習部２７は、さらに、学習用コンテンツから得られたクラスタ情報を用いて、特徴量記憶部２６に記憶された学習用コンテンツの各フレームの特徴量を複数のクラスタのうちのいずれかのクラスタにクラスタリングすることにより、その特徴量が属するクラスタを表すコードを求めることで、学習用コンテンツの特徴量の時系列を、コード系列に変換する（学習用コンテンツのコード系列を求める）。
【００７１】
ここで、クラスタ学習として、k-means法を採用する場合、そのクラスタ学習によって得られるクラスタ情報としてのコードブックを用いて行われるクラスタリングは、ベクトル量子化となる。
【００７２】
ベクトル量子化では、コードブックの代表ベクトルそれぞれについて、特徴量（ベクトル）との距離が計算され、その距離が最小となる代表ベクトルのコードが、ベクトル量子化結果として出力される。
【００７３】
学習部２７は、学習用コンテンツの特徴量の時系列をクラスタリングすることにより、コード系列に変換すると、そのコード系列を用いて、状態遷移モデルの学習であるモデル学習を行う。
【００７４】
そして、学習部２７は、モデル学習後の状態遷移確率モデルと、クラスタ学習により得られるクラスタ情報とのセットを、コンテンツモデルとして、学習用コンテンツのカテゴリと対応付けて、モデル記憶部１３に供給する。
【００７５】
したがって、コンテンツモデルは、状態遷移確率モデルと、クラスタ情報とから構成される。
【００７６】
ここで、コンテンツモデルを構成する状態遷移確率モデル（コード系列を用いて学習が行われる状態遷移確率モデル）を、以下、コードモデルともいう。
【００７７】
［状態遷移確率モデル］
【００７８】
図３ないし図６を参照して、図２の学習部２７がモデル学習を行う状態遷移確率モデルについて説明する。
【００７９】
状態遷移確率モデルとしては、例えば、HMM(Hidden Marcov Model)を採用することができる。状態遷移確率モデルとして、HMMを採用する場合、HMMの学習は、例えば、Baum-Welchの再推定法によって行われる。
【００８０】
図３は、left-to-right型のHMMの例を示す図である。
【００８１】
left-to-right型のHMMは、状態が、左から右方向に、一直線上に並んだHMMであり、自己遷移（ある状態から、その状態への遷移）と、ある状態から、その状態よりも右側にある状態への遷移とを行うことができる。left-to-right型のHMMは、例えば、音声認識等で用いられる。
【００８２】
図３のHMMは、３つの状態s1,s2,s3から構成され、状態遷移として、自己遷移と、ある状態から、その右隣の状態への遷移とが許されている。
【００８３】
なお、HMMは、状態siの初期確率πi、状態遷移確率aij、及び、状態siから、所定の観測値oが観測される観測確率bi(o)で規定される。
【００８４】
ここで、初期確率πiは、状態siが、初期の状態（最初の状態）である確率であり、left-to-right型のHMMでは、最も左側の状態s1の初期確率π1は、1.0とされ、他の状態siの初期確率πiは、0.0とされる。
【００８５】
状態遷移確率aiｊは、状態siから状態sjに遷移する確率である。
【００８６】
観測確率bi(o)は、状態siへの状態遷移時に、状態siから観測値oが観測される確率である。観測確率bi(o)としては、観測値oが離散値である場合には、確率となる値（離散値）が用いられるが、観測値oが連続値である場合には、確率分布関数が用いられる。確率分布関数としては、例えば、平均値（平均ベクトル）と分散（共分散行列）とで定義されるガウス分布等を採用することができる。なお、本実施の形態では、観測値oとして、離散値が用いられる。
【００８７】
図４は、エルゴディック(Ergodic)型のHMMの例を示す図である。
【００８８】
エルゴディック型のHMMは、状態遷移に制約がないHMM、すなわち、任意の状態siから任意の状態sjへの状態遷移が可能なHMMである。
【００８９】
図４のHMMは、３つの状態s1,s2,s3から構成され、任意の状態遷移が許されている。
【００９０】
エルゴディック型のHMMは、状態遷移の自由度が最も高いHMMであるが、状態数が多くなると、HMMのパラメータ（初期確率πi、状態遷移確率aij、及び、観測確率bi(o)）の初期値によっては、ローカルミニマムに収束し、適切なパラメータを得られないことがある。
【００９１】
そこで、「自然界の現象の殆どや、ビデオコンテンツを生み出すカメラワークや番組構成は、スモールワールドネットワークのようなスパースな結合によって表現可能である」という仮説を採用し、学習部２７での学習には、状態遷移を、スパース(Sparse)な構造に制約したHMMを採用することとする。
【００９２】
ここで、スパースな構造とは、ある状態から任意の状態への状態遷移が可能なエルゴディック型のHMMのような密な状態遷移ではなく、ある状態から状態遷移することができる状態が非常に限定されている構造（状態遷移が疎らな構造）である。
【００９３】
なお、ここでは、スパースな構造であっても、他の状態への状態遷移は、少なくとも１つ存在し、また、自己遷移は存在することとする。
【００９４】
図５は、スパースな構造のHMMである2次元近傍拘束HMMの例を示す図である。
【００９５】
図５のＡ及び図５のＢのHMMには、スパースな構造であることの他、HMMを構成する状態を、２次元平面上に、格子状に配置する制約が課されている。
【００９６】
ここで、図５のＡのHMMでは、他の状態への状態遷移が、横に隣接する状態と、縦に隣接する状態とに制限されている。図５のＢのHMMでは、他の状態への状態遷移が、横に隣接する状態、縦に隣接する状態、及び、斜めに隣接する状態に制限されている。
【００９７】
図６は、スパースな構造のHMMの、2次元近傍拘束HMM以外の例を示す図である。
【００９８】
すなわち、図６のＡは、３次元グリッド制約によるHMMの例を示している。図６のＢは、２次元ランダム配置制約によるHMMの例を示している。図６のＣは、スモールワールドネットワークによるHMMの例を示している。
【００９９】
図２の学習部２７では、状態が、例えば、100ないし数百個程度の、図５や図６に示したスパースな構造のHMMの学習が、特徴量記憶部２６に記憶された画像の（フレームから抽出された）特徴量のコード系列を用い、Baum-Welchの再推定法によって行われる。
【０１００】
学習部２７での学習の結果得られるコードモデルであるHMMは、コンテンツの画像(Visual)の特徴量のみを用いた学習によって得られるので、Visual HMMと呼ぶことができる。
【０１０１】
ここで、HMMの学習（モデル学習）に用いられる、特徴量のコード系列は、離散値であり、HMMの観測確率bi(o)としては、確率となる値が用いられる。
【０１０２】
なお、HMMについては、例えば、Laurence Rabiner, Biing-Hwang Juang 共著、「音声認識の基礎（上・下）、ＮＴＴアドバンステクノロジ株式会社」や、本件出願人が先に提案した特願2008-064993号に記載されている。また、エルゴティック型のHMMや、スパースな構造のHMMの利用については、例えば、本件出願人が先に提案した特開2009-223444号公報に記載されている。
【０１０３】
［特徴量の抽出］
【０１０４】
図７は、図２の特徴量抽出部２２による特徴量の抽出の処理を説明する図である。
【０１０５】
特徴量抽出部２２において、フレーム分割部２３には、学習用コンテンツ選択部２１からの学習用コンテンツの画像の各フレームが、時系列に供給される。
【０１０６】
フレーム分割部２３は、学習用コンテンツ選択部２１から時系列に供給される学習用コンテンツのフレームを、順次、注目フレームとし、注目フレームを、複数のサブ領域Rkに分割して、サブ領域特徴量抽出部２４に供給する。
【０１０７】
ここで、図７では、注目フレームが、横×縦が4×4個の１６個のサブ領域R1，R2，・・・，R16に等分されている。
【０１０８】
なお、１フレームをサブ領域Rkに分割するときの、サブ領域Rkの数は、4×4個の16個に限定されるものではない。すなわち、１フレームは、例えば、5×4個の20個のサブ領域Rkや、5×5個の25個のサブ領域Rk等に分割することができる。
【０１０９】
また、図７では、１フレームが、同一のサイズのサブ領域Rkに分割（等分）されているが、サブ領域のサイズは、同一でなくても良い。すなわち、例えば、フレームの中央部分は、小さなサイズのサブ領域に分割し、フレームの周辺部分（画枠に隣接する部分等）は、大きなサイズのサブ領域に分割することができる。
【０１１０】
サブ領域特徴量抽出部２４（図２）は、フレーム分割部２３からの注目フレームの各サブ領域Rkのサブ領域特徴量fk=FeatExt(Rk)を抽出し、結合部２５に供給する。
【０１１１】
すなわち、サブ領域特徴量抽出部２４は、サブ領域Rkの画素値（例えば、RGB成分や、YUV成分等）を用い、サブ領域Rkの大域的な特徴量を、サブ領域特徴量fkとして求める。
【０１１２】
ここで、サブ領域Rkの大域的な特徴量とは、サブ領域Rkを構成する画素の位置の情報を用いずに、画素値だけを用いて、加法的に計算される、例えば、ヒストグラムのような特徴量をいう。
【０１１３】
大域的な特徴量としては、例えば、GISTと呼ばれる特徴量を採用することができる。GISTについては、例えば、A. Torralba, K. Murphy, W. Freeman, M. Rubin, "Context-based vision system for place and object recognition", IEEE Int. Conf. Computer Vision, vol. 1, no. 1, pp. 273-280, 2003.に、詳細が記載されている。
【０１１４】
なお、大域的な特徴量は、GISTに限定されるものではない。すなわち、大域的な特徴量は、局所的な位置、明度、視点等の見えの変化に対して頑強な（変化を吸収するような）（Robustな）特徴量であれば良い。そのような特徴量としては、例えば、HLCA（局所高次相関）や、LBP(Local Binary Patterns)、カラーヒストグラム等がある。
【０１１５】
HLCAについては、例えば、N. Otsu, T. Kurita, "A new scheme for practical flexible and intelligent vision systems", Proc. IAPR Workshop on Computer Vision, pp.431-435, 1988に、詳細が記載されている。LBPについては、例えば、Ojala T, Pietikainen M & Maenpaa T, "Multiresolution gray-scale and rotation invariant texture classification with Local Binary Patterns", IEEE Transactions on Pattern Analysis and Machine Intelligence 24(7):971-987に、詳細が記載されている（Pietikainen、及び、Maenpaaの"a"は、正確には、"a"の上部に、"・・"を付加した文字）。
【０１１６】
ここで、上述のGISTや、LBP，HLCA、カラーヒストグラム等の大域的な特徴量は、次元数が大となる傾向があるが、次元間の相関が高い傾向もある。
【０１１７】
そこで、サブ領域特徴量抽出部２４（図２）では、サブ領域Rkから、GIST等を抽出した後、そのGIST等の主成分分析(PCA(principal component analysis))を行うことができる。そして、サブ領域特徴量抽出部２４では、PCAの結果に基づき、累積寄与率が、ある程度高い値（例えば、95%等以上の値）となるように、GIST等の次元数を圧縮（制限）し、その圧縮結果を、サブ領域特徴量とすることができる。
【０１１８】
この場合、GIST等を、次元数を圧縮したPCA空間に射影した射影ベクトルが、GIST等の次元数を圧縮した圧縮結果となる。
【０１１９】
結合部２５（図２）は、サブ領域特徴量抽出部２４からの注目フレームのサブ領域R1ないしR16のサブ領域特徴量f1ないしf16を結合し、その結合結果を、注目フレームの特徴量として、特徴量記憶部２６に供給する。
【０１２０】
すなわち、結合部２５は、サブ領域特徴量抽出部２４からのサブ領域特徴量f1ないしf16を結合することにより、そのサブ領域特徴量f1ないしf16をコンポーネントとするベクトルを生成し、そのベクトルを、注目フレームの特徴量Ftとして、特徴量記憶部２６に供給する。
【０１２１】
ここで、図７では、時刻tのフレーム（フレームt）が、注目フレームとなっている。時刻tとは、例えば、コンテンツの先頭を基準とする時刻であり、本実施の形態において、時刻tのフレームとは、コンテンツの先頭からt番目のフレームを意味する。
【０１２２】
図２の特徴量抽出部２２では、学習用コンテンツの各フレームが、先頭から順次、注目フレームとされ、上述したようにして、特徴量Ftが求められる。そして、学習用コンテンツの各フレームの特徴量Ftは、時系列に（時間的な前後関係を維持した状態で）、特徴量抽出部２２から特徴量記憶部２６に供給されて記憶される。
【０１２３】
以上のように、特徴量抽出部２２では、サブ領域特徴量fkとして、サブ領域Rkの大域的な特徴量が求められ、そのサブ領域特徴量fkをコンポーネントとするベクトルが、フレームの特徴量Ftとして求められる。
【０１２４】
したがって、フレームの特徴量Ftは、局所的な変化（サブ領域内で起こる変化）に対しては頑強であるが、フレーム全体としてのパターンの配置の変化に対してはディスクリミネイティブ（鋭敏に違いを見分ける性質）であるような特徴量となる。
【０１２５】
このような特徴量Ftによれば、フレーム間のシーン（内容）の類似性を、適切に判定することができる。例えば、「浜辺」のシーンは、フレームの上方に「空」があり、中央に「海」があり、画面下方に「砂浜」があればよく、「砂浜」のどこに人がいるかや、「空」のどこに雲があるか等は、シーンが「浜辺」のシーンであるかどうかに関係がない。特徴量Ftは、このような観点からシーンの類似性を判定する（シーンを分類する）のに適している。
【０１２６】
［コンテンツモデル学習処理］
【０１２７】
図８は、図２のコンテンツモデル学習部１２が行う処理（コンテンツモデル学習処理）を説明するフローチャートである。
【０１２８】
ステップＳ１１において、学習用コンテンツ選択部２１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、所定のカテゴリに属する１以上のコンテンツを、学習用コンテンツとして選択する。
【０１２９】
すなわち、例えば、学習用コンテンツ選択部２１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、まだ、学習用コンテンツとしていない任意の１つのコンテンツを、学習用コンテンツとして選択する。
【０１３０】
さらに、学習用コンテンツ選択部２１は、学習用コンテンツとして選択した１つのコンテンツのカテゴリを認識し、そのカテゴリに属する他のコンテンツが、コンテンツ記憶部１１に記憶されている場合には、そのコンテンツ（他のコンテンツ）を、さらに、学習用コンテンツとして選択する。
【０１３１】
学習用コンテンツ選択部２１は、学習用コンテンツを、特徴量抽出部２２に供給し、処理は、ステップＳ１１からステップＳ１２に進む。
【０１３２】
ステップＳ１２では、特徴量抽出部２２のフレーム分割部２３が、学習用コンテンツ選択部２１からの学習用コンテンツの中の、まだ、注目学習用コンテンツ（以下、注目コンテンツともいう）に選択していない学習用コンテンツの１つを、注目コンテンツに選択する。
【０１３３】
そして、処理は、ステップＳ１２からステップＳ１３に進み、フレーム分割部２３は、注目コンテンツのフレームのうちの、まだ、注目フレームとしていない、時間的に最も先行するフレームを、注目フレームに選択し、処理は、ステップＳ１４に進む。
【０１３４】
ステップＳ１４では、フレーム分割部２３は、注目フレームを、複数のサブ領域に分割し、サブ領域特徴量抽出部２４に供給して、処理は、ステップＳ１５に進む。
【０１３５】
ステップＳ１５では、サブ領域特徴量抽出部２４は、フレーム分割部２３からの複数のサブ領域それぞれのサブ領域特徴量を抽出し、結合部２５に供給して、処理は、ステップＳ１６に進む。
【０１３６】
ステップＳ１６では、結合部２５は、サブ領域特徴量抽出部２４からの、注目フレームを構成する複数のサブ領域それぞれのサブ領域特徴量を結合することで、注目フレームの特徴量を生成し、処理は、ステップＳ１７に進む。
【０１３７】
ステップＳ１７では、フレーム分割部２３は、注目コンテンツのすべてのフレームを注目フレームとしたかどうかを判定する。
【０１３８】
ステップＳ１７において、注目コンテンツのフレームの中に、まだ、注目フレームとしていないフレームがあると判定された場合、処理は、ステップＳ１３に戻り、以下、同様の処理が繰り返される。
【０１３９】
また、ステップＳ１７において、注目コンテンツのすべてのフレームを注目フレームとしたと判定された場合、処理は、ステップＳ１８に進み、結合部２５は、注目コンテンツについて求めた注目コンテンツの各フレームの特徴量（の時系列）を、特徴量記憶部２６に供給して記憶させる。
【０１４０】
そして、処理は、ステップＳ１８からステップＳ１９に進み、フレーム分割部２３は、学習用コンテンツ選択部２１からの学習用コンテンツのすべてを、注目コンテンツとしたかどうかを判定する。
【０１４１】
ステップＳ１９において、学習用コンテンツの中に、まだ、注目コンテンツとしていない学習用コンテンツがあると判定された場合、処理は、ステップＳ１２に戻り、以下、同様の処理が繰り返される。
【０１４２】
また、ステップＳ１９において、学習用コンテンツのすべてを、注目コンテンツとしたと判定された場合、処理は、ステップＳ２０に進み、学習部２７は、特徴量記憶部２６に記憶された、学習用コンテンツの特徴量（各フレームの特徴量の時系列）を用いて、コンテンツモデルの学習を行う。
【０１４３】
すなわち、学習部２７は、特徴量記憶部２６に記憶された学習用コンテンツの各フレームの特徴量（ベクトル）を用いて、その特徴量の空間である特徴量空間を、複数のクラスタに分割するクラスタ学習を、k-means法によって行い、既定数としての、例えば、100ないし数100のクラスタ（代表ベクトル）のコードブックを、クラスタ情報として求める。
【０１４４】
さらに、学習部２７は、クラスタ学習によって得られたクラスタ情報としてのコードブックを用いて、特徴量記憶部２６に記憶された学習用コンテンツの各フレームの特徴量をクラスタリングするベクトル量子化を行い、学習用コンテンツの特徴量の時系列を、コード系列に変換する。
【０１４５】
学習部２７は、学習用コンテンツの特徴量の時系列をクラスタリングすることにより、コード系列に変換すると、そのコード系列を用いて、HMM（離散HMM）の学習であるモデル学習を行う。
【０１４６】
そして、学習部２７は、モデル学習後のHMMであるコードモデルと、クラスタ学習により得られるクラスタ情報としてのコードブックとのセットを、コンテンツモデルとして、学習用コンテンツのカテゴリと対応付けて、モデル記憶部１３に出力（供給）し、コンテンツモデル学習処理を終了する。
【０１４７】
なお、コンテンツモデル学習処理は、任意のタイミングで開始することができる。
【０１４８】
以上のコンテンツモデル学習処理によれば、コードモデルであるHMMにおいて、学習用コンテンツに潜む、コンテンツの構造（例えば、番組構成や、カメラワーク等が作り出す構造）が自己組織的に獲得される。
【０１４９】
その結果、コンテンツモデル学習処理よって得られるコンテンツモデルにおけるコードモデルとしてのHMMの各状態は、学習によって獲得されたコンテンツの構造の要素に対応し、状態遷移は、コンテンツの構造の要素どうしの間での、時間的な遷移を表現する。
【０１５０】
そして、コードモデルの状態は、特徴量空間（特徴量抽出部２２（図２）で抽出される特徴量の空間）において、空間的な距離が近く、かつ、時間的な前後関係が似ているフレーム群（つまり「似たシーン」）をまとめて表現する。
【０１５１】
ここで、例えば、コンテンツがクイズ番組である場合には、大雑把には、クイズの出題、ヒントの提示、出演者による解答、正解発表、という流れを、番組の基本的な流れとして、この基本的な流れの繰り返しによって、クイズ番組が進行していく。
【０１５２】
上述の番組の基本的な流れが、コンテンツの構造に相当し、その流れ（構造）を構成する、クイズの出題、ヒントの提示、出演者による解答、正解発表のそれぞれが、コンテンツの構造の要素に相当する。
【０１５３】
また、例えば、クイズの出題から、ヒントの提示への進行等が、コンテンツの構造の要素どうしの間での、時間的な遷移に相当する。
【０１５４】
［コンテンツ構造提示部１４の構成例］
【０１５５】
図９は、図１のコンテンツ構造提示部１４の構成例を示すブロック図である。
【０１５６】
上述したように、コンテンツモデル（のコードモデルであるHMM）は、学習用コンテンツに潜む、コンテンツの構造を獲得するが、コンテンツ構造提示部１４は、そのコンテンツの構造を可視化して、ユーザに提示する。
【０１５７】
すなわち、コンテンツ構造提示部１４は、コンテンツ選択部３１、モデル選択部３２、特徴量抽出部３３、最尤状態系列推定部３４、状態対応画像情報生成部３５、状態間距離算出部３６、座標算出部３７、マップ描画部３８、及び、表示制御部３９から構成される。
【０１５８】
コンテンツ選択部３１は、例えば、ユーザの操作等に応じて、コンテンツ記憶部１１に記憶されたコンテンツの中から、構造を可視化するコンテンツを、注目提示用コンテンツ（以下、単に、注目コンテンツともいう）に選択する。
【０１５９】
そして、コンテンツ選択部３１は、注目コンテンツを、特徴量抽出部３３と、状態対応画像情報生成部３５とに供給する。また、コンテンツ選択部３１は、注目コンテンツのカテゴリを認識し、モデル選択部３２に供給する。
【０１６０】
モデル選択部３２は、モデル記憶部１３に記憶されたコンテンツモデルの中から、コンテンツ選択部３１からの、注目コンテンツのカテゴリと一致するカテゴリのコンテンツモデル（注目コンテンツのカテゴリに対応付けられたコンテンツモデル）を、注目モデルに選択する。
【０１６１】
そして、モデル選択部３２は、注目モデルを、最尤状態系列推定部３４と、状態間距離算出部３６とに供給する。
【０１６２】
特徴量抽出部３３は、コンテンツ選択部３１から供給される注目コンテンツの（画像の）各フレームの特徴量を、図２の特徴抽出部２２と同様にして抽出し、注目コンテンツの各フレームの特徴量（の時系列）を、最尤状態系列推定部３４に供給する。
【０１６３】
最尤状態系列推定部３４は、モデル選択部３２からの注目モデルのクラスタ情報を用いて、特徴量抽出部３３からの注目コンテンツの特徴量（の時系列）をクラスタリングし、注目コンテンツの（特徴量の）コード系列を求める。
【０１６４】
さらに、最尤状態系列推定部３４は、例えば、Viterbiアルゴリズムに従い、モデル選択部３２からの注目モデルのコードモデルにおいて、特徴量抽出部３３からの注目コンテンツの（特徴量の）コード系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列（いわゆるビタビパスを構成する状態の系列）を推定する。
【０１６５】
そして、最尤状態系列推定部３４は、注目モデルのコードモデル（以下、注目コードモデルともいう）において、注目コンテンツのコード系列が観測される場合の最尤状態系列（以下、注目コンテンツに対する注目コードモデルの最尤状態系列ともいう）を、状態対応画像情報生成部３５に供給する。
【０１６６】
ここで、注目コンテンツに対する注目コードモデルの最尤状態系列の先頭を基準とする時刻tの状態（最尤状態系列を構成する、先頭からt番目の状態）を、s(t)と表すとともに、注目コンテンツのフレーム数を、Tと表すこととする。
【０１６７】
この場合、注目コンテンツに対する注目コードモデルの最尤状態系列は、T個の状態s(1)，S(2)，・・・，s(T)の系列であり、そのうちのt番目の状態（時刻tの状態）s(t)は、注目コンテンツの時刻tのフレーム（フレームt）に対応する。
【０１６８】
また、注目コードモデルの状態の総数をNと表すこととすると、時刻tの状態s(t)は、N個の状態s1，s2，・・・，sNのうちのいずれかである。
【０１６９】
さらに、N個の状態s1，s2，・・・，sNのそれぞれには、状態を特定するインデクスである状態ID(Identification)が付されている。
【０１７０】
いま、注目コンテンツに対する注目コードモデルの最尤状態系列の時刻tの状態s(t)が、N個の状態s1ないしsNのうちのi番目の状態siであるとすると、時刻tのフレームは、状態siに対応する。
【０１７１】
したがって、注目コンテンツの各フレームは、N個の状態s1ないしsNのうちのいずれかに対応する。
【０１７２】
注目コンテンツに対する注目コードモデルの最尤状態系列の実体は、注目コンテンツの各時刻tのフレームが対応する、N個の状態s1ないしsNのうちのいずれかの状態の状態IDの系列である。
【０１７３】
以上のような、注目コンテンツに対する注目コードモデルの最尤状態系列は、注目コンテンツが、注目コードモデル上において、どのような状態遷移を起こすかを表現する。
【０１７４】
状態対応画像情報生成部３５は、最尤状態系列推定部３４からの最尤状態系列（状態IDの系列）を構成する状態の状態IDごとに、同一の状態に対応するフレームを、コンテンツ選択部３１からの注目コンテンツの中から選択する。
【０１７５】
すなわち、状態対応画像情報生成部３５は、注目コードモデルのN個の状態s1ないしsNを、順次、注目状態に選択する。
【０１７６】
いま、状態IDが#iの状態siが注目状態に選択されたこととすると、状態対応画像情報生成部３５は、最尤状態系列の中から、注目状態に一致する状態（状態IDが#iの状態）を検索し、その状態に対応するフレームを、注目状態の状態IDと対応付けて記憶する。
【０１７７】
そして、状態対応画像情報生成部３５は、状態IDと対応付けられたフレームを加工し、その状態IDに対応する画像情報（以下、状態対応画像情報ともいう）を生成して、マップ描画部３８に供給する。
【０１７８】
ここで、状態対応画像情報としては、例えば、状態IDと対応付けられた１以上のフレームのサムネイルを時系列順に配置した静止画（画像列）や、状態IDと対応付けられた１以上のフレームを縮小して、時系列順に並べた動画（ムービー）等を採用することができる。
【０１７９】
なお、状態対応画像情報生成部３５は、注目コードモデルのN個の状態s1ないしsNの状態IDのうちの、最尤状態系列の中に登場しない状態の状態IDについては、状態対応画像情報を生成しない（生成することができない）。
【０１８０】
状態間距離算出部３６は、モデル選択部３２からの（注目モデルの）注目コードモデルの１つの状態siから他の１つの状態sjへの状態間距離dij*を、１つの状態siから他の１つの状態sjへの状態遷移確率aijに基づいて求める。そして、状態間距離算出部３６は、注目コードモデルのN個の状態の任意の状態siから任意の状態sjへの状態間距離dij*を求めると、その状態間距離dij*をコンポーネントとするN行N列の行列（状態間距離行列）を、座標算出部３７に供給する。
【０１８１】
ここで、状態間距離算出部３６は、例えば、状態遷移確率aijが所定の閾値（例えば、(1/N)×10-2）より大である場合、状態間距離dij*を、例えば、0.1（小さい値）とし、状態遷移確率aijが所定の閾値以下である場合、状態間距離dij*を、例えば、1.0（大きい値）とする。
【０１８２】
座標算出部３７は、注目コードモデルのN個の状態s1ないしsNが配置される２次元又は３次元のマップであるモデルマップ上の、１つの状態siから他の１つの状態sjへのユークリッド距離dijと、状態間距離算出部３６からの状態間距離行列の状態間距離dij*との誤差が小さくなるように、モデルマップ上の状態siの位置の座標である状態座標Yiを求める。
【０１８３】
すなわち、座標算出部３７は、ユークリッド距離dijと、状態間距離dij*との統計的な誤差に比例するSammon Mapのエラー関数Eを最小にするように、状態座標Yiを求める。
【０１８４】
ここで、Sammon Mapは、多次元尺度法の１つであり、その詳細は、例えば、J. W. Sammon, JR., "A Nonlinear Mapping for Data Structure Analysis", IEEE Transactions on Computers, vol. C-18, No. 5, May 1969に記載されている。
【０１８５】
Sammon Mapでは、例えば、式（１）のエラー関数Eを最小にするように、例えば、２次元のマップであるモデルマップ上の状態座標Yi=(xi,yi)が求められる。
【０１８６】
【数１】
2011223287.tif 000003
・・・（１）
【０１８７】
ここで、式（１）において、Nは、注目コードモデルの状態の総数を表し、i及びjは、1ないしNの範囲の整数値をとる、状態のインデクスである（本実施の形態では、状態IDでもある）。
【０１８８】
dij*は、状態間距離行列の第i行第j列の要素を表し、状態siから状態sjへの状態間距離を表す。dijは、モデルマップ上の、状態siの位置の座標（状態座標）Yiと、状態sjの位置の座標Yjとの間のユークリッド距離を表す。
【０１８９】
座標算出部３７は、式（１）のエラー関数Eが最小になるように、状態座標Yi(i=1,2,・・・,N)を、勾配法の反復適用により求め、マップ描画部３８に供給する。
【０１９０】
マップ描画部３８は、座標算出部３７からの状態座標Yiの位置に、対応する状態si（の画像）を配置したモデルマップ（のグラフィクス）を描画する。また、マップ描画部３８は、モデルマップ上の状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画する。
【０１９１】
さらに、マップ描画部３８は、モデルマップ上の状態siに、状態対応画像情報生成部３５からの状態対応画像情報のうちの、状態siの状態IDに対応する状態対応画像情報をリンク付けし、表示制御部３９に供給する。
【０１９２】
表示制御部３９は、マップ描画部３８からモデルマップを、図示せぬディスプレイに表示する表示制御を行う。
【０１９３】
図１０は、図９のコンテンツ構造提示部１４が行う処理（コンテンツ構造提示処理）の概要を説明する図である。
【０１９４】
図１０のＡは、コンテンツ選択部３１において注目コンテンツ（注目提示用コンテンツ）として選択されたコンテンツのフレームの時系列を示している。
【０１９５】
図１０のＢは、特徴量抽出部３３において抽出された、図１０のＡのフレームの時系列の特徴量の時系列を示している。
【０１９６】
図１０のＣは、最尤状態系列推定部３４において、図１０のＢの特徴量の時系列をクラスタリングすることにより得られるコード系列を示している。
【０１９７】
図１０のＤは、最尤状態系列推定部３４において推定される、注目コードモデルにおいて、図１０のＣの注目コンテンツの（特徴量の時系列の）コード系列が観測される最尤状態系列（注目コンテンツに対する注目コードモデルの最尤状態系列）を示している。
【０１９８】
ここで、注目コンテンツに対する注目コードモデルの最尤状態系列の実体は、上述したように、状態IDの系列である。そして、注目コンテンツに対する注目コードモデルの最尤状態系列の先頭からt番目の状態IDは、最尤状態系列において、注目コンテンツのt番目（時刻t）のフレームの特徴量のコードが観測される（可能性が高い）状態の状態ID（フレームtに対応する状態の状態ID）である。
【０１９９】
図１０のＥは、状態対応画像情報生成部３５において生成される状態対応画像情報を示している。
【０２００】
図１０のＥでは、図１０のＤの最尤状態系列において、状態IDが"1"の状態に対応するフレームが選択され、その状態IDに対応する状態対応画像情報としてのムービーや画像列が生成されている。
【０２０１】
図１１は、図９のマップ描画部３８で描画されるモデルマップの例を示す図である。
【０２０２】
図１１のモデルマップにおいて、楕円は、状態を表し、楕円どうしを結ぶ線分（点線）は、状態遷移を表す。また、楕円に付してある数字は、その楕円が表す状態の状態IDを表す。
【０２０３】
モデルマップ描画部３８は、上述したように、座標算出部３７で求められる状態座標Yiの位置に、対応する状態si（の画像（図１１では、楕円））を配置したモデルマップ（のグラフィクス）を描画する。
【０２０４】
さらに、マップ描画部３８は、モデルマップ上の状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画する。すなわち、マップ描画部３８は、モデルマップ上の状態siから他の状態sjへの状態遷移確率が、所定の閾値より大である場合には、それらの状態siとsjとの間を結ぶ線分を描画する。
【０２０５】
ここで、モデルマップにおいて、状態等は、強調して描画することができる。
【０２０６】
すなわち、図１１のモデルマップにおいて、状態siは、楕円（円を含む）等で描画されるが、この状態siを表す楕円等は、例えば、その状態siの観測確率bj(o)の最大値等に応じて、半径や色を変化させて描画することができる。
【０２０７】
また、モデルマップ上の状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分は、状態遷移確率の大きさに応じて、線分の幅や色を変化させて描画することができる。
【０２０８】
なお、状態等を強調して描画する方法は、上述のような描画に限定されるものではない。さらに、状態等の強調は、必ずしも行う必要はない。
【０２０９】
ところで、図９の座標算出部３７において、式（１）のエラー関数Eを、そのまま採用し、エラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めた場合、状態（を表す楕円）は、図１１に示したように、モデルマップ上に、円状に配置される。
【０２１０】
そして、この場合、モデルマップの円周付近（外側）（外縁）に、状態が密集し、状態の配置が見にくくなって、いわば、可視性が損なわれることがある。
【０２１１】
そこで、図９の座標算出部３７では、式（１）のエラー関数Eを修正し、修正後のエラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めることができる。
【０２１２】
すなわち、座標算出部３７では、ユークリッド距離dijが、所定の閾値THd（例えば、THd=1.0等）より大であるかどうかを判定する。
【０２１３】
そして、ユークリッド距離dijが、所定の閾値THdより大でない場合には、座標算出部３７は、式（１）のエラー関数の演算において、ユークリッド距離dijとして、そのユークリッド距離dijを、そのまま用いる。
【０２１４】
一方、ユークリッド距離dijが、所定の閾値THdより大である場合には、座標算出部３７は、式（１）のエラー関数の演算において、ユークリッド距離dijとして、状態間距離dij*を用いる（dij＝dij*とする）（ユークリッド距離dijを、状態間距離dij*に等しい距離とする）。
【０２１５】
この場合、モデルマップにおいて、ユークリッド距離dijが、ある程度近い（閾値THdより大でない）２つの状態si及びsjに注目したときには、状態座標Yi及びYjは、ユークリッド距離dijと状態間距離dij*とが一致するように（ユークリッド距離dijが状態間距離dij*に近づくように）変更される。
【０２１６】
一方、モデルマップにおいて、ユークリッド距離dijが、ある程度遠い（閾値THdより大の）２つの状態si及びsjに注目したときには、状態座標Yi及びYjは、変更されない。
【０２１７】
その結果、ユークリッド距離dijが、ある程度遠い２つの状態si及びsjは、ユークリッド距離dijが遠いままとされるので、図１１に示したように、モデルマップの円周（外縁）付近に、状態が密集することによって、可視性が損なわれることを防止することができる。
【０２１８】
図１２は、修正後のエラー関数Eを用いて得られるモデルマップの例を示す図である。
【０２１９】
図１２のモデルマップによれば、円周付近に、状態が密集していないことを確認することができる。
【０２２０】
［コンテンツ構造提示処理］
【０２２１】
図１３は、図９のコンテンツ構造提示部１４が行うコンテンツ構造提示処理を説明するフローチャートである。
【０２２２】
ステップＳ４１において、コンテンツ選択部３１は、例えば、ユーザの操作等に応じて、コンテンツ記憶部１１に記憶されたコンテンツの中から、注目コンテンツ（注目提示用コンテンツ）を選択する。
【０２２３】
そして、コンテンツ選択部３１は、注目コンテンツを、特徴量抽出部３３と、状態対応画像情報生成部３５とに供給する。また、コンテンツ選択部３１は、注目コンテンツのカテゴリを認識し、モデル選択部３２に供給して、処理は、ステップＳ４１からステップＳ４２に進む。
【０２２４】
ステップＳ４２では、モデル選択部３２は、モデル記憶部１３に記憶されたコンテンツモデルの中から、コンテンツ選択部３１からの、注目コンテンツのカテゴリに対応付けられたコンテンツモデルを、注目モデルに選択する。
【０２２５】
そして、モデル選択部３２は、注目モデルを、最尤状態系列推定部３４と、状態間距離算出部３６とに供給し、処理は、ステップＳ４２からステップＳ４３に進む。
【０２２６】
ステップＳ４３では、特徴量抽出部３３は、コンテンツ選択部３１からの注目コンテンツの各フレームの特徴量を抽出し、注目コンテンツの各フレームの特徴量（の時系列）を、最尤状態系列推定部３４に供給して、処理は、ステップＳ４４に進む。
【０２２７】
ステップＳ４４では、最尤状態系列推定部３４は、モデル選択部３２からの注目モデルのクラスタ情報を用いて、特徴量抽出部３３からの注目コンテンツの特徴量をクラスタリングする。
【０２２８】
さらに、最尤状態系列推定部３４は、モデル選択部３２からの注目モデルの注目コードモデルにおいて、注目コンテンツの（特徴量の）コード系列が観測される最尤状態系列（注目コンテンツに対する注目コードモデルの最尤状態系列）を推定する。
【０２２９】
そして、最尤状態系列推定部３４は、注目コンテンツに対する注目コードモデルの最尤状態系列を、状態対応画像情報生成部３５に供給し、処理は、ステップＳ４４からステップＳ４５に進む。
【０２３０】
ステップＳ４５では、状態対応画像情報生成部３５は、最尤状態系列推定部３４からの最尤状態系列（状態IDの系列）を構成する状態の状態IDごとに、同一の状態に対応するフレームを、コンテンツ選択部３１からの注目コンテンツの中から選択する。
【０２３１】
さらに、状態対応画像情報生成部３５は、状態IDと対応付けて、その状態IDの状態に対応するフレームを記憶する。また、状態対応画像情報生成部３５は、状態IDと対応付けられたフレームを加工することで、状態対応画像情報を生成する。
【０２３２】
そして、状態対応画像情報生成部３５は、状態IDに対応する状態対応画像情報を、マップ描画部３８に供給し、処理は、ステップＳ４５からステップＳ４６に進む。
【０２３３】
ステップＳ４６では、状態間距離算出部３６は、モデル選択部３２からの注目モデルの注目コードモデルの１つの状態siから他の１つの状態sjへの状態間距離dij*を、状態遷移確率aijに基づいて求める。そして、状態間距離算出部３６は、注目コードモデルのN個の状態の任意の状態siから任意の状態sjへの状態間距離dij*を求めると、その状態間距離dij*をコンポーネントとする状態間距離行列を、座標算出部３７に供給し、処理は、ステップＳ４６からステップＳ４７に進む。
【０２３４】
ステップＳ４７では、座標算出部３７は、モデルマップ上の、１つの状態siから他の１つの状態sjへのユークリッド距離dijと、状態間距離算出部３６からの状態間距離行列の状態間距離dij*との統計的な誤差である式（１）のエラー関数Eを最小にするように、状態座標Yi=(xi,yi)を求める。
【０２３５】
そして、座標算出部３７は、状態座標Yi=(xi,yi)を、マップ描画部３８に供給して、処理は、ステップＳ４７からステップＳ４８に進む。
【０２３６】
ステップＳ４８では、マップ描画部３８は、座標算出部３７からの状態座標Yi=(xi,yi)の位置に、対応する状態si（の画像）を配置した、例えば、２次元のモデルマップ（のグラフィクス）を描画する。さらに、マップ描画部３８は、モデルマップ上の、状態遷移確率が所定の閾値以上の状態どうしの間を結ぶ線分を描画し、処理は、ステップＳ４８からステップＳ４９に進む。
【０２３７】
ステップＳ４９では、マップ描画部３８は、モデルマップ上の状態siに、状態対応画像情報生成部３５からの状態対応画像情報のうちの、状態siの状態IDに対応する状態対応画像情報をリンク付けし、表示制御部３９に供給して、処理は、ステップＳ５０に進む。
【０２３８】
ステップＳ５０では、表示制御部３９は、マップ描画部３８からモデルマップを、図示せぬディスプレイに表示する表示制御を行う。
【０２３９】
さらに、表示制御部３９は、ユーザの操作による、モデルマップ上の状態の指定に対して、その状態の状態IDに対応する状態対応画像情報を表示する表示制御（再生する再生制御）を行う。
【０２４０】
すなわち、ユーザが、モデルマップ上の状態を指定する操作を行うと、表示制御部３９は、その状態にリンク付けされた状態対応画像情報を、例えば、モデルマップとは別に、図示せぬディスプレイに表示させる。
【０２４１】
これにより、ユーザは、モデルマップ上の状態に対応するフレームの画像を確認することができる。
【０２４２】
［ダイジェスト生成部１５の構成例］
【０２４３】
図１４は、図１のダイジェスト生成部１５の構成例を示すブロック図である。
【０２４４】
ダイジェスト生成部１５は、ハイライト検出器学習部５１、検出器記憶部５２、及び、ハイライト検出部５３から構成される。
【０２４５】
ハイライト検出器学習部５１は、コンテンツ記憶部１１に記憶されたコンテンツと、モデル記憶部１３に記憶されたコンテンツモデルとを用いて、ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習を行う。
【０２４６】
ハイライト検出器学習部５１は、学習後のハイライト検出器を、検出器記憶部５２に供給する。
【０２４７】
ここで、ハイライト検出器となるモデルとしては、コンテンツモデルのコードモデルと同様に、状態遷移確率モデルの１つである、例えば、HMMを用いることができる。
【０２４８】
検出器記憶部５２は、ハイライト検出器学習部５１からのハイライト検出器を記憶する。
【０２４９】
ハイライト検出部５３は、検出器記憶部５２に記憶されたハイライト検出器を用い、コンテンツ記憶部１１に記憶されたコンテンツから、ハイライトシーンのフレームを検出する。さらに、ハイライト検出部５３は、ハイライトシーンのフレームを用いて、コンテンツ記憶部１１に記憶されたコンテンツのダイジェストであるダイジェストコンテンツを生成する。
【０２５０】
［ハイライト検出器学習部５１の構成例］
【０２５１】
図１５は、図１４のハイライト検出器学習部５１の構成例を示すブロック図である。
【０２５２】
図１５において、ハイライト検出器学習部５１は、コンテンツ選択部６１、モデル選択部６２、特徴量抽出部６３、クラスタリング部６４、ハイライトラベル生成部６５、学習用ラベル生成部６６、及び、学習部６７から構成される。
【０２５３】
コンテンツ選択部６１は、例えば、ユーザの操作等に応じて、コンテンツ記憶部１１に記憶されたコンテンツの中から、ハイライト検出器の学習に用いるコンテンツを、注目検出器学習用コンテンツ（以下、単に、注目コンテンツともいう）に選択する。
【０２５４】
すなわち、コンテンツ選択部６１は、例えば、コンテンツ記憶部１１に記憶されたコンテンツである、例えば、録画済みの番組の中から、ユーザが、再生の対象として指定したコンテンツを、注目コンテンツに選択する。
【０２５５】
そして、コンテンツ選択部６１は、注目コンテンツを、特徴量抽出部６３に供給するとともに、注目コンテンツのカテゴリを認識し、モデル選択部６２に供給する。
【０２５６】
モデル選択部６２は、モデル記憶部１３に記憶されたコンテンツモデルの中から、コンテンツ選択部６１からの、注目コンテンツのカテゴリに対応付けられたコンテンツモデルを、注目モデルに選択し、クラスタリング部６４に供給する。
【０２５７】
特徴量抽出部６３は、コンテンツ選択部６１から供給される注目コンテンツの各フレームの特徴量を、図２の特徴抽出部２２と同様にして抽出し、注目コンテンツの各フレームの特徴量（の時系列）を、クラスタリング部６４に供給する。
【０２５８】
クラスタリング部６４は、モデル選択部６２からの注目モデルのクラスタ情報を用いて、特徴量抽出部６３からの注目コンテンツの特徴量（の時系列）をクラスタリングし、注目コンテンツの（特徴量の）コード系列を求め、学習用ラベル生成部６６に供給する。
【０２５９】
ハイライトラベル生成部６５は、ユーザの操作に従い、ハイライトシーンであるか否かを表すハイライトラベルを、コンテンツ選択部６１で選択された注目コンテンツの各フレームにラベリングすることにより、注目コンテンツについて、ハイライトラベル系列を生成する。
【０２６０】
すなわち、コンテンツ選択部６１が選択する注目コンテンツは、上述したように、ユーザが、再生の対象として指定したコンテンツであり、注目コンテンツの画像は、図示せぬディスプレイに表示される（とともに、音声は、図示せぬスピーカから出力される）。
【０２６１】
ユーザは、ディスプレイに、興味があるシーンが表示されたときに、図示せぬリモートコマンダ等を操作して、興味があるシーンである旨を入力することができ、ハイライトラベル生成部６５は、そのようなユーザの操作に従って、ハイライトラベルを生成する。
【０２６２】
具体的には、例えば、興味があるシーンである旨を入力するときの、ユーザの操作を、お気に入り操作ということとすると、ハイライトラベル生成部６５は、お気に入り操作がされなかったフレームに対しては、ハイライトシーンでないことを表す、例えば、値が"0"のハイライトラベルを生成する。
【０２６３】
また、ハイライトラベル生成部６５は、お気に入り操作がされたフレームに対しては、ハイライトシーンであることを表す、例えば、値が"1"のハイライトラベルを生成する。
【０２６４】
そして、ハイライトラベル生成部６５は、注目コンテンツについて生成したハイライトラベルの時系列であるハイライトラベル系列を、学習用ラベル生成部６６に供給する。
【０２６５】
学習用ラベル生成部６６は、クラスタリング部６４からの注目コンテンツのコード系列と、ハイライトラベル生成部６５からのハイライトラベル系列とのペアである学習用ラベル系列を生成する。
【０２６６】
すなわち、学習用ラベル生成部６６は、クラスタリング部６４からのコード系列と、ハイライトラベル生成部６５からのハイライトラベル系列とにおける、各時刻tのコード（フレームtの特徴量をクラスタリングすることにより得られるコード）と、ハイライトラベル（フレームtに対するハイライトラベル）とをペアにした（時刻tのサンプルとした）、マルチストリームの学習用ラベル系列を生成する。
【０２６７】
そして、学習用ラベル生成部６６は、学習用ラベル系列を、学習部６７に供給する。
【０２６８】
学習部６７は、学習用ラベル生成部６６からの学習用ラベル系列を用いて、例えば、エルゴディック型の、マルチストリームHMMであるハイライト検出器の学習を、Baum-Welchの再推定法に従って行う。
【０２６９】
そして、学習部６７は、学習後のハイライト検出器を、コンテンツ選択部６１で選択された注目コンテンツのカテゴリと対応付けて、検出器記憶部５２に供給して記憶させる。
【０２７０】
ここで、ハイライトラベル生成部６５で得られるハイライトラベルは、値が"0"又は"1"の2値のラベル（シンボル）であり、離散値である。また、クラスタリング部６４で得られる注目コンテンツのコード系列は、コード（クラスタ（代表ベクトル）を表すコード）の系列であり、やはり、離散値である。
【０２７１】
したがって、学習用ラベル生成部６６において、そのようなハイライトラベルとコード系列とのペアとして生成される学習用ラベル系列も離散値（の時系列）である。このように、学習用ラベル系列が離散値であるため、学習部６７で学習が行われるハイライト検出器としてのHMMの観測確率bj(o)は、確率となる値（離散値）となる。
【０２７２】
なお、マルチストリームHMMでは、マルチストリームを構成する個々の系列（ストリーム）（以下、構成要素系列ともいう）に対して、その構成要素系列をマルチストリームHMMに影響させる度合いである重み（以下、系列重みともいう）を設定することができる。
【０２７３】
マルチストリームHMMの学習時や、マルチストリームHMMを用いた認識時（最尤状態系列を求めるとき）に重要視する構成要素系列に対して、大きな系列重みを設定することで、マルチストリームHMMの学習結果が局所解に陥らないように事前知識を与えることができる。
【０２７４】
なお、マルチストリームHMMの詳細は、例えば、田村 哲嗣, 岩野 公司, 古井 貞煕,「オプティカルフローを用いたマルチモーダル音声認識の検討」、日本音響学会 2001年秋季講演論文集, 1-1-14, pp.27-28 (2001-10)等に記載されている。
【０２７５】
上述の文献では、audio-visual speech recognition の分野での、マルチストリームHMMの使用例が紹介されている。すなわち、音声のSN比(Signal to Noise ratio)が低いときは、音声の特徴量の系列の系列重みを低くし、音声よりも画像の影響がより大きくなるようにして、学習と認識を行うことが記載されている。
【０２７６】
マルチストリームHMMが、マルチストリームでない単一の系列を用いるHMMと異なる点は、式（２）に示すように、マルチストリームを構成する各構成要素系列o[m]の観測確率b[m]j(o[m])に、事前に設定した系列重みWmを考慮して、マルチストリーム全体の観測確率bj(o[1],o[2],・・・,o[M])を計算する点である。
【０２７７】
【数２】
2011223287.tif 000004
・・・（２）
【０２７８】
ここで、式（２）において、Mは、マルチストリームを構成する構成要素系列o[m]の数（ストリーム数）を表し、系列重みWmは、マルチストリームを構成するM個の構成要素系列のうちのm番目の構成要素系列o[m]の系列重みを表す。
【０２７９】
図１５の学習部６７で学習に用いられるマルチストリームである学習用ラベル系列は、コード系列o[V]とハイライトラベル系列o[HL]との２つの構成要素系列で構成される。
【０２８０】
この場合、学習用ラベル系列の観測確率bj(o[V],o[HL])は、式（３）で表される。
【０２８１】
【数３】
2011223287.tif 000005
・・・（３）
【０２８２】
ここで、式（３）において、b[V]j(o[V])は、コード系列o[V]の観測確率（状態sjにおいて、観測値o[v]が観測される観測確率）を表し、b[HL]j(o[HL])は、ハイライトラベル系列o[HL]の観測確率を表す。また、Wは、コード系列o[V]の系列重みを表し、1-Wは、ハイライトラベル系列o[HL]の系列重みを表す。
【０２８３】
なお、ハイライト検出器としてのHMMの学習では、系列重みWとしては、例えば、0.5を採用することができる。
【０２８４】
図１６は、図１５のハイライトラベル生成部６５の処理を説明する図である。
【０２８５】
ハイライトラベル生成部６５は、ユーザによるお気に入り操作がされなかった注目コンテンツのフレーム（時刻）に対しては、ハイライトシーンでないことを表す、値が"0"のハイライトラベルを生成する。また、ハイライトラベル生成部６５は、ユーザによるお気に入り操作がされた注目コンテンツのフレームに対しては、ハイライトシーンであることを表す、値が"1"のハイライトラベルを生成する。
【０２８６】
［ハイライト検出器学習処理］
【０２８７】
図１７は、図１５のハイライト検出器学習部５１が行う処理（ハイライト検出器学習処理）を説明するフローチャートである。
【０２８８】
ステップＳ７１では、コンテンツ選択部６１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、例えば、ユーザの操作によって再生が指定されたコンテンツを、注目コンテンツ（注目検出器学習用コンテンツ）に選択する。
【０２８９】
そして、コンテンツ選択部６１は、注目コンテンツを、特徴量抽出部６３に供給するとともに、注目コンテンツのカテゴリを認識し、モデル選択部６２に供給して、処理は、ステップＳ７１からステップＳ７２に進む。
【０２９０】
ステップＳ７２では、モデル選択部６２は、モデル記憶部１３に記憶されたコンテンツモデルの中から、コンテンツ選択部６１からの、注目コンテンツのカテゴリに対応付けられたコンテンツモデルを、注目モデルに選択する。
【０２９１】
そして、モデル選択部６２は、注目モデルを、クラスタリング部６４に供給して、処理は、ステップＳ７２からステップＳ７３に進む。
【０２９２】
ステップＳ７３では、特徴量抽出部６３は、コンテンツ選択部６１から供給される注目コンテンツの各フレームの特徴量を抽出し、注目コンテンツの各フレームの特徴量（の時系列）を、クラスタリング部６４に供給して、処理は、ステップＳ７４に進む。
【０２９３】
ステップＳ７４では、クラスタリング部６４は、モデル選択部６２からの注目モデルのクラスタ情報を用いて、特徴量抽出部６３からの注目コンテンツの特徴量（の時系列）をクラスタリングし、その結果得られる注目コンテンツのコード系列を、学習用ラベル生成部６６に供給して、処理は、ステップＳ７５に進む。
【０２９４】
ステップＳ７５では、ハイライトラベル生成部６５は、ユーザの操作に従い、ハイライトラベルを、コンテンツ選択部６１で選択された注目コンテンツの各フレームにラベリングすることにより、注目コンテンツについて、ハイライトラベル系列を生成する。
【０２９５】
そして、ハイライトラベル生成部６５は、注目コンテンツについて生成したハイライトラベル系列を、学習用ラベル生成部６６に供給し、処理は、ステップＳ７６に進む。
【０２９６】
ステップＳ７６では、学習用ラベル生成部６６は、クラスタリング部６４からの、注目コンテンツのコード系列と、ハイライトラベル生成部６５からのハイライトラベル系列とのペアである学習用ラベル系列を生成する。
【０２９７】
そして、学習用ラベル生成部６６は、学習用ラベル系列を、学習部６７に供給し、処理は、ステップＳ７６からステップＳ７７に進む。
【０２９８】
ステップＳ７７では、学習部６７は、学習用ラベル生成部６６からの学習用ラベル系列を用いて、HMMであるハイライト検出器の学習を行い、処理は、ステップＳ７８に進む。
【０２９９】
ステップＳ７８では、学習部６７は、学習後のハイライト検出器を、コンテンツ選択部６１で選択された注目コンテンツのカテゴリと対応付けて、検出器記憶部５２に供給して記憶させる。
【０３００】
以上のように、ハイライト検出器は、注目コンテンツの特徴量をクラスタリングすることにより得られるコード系列と、ユーザの操作に応じて生成されるハイライトラベル系列とのペアである学習用ラベル系列を用いて、ハイライト検出器としてのHMMの学習を行うことにより得られる。
【０３０１】
したがって、ハイライト検出器の各状態の、ハイライトラベルo[HL]の観測確率b[HL]j(o[HL])を参照することにより、その状態で観測される（確率が高い）コードが表すクラスタに特徴量がクラスタリングされるフレームが、ユーザの興味があるシーン（ハイライトシーン）であるかどうかを判定することができる。
【０３０２】
［ハイライト検出部５３の構成例］
【０３０３】
図１８は、図１４のハイライト検出部５３の構成例を示すブロック図である。
【０３０４】
図１８において、ハイライト検出部５３は、コンテンツ選択部７１、モデル選択部７２、特徴量抽出部７３、クラスタリング部７４、検出用ラベル生成部７５、最尤状態系列推定部７７、ハイライトシーン検出部７８、ダイジェストコンテンツ生成部７９、及び、再生制御部８０から構成される。
【０３０５】
コンテンツ選択部７１は、例えば、ユーザの操作等に応じて、コンテンツ記憶部１１に記憶されたコンテンツの中から、ハイライトシーンを検出する対象のコンテンツである注目ハイライト検出用コンテンツ（以下、単に、注目コンテンツともいう）を選択する。
【０３０６】
すなわち、コンテンツ選択部７１は、例えば、ダイジェストを生成するコンテンツとして、ユーザが指定したコンテンツを、注目コンテンツに選択する。あるいは、コンテンツ選択部７１は、例えば、まだ、ダイジェストを生成していないコンテンツのうちの任意の１つのコンテンツを、注目コンテンツに選択する。
【０３０７】
コンテンツ選択部７１は、注目コンテンツを選択すると、その注目コンテンツを、特徴量抽出部７３に供給するとともに、注目コンテンツのカテゴリを認識し、モデル選択部７２と、検出器選択部７６とに供給する。
【０３０８】
モデル選択部７２は、モデル記憶部１３に記憶されたコンテンツモデルの中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられたコンテンツモデルを、注目モデルに選択し、クラスタリング部７４に供給する。
【０３０９】
特徴量抽出部７３は、コンテンツ選択部７１から供給される注目コンテンツの各フレームの特徴量を、図２の特徴抽出部２２と同様にして抽出し、注目コンテンツの各フレームの特徴量（の時系列）を、クラスタリング部７４に供給する。
【０３１０】
クラスタリング部７４は、モデル選択部７２からの注目モデルのクラスタ情報を用いて、特徴量抽出部７３からの注目コンテンツの特徴量（の時系列）をクラスタリングし、その結果得られるコード系列を、検出用ラベル生成部７５に供給する。
【０３１１】
検出用ラベル生成部７５は、クラスタリング部７４からの、注目コンテンツの（特徴量）のコード系列と、ハイライトシーンでないこと（、又はハイライトシーンであること）を表すハイライトラベルのみのハイライトラベル系列とのペアである検出用ラベル系列を生成する。
【０３１２】
すなわち、検出用ラベル生成部７５は、ハイライトシーンでないことを表すハイライトラベルのみのハイライトラベル系列であって、クラスタリング部７４からのコード系列と同一の長さ（系列長）のハイライトラベル系列を、ハイライト検出器に与える、いわばダミーの系列として生成する。
【０３１３】
さらに、検出用ラベル生成部７５は、クラスタリング部７４からのコード系列における、時刻tのコード（フレームtの特徴量のコード）と、ダミーの系列としてのハイライトラベル系列における、時刻tのハイライトラベル（フレームtに対するハイライトラベル（ここでは、ハイライトシーンでないことを表すハイライトラベル））とをペアにした、マルチストリームの検出用ラベル系列を生成する。
【０３１４】
そして、検出用ラベル生成部７５は、検出用ラベル系列を、最尤状態系列推定部７７に供給する。
【０３１５】
検出部選択部７６は、検出器記憶部５２に記憶されたハイライト検出器の中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられたハイライト検出器を、注目検出器に選択する。そして、検出器選択部７６は、検出器記憶部５２に記憶されたハイライト検出器の中から、注目検出器を取得し、最尤状態系列推定部７７とハイライトシーン検出部７８とに供給する。
【０３１６】
最尤状態系列推定部７７は、例えば、Viterbiアルゴリズムに従い、検出器選択部７６からの注目検出器であるHMMにおいて、検出用ラベル生成部７５からの検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる最尤状態系列（以下、ハイライト関係状態系列ともいう）を推定する。
【０３１７】
そして、最尤状態系列推定部７７は、ハイライト関係状態系列を、ハイライトシーン検出部７８に供給する。
【０３１８】
なお、検出用ラベル系列は、注目コンテンツのコード系列o[V]と、ダミーの系列としてのハイライトラベル系列o[HL]とを、構成要素系列とするマルチストリームであり、ハイライト関係状態系列の推定にあたり、検出用ラベル系列の観測確率bj(o[V],o[HL])は、学習用ラベル系列の場合と同様に、式（３）に従って求められる。
【０３１９】
但し、検出用ラベル系列の観測確率bj(o[V],o[HL])を求める際の、コード系列o[V]の系列重みWとしては、1.0を用いる。この場合、ハイライトラベル系列o[HL]の系列重み1-Wは、0.0となる。これにより、最尤状態系列推定部７７では、ダミーの系列として入力されたハイライトラベル系列を考慮せずに、注目コンテンツのコード系列のみを考慮して、ハイライト関係状態系列の推定が行われることになる。
【０３２０】
ハイライトシーン検出部７８は、最尤状態系列推定部７７からの、検出用ラベル系列から得られる最尤状態系列（ハイライト関係状態系列）の各状態のハイライトラベルo[HL]の観測確率b[HL]j(o[HL])を、検出器選択部７６からの注目検出器を参照することにより認識する。
【０３２１】
さらに、ハイライトシーン検出部７８は、ハイライトラベルo[HL]の観測確率b[HL]j(o[HL])に基づいて、注目コンテンツから、ハイライトシーンのフレームを検出する。
【０３２２】
すなわち、ハイライトシーン検出部７８は、ハイライト関係状態系列の時刻tの状態sjにおける、ハイライトシーンであることを表すハイライトラベルの観測確率b[HL]j(o[HL]="1")と、ハイライトシーンでないことを表すハイライトラベルの観測確率b[HL]j(o[HL]="0")との差分b[HL]j(o[HL]="1")−b[HL]j(o[HL]="0")が、所定の閾値THb（例えば、THb=0等）より大である場合、時刻tの状態sjに対応する、注目コンテンツのフレームtを、ハイライトシーンのフレームとして検出する。
【０３２３】
そして、ハイライトシーン検出部７８は、注目コンテンツの、ハイライトシーンのフレームについては、フレームがハイライトシーンのフレームであるかどうかを表す１ビットのハイライトフラグに、ハイライトシーンである旨を表す値である、例えば、"1"をセットする。また、ハイライトシーン検出部７８は、注目コンテンツの、ハイライトシーンでないシーンのフレームについては、ハイライトフラグに、ハイライトシーンでない旨を表す値である、例えば、"0"をセットする。
【０３２４】
そして、ハイライトシーン検出部７８は、注目コンテンツの各フレームのハイライトフラグ（の時系列）を、ダイジェストコンテンツ生成部７９に供給する。
【０３２５】
ダイジェストコンテンツ生成部７９は、コンテンツ選択部７１からの注目コンテンツのフレームから、ハイライトシーン検出部７８からのハイライトフラグによって特定されるハイライトシーンのフレームを抽出する。さらに、ダイジェストコンテンツ生成部７９は、注目コンテンツのフレームから抽出したハイライトシーンのフレームを用いて、注目コンテンツのダイジェストであるダイジェストコンテンツを生成し、再生制御部８０に供給する。
【０３２６】
再生制御部８０は、ダイジェストコンテンツ生成部７９からのダイジェストコンテンツを再生する再生制御を行う。
【０３２７】
図１９は、図１８のダイジェストコンテンツ生成部７９が生成するダイジェストコンテンツの例を示している。
【０３２８】
図１９のＡは、ダイジェストコンテンツの第１の例を示している。
【０３２９】
図１９のＡでは、ダイジェストコンテンツ生成部７９は、注目コンテンツから、ハイライトシーンのフレームの画像、及び、その画像に付随する音声のデータを抽出し、その画像及び音声のデータを、時間的な前後関係を維持して結合した動画のコンテンツを、ダイジェストコンテンツとして生成する。
【０３３０】
この場合、再生制御部８０（図１８）では、ハイライトシーンのフレームの画像のみが、元のコンテンツ（注目コンテンツ）と同一のサイズ（以下、フルサイズともいう）で表示されるとともに、その画像に付随する音声が出力される。
【０３３１】
なお、図１９のＡにおいて、注目コンテンツからのハイライトシーンのフレームの画像の抽出では、ハイライトシーンのフレームのすべてを抽出することもできるし、ハイライトシーンの２フレームに１フレームを抽出する等の、フレームを間引いた抽出を行うこともできる。
【０３３２】
図１９のＢは、ダイジェストコンテンツの第２の例を示している。
【０３３３】
図１９のＢでは、ダイジェストコンテンツ生成部７９は、注目コンテンツのフレームのうちの、ハイライトシーンでないフレームの画像は、視聴時に早送りに見えるように、フレームの間引き処理（例えば２０フレームにつき、１フレームを抽出する間引き処理）を行い、かつ、ハイライトシーンでないフレームの画像に付随する音声が無音となるように、注目コンテンツを加工することで、ダイジェストコンテンツを生成する。
【０３３４】
この場合、再生制御部８０（図１８）では、ハイライトシーンについては、画像が、一倍速で表示されるとともに、その画像に付随する音声が出力されるが、ハイライトシーンでないシーン（非ハイライトシーン）については、画像が、早送り（例えば、２０倍速）で表示されるとともに、その画像に付随する音声は、出力されない。
【０３３５】
なお、図１９のＢでは、非ハイライトシーンの画像に付随する音声を、出力しないこととしたが、非ハイライトシーンの画像に付随する音声は、ハイライトシーンの画像に付随する音声と同様に出力することが可能である。この場合、非ハイライトシーンの画像に付随する音声は、小さな音量で、ハイライトシーンの画像に付随する音声は、大きな音量で、それぞれ、出力することができる。
【０３３６】
また、図１９のＢでは、ハイライトシーンの画像と、非ハイライトシーンの画像とは、同一のサイズ（フルサイズ）で表示されるが、非ハイライトシーンの画像は、ハイライトシーンの画像よりも小さいサイズ（例えば、ハイライトシーンの画像の横及び縦のサイズを、それぞれ５０％にしたサイズ等）で表示すること（、又は、ハイライトシーンの画像を、非ハイライトシーンの画像よりも大きいサイズで表示すること）が可能である。
【０３３７】
さらに、図１９において、フレームを間引く場合の、その間引きの割合は、例えば、ユーザが指定することができる。
【０３３８】
［ハイライト検出処理］
【０３３９】
図２０は、図１８のハイライト検出部５３の処理（ハイライト検出処理）を説明するフローチャートである。
【０３４０】
ステップＳ８１において、コンテンツ選択部７１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、ハイライトシーンを検出する対象のコンテンツである注目コンテンツ（注目ハイライト検出用コンテンツ）を選択する。
【０３４１】
そして、コンテンツ選択部７１は、注目コンテンツを、特徴量抽出部７３に供給する。さらに、コンテンツ選択部７１は、注目コンテンツのカテゴリを認識し、モデル選択部７２と、検出器選択部７６とに供給して、処理は、ステップＳ８１からステップＳ８２に進む。
【０３４２】
ステップＳ８２では、モデル選択部７２は、モデル記憶部１３に記憶されたコンテンツモデルの中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられたコンテンツモデルを、注目モデルに選択する。
【０３４３】
そして、モデル選択部７２は、注目モデルを、クラスタリング部７４に供給し、処理は、ステップＳ８２からステップＳ８３に進む。
【０３４４】
ステップＳ８３では、特徴量抽出部７３は、コンテンツ選択部７１から供給される注目コンテンツの各フレームの特徴量を抽出し、クラスタリング部７４に供給して、処理は、ステップＳ８４に進む。
【０３４５】
ステップＳ８４では、クラスタリング部７４は、モデル選択部７２からの注目モデルにのクラスタ情報を用いて、特徴量抽出部７３からの注目コンテンツの特徴量（の時系列）をクラスタリングし、その結果得られるコード系列を、検出用ラベル生成部７５に供給して、処理は、ステップＳ８５に進む。
【０３４６】
ステップＳ８５では、検出用ラベル生成部７５は、ダミーのハイライトラベル系列として、例えば、ハイライトシーンでないことを表すハイライトラベル（値が"0"のハイライトラベル）のみのハイライトラベル系列を生成し、処理は、ステップＳ８６に進む。
【０３４７】
ステップＳ８６では、検出用ラベル生成部７５は、クラスタリング部７４からの、注目コンテンツのコード系列と、ダミーのハイライトラベル系列とのペアである検出用ラベル系列を生成する。
【０３４８】
そして、検出用ラベル生成部７５は、検出用ラベル系列を、最尤状態系列推定部７７に供給して、処理は、ステップＳ８６からステップＳ８７に進む。
【０３４９】
ステップＳ８７では、検出器選択部７６は、検出器記憶部５２に記憶されたハイライト検出器の中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられたハイライト検出器を、注目検出器に選択する。そして、検出器選択部７６は、検出器記憶部５２に記憶されたハイライト検出器の中から、注目検出器を取得し、最尤状態系列推定部７７とハイライトシーン検出部７８とに供給して、処理は、ステップＳ８７からステップＳ８８に進む。
【０３５０】
ステップＳ８８では、最尤状態系列推定部７７は、検出器選択部７６からの注目検出器において、検出用ラベル生成部７５からの検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる最尤状態系列（ハイライト関係状態系列）を推定する。
【０３５１】
そして、最尤状態系列推定部７７は、ハイライト関係状態系列を、ハイライトシーン検出部７８に供給して、処理は、ステップＳ８８からステップＳ８９に進む。
【０３５２】
ステップＳ８９では、ハイライトシーン検出部７８は、最尤状態系列推定部７７からのハイライト関係状態系列に基づいて、注目コンテンツから、ハイライトシーンを検出し、ハイライトフラグを出力するハイライトシーン検出処理を行う。
【０３５３】
そして、ハイライトシーン検出処理の終了後、処理は、ステップＳ８９からステップＳ９０に進み、ダイジェストコンテンツ生成部７９は、コンテンツ選択部７１からの注目コンテンツのフレームから、ハイライトシーン検出部７８が出力するハイライトフラグによって特定されるハイライトシーンのフレームを抽出する。
【０３５４】
さらに、ダイジェストコンテンツ生成部７９は、注目コンテンツのフレームから抽出したハイライトシーンのフレームを用いて、注目コンテンツのダイジェストコンテンツを生成し、再生制御部８０に供給して、処理は、ステップＳ９０からステップＳ９１に進む。
【０３５５】
ステップＳ９１では、再生制御部８０は、ダイジェストコンテンツ生成部７９からのダイジェストコンテンツを再生する再生制御を行う。
【０３５６】
図２１は、図２０のステップＳ８９で、ハイライトシーン検出部７８（図１８）が行うハイライトシーン検出処理を説明するフローチャートである。
【０３５７】
ステップＳ１０１において、ハイライトシーン検出部７８は、時刻（注目コンテンツのフレーム数）をカウントする変数tに、初期値としての1をセットして、処理は、ステップＳ１０２に進む。
【０３５８】
ステップＳ１０２では、ハイライトシーン検出部７８は、検出器選択部７６（図１８）からの注目検出器としてのHMMの状態s1ないしsN'（N'は、注目検出器としてのHMMの状態の総数を表す）の中から、最尤状態系列推定部７７からのハイライト関係状態系列の時刻tの状態H(t)=sj（先頭からt番目の状態）を取得（認識）する。
【０３５９】
その後、処理は、ステップＳ１０２からステップＳ１０３に進み、ハイライトシーン検出部７８は、時刻tの状態H(t)=sjのハイライトラベルo[HL]の観測確率b[HL]H(t)j(o[HL])を、検出器選択部７６からの注目検出器としてのHMMから取得し、処理は、ステップＳ１０４に進む。
【０３６０】
ステップＳ１０４では、ハイライトシーン検出部７８は、ハイライトラベルo[HL]の観測確率b[HL]H(t)j(o[HL])に基づいて、注目コンテンツの時刻tのフレームが、ハイライトシーンであるかどうかを判定する。
【０３６１】
ステップＳ１０４において、注目コンテンツの時刻tのフレームが、ハイライトシーンであると判定された場合、すなわち、例えば、ハイライトラベルo[HL]の観測確率b[HL]H(t)j(o[HL])のうちの、ハイライトシーンであることを表すハイライトラベルの観測確率b[HL]H(t)(o[HL]="1")と、ハイライトシーンでないことを表すハイライトラベルの観測確率b[HL]H(t)(o[HL]="0")との差分b[HL]j(o[HL]="1")−b[HL]j(o[HL]="0")が、所定の閾値THbより大である場合、処理は、ステップＳ１０５に進み、ハイライトシーン検出部７８は、注目コンテンツの時刻tのフレームのハイライトフラグF(t)に、ハイライトシーンである旨を表す値の"1"をセットする。
【０３６２】
また、ステップＳ１０４において、注目コンテンツの時刻tのフレームが、ハイライトシーンでないと判定された場合、すなわち、例えば、ハイライトラベルo[HL]の観測確率b[HL]H(t)j(o[HL])のうちの、ハイライトシーンであることを表すハイライトラベルの観測確率b[HL]H(t)(o[HL]="1")と、ハイライトシーンでないことを表すハイライトラベルの観測確率b[HL]H(t)(o[HL]="0")との差分b[HL]j(o[HL]="1")−b[HL]j(o[HL]="0")が、所定の閾値THbより大でない場合、処理は、ステップＳ１０６に進み、ハイライトシーン検出部７８は、注目コンテンツの時刻tのフレームのハイライトフラグF(t)に、ハイライトシーンでない旨を表す値の"0"をセットする。
【０３６３】
ステップＳ１０５、及びＳ１０６の後、処理は、いずれも、ステップＳ１０７に進み、ハイライトシーン検出部７８は、変数tが、注目コンテンツのフレームの総数NFに等しいかどうかを判定する。
【０３６４】
ステップＳ１０７において、変数tが、フレームの総数NFに等しくないと判定された場合、処理は、ステップＳ１０８に進み、ハイライトシーン検出部７８は、変数tを1だけインクリメントし、処理は、ステップＳ１０２に戻る。
【０３６５】
また、ステップＳ１０７において、変数tが、フレームの総数NFに等しいと判定された場合、すなわち、注目コンテンツの、特徴量を求めたフレームごとに、ハイライトフラグF(t)が得られた場合、処理は、ステップＳ１０９に進み、ハイライトシーン検出部７８は、注目コンテンツのフレームのハイライトフラグF(t)の系列を、ハイライトシーンの検出結果として、ダイジェストコンテンツ生成部７９（図１８）に出力し、処理は、リターンする。
【０３６６】
以上のように、ハイライト検出部５３（図１８）は、ハイライト検出器において、注目コンテンツのコード系列と、ダミーのハイライトラベル系列とのペアである検出用ラベル系列が観測される場合の最尤状態系列であるハイライト関係状態系列を推定し、そのハイライト関係状態系列の各状態のハイライトラベルの観測確率に基づいて、注目コンテンツから、ハイライトシーンのフレームを検出して、そのハイライトシーンのフレームを用いて、ダイジェストコンテンツを生成する。
【０３６７】
また、ハイライト検出器は、コンテンツの特徴量をコンテンツモデルのクラスタ情報を用いてクラスタリングすることにより得られるコード系列と、ユーザの操作に応じて生成されるハイライトラベル系列とのペアである学習用ラベル系列を用いて、ハイライト検出器としてのHMMの学習を行うことにより得られる。
【０３６８】
したがって、ダイジェストコンテンツを生成する注目コンテンツが、コンテンツモデルや、ハイライト検出器の学習に用いられていない場合であっても、注目コンテンツと同一のカテゴリのコンテンツを用いての、コンテンツモデル、及び、ハイライト検出器の学習が行われていれば、そのコンテンツモデル、及び、ハイライト検出器を用いて、ユーザの興味があるシーンを、ハイライトシーンとして集めたダイジェスト（ダイジェストコンテンツ）を、容易に得ることができる。
【０３６９】
［スクラップブック生成部１６の構成例］
【０３７０】
図２２は、図１のスクラップブック生成部１６の構成例を示すブロック図である。
【０３７１】
スクラップブック生成部１６は、初期スクラップブック生成部１０１、初期スクラップブック記憶部１０２、登録スクラップブック生成部１０３、登録スクラップブック記憶部１０４、及び、再生制御部１０５から構成される。
【０３７２】
初期スクラップブック生成部１０１は、コンテンツ記憶部１１に記憶されたコンテンツと、モデル記憶部１３に記憶されたコンテンツモデルとを用いて、後述する初期スクラップブックを生成し、初期スクラップブック記憶部１０２に供給する。
【０３７３】
初期スクラップブック記憶部１０２は、初期スクラップブック生成部１０１からの初期スクラップブックを記憶する。
【０３７４】
登録スクラップブック生成部１０３は、コンテンツ記憶部１１に記憶されたコンテンツ、モデル記憶部１３に記憶されたコンテンツモデル、及び、初期スクラップブック記憶部１０２に記憶された初期スクラップブックを用いて、後述する登録スクラップブックを生成し、登録スクラップブック記憶部１０４に供給する。
【０３７５】
登録スクラップブック記憶部１０４は、登録スクラップブック生成部１０３からの登録スクラップブックを記憶する。
【０３７６】
再生制御部１０５は、登録スクラップブック記憶部１０４に記憶された登録スクラップブックを再生する再生制御を行う。
【０３７７】
［初期スクラップブック生成部１０１の構成例］
【０３７８】
図２３は、図２２の初期スクラップブック生成部１０１の構成例を示すブロック図である。
【０３７９】
図２３において、初期スクラップブック生成部１０１は、コンテンツ選択部１１１、モデル選択部１１２、特徴量抽出部１１３、最尤状態系列推定部１１４、状態対応画像情報生成部１１５、状態間距離算出部１１６、座標算出部１１７、マップ描画部１１８、表示制御部１１９、状態選択部１２１、及び、選択状態登録部１２２から構成される。
【０３８０】
コンテンツ選択部１１１ないし表示制御部１１９は、コンテンツ構造提示部１４（図９）のコンテンツ選択部３１ないし表示制御部３９と同様に構成され、図１３で説明したコンテンツ構造提示処理を行う。
【０３８１】
なお、マップ描画部１１８は、図９のマップ描画部３８と同様に、モデルマップを、表示制御部１１９に供給する他、状態選択部１２１にも供給する。
【０３８２】
状態選択部１２１は、コンテンツ構造提示処理によって表示されたモデルマップ（図１１、図１２）上の状態が、ユーザの操作によって指定された場合に、その指定された状態を、選択状態として選択する。さらに、状態選択部１２１は、マップ描画部１１８からのモデルマップを参照して、選択状態の状態IDを認識し、選択状態登録部１２２に供給する。
【０３８３】
選択状態登録部１２２は、空のスクラップブックを生成し、その空のスクラップブックに、状態選択部１２１からの選択状態の状態IDを登録する。そして、選択状態登録部１２２は、状態IDを登録したスクラップブックを、初期スクラップブックとして、初期スクラップブック記憶部１０２に供給して記憶させる。
【０３８４】
ここで、選択状態登録部１２２が生成するスクラップブックとは、静止画（写真）や、動画、音声（音楽）等のデータを保管（記憶）しておくことができる、電子的な保管庫である。
【０３８５】
なお、空のスクラップブックとは、何も登録されていないスクラップブックであり、初期スクラップブックとは、状態IDが登録されているスクラップブックである。
【０３８６】
以上のように構成される初期スクラップブック生成部１０１では、コンテンツ構造提示処理（図１３）が行われることにより、モデルマップ（図１１、図１２）が、図示せぬディスプレイに表示される。そして、モデルマップ上の状態が、ユーザの操作によって指定された場合に、その指定された状態（選択状態）の状態IDが、（空の）スクラップブックに登録される。
【０３８７】
図２４は、ユーザがモデルマップ上の状態を指定するための、表示制御部１１９が表示制御を行うことによって表示されるユーザインターフェースの例を示す図である。
【０３８８】
図２４では、ウインドウ１３１に、マップ描画部１１８で生成されたモデルマップ１３２が表示されている。
【０３８９】
ウインドウ１３１内のモデルマップ１３２上の状態は、ユーザが指定することにより、いわゆるフォーカスをあてることができる。ユーザによる状態の指定は、例えば、マウス等のポインティングデバイスでクリックすることや、ポインティングデバイスの操作に応じて移動するカーソルを、フォーカスをあてようとする状態の位置に移動すること等によって行うことができる。
【０３９０】
また、モデルマップ１３２上の状態のうち、既に、選択状態になっている状態と、選択状態になっていない状態とは、異なる色等の、異なる表示形式で表示することができる。
【０３９１】
ウインドウ１３１の下部には、状態ID入力欄１３３、スクラップブックID入力欄１３４、登録ボタン１３５、及び、終了ボタン１３６等が設けられている。
【０３９２】
状態ID入力欄１３３には、モデルマップ１３２上の状態のうちの、フォーカスがあたっている状態の状態IDが表示される。
【０３９３】
なお、状態ID入力欄１３３には、ユーザが、直接、状態IDを入力することもできる。
【０３９４】
スクラップブックID入力欄１３４には、選択状態の状態IDを登録するスクラップブックを特定する情報であるスクラップブックIDが表示される。
【０３９５】
なお、スクラップブックID入力欄１３４は、ユーザが操作すること（例えば、マウス等のポインティングデバイスでクリックすること等）ができ、スクラップブックID入力欄１３４に表示されるスクラップブックIDは、ユーザによるスクラップブックID入力欄１３４の操作に応じて変更される。したがって、ユーザは、スクラップブックID入力欄１３４を操作することにより、状態IDを登録するスクラップブックを変更することができる。
【０３９６】
登録ボタン１３５は、フォーカスがあたっている状態（状態ID入力欄１３３に状態IDが表示されている状態）の状態IDを、スクラップブックに登録する場合に操作される。すなわち、登録ボタン１３５が操作された場合、フォーカスがあたっている状態が、選択状態として選択（確定）される。
【０３９７】
終了ボタン１３６は、例えば、モデルマップ１３２の表示を終了するとき（ウインドウ１３１をクローズするとき）等に操作される。
【０３９８】
ウインドウ１３０は、モデルマップ１３２上の状態のうちの、フォーカスがあたっている状態に、コンテンツ構造提示処理で生成された状態対応画像情報がリンク付けされている場合にオープンする。そして、ウインドウ１３０には、フォーカスがあたっている状態にリンク付けされている状態対応画像情報が表示される。
【０３９９】
なお、ウインドウ１３０には（さらには、ウインドウ１３０以外の図示せぬウインドウに）、フォーカスがあたっている状態にリンク付けされた状態対応画像情報に代えて、モデルマップ１３２上の、フォーカスがあたっている状態と、その状態に近い位置の状態とのそれぞれにリンク付けされた状態対応画像情報や、モデルマップ１３２上のすべての状態のそれぞれにリンク付けされた状態対応画像情報を、時間的にシーケンシャルに、又は、空間的に並列的に表示することが可能である。
【０４００】
ユーザは、ウインドウ１３１に表示されたモデルマップ１３２上の任意の状態をクリックすること等によって指定することができる。
【０４０１】
ユーザによって状態が指定されると、表示制御部１１９（図２３）は、ユーザによって指定された状態にリンク付けされた状態対応画像情報を、ウインドウ１３０に表示する。
【０４０２】
これにより、ユーザは、モデルマップ１３２上の状態に対応するフレームの画像を確認することができる。
【０４０３】
ユーザは、ウインドウ１３０に表示された画像を見て、その画像に興味があり、スクラップブックに登録することを希望する場合、登録ボタン１３５を操作する。
【０４０４】
登録ボタン１３５が操作されると、状態選択部１２１（図２３）は、そのときにユーザによって指定されているモデルマップ１３２上の状態を、選択状態として選択する。
【０４０５】
そして、その後、ユーザが、終了ボタン１３６を操作すると、状態選択部１２１は、それまでに選択した選択状態の状態IDを、選択状態登録部１２２（図２３）に供給する。
【０４０６】
選択状態登録部１２２は、状態選択部１２１からの選択状態の状態IDを、空のスクラップブックに登録し、状態IDを登録したスクラップブックを、初期スクラップブックとして、初期スクラップブック記憶部１０２して記憶させる。そして、表示制御部１１９（図２３）は、ウインドウ１３１をクローズする。
【０４０７】
［初期スクラップブック生成処理］
【０４０８】
図２５は、図２３の初期スクラップブック生成部１０１が行う処理（初期スクラップブック生成処理）を説明するフローチャートである。
【０４０９】
ステップＳ１２１において、コンテンツ選択部１１１ないし表示制御部１１９は、コンテンツ構造提示部１４（図９）のコンテンツ選択部３１ないし表示制御部３９と同様のコンテンツ構造提示処理（図１３）を行う。これにより、モデルマップ１３２を含むウインドウ１３１（図２４）が、図示せぬディスプレイに表示される。
【０４１０】
その後、処理は、ステップＳ１２１からステップＳ１２２に進み、状態選択部１２１は、ユーザによって、状態の登録操作がされたかどうかを判定する。
【０４１１】
ステップＳ１２２において、状態の登録操作がされたと判定された場合、すなわち、モデルマップ１３２上の状態が、ユーザによって指定され、（ウインドウ１３１の）登録ボタン１３５（図２４）が操作された場合、処理は、ステップＳ１２３に進み、状態選択部１２１は、登録ボタン１３５が操作されたときにユーザによって指定されていたモデルマップ１３２上の状態を、選択状態として選択する。
【０４１２】
さらに、状態選択部１２１は、選択状態の状態IDを、図示せぬメモリに記憶し、処理は、ステップＳ１２３からステップＳ１２４に進む。
【０４１３】
また、ステップＳ１２２において、状態の登録操作がされていないと判定された場合、処理は、ステップＳ１２３をスキップして、ステップＳ１２４に進む。
【０４１４】
ステップＳ１２４では、状態選択部１２１は、ユーザによって、終了操作がされたかどうかを判定する。
【０４１５】
ステップＳ１２４において、終了操作がされていないと判定された場合、処理は、ステップＳ１２２に戻り、以下、同様の処理が繰り返される。
【０４１６】
また、ステップＳ１２４において、終了操作がされたと判定された場合、すなわち、ユーザが、終了ボタン１３６（図２４）を操作した場合、状態選択部１２１は、ステップＳ１２３で記憶した選択状態の状態IDすべてを、選択状態登録部１２２に供給して、処理は、ステップＳ１２５に進む。
【０４１７】
ステップＳ１２５では、選択状態登録部１２２は、空のスクラップブック（としての、例えば、ファイル）を生成し、その空のスクラップブックに、状態選択部１２１からの選択状態の状態IDを登録する。
【０４１８】
さらに、選択状態登録部１２２は、状態IDを登録したスクラップブックを、初期スクラップブックとして、その初期スクラップブックに、ステップＳ１２１のコンテンツ構造提示処理（図１３）で、注目コンテンツ（注目提示用コンテンツ）に選択されたコンテンツのカテゴリと対応付ける。
【０４１９】
そして、選択状態登録部１２２は、注目コンテンツのカテゴリと対応付けた初期スクラップブックを、初期スクラップブック記憶部１０２に供給して記憶させる。
【０４２０】
その後、ステップＳ１２１のコンテンツ構造提示処理で表示されたウインドウ１３１（図２４）がクローズされ、初期スクラップブック生成処理は終了する。
【０４２１】
［登録スクラップブック生成部１０３の構成例］
【０４２２】
図２６は、図２２の登録スクラップブック生成部１０３の構成例を示すブロック図である。
【０４２３】
図２６において、登録スクラップブック生成部１０３は、スクラップブック選択部１４１、コンテンツ選択部１４２、モデル選択部１４３、特徴量抽出部１４４、最尤状態系列推定部１４５、フレーム抽出部１４６、及び、フレーム登録部１４７から構成される。
【０４２４】
スクラップブック選択部１４１は、初期スクラップブック記憶部１０２に記憶された初期スクラップブックの１つを、注目スクラップブックに選択し、フレーム抽出部１４６、及び、フレーム登録部１４７に供給する。
【０４２５】
また、スクラップブック選択部１４１は、注目スクラップブックに対応付けられたカテゴリを、コンテンツ選択部１４２、及び、モデル選択部１４３に供給する。
【０４２６】
コンテンツ選択部１４２は、コンテンツ記憶部１１に記憶されたコンテンツの中から、スクラップブック選択部１４１からのカテゴリのコンテンツの１つを、注目スクラップブック用コンテンツ（以下、単に、注目コンテンツともいう）に選択する。
【０４２７】
そして、コンテンツ選択部１４２は、注目コンテンツを、特徴量抽出部１４４、及び、フレーム抽出部１４６に供給する。
【０４２８】
モデル選択部１４３は、モデル記憶部１３に記憶されたコンテンツモデルの中から、スクラップブック選択部１４１からのカテゴリに対応付けられたコンテンツモデルを、注目モデルに選択し、最尤状態系列推定部１４５に供給する。
【０４２９】
特徴量抽出部１４４は、コンテンツ選択部１４２から供給される注目コンテンツの（画像の）各フレームの特徴量を、図２の特徴抽出部２２と同様にして抽出し、注目コンテンツの各フレームの特徴量（の時系列）を、最尤状態系列推定部１４５に供給する。
【０４３０】
最尤状態系列推定部１４５は、モデル選択部１４３からの注目モデルのクラスタ情報を用いて、特徴量抽出部１４４からの注目コンテンツの特徴量（の時系列）をクラスタリングすることにより、注目コンテンツのコード系列を求める。
【０４３１】
さらに、最尤状態系列推定部１４５は、例えば、Viterbiアルゴリズムに従い、モデル選択部１４３からの注目モデルの注目コードモデルにおいて、注目コンテンツのコード系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列（注目コンテンツに対する注目コードモデルの最尤状態系列）を推定する。
【０４３２】
そして、最尤状態系列推定部１４５は、注目コンテンツに対する注目コードモデルの最尤状態系列を、フレーム抽出部１４６に供給する。
【０４３３】
フレーム抽出部１４６は、最尤状態系列推定部１４５からの最尤状態系列の各状態について、状態IDが、スクラップブック選択部１４１からの注目スクラップブックに登録されている選択状態の状態ID（以下、登録状態IDともいう）に一致するかどうかを判定する。
【０４３４】
さらに、フレーム抽出部１４６は、最尤状態系列推定部１４５からの最尤状態系列の状態のうちの、状態IDが、スクラップブック選択部１４１からの注目スクラップブックに登録されている登録状態IDに一致する状態に対応するフレームを、コンテンツ選択部１４２からの注目コンテンツから抽出し、フレーム登録部１４７に供給する。
【０４３５】
フレーム登録部１４７は、スクラップブック選択部１４１からの注目スクラップブックに、フレーム抽出部１４６からのフレームを登録する。さらに、フレーム登録部１４７は、フレームの登録後の注目スクラップブックを、登録スクラップブックとして、登録スクラップブック記憶部１０４に供給して記憶させる。
【０４３６】
［登録スクラップブック生成処理］
【０４３７】
図２７は、図２６の登録スクラップブック生成部１０３が行う登録スクラップブック生成処理を説明するフローチャートである。
【０４３８】
ステップＳ１３１において、スクラップブック選択部１４１は、初期スクラップブック記憶部１０２に記憶された初期スクラップブックのうちの、まだ、注目スクラップブックに選択されたことがない初期スクラップブックの１つを、注目スクラップブックに選択する。
【０４３９】
そして、スクラップブック選択部１４１は、注目スクラップブックを、フレーム抽出部１４６、及び、フレーム登録部１４７に供給する。さらに、スクラップブック選択部１４１は、注目スクラップブックに対応付けられたカテゴリを、コンテンツ選択部１４２、及び、モデル選択部１４３に供給し、処理は、ステップＳ１３１からステップＳ１３２に進む。
【０４４０】
ステップＳ１３２では、コンテンツ選択部１４２は、コンテンツ記憶部１１に記憶されたコンテンツのうちの、スクラップブック選択部１４１からのカテゴリのコンテンツの中で、また、注目コンテンツ（注目スクラップブック用コンテンツ）に選択されていないコンテンツの１つを、注目コンテンツに選択する。
【０４４１】
そして、コンテンツ選択部１４２は、注目コンテンツを、特徴量抽出部１４４、及び、フレーム抽出部１４６に供給して、処理は、ステップＳ１３２からステップＳ１３３に進む。
【０４４２】
ステップＳ１３３では、モデル選択部１４３は、モデル記憶部１３に記憶されたコンテンツモデルの中から、スクラップブック選択部１４１からのカテゴリに対応付けられたコンテンツモデルを、注目モデルに選択する。
【０４４３】
そして、モデル選択部１４３は、注目モデルを、最尤状態系列推定部１４５に供給し、処理は、ステップＳ１３３からステップＳ１３４に進む。
【０４４４】
ステップＳ１３４では、特徴量抽出部１４４は、コンテンツ選択部１４２から供給される注目コンテンツの各フレームの特徴量を抽出し、注目コンテンツの各フレームの特徴量（の時系列）を、最尤状態系列推定部１４５に供給する。
【０４４５】
その後、処理は、ステップＳ１３４からステップＳ１３５に進み、最尤状態系列推定部１４５は、モデル選択部１４３からの注目モデルのクラスタ情報を用いて、特徴量抽出部１４４からの注目コンテンツの特徴量（の時系列）をクラスタリングすることにより、注目コンテンツのコード系列を求める。
【０４４６】
さらに、最尤状態系列推定部１４５は、モデル選択部１４３からの注目モデルの注目コードモデルにおいて、注目コンテンツのコード系列が観測される尤度が最も高い状態遷移が生じる最尤状態系列（注目コンテンツに対する注目コードモデルの最尤状態系列）を推定する。
【０４４７】
そして、最尤状態系列推定部１４５は、注目コンテンツに対する注目コードモデルの最尤状態系列を、フレーム抽出部１４６に供給して、処理は、ステップＳ１３５からステップＳ１３６に進む。
【０４４８】
ステップＳ１３６では、フレーム抽出部１４６は、時刻（注目コンテンツのフレーム数）をカウントする変数tに、初期値としての1をセットして、処理は、ステップＳ１３７に進む。
【０４４９】
ステップＳ１３７では、フレーム抽出部１４６は、最尤状態系列推定部１４５からの最尤状態系列（注目コンテンツに対する注目コードモデルの最尤状態系列）の時刻tの状態（先頭からt番目の状態）の状態IDが、スクラップブック選択部１４１からの注目スクラップブックに登録されている選択状態の登録状態IDのいずれかに一致するかどうかを判定する。
【０４５０】
ステップＳ１３７において、注目コンテンツに対する注目コードモデルの最尤状態系列の時刻tの状態の状態IDが、注目スクラップブックに登録されている選択状態の登録状態IDのいずれかに一致すると判定された場合、処理は、ステップＳ１３８に進み、フレーム抽出部１４６は、コンテンツ選択部１４２からの注目コンテンツから、時刻tのフレームを抽出し、フレーム登録部１４７に供給して、処理は、ステップＳ１３９に進む。
【０４５１】
また、ステップＳ１３７において、注目コンテンツに対する注目コードモデルの最尤状態系列の時刻tの状態の状態IDが、注目スクラップブックに登録されている選択状態の登録状態IDのいずれかにも一致しないと判定された場合、処理は、ステップＳ１３８をスキップして、ステップＳ１３９に進む。
【０４５２】
ステップＳ１３９では、フレーム抽出部１４６は、変数tが、注目コンテンツのフレームの総数NFに等しいかどうかを判定する。
【０４５３】
ステップＳ１３９において、変数tが、注目コンテンツのフレームの総数NFに等しくないと判定された場合、処理は、ステップＳ１４０に進み、フレーム抽出部１４６は、変数tを1だけインクリメントする。その後、処理は、ステップＳ１４０からステップＳ１３７に戻り、以下、同様の処理が繰り返される。
【０４５４】
また、ステップＳ１３９において、変数tが、注目コンテンツのフレームの総数NFに等しいと判定された場合、処理は、ステップＳ１４１に進み、フレーム登録部１４７は、フレーム抽出部１４６から供給されたフレーム、すなわち、注目コンテンツから抽出されたフレームすべてを、スクラップブック選択部１４１からの注目スクラップブックに登録する。
【０４５５】
その後、処理は、ステップＳ１４１からステップＳ１４２に進み、コンテンツ選択部１４２は、コンテンツ記憶部１１に記憶された、カテゴリが注目スクラップブックに対応付けられたカテゴリと同一のコンテンツの中で、まだ、注目コンテンツに選択されていないコンテンツがあるかどうかを判定する。
【０４５６】
ステップＳ１４２において、コンテンツ記憶部１１に記憶された、カテゴリが注目スクラップブックに対応付けられたカテゴリと同一のコンテンツの中で、まだ、注目コンテンツに選択されていないコンテンツがあると判定された場合、処理は、ステップＳ１３２に戻り、以下、同様の処理が繰り返される。
【０４５７】
また、ステップＳ１４２において、コンテンツ記憶部１１に記憶された、カテゴリが注目スクラップブックに対応付けられたカテゴリと同一のコンテンツの中で、注目コンテンツに選択されていないコンテンツがないと判定された場合、処理は、ステップＳ１４３に進み、フレーム登録部１４７は、注目スクラップブックを、登録スクラップブックとして、登録スクラップブック記憶部１０４に出力し、登録スクラップブック生成処理を終了する。
【０４５８】
図２８を参照して、登録スクラップブック生成部１０３（図２６）が行う登録スクラップブック生成処理について、さらに説明する。
【０４５９】
図２８のＡは、コンテンツ選択部１４２（図２６）において注目コンテンツ（注目スクラップブック用コンテンツ）として選択されたコンテンツのフレームの時系列を示している。
【０４６０】
図２８のＢは、特徴量抽出部１４４（図２６）において抽出された、図２８のＡのフレームの時系列の特徴量の時系列を示している。
【０４６１】
図２８のＣは、図２８のＢの注目コンテンツの時系列の特徴量をクラスタリングすることにより得られるコード系列を示している。
【０４６２】
図２８のＤは、最尤状態系列推定部１４５（図２６）において推定された、注目コードモデルにおいて、図２８のＣの注目コンテンツのコード系列が観測される最尤状態系列（注目コンテンツに対する注目コードモデルの最尤状態系列）を示している。
【０４６３】
ここで、注目コンテンツに対する注目コードモデルの最尤状態系列の実体は、上述したように、状態IDの系列である。そして、注目コンテンツに対する注目コードモデルの最尤状態系列の先頭からt番目の状態IDは、最尤状態系列において、注目コンテンツのt番目（時刻t）のフレームの特徴量のコードが観測される（可能性が高い）状態の状態ID（フレームtに対応する状態の状態ID）である。
【０４６４】
図２８のＥは、フレーム抽出部１４６（図２６）において、注目コンテンツから抽出されたフレームを示している。
【０４６５】
図２８のＥでは、注目スクラップブックの登録状態IDとして、"1"と"3"が登録されており、注目コンテンツからは、状態IDが"1"及び"3"のそれぞれのフレームが抽出されている。
【０４６６】
図２８のＦは、注目コンテンツから抽出されたフレームが登録されたスクラップブック（登録スクラップブック）を示している。
【０４６７】
スクラップブックには、注目コンテンツから抽出されたフレームが、その時間的な前後関係を維持する形で、例えば、動画として、登録される。
【０４６８】
以上のように、登録スクラップブック生成部１０３では、注目コードモデルにおいて、注目コンテンツの特徴量をクラスタリングすることにより得られるコード系列が観測される尤度が最も高い状態遷移が生じる最尤状態系列を推定し、その最尤状態系列の状態のうちの、初期スクラップブック生成処理（図２５）において、ユーザによって指示された、モデルマップ上の状態の状態ID（登録状態ID）と一致する状態に対応するフレームを、注目コンテンツから抽出し、スクラップブックに、注目コンテンツから抽出されたフレームを登録するので、ユーザは、モデルマップにおいて、興味があるフレーム（例えば、歌手が歌を歌っているシーンのうちの、顔のアップが写っているフレーム等）に対応する状態を指定するだけで、そのフレームと同様の内容のフレームを集めたスクラップブックを得ることができる。
【０４６９】
なお、図２７では、注目スクラップブックに対応付けられたカテゴリのコンテンツのすべてを注目コンテンツとして、登録スクラップブックの生成を行うこととしたが、登録スクラップブックの生成は、ユーザが指定した１つのコンテンツのみを注目コンテンツとして行うことが可能である。
【０４７０】
また、図２７の登録スクラップブック生成処理では、スクラップブック選択部１４１において、初期スクラップブック記憶部１０２に記憶された初期スクラップブックの中から、注目スクラップブックを選択し、その注目スクラップブックに、注目コンテンツから抽出したフレームを登録することとしたが、その他、注目スクラップブックは、登録スクラップブック記憶部１０４に記憶された登録スクラップブックの中から選択することが可能である。
【０４７１】
すなわち、コンテンツ記憶部１１に、新たなコンテンツが記憶された場合に、その新たなコンテンツのカテゴリに対応付けられた登録スクラップブックが、既に存在するときには、新たなコンテンツを注目コンテンツとするとともに、その注目コンテンツのカテゴリに対応付けられた登録スクラップブックを注目スクラップブックとして、登録スクラップブック生成処理（図２７）を行うことが可能である。
【０４７２】
また、登録スクラップブック生成部１０３（図２６）では、フレーム抽出部１４６において、注目コンテンツからフレーム（画像）の他、そのフレームに付随する音声も抽出し、フレーム登録部１４７において、初期スクラップブックに登録することができる。
【０４７３】
さらに、コンテンツ記憶部１１に、新たなコンテンツが記憶された場合に、その新たなコンテンツのカテゴリに対応付けられた登録スクラップブックが、既に存在するときには、新たなコンテンツを注目コンテンツとして、コンテンツ構造提示処理（図１３）を含む初期スクラップブック生成処理（図２５）を行い、新たな状態IDを、登録スクラップブックに追加登録することができる。
【０４７４】
そして、初期スクラップブック生成処理によって、登録スクラップブックに、新たな状態IDが追加登録された場合には、その登録スクラップブックを、注目スクラップブックとして、登録スクラップブック生成処理（図２７）を行い、コンテンツ記憶部１１に記憶されたコンテンツから、状態IDが、登録スクラップブックに追加登録された新たな状態IDと一致するフレームを抽出して、登録スクラップブックに追加登録することができる。
【０４７５】
この場合、登録スクラップブックに既に登録されているフレームfが抽出されたコンテンツcから、状態IDが、登録スクラップブックに追加登録された新たな状態IDと一致する別のフレームf'が新たに抽出され、登録スクラップブックに追加登録されることがある。
【０４７６】
この、登録スクラップブックへのフレームf'の追加登録は、そのフレームf'が抽出されたコンテンツcから抽出されたフレームfとの時間的な前後関係を維持するように行われる。
【０４７７】
なお、この場合、登録スクラップブックに登録されているフレームfが抽出されたコンテンツcを特定する必要があるので、登録スクラップブックには、フレームfとともに、そのフレームfが抽出されたコンテンツcを特定する情報としてのコンテンツIDを登録しておく必要がある。
【０４７８】
ここで、特開2005-189832号公報に記載のハイライトシーン検出技術では、前段の処理において、コンテンツの画像から抽出した動きベクトルの大きさの平均値と分散のそれぞれを、４個や５個のラベルに量子化するとともに、コンテンツの音声から抽出した特徴量を、「拍手」、「打球」、「女声」、「男声」、「音楽」、「音楽＋声」、「雑音」のラベルに、ニューラルネット分類器により分類することで、画像のラベル時系列と、音声のラベル時系列とが求められる。
【０４７９】
さらに、特開2005-189832号公報に記載のハイライトシーン検出技術では、後段の処理において、ハイライトシーンを検出する検出器が、ラベル時系列を用いた学習により獲得される。
【０４８０】
すなわち、コンテンツのデータのうちの、ハイライトシーンとする区間のデータを、検出器とするHMMの学習に用いる学習用データとして、学習用データから得た画像と音声それぞれのラベル時系列をHMMに与えて、離散HMM（観測値が離散値のHMM）の学習が行われる。
【０４８１】
その後、ハイライトシーンを検出する対象の検出対象コンテンツから、所定の長さ（ウインドウ長）の画像と音声それぞれのラベル時系列を、スライディングウインドウ処理によって抽出し、学習後のHMMに与えて、そのHMMにおいて、ラベル時系列が観測される尤度が求められる。
【０４８２】
そして、尤度が所定の閾値より大となった場合に、その尤度が求められたラベル系列の区間が、ハイライトシーンの区間として検出される。
【０４８３】
特開2005-189832号公報に記載のハイライトシーン検出技術によれば、コンテンツのデータのうちの、ハイライトシーンとする区間のデータを、学習用データとして、HMMに与えるだけで、どのような特徴量やイベント等のシーンがハイライトシーンとなるかというエキスパートからの事前知識を設計せずとも、学習により、ハイライトシーンを検出する検出器としてのHMMを求めることができる。
【０４８４】
その結果、例えば、ユーザが興味があるシーンのデータを、学習用データとして、HMMに与えることで、そのユーザが興味があるシーンを、ハイライトシーンとして検出することが可能となる。
【０４８５】
しかしながら、特開2005-189832号公報に記載のハイライトシーン検出技術では、特定のジャンルのコンテンツを、検出対象コンテンツとして、そのような特定のジャンルのコンテンツから、例えば、「拍手」、「打球」、「女声」、「男声」、「音楽」、「音楽＋声」、「雑音」のラベリングに適した（音声の）特徴量が抽出される。
【０４８６】
したがって、特開2005-189832号公報に記載のハイライトシーン検出技術では、検出対象コンテンツが、特定のジャンルのコンテンツに制限され、そのような制限をなしにするには、検出対象コンテンツのジャンルが異なるごとに、そのジャンルに適した特徴量を設計して（決定しておいて）抽出する必要がある。また、ハイライトシーンの区間の検出に用いられる尤度の閾値を、コンテンツのジャンルごとに決定する必要があるが、そのような閾値の決定は困難である。
【０４８７】
これに対して、図１のレコーダでは、コンテンツから抽出した特徴量のクラスタリング結果であるコードに対して、「拍手」等の、いわば、コンテンツの内容を表すラベリングをせずに、特徴量のコードをそのまま用いて、コードモデル(HMM)の学習を行い、コードモデルにおいて、コンテンツの構造を自己組織的に獲得するので、コンテンツから抽出する特徴量としては、特定のジャンルに適した特徴量ではなく、シーンの分類（識別）等に一般に用いられている、いわば、汎用の特徴量を採用することができる。
【０４８８】
したがって、図１のレコーダでは、様々なジャンルのコンテンツが検出対象コンテンツとなる場合であっても、ジャンルごとに、コンテンツモデルの学習を行う必要はあるが、ジャンルごとに、コンテンツから抽出する特徴量を変更する必要はない。
【０４８９】
以上から、図１のレコーダによるハイライトシーン検出技術は、コンテンツのジャンルに依存しない、汎用性が極めて高い技術であるということができる。
【０４９０】
また、図１のレコーダでは、ユーザに、興味があるシーン（フレーム）を指定してもらい、その指定に従い、ハイライトシーンであるか否かを表すハイライトラベルを、コンテンツの各フレームにラベリングしたハイライトラベル系列を生成し、そのハイライトラベル系列を構成要素系列とするマルチストリームによって、ハイライト検出器としてのHMMの学習を行うので、どのような特徴量やイベント等のシーンがハイライトシーンとなるかというエキスパートからの事前知識を設計せずとも、ハイライト検出器としてのHMMを、容易に得ることができる。
【０４９１】
このように、図１のレコーダによるハイライト検出技術は、エキスパートからの事前知識を必要としない点でも、汎用性が高い。
【０４９２】
そして、図１のレコーダは、ユーザの嗜好を学習し、その嗜好にあったシーン（ユーザの興味があるシーン）を、ハイライトシーンとして検出して、そのようなハイライトシーンを集めたダイジェストを提供する。したがって、コンテンツの視聴の、いわば「個人化」が実現され、コンテンツの楽しみ方を広げていくことができる。
【０４９３】
［サーバクライアントシステムへの適用］
【０４９４】
図１のレコーダは、全体を、単体の装置として構成することも可能であるが、サーバクライアントシステムとして、サーバとクライアントとに分けて構成することも可能である。
【０４９５】
ここで、コンテンツモデル、ひいては、コンテンツモデルの学習に用いるコンテンツとしては、すべてのユーザに共通のコンテンツ（コンテンツモデル）を採用することができる。
【０４９６】
一方、ユーザの興味があるシーン、すなわち、ユーザにとってのハイライトシーンは、ユーザごとに異なる。
【０４９７】
そこで、図１のレコーダを、サーバクライアントシステムとして構成する場合には、例えば、コンテンツモデルの学習に用いるコンテンツの管理（記憶）は、サーバに行わせることができる。
【０４９８】
また、例えば、コンテンツの構造の学習、つまり、コンテンツモデルの学習は、コンテンツのジャンル等の、コンテンツのカテゴリごとに、サーバに行わせることができ、さらに、学習後のコンテンツモデルの管理（記憶）も、サーバに行わせることができる。
【０４９９】
また、例えば、コンテンツモデルのコードモデルにおいて、コンテンツの特徴量のコード系列が観測される尤度が最も高い状態遷移が生じる最尤状態系列の推定、さらには、その推定結果である最尤状態系列の管理（記憶）も、サーバに行わせることができる。
【０５００】
サーバクライアントシステムでは、クライアントは、処理に必要な情報をサーバに要求し、サーバは、クライアントから要求があった情報を、クライアントに提供（送信）する。そして、クライアントは、サーバから提供を受けた情報を用いて、必要な処理を行う。
【０５０１】
図２９は、図１のレコーダを、サーバクライアントシステムで構成する場合の、そのサーバクライアントシステムの構成例（第１の構成例）を示すブロック図である。
【０５０２】
図２９では、サーバは、コンテンツ記憶部１１、コンテンツモデル学習部１２、及び、モデル記憶部１３から構成され、クライアントは、コンテンツ構造提示部１４、ダイジェスト生成部１５、及び、スクラップブック生成部１６から構成される。
【０５０３】
なお、図２９において、クライアントに対しては、コンテンツを、コンテンツ記憶部１１から提供することもできるし、その他の図示せぬブロック（例えば、チューナ等）から与えることもできる。
【０５０４】
図２９では、コンテンツ構造提示部１４全体が、クライアント側に設けられているが、コンテンツ構造提示部１４は、その一部分を、サーバとして構成し、残りの部分を、クライアントとして構成することができる。
【０５０５】
図３０は、そのようなサーバクライアントシステムの構成例（第２の構成例）を示すブロック図である。
【０５０６】
図３０では、コンテンツ構造提示部１４（図９）の一部分としてのコンテンツ選択部３１ないし座標算出部３７が、サーバに設けられ、コンテンツ構造提示部１４の残りの部分としてのマップ描画部３８、及び表示制御部３９が、クライアントに設けられている。
【０５０７】
図３０においては、クライアントは、モデルマップの描画に用いるコンテンツを特定する情報としてのコンテンツIDを、サーバに送信する。
【０５０８】
サーバでは、クライアントからのコンテンツIDによって特定されるコンテンツが、コンテンツ選択部３１において注目コンテンツに選択され、モデルマップの生成（描画）に必要な状態座標が求められるとともに、状態対応画像情報が生成される。
【０５０９】
さらに、サーバでは、状態座標と、状態対応画像情報とが、クライアントに送信され、クライアントでは、サーバからの状態座標を用いて、モデルマップが描画され、そのモデルマップに、サーバからの状態対応画像情報がリンク付けされる。そして、クライアントでは、モデルマップが表示される。
【０５１０】
次に、上述の図２９では、ハイライト検出器学習部５１を含むダイジェスト生成部１５（図１４）全体が、クライアント側に設けられているが、ハイライト検出器学習部５１（図１５）は、その一部分を、サーバとして構成し、残りの部分を、クライアントとして構成することができる。
【０５１１】
図３１は、そのようなサーバクライアントシステムの構成例（第３の構成例）を示すブロック図である。
【０５１２】
図３１では、ハイライト検出器学習部５１（図１５）の一部分としてのコンテンツ選択部６１ないしクラスタリング部６４が、サーバに設けられ、残りの部分としてのハイライトラベル生成部６５ないし学習部６７が、クライアントに設けられている。
【０５１３】
図３１において、クライアントは、ハイライト検出器の学習に用いるコンテンツのコンテンツIDを、サーバに送信する。
【０５１４】
サーバでは、クライアントからのコンテンツIDによって特定されるコンテンツが、コンテンツ選択部６１において注目コンテンツに選択され、その注目コンテンツのコード系列が求められる。そして、サーバでは、注目コンテンツのコード系列が、クライアントに提供される。
【０５１５】
クライアントでは、サーバからのコード系列を用いて、学習用ラベル系列が生成され、その学習用ラベル系列を用いて、ハイライト検出器の学習が行われる。そして、クライアントでは、学習後のハイライト検出器が、検出器記憶部５２に記憶される。
【０５１６】
次に、上述の図２９では、ハイライト検出部５３を含むダイジェスト生成部１５（図１４）全体が、クライアント側に設けられているが、ハイライト検出部５３（図１８）は、その一部分を、サーバとして構成し、残りの部分を、クライアントとして構成することができる。
【０５１７】
図３２は、そのようなサーバクライアントシステムの構成例（第４の構成例）を示すブロック図である。
【０５１８】
図３２では、ハイライト検出部５３（図１８）の一部分としてのコンテンツ選択部７１ないしクラスタリング部７４が、サーバに設けられ、残りの部分としての検出用ラベル生成部７５ないし再生制御部８０が、クライアントに設けられている。
【０５１９】
図３２において、クライアントは、ハイライトシーンの検出の対象の検出対象コンテンツのコンテンツIDを、サーバに送信する。
【０５２０】
サーバでは、クライアントからのコンテンツIDによって特定されるコンテンツが、コンテンツ選択部７１において注目コンテンツに選択され、その注目コンテンツのコード系列が求められる。そして、サーバでは、注目コンテンツのコード系列が、クライアントに提供される。
【０５２１】
クライアントでは、サーバからのコード系列を用いて、検出用ラベル系列が生成され、その検出用ラベル系列と、検出器記憶部５２に記憶されたハイライト検出器とを用いて、ハイライトシーンの検出と、そのハイライトシーンを用いたダイジェストコンテンツの生成とが行われる。
【０５２２】
次に、上述の図２９では、初期スクラップブック生成部１０１を含むスクラップブック生成部１６（図２２）全体が、クライアント側に設けられているが、初期スクラップブック生成部１０１（図２３）は、その一部分を、サーバとして構成し、残りの部分を、クライアントとして構成することができる。
【０５２３】
図３３は、そのようなサーバクライアントシステムの構成例（第５の構成例）を示すブロック図である。
【０５２４】
図３３では、初期スクラップブック生成部１０１（図２３）の一部分としてのコンテンツ選択部１１１ないし座標算出部１１７が、サーバに設けられ、残りの部分としてのマップ描画部１１８、及び、表示制御部１１９、並びに、状態選択部１２１、及び、選択状態登録部１２２が、クライアントに設けられている。
【０５２５】
図３３において、クライアントは、モデルマップの描画に用いるコンテンツを特定する情報としてのコンテンツIDを、サーバに送信する。
【０５２６】
サーバでは、クライアントからのコンテンツIDによって特定されるコンテンツが、コンテンツ選択部１１１において注目コンテンツに選択され、モデルマップの生成（描画）に必要な状態座標が求められるとともに、状態対応画像情報が生成される。
【０５２７】
さらに、サーバでは、状態座標と、状態対応画像情報とが、クライアントに送信され、クライアントでは、サーバからの状態座標を用いて、モデルマップが描画され、そのモデルマップに、サーバからの状態対応画像情報がリンク付けされる。そして、クライアントでは、モデルマップが表示される。
【０５２８】
また、クライアントでは、ユーザの操作に応じて、モデルマップ上の状態が、選択状態に選択され、その選択状態の状態IDが認識される。そして、クライアントでは、選択状態の状態IDがスクラップブックに登録され、そのスクラップブックが、初期スクラップブックとして、初期スクラップブック記憶部１０２に記憶される。
【０５２９】
次に、上述の図２９では、登録スクラップブック生成部１０３を含むスクラップブック生成部１６（図２２）全体が、クライアント側に設けられているが、登録スクラップブック生成部１０３（図２６）は、その一部分を、サーバとして構成し、残りの部分を、クライアントとして構成することができる。
【０５３０】
図３４は、そのようなサーバクライアントシステムの構成例（第６の構成例）を示すブロック図である。
【０５３１】
図３４では、登録スクラップブック生成部１０３（図２６）の一部分としてのコンテンツ選択部１４２ないし最尤状態系列推定部１４５が、サーバに設けられ、残りの部分としてのスクラップブック選択部１４１、フレーム抽出部１４６、及び、フレーム登録部１４７が、クライアントに設けられている。
【０５３２】
図３４において、クライアントは、スクラップブック選択部１４１が選択した注目スクラップブックに対応付けられたカテゴリを、サーバに送信する。
【０５３３】
サーバでは、クライアントからのカテゴリのコンテンツに対する、そのカテゴリに対応付けられたコンテンツモデルのコードモデルの最尤状態系列が推定され、クライアントからのカテゴリのコンテンツとともに、クライアントに提供される。
【０５３４】
クライアントでは、サーバからの最尤状態系列の状態のうちの、状態IDが、スクラップブック選択部１４１で選択された注目スクラップブックに登録された状態ID（登録状態ID）に一致する状態に対応するフレームが、サーバからのコンテンツから抽出され、スクラップブックに登録される。
【０５３５】
以上のように、図１のレコーダを、サーバとクライアントとに分けて構成することにより、ハードウェアの性能が高くないクライアントであっても、処理を迅速に行うことが可能となる。
【０５３６】
なお、図１のレコーダが行う処理のうちの、ユーザの嗜好が反映される部分の処理をクライアントが行うようにする限り、図１のレコーダを、どのように、サーバとクライアントとに分けるかは、特に限定されるものではない。
【０５３７】
［その他のレコーダの構成例］
【０５３８】
以上においては、フレーム単位の画像より得られる特徴量を用いて、ビデオコンテンツを自己組織的に構造化することでコンテンツモデルを学習し、コンテンツ構造を提示したり、ダイジェストビデオやビデオスクラップを生成する例について説明してきた。しかしながら、コンテンツモデルを学習するにあたっては、特徴量としてフレーム単位の画像以外のものを用いるようにしてもよく、例えば、音声や画像内の対象物などを特徴量として用いるようにしてもよい。
【０５３９】
図３５は、フレーム単位の画像以外の特徴量を用いるようにした、本発明の情報処理装置を適用したレコーダの他の実施の形態の構成例を示すブロック図である。尚、図１のレコーダと同一の機能を備えた構成には、同一の符号を付しており、その説明は適宜省略するものとする。
【０５４０】
すなわち、図３５のレコーダにおいて、図１のレコーダと異なるのは、コンテンツモデル学習部１２、モデル記憶部１３、コンテンツ構造提示部１４、ダイジェスト生成部１５、及び、スクラップブック生成部１６に代えて、コンテンツモデル学習部２０１、モデル記憶部２０２、コンテンツ構造提示部２０３、ダイジェスト生成部２０４、及び、スクラップブック生成部２０５を設けたことである。
【０５４１】
コンテンツモデル学習部２０１、モデル記憶部２０２、コンテンツ構造提示部２０３、ダイジェスト生成部２０４、及び、スクラップブック生成部２０５は、いずれもその基本的な機能は、コンテンツモデル学習部１２、モデル記憶部１３、コンテンツ構造提示部１４、ダイジェスト生成部１５、及び、スクラップブック生成部１６と同様である。しかしながら、それぞれで扱われる特徴量が、上述したフレーム単位の画像の特徴量（以下、画像特徴量とも称する）に加えて、さらに、音声特徴量、および対象物特徴量の合計３種類の特徴量に対応したものである点が異なる。尚、ここでは、３種類の特徴量を扱う例について説明を進めるものとするが、扱う特徴量の種類は３種類に限られるものではなく、それ以上の種類の特徴量を扱うようにしてもよいものである。
【０５４２】
［コンテンツモデル学習部２０１の構成例］
【０５４３】
図３６は、図３５のコンテンツモデル学習部２０１の構成例を示すブロック図である。尚、図３６のコンテンツモデル学習部２０１の構成において、図２において説明したコンテンツモデル学習部１２と同一の機能を備えた構成については、同一の符号を付しており、その説明は省略するものとする。
【０５４４】
コンテンツモデル学習部２０１は、クラスタ学習とモデル学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量として、画像特徴量、音声特徴量、および対象物特徴量を抽出する。そして、コンテンツモデル学習部２０１は、学習用コンテンツの画像特徴量、音声特徴量、および対象物特徴量を用いて、それぞれコンテンツモデルの学習を行う。
【０５４５】
画像特徴量抽出部２２０は、図２の特徴量抽出部２２と同一のものであり、さらに、画像特徴量記憶部２６、および学習部２７については、図２のものと同一である。すなわち、画像特徴量を扱う構成については、図２のコンテンツモデル学習部１２と同一である。また、学習部２７において、学習により得られるコンテンツモデルは、モデル記憶部２０２における画像モデル記憶部２０２ａに記憶される。すなわち、画像モデル記憶部２０２ａは、図２におけるモデル記憶部１３と同様のものである。尚、画像モデル記憶部２０２ａに記憶されるコンテンツモデルは、画像特徴量により得られるコンテンツモデルであるので、以降においては、画像コンテンツモデルとも称する。
【０５４６】
音声特徴量抽出部２２１は、学習用コンテンツの音声について、画像の各フレームに対応付けて特徴量を抽出する。
【０５４７】
音声特徴量抽出部２２１は、学習用コンテンツ選択部２１からの学習用コンテンツを、画像と音声のデータに逆多重化し、画像の各フレームに対応付けて、音声の特徴量を抽出して、音声特徴量記憶部２２２に供給する。尚、ここでいうフレーム単位の音声についての特徴量を、以降においては、音声特徴量と称するものとする。
【０５４８】
すなわち、音声特徴量抽出部２２１は、プリミティブ特徴量抽出部２４１、平均算出部２４２、分散算出部２４３、および結合部２４４から構成される。
【０５４９】
プリミティブ特徴量抽出部２４１は、音声分類（sound classification, audio classification)の分野で利用されているような、音声からシーン（例えば、「音楽」、「非音楽」、「ノイズ」、「人の声」、「人の声＋音楽」、および「観衆」など）を分類するのに適した音声特徴量を生成するための原始的な特徴量であるプリミティブ特徴量を抽出する。プリミティブ特徴量とは、音声分類で使用される、例えば、10msecオーダ程度の比較的短い時間単位で音声信号から計算により得られるエネルギー、ゼロ交差レート、およびスペクトル重心などである。
【０５５０】
より具体的には、プリミティブ特徴量抽出部２４１は、例えば、「Zhu Liu; Jincheng Huang; Yao Wang; Tsuhan Chen, Audio feature extraction and analysis for scene classification, First Workshop on Multimedia Signal Processing, 1997., IEEE Volume, Issue , 23-25 Jun 1997 Page(s):343 - 348」、および「Brezeale, D. Cook, D.J., Automatic Video Classification: A Survey of the Literature, IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, May 2008, Volume: 38, Issue: 3, pp. 416-430」に挙げられている特徴量の抽出手法により、プリミティブ特徴量を抽出する。
【０５５１】
平均算出部２４２は、プリミティブ特徴量時系列から、より長い所定の時間単位（一般的に1sec以上）で統計量として平均値を計算することにより、より長い所定の時間単位の特徴量を時系列に抽出し、結合部２４４に供給する。
【０５５２】
分散算出部２４３は、プリミティブ特徴量時系列から、より長い所定の時間単位（一般的に1sec以上）で統計量として分散を計算することにより、より長い所定の時間単位の特徴量を時系列に抽出し、結合部２４４に供給する。
【０５５３】
結合部２４４は、プリミティブ特徴量時系列から統計量として求められた平均値、および分散を結合し、結合結果を注目フレームの特徴量として音声特徴量記憶部２６に供給する。
【０５５４】
より具体的には、音声特徴量は、後述する処理を実現するため、上述した画像特徴量と同期するように抽出する必要がある。また、音声特徴量は、画像特徴量が抽出された各時刻において、音声によりシーンを判別するのに適した特徴量であることが望ましいことから、以下のような手法により生成される。
【０５５５】
すなわち、プリミティブ特徴量抽出部２４１は、まず、音信号がステレオ音声信号である場合、モノラル音声信号に変換する。そして、プリミティブ特徴量抽出部２４１は、図３７の波形図Ａ及びＢで示されるように、0.05secのステップ幅で、0.05secの時間幅の窓をずらしていき、窓の中の音声信号のプリミティブ特徴量を抽出する。ここで、波形図Ａ，Ｂにおいては、いずれも縦軸が音声信号の振幅を表し、横軸が時間を表す。また、波形図Ｂは、波形図Ａの一部について、分解能を上げて表示したものであり、波形図Ａにおいては、0（×104）ないし10（×104）の範囲が、2.0833secのスケールとなっており、波形図Ｂでは、0ないし5000の範囲が、0.1042secのスケールとなっている。尚、プリミティブ特徴量は、窓の中の音声信号から、複数種類を抽出するようにしてもよい。その場合、プリミティブ特徴量抽出部２４１は、それらの複数種類を要素とするベクトルを構成してプリミティブ特徴量とする。
【０５５６】
そして、画像特徴量が抽出された各時刻（例えば、フレームの開始の時刻や、フレームの開始の時刻と終了の時刻との間の中点の時刻）において、図３８で示されるように、平均算出部２４２、および分散算出部２４３は、その時刻の前後0.5sec分（つまり1.0sec分)のプリミティブ特徴量の平均値と分散を求め、音声特徴量抽出部２２１は、それを当該時刻の音声特徴量とする。
【０５５７】
図３８においては、上から、波形図Ａは、音声情報のサンプリングデータを識別する識別子（プリミティブ特徴量が抽出される時刻）Sidとプリミティブ特徴量であるエネルギーとの関係を示すの波形であり、波形図Ｂは、画像のフレームを識別する識別子（フレームの画像特徴量が抽出される時刻）Vidと画像特徴量（GIST）との関係を示す波形である。尚、波形図Ａ，Ｂにおいては、丸印が、それぞれプリミティブ特徴量、および画像特徴量を表す。
【０５５８】
また、波形図Ｃ，Ｄは、それぞれ波形図Ａ，Ｂの元になる波形であり、波形図Ａ，Ｂは、それぞれ、波形図Ｃ，Ｄの一部の横軸の識別子Sid、Vidの表示間隔が拡大された波形である。図３８においては、音声のプリミティブ特徴量のサンプリングレートfq_sが２０Hzであり、画像特徴量のサンプリングレートfq_vは、３Hzであるときの例が示されている。
【０５５９】
ある画像識別子Vidのフレームと同期するプリミティブ特徴量の音声識別子Sidは、以下の式（４）で示される。
【０５６０】
Sid＝ceil((Vid-1)×(fq_s/fq_v))+1
・・・（４）
【０５６１】
ここで、ceil()は、正の無限大方向の丸め込み（カッコ内の値以上の最小の整数）を示す関数である。
【０５６２】
いま、音声特徴量となる平均値を求めるのに用いるプリミティブ特徴量のサンプル数Wを、所定の定数Kを1として、式（５）で表すこととすると、サンプル数Wは、7となる。この場合、ある画像識別子Vidのフレームに対しては、式（４）を満たす音声識別子Sidを中心とするW=7個のプリミティブ特徴量の平均値、および分散が、対応（同期）する音声特徴量となる。
【０５６３】
W＝round(K×(fq_s/fq_v))
・・・（５）
【０５６４】
ここで、round()は、最も近い整数にする（カッコ内の小数点以下を四捨五入する）関数である。なお、式（５）において、定数K=fq_vとすると、音声特徴量を求めるのに用いられるプリミティブ特徴量は、1秒分のプリミティブ特徴量となる。
【０５６５】
このようにして抽出された音声特徴量は、音声特徴量記憶部２２２に記憶される。尚、音声特徴量記憶部２２２、および学習部２２３についての機能は、画像特徴量記憶部２６、および学習部２７と同様であるので、その説明は省略するものとする。さらに、学習部２２３がクラスタ学習とモデル学習とを行うことにより得られるコンテンツモデルは、音声コンテンツモデルとしてモデル記憶部２０２の音声モデル記憶部２０２ｂに記憶される。
【０５６６】
対象物特徴量抽出部２２４は、学習用コンテンツの画像の各フレームについて対象物に対応付けて特徴量を抽出する。
【０５６７】
対象物特徴量抽出部２２４は、学習用コンテンツ選択部２１からの学習用コンテンツを、画像と音声のデータに逆多重化し、画像の各フレームに含まれる、例えば、人物、および顔といった対象物の存在範囲を矩形画像として検出する。そして、対象物特徴量抽出部２２４は、検出した矩形画像を用いて特徴量を抽出し、対象物特徴量記憶部２２５に供給する。
【０５６８】
すなわち、対象物特徴量抽出部２２４は、対象物抽出部２６１、フレーム分割部２６２、サブ領域特徴量抽出部２６３、および結合部２６４から構成される。
【０５６９】
対象物抽出部２６１は、学習用コンテンツを、まず、画像と音声のデータに逆多重化する。次に、対象物抽出部２６１は、画像の各フレームにおいて、対象物検出処理を実行し、例えば、対象物を人物の全身外形であるものとすると、図３９の左上部で示されるように、フレーム内の矩形領域からなる対象物ＯＢ１，ＯＢ２を検出する。そして、対象物抽出部２６１は、図３９の左下部において斜線部で示される、検出された対象物を含む矩形領域の左上座標と幅及び高さからなるベクトル（Ｘ１，Ｙ１，Ｗ１，Ｈ１）および（Ｘ２，Ｙ２，Ｗ２，Ｈ２）をサブ領域特徴量抽出部２６３に出力する。尚、複数の対象物が検出され、複数の矩形領域が出力された場合、１フレームにこの情報が検出数分だけ出力されることになる。
【０５７０】
同時に、フレーム分割部２６２は、フレーム分割部２３と同様にフレームを、例えば、図３９の左下部で示されるようにサブ領域Ｒ１乃至Ｒ３６（６×６）に分割し、サブ領域特徴量抽出部２６３に供給する。
【０５７１】
サブ領域特徴量抽出部２６３は、図３９の中央下部で示されるように、各サブ領域Rnにおける矩形領域のピクセル数Ｖnをカウントし、検出数分だけ累積する。さらに、サブ領域特徴量抽出部２６３は、矩形領域のピクセル数Ｖnをサブ領域内総ピクセル数Snで除することで画像サイズに対して正規化し、結合部２６４に出力する。
【０５７２】
結合部２６４は、図３９の右下部で示されるように、各サブ領域Rnで計算された値Fn=Vn/Snを、ベクトルのコンポーネントとして結合することで、対象物特徴量となるベクトルを生成し、対象物特徴量記憶部２２５に出力する。尚、対象物特徴量記憶部２２５、および学習部２２６についての機能は、画像特徴量記憶部２６、および学習部２７と同様であるので、その説明は省略するものとする。さらに、学習部２２６がクラスタ学習とモデル学習を行うことにより得られるコンテンツモデルは、対象物コンテンツモデルとしてモデル記憶部２０２の対象物モデル記憶部２０２ｃに記憶される。
【０５７３】
［コンテンツモデル学習部２０１が行うコンテンツモデル学習処理］
【０５７４】
次に、図３６のコンテンツモデル学習部２０１が行うコンテンツ学習処理について説明する。図３６のコンテンツモデル学習部２０１が行うコンテンツ学習処理は、特徴量の種類に応じて、画像コンテンツモデル学習処理、音声コンテンツモデル学習処理、および、対象物コンテンツモデル学習処理からなる。このうち、画像コンテンツモデル学習処理は、図８を参照して説明したコンテンツモデル学習処理と同様であり、生成された画像コンテンツモデルが画像モデル記憶部２０２ａに記憶されるのみであるので、その説明は省略する。
【０５７５】
次に、図４０のフローチャートを参照して、図３６のコンテンツモデル学習部２０１が行う音声コンテンツモデル学習処理について説明する。尚、図４０におけるステップＳ２０１の処理は、図８のステップＳ１１の処理と同様であるのでその説明は省略するものとする。
【０５７６】
ステップＳ２０２では、音声特徴量抽出部２２１のプリミティブ特徴量抽出部２４１が、学習用コンテンツ選択部２１からの学習用コンテンツの中の、まだ、注目学習用コンテンツ（以下、注目コンテンツともいう）に選択していない学習用コンテンツの１つを、注目コンテンツに選択する。
【０５７７】
そして、処理は、ステップＳ２０２からステップＳ２０３に進み、プリミティブ特徴量抽出部２４１は、注目コンテンツのフレームのうちの、まだ、注目フレームとしていない、時間的に最も先行するフレームを、注目フレームに選択し、処理は、ステップＳ２０４に進む。
【０５７８】
ステップＳ２０４では、プリミティブ特徴量抽出部２４１が、図３７、図３８を参照して説明したように、注目フレームに対応する音声特徴量を生成するのに用いるプリミティブ特徴量を、注目コンテンツの音声から抽出する。そして、プリミティブ特徴量抽出部２４１は、抽出したプリミティブ特徴量を、平均算出部２４２、および分散算出部２４３に供給する。
【０５７９】
ステップＳ２０５では、平均算出部２４２は、供給されたプリミティブ特徴量のうち、注目フレームの分について平均値を算出し、結合部２４４に供給する。
【０５８０】
ステップＳ２０６では、分散算出部２４３は、供給されたプリミティブ特徴量のうち、注目フレームの分について分散を算出し、結合部２４４に供給する。
【０５８１】
ステップＳ２０７では、結合部２４４は、平均算出部２４２より供給された、注目フレームにおけるプリミティブ特徴量の平均値と、分散算出部２４３より供給された、注目フレームにおけるプリミティブ特徴量の分散と結合することで特徴量ベクトルを構成する。そして、結合部２４４は、この特徴量ベクトルを、注目フレームの音声特徴量として生成し、処理は、ステップＳ２０８に進む。
【０５８２】
ステップＳ２０８では、フレーム分割部２３は、注目コンテンツのすべてのフレームを注目フレームとしたかどうかを判定する。
【０５８３】
ステップＳ２０８において、注目コンテンツのフレームの中に、まだ、注目フレームとしていないフレームがあると判定された場合、処理は、ステップＳ２０３に戻り、以下、同様の処理が繰り返される。
【０５８４】
また、ステップＳ２０８において、注目コンテンツのすべてのフレームを注目フレームとしたと判定された場合、処理は、ステップＳ２０９に進み、結合部２４４は、注目コンテンツについて求めた注目コンテンツの各フレームの特徴量（の時系列）を、音声特徴量記憶部２２２に供給して記憶させる。
【０５８５】
そして、処理は、ステップＳ２０９からステップＳ２１０に進み、プリミティブ特徴量抽出部２４１は、学習用コンテンツ選択部２１からの学習用コンテンツのすべてを、注目コンテンツとしたかどうかを判定する。
【０５８６】
ステップＳ２１０において、学習用コンテンツの中に、まだ、注目コンテンツとしていない学習用コンテンツがあると判定された場合、処理は、ステップＳ２０２に戻り、以下、同様の処理が繰り返される。
【０５８７】
また、ステップＳ２１０において、学習用コンテンツのすべてが、注目コンテンツとしたと判定された場合、処理は、ステップＳ２１１に進み、学習部２２３は、音声特徴量記憶部２２２に記憶された、学習用コンテンツの音声特徴量（各フレームの音声特徴量の時系列）を用いて、コンテンツモデルの学習を行う。
【０５８８】
すなわち、学習部２２３は、学習用コンテンツの音声特徴量を用いて、クラスタ学習を行い、クラスタ情報（例えば、コードブック）を求める。
【０５８９】
さらに、学習部２２３は、学習用コンテンツの音声特徴量を用いてクラスタ学習を行うことにより得られたクラスタ情報を用いて、学習用コンテンツの音声特徴量をクラスタリングし、学習用コンテンツの音声特徴量のコード系列を求める。
【０５９０】
また、学習部２２３は、学習用コンテンツの音声特徴量のコード系列を用いて、状態遷移モデルである、例えば、HMMのモデル学習を行う。
【０５９１】
そして、学習部２２３は、学習用コンテンツの音声特徴量のコード系列を用いたモデル学習後のHMM（コードモデル）と、クラスタ学習により得られたクラスタ情報とのセットを、音声コンテンツモデルとして、学習用コンテンツのカテゴリと対応付けて、音声モデル記憶部２０２ｂに出力（供給）し、音声コンテンツモデル学習処理を終了する。
【０５９２】
なお、音声コンテンツモデル学習処理は、任意のタイミングで開始することができる。
【０５９３】
以上の音声コンテンツモデル学習処理によれば、音声コンテンツモデルのHMMにおいて、学習用コンテンツに潜む、コンテンツの構造（例えば、音声等が作り出す構造）が自己組織的に獲得される。
【０５９４】
その結果、音声コンテンツモデル学習処理よって得られる音声コンテンツモデルのHMMの各状態は、学習によって獲得されたコンテンツの構造の要素に対応し、状態遷移は、コンテンツの構造の要素どうしの間での、時間的な遷移を表現する。
【０５９５】
そして、音声コンテンツモデルのHMMの状態は、音声特徴量空間（音声特徴量抽出部２２１（図３６）で抽出される音声特徴量の空間）において、空間的な距離が近く、かつ、時間的な前後関係が似ているフレーム群（つまり「似たシーン」）をまとめて表現する。
【０５９６】
次に、図４１のフローチャートを参照して、図３６のコンテンツモデル学習部２０１が行う対象物コンテンツモデル学習処理について説明する。尚、図４１におけるステップＳ２３１の処理は、図８のステップＳ１１の処理と同様であるのでその説明は省略するものとする。
【０５９７】
ステップＳ２３２では、対象物特徴量抽出部２２４のフレーム分割部２６２が、学習用コンテンツ選択部２１からの学習用コンテンツの中の、まだ、注目学習用コンテンツ（以下、注目コンテンツともいう）に選択していない学習用コンテンツの１つを、注目コンテンツに選択する。
【０５９８】
そして、処理は、ステップＳ２３２からステップＳ２３３に進み、フレーム分割部２６２は、注目コンテンツのフレームのうちの、まだ、注目フレームとしていない、時間的に最も先行するフレームを、注目フレームに選択し、処理は、ステップＳ２３４に進む。
【０５９９】
ステップＳ２３４では、フレーム分割部２６２は、注目フレームを、複数のサブ領域に分割し、サブ領域特徴量抽出部２６３に供給して、処理は、ステップＳ２３５に進む。
【０６００】
ステップＳ２３５では、対象物抽出部２６１は、注目フレームに含まれる対象物を検出し、検出した対象物を含む領域を矩形領域とし、矩形領域の左上座標と幅及び高さからなるベクトルをサブ領域特徴量抽出部２６３に出力する。
【０６０１】
ステップＳ２３６では、サブ領域特徴量抽出部２６３は、フレーム分割部２６２からの各サブ領域Rnについて、対象物を含む矩形領域になっているピクセル数Vnをカウントする。さらに、サブ領域特徴量抽出部２６３は、サブ領域Rnに含まれる全ピクセル数Snで、各サブ領域Rnにおける矩形領域となっているピクセル数Vnを除算して正規化し、サブ領域特徴量Fn=Vn/Snとして結合部２６４に供給する。
【０６０２】
ステップＳ２３７では、結合部２６４は、サブ領域特徴量抽出部２６３からの、注目フレームを構成する複数のサブ領域Rnそれぞれのサブ領域特徴量Fnを結合することで、注目フレームの対象物特徴量を生成し、処理は、ステップＳ２３８に進む。
【０６０３】
ステップＳ２３８では、フレーム分割部２６２は、注目コンテンツのすべてのフレームを注目フレームとしたかどうかを判定する。
【０６０４】
ステップＳ２３８において、注目コンテンツのフレームの中に、まだ、注目フレームとしていないフレームがあると判定された場合、処理は、ステップＳ２３３に戻り、以下、同様の処理が繰り返される。
【０６０５】
また、ステップＳ２３８において、注目コンテンツのすべてのフレームを注目フレームとしたと判定された場合、処理は、ステップＳ２３９に進み、結合部２４４は、注目コンテンツについて求めた注目コンテンツの各フレームの対象物特徴量（の時系列）を、対象物特徴量記憶部２２５に供給して記憶させる。
【０６０６】
そして、処理は、ステップＳ２３９からステップＳ２４０に進み、フレーム分割部２６２は、学習用コンテンツ選択部２１からの学習用コンテンツのすべてを、注目コンテンツとしたかどうかを判定する。
【０６０７】
ステップＳ２４０において、学習用コンテンツの中に、まだ、注目コンテンツとしていない学習用コンテンツがあると判定された場合、処理は、ステップＳ２３２に戻り、以下、同様の処理が繰り返される。
【０６０８】
また、ステップＳ２４０において、学習用コンテンツのすべてを、注目コンテンツとしたと判定された場合、処理は、ステップＳ２４１に進む。ステップＳ２４１において、学習部２２６は、対象物特徴量記憶部２２５に記憶された、学習用コンテンツの対象物特徴量（各フレームの対象物特徴量の時系列）を用いて、コンテンツモデルの学習を行う。
【０６０９】
すなわち、学習部２２６は、学習用コンテンツの対象物特徴量を用いて、クラスタ学習を行い、クラスタ情報（例えば、コードブック）を求める。
【０６１０】
さらに、学習部２２６は、学習用コンテンツの対象物特徴量を用いてクラスタ学習を行うことにより得られたクラスタ情報を用いて、学習用コンテンツの対象物特徴量をクラスタリングし、学習用コンテンツの対象物特徴量のコード系列を求める。
【０６１１】
また、学習部２２６は、学習用コンテンツの対象物特徴量のコード系列を用いて、状態遷移モデルである、例えば、HMMのモデル学習を行う。
【０６１２】
そして、学習部２２６は、学習用コンテンツの対象物特徴量のコード系列を用いたモデル学習後のHMM（コードモデル）と、クラスタ学習により得られたクラスタ情報とのセットを、対象物コンテンツモデルとして、学習用コンテンツのカテゴリと対応付けて、対象物モデル記憶部２０２ｃに出力（供給）し、対象物コンテンツモデル学習処理を終了する。
【０６１３】
なお、対象物コンテンツモデル学習処理は、任意のタイミングで開始することができる。
【０６１４】
以上の対象物コンテンツモデル学習処理によれば、対象物コンテンツモデルのHMMにおいて、学習用コンテンツに潜む、コンテンツの構造（例えば、対象物の登場の有無等が作り出す構造）が自己組織的に獲得される。
【０６１５】
その結果、対象物コンテンツモデル学習処理よって得られる対象物コンテンツモデルのHMMの各状態は、学習によって獲得されたコンテンツの構造の要素に対応し、状態遷移は、コンテンツの構造の要素どうしの間での、時間的な遷移を表現する。
【０６１６】
そして、対象物コンテンツモデルのHMMの状態は、対象物特徴量空間（対象物特徴量抽出部２２４（図３６）で抽出される対象物特徴量の空間）において、空間的な距離が近く、かつ、時間的な前後関係が似ているフレーム群（つまり「似たシーン」）をまとめて表現する。
【０６１７】
次に、コンテンツ構造提示部２０３の構成例について説明する。コンテンツ構造提示部２０３の構成例については、例えば、後述する初期スクラップブック生成部３７１（図４８）における、状態選択部４１９、および選択状態登録部４２０を除いた構成となる。これは、画像コンテンツモデル、音声コンテンツモデル、および対象物コンテンツモデルのそれぞれに対応したコンテンツ構造提示部１４が設けられることにより構成されるものであるからである。
【０６１８】
また、コンテンツ構造提示部２０３のコンテンツ構造提示処理では、画像コンテンツモデル、音声コンテンツモデル、および対象物コンテンツモデルのそれぞれについて、上述したコンテンツ構造提示部１４（図９）におけるコンテンツ構造提示処理（図１３）と同様の処理が行われ、これにより、画像コンテンツモデル、音声コンテンツモデル、および対象物コンテンツモデルそれぞれのHMM（コードモデル）を用いて得られるモデルマップが、個別に、または各々独立したウィンドウに表示される。
【０６１９】
以上のことから、コンテンツ構造提示部２０３の構成例と、そのコンテンツ構造提示処理については、その説明を省略するものとする。
【０６２０】
［ダイジェスト生成部２０４の構成例］
【０６２１】
図４２は、図３５のダイジェスト生成部２０４の構成例を示すブロック図である。
【０６２２】
ダイジェスト生成部２０４は、ハイライト検出器学習部２９１、検出器記憶部２９２、及び、ハイライト検出部２９３から構成される。
【０６２３】
ハイライト検出器学習部２９１、検出器記憶部２９２、及び、ハイライト検出部２９３は、基本的に、ハイライト検出器学習部５１、検出器記憶部５２、及び、ハイライト検出部５３と同様の機能を備えているが、いずれも画像コンテンツモデル、音声コンテンツモデル、および対象物コンテンツモデルに対応した処理を実行することができる。
【０６２４】
［ハイライト検出器学習部２９１の構成例］
【０６２５】
図４３は、図４２のハイライト検出器学習部２９１の構成例を示すブロック図である。尚、図４３におけるハイライト検出器学習部２９１の構成について、図１５のハイライト検出器学習部５１の構成と同一の機能を備える構成については、同一の符号を付しており、その説明は、適宜省略するものとする。
【０６２６】
すなわち、ハイライト検出器学習部２９１において、ハイライト検出器学習部５１の構成と異なる構成は、画像特徴量、音声特徴量、および対象物特徴量に対応したモデル選択部、特徴量抽出部、およびクラスタリング部を備えている点である。より具体的には、ハイライト検出器学習部２９１は、画像特徴量に対応した画像モデル選択部３１１、画像特徴量抽出部３１２、および画像クラスタリング部３１３を備えている。また、ハイライト検出器学習部２９１は、音声特徴量に対応した音声モデル選択部３１６、音声特徴量抽出部３１７、および音声クラスタリング部３１８を備えている。さらに、ハイライト検出器学習部２９１は、対象物特徴量に対応した、対象物モデル選択部３１９、対象物特徴量抽出部３２０、および対象物クラスタリング部３２１を備えている。
【０６２７】
ただし、画像コンテンツモデルを対象とした画像モデル選択部３１１、画像特徴量抽出部３１２、および画像クラスタリング部３１３は、モデル選択部６２、特徴量抽出部６３、およびクラスタリング部６４と同様のものである。また、音声モデル選択部３１６、音声特徴量抽出部３１７、および音声クラスタリング部３１８は、扱う特徴量が音声特徴量である点を除き、基本的な機能は、モデル選択部６２、特徴量抽出部６３、およびクラスタリング部６４と同様である。さらに、対象物モデル選択部３１９、対象物特徴量抽出部３２０、および対象物クラスタリング部３２１も、扱う特徴量が対象物特徴量である点を除き、基本的な機能は、モデル選択部６２、特徴量抽出部６３、およびクラスタリング部６４と同様である。
【０６２８】
さらに、画像モデル選択部３１１は、モデル記憶部２０２のうちの画像モデル記憶部２０２ａより画像コンテンツモデルのいずれかを選択する。音声モデル選択部３１６は、モデル記憶部２０２のうちの音声モデル記憶部２０２ｂより音声コンテンツモデルのいずれかを選択する。対象物モデル選択部３１９は、モデル記憶部２０２のうちの対象物モデル記憶部２０２ｃより対象物コンテンツモデルのいずれかを選択する。
【０６２９】
また、図４３のハイライト検出器学習部２９１は、学習用ラベル生成部６６に代えて、学習用ラベル生成部３１４を備えている。学習用ラベル生成部３１４は、基本的な機能は、学習用ラベル生成部６６と同様である。
【０６３０】
学習用ラベル生成部３１４は、画像クラスタリング部３１３より、注目モデルとしての画像コンテンツモデルのクラスタ情報を用いた、注目コンテンツの画像特徴量のクラスタリングにより得られる、注目コンテンツの画像特徴量のコード系列（画像コード系列とも称する）を取得する。
【０６３１】
また、学習用ラベル生成部３１４は、音声クラスタリング部３１８より、注目モデルとしての音声コンテンツモデルのクラスタ情報を用いた、注目コンテンツの音声特徴量のクラスタリングにより得られる、注目コンテンツの音声特徴量のコード系列（音声コード系列とも称する）を取得する。
【０６３２】
さらに、学習用ラベル生成部３１４は、対象物最尤状態系列推定部３１９より、注目モデルとしての対象物コンテンツモデルのクラスタ情報を用いた、注目コンテンツの対象物特徴量のクラスタリングにより得られる、注目コンテンツの対象物特徴量のコード系列（対象物コード系列とも称する）を取得する。
【０６３３】
また、学習用ラベル生成部３１４は、ハイライトラベル生成部６５からのハイライトラベル系列を取得する。
【０６３４】
そして、学習用ラベル生成部３１４は、画像コード系列、音声コード系列、および対象物コード系列、並びにハイライトラベル系列からなる学習用ラベル系列を生成する。
【０６３５】
すなわち、学習用ラベル生成部３１４は、画像コード系列、音声コード系列、および対象物コード系列、並びに、ハイライトラベル系列における、各時刻tのコードと、ハイライトラベルとを合成したマルチストリームの学習用ラベル系列を生成する。
【０６３６】
したがって、学習用ラベル生成部３１４は、上述した式（２）におけるストリーム数M＝４の構成要素系列からなるマルチストリームの学習用ラベル系列を生成する。そして、学習用ラベル生成部３１４は、マルチストリームの学習用ラベル系列を、学習部３１５に供給する。
【０６３７】
学習部３１５は、学習用ラベル生成部３１４からの学習用ラベル系列を用いて、例えば、エルゴディック型の、マルチストリームHMMであるハイライト検出器の学習を、Baum-Welchの再推定法に従って行う。
【０６３８】
そして、学習部３１５は、学習後のハイライト検出器を、コンテンツ選択部６１で選択された注目コンテンツのカテゴリと対応付けて、検出器記憶部２９２に供給して記憶させる。
【０６３９】
尚、学習部３１５におけるマルチストリームHMMの学習においては、上述したようにM=４の４種類の構成要素系列で構成されるため、各構成要素系列の系列重みをW1ないしW4とし、例えば、全てを均等に割付ける場合、いずれも1/4（=0.25）とすることができる。また、ストリーム数Mについて一般化すると、各系列の系列重みについて均等とする場合、いずれの系列重みも1/Mとすることができる。
【０６４０】
［ハイライト検出器学習処理］
【０６４１】
図４４は、図４３のハイライト検出器学習部２９１が行う処理（ハイライト検出器学習処理）を説明するフローチャートである。
【０６４２】
ステップＳ２６１では、コンテンツ選択部６１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、例えば、ユーザの操作によって再生が指定されたコンテンツを、注目コンテンツ（注目検出器学習用コンテンツ）に選択する。
【０６４３】
そして、コンテンツ選択部６１は、注目コンテンツを、画像特徴量抽出部３１２、音声特徴量抽出部３１７、および対象物特徴量抽出部３２０のそれぞれに供給する。また、コンテンツ選択部６１は、注目コンテンツのカテゴリを認識し、画像モデル選択部３１１、音声モデル選択部３１６、および対象物モデル選択部３１９に供給して、処理は、ステップＳ２６１からステップＳ２６２に進む。
【０６４４】
ステップＳ２６２では、画像モデル選択部３１１は、画像モデル記憶部２０２ａに記憶された画像コンテンツモデルの中から、コンテンツ選択部６１からの、注目コンテンツのカテゴリに対応付けられた画像コンテンツモデルを、注目モデルに選択する。
【０６４５】
そして、画像モデル選択部３１１は、注目モデルを、画像クラスタリング部３１３に供給して、処理は、ステップＳ２６２からステップＳ２６３に進む。
【０６４６】
ステップＳ２６３では、画像特徴量抽出部３１２は、コンテンツ選択部６１から供給される注目コンテンツの各フレームの画像特徴量を抽出し、注目コンテンツの各フレームの画像特徴量（の時系列）を、画像クラスタリング部３１３に供給する。そして、処理は、ステップＳ２６４に進む。
【０６４７】
ステップＳ２６４では、画像クラスタリング部３１３は、画像モデル選択部３１１からの注目モデルである画像コンテンツモデルのクラスタ情報を用いて、画像特徴量抽出部３１２からの注目コンテンツの画像特徴量（の時系列）をクラスタリングし、その結果得られる画像コード系列を、学習用ラベル生成部３１４に供給して、処理は、ステップＳ２６４からステップＳ２６５に進む。
【０６４８】
ステップＳ２６５では、音声モデル選択部３１６は、音声モデル記憶部２０２ｂに記憶された音声コンテンツモデルの中から、コンテンツ選択部６１からの、注目コンテンツのカテゴリに対応付けられた音声コンテンツモデルを、注目モデルに選択する。
【０６４９】
そして、音声モデル選択部３１６は、注目モデルを、音声クラスタリング部３１８に供給して、処理は、ステップＳ２６５からステップＳ２６６に進む。
【０６５０】
ステップＳ２６６では、音声特徴量抽出部３１７は、コンテンツ選択部６１から供給される注目コンテンツの各フレームの音声特徴量を抽出し、注目コンテンツの各フレームの音声特徴量（の時系列）を、音声クラスタリング部３１８に供給する。そして、処理は、ステップＳ２６７に進む。
【０６５１】
ステップＳ２６７では、音声クラスタリング部３１８は、音声モデル選択部３１６からの注目モデルである音声コンテンツモデルのクラスタ情報を用いて、音声特徴量抽出部３１７からの注目コンテンツの音声特徴量（の時系列）をクラスタリングし、その結果得られる音声コード系列を、学習用ラベル生成部３１４に供給して、処理は、ステップＳ２６７からステップＳ２６８に進む。
【０６５２】
ステップＳ２６８では、対象物モデル選択部３１９は、対象物モデル記憶部２０２ｃに記憶された対象物コンテンツモデルの中から、コンテンツ選択部６１からの、注目コンテンツのカテゴリに対応付けられた対象物コンテンツモデルを、注目モデルに選択する。
【０６５３】
そして、対象物モデル選択部３１９は、注目モデルを、対象物クラスタリング部３２１に供給して、処理は、ステップＳ２６８からステップＳ２６９に進む。
【０６５４】
ステップＳ２６９では、対象物特徴量抽出部３２０は、コンテンツ選択部６１から供給される注目コンテンツの各フレームの対象物特徴量を抽出し、注目コンテンツの各フレームの対象物特徴量（の時系列）を、対象物クラスタリング部３２１に供給する。そして、処理は、ステップＳ２７０に進む。
【０６５５】
ステップＳ２７０では、対象物クラスタリング部３２１は、対象物モデル選択部３１９からの注目モデルである対象物コンテンツモデルのクラスタ情報を用いて、対象物特徴量抽出部３２０からの注目コンテンツの対象物特徴量（の時系列）をクラスタリングし、その結果得られる対象物コード系列を、学習用ラベル生成部３１４に供給して、処理は、ステップＳ２７０からステップＳ２７１に進む。
【０６５６】
ステップＳ２７１では、ハイライトラベル生成部６５は、ユーザの操作に従い、ハイライトラベルを、コンテンツ選択部６１で選択された注目コンテンツの各フレームにラベリングすることにより、注目コンテンツについて、ハイライトラベル系列を生成する。
【０６５７】
そして、ハイライトラベル生成部６５は、注目コンテンツについて生成したハイライトラベル系列を、学習用ラベル生成部３１４に供給し、処理は、ステップＳ２７２に進む。
【０６５８】
ステップＳ２７２では、学習用ラベル生成部３１４は、画像クラスタリング部３１３からの画像コード系列、音声クラスタリング部３１８からの音声コード系列、及び、対象物クラスタリング部３２１からの対象物コード系列を取得する。さらに、学習用ラベル生成部３１４は、ハイライトラベル生成部６５からのハイライトラベル系列を取得する。
【０６５９】
そして、学習用ラベル生成部３１４は、これらの画像コード系列、音声コード系列、および対象物コード系列、並びに、ハイライトラベル系列の４系列を組み合わせて学習用ラベル系列を生成する。
【０６６０】
そして、学習用ラベル生成部３１４は、学習用ラベル系列を、学習部３１５に供給し、処理は、ステップＳ２７２からステップＳ２７３に進む。
【０６６１】
ステップＳ２７３では、学習部３１５は、学習用ラベル生成部３１４からの学習用ラベル系列を用いて、マルチストリームHMMであるハイライト検出器の学習を行い、処理は、ステップＳ２７４に進む。
【０６６２】
ステップＳ２７４では、学習部３１５は、学習後のハイライト検出器を、コンテンツ選択部６１で選択された注目コンテンツのカテゴリと対応付けて、検出器記憶部２９２に供給して記憶させる。
【０６６３】
以上のように、ハイライト検出器は、注目コンテンツを、注目モデルのクラスタ情報を用いてクラスタリングすることにより得られるの画像コード系列、音声コード系列、および対象物コード系列と、ハイライトラベル系列との４系列の学習用ラベル系列を用いた、マルチストリームHMMの学習により得られる。
【０６６４】
したがって、マルチストリームHMMであるハイライト検出器の各状態の、ハイライトラベル系列の観測確率を参照することにより、その状態で観測される（確率が高い）コードが表すクラスタに特徴量がクラスタリングされるフレームが、ユーザの興味があるシーン（ハイライトシーン）であるかどうかを判定することができる。
【０６６５】
［ハイライト検出部２９３の構成例］
【０６６６】
図４５は、図４２のハイライト検出部２９３の構成例を示すブロック図である。尚、図４５のハイライト検出部２９３において、図１８のハイライト検出部５３における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は省略するものとする。
【０６６７】
図４５においてのハイライト検出部２９３は、基本的に図１８のハイライト検出部５３と同様の機能を備えたものであるが、画像特徴量、音声特徴量、および対象物特徴量のそれぞれに対応して検出用ラベルを生成する点で異なる。
【０６６８】
すなわち、画像モデル選択部３４１、画像特徴量抽出部３４２、および画像クラスタリング部３４３は、図４３のハイライト検出器学習部２９１の画像モデル選択部３１１、画像特徴量抽出部３１２、および画像クラスタリング部３１３と同様である。また、音声モデル選択部３５０、音声特徴量抽出部３５１、および音声クラスタリング部３５２は、図４３のハイライト検出器学習部２９１の音声モデル選択部３１６、音声特徴量抽出部３１７、および音声クラスタリング部３１８と同様である。さらに、対象物モデル選択部３５３、対象物特徴量抽出部３５４、および対象物クラスタリング部３５５は、図４３のハイライト検出器学習部２９１の対象物モデル選択部３１９、対象物特徴量抽出部３２０、および対象物クラスタリング部３２１と同様である。
【０６６９】
このような構成により、検出用ラベル生成部３４４には、注目コンテンツの画像特徴量、音声特徴量、及び、対象物特徴量を、それぞれ、注目モデルとしての画像コンテンツモデル、音声コンテンツモデル、及び、対象物コンテンツモデルのクラスタ情報を用いてクラスタリングすることにより得られる画像コード系列、音声コード系列、及び、対象物コード系列が供給される。
【０６７０】
検出用ラベル生成部３４４は、注目コンテンツの画像コード系列、音声コード系列、および対象物コード系列、並びに、ハイライトラベル系列からなる検出用ラベル系列を生成する。
【０６７１】
すなわち、検出用ラベル生成部３４４は、ハイライトシーンでないことを表すハイライトラベルのみのハイライトラベル系列であって、画像コード系列、音声コード系列、および対象物コード系列と同一の長さ（系列長）のハイライトラベル系列を、ハイライト検出器に与える、いわばダミーの系列として生成する。
【０６７２】
さらに、検出用ラベル生成部３４４は、画像コード系列、音声コード系列、および対象物コード系列、並びに、ダミーの系列のハイライトラベル系列における、各時刻tのコードと、ハイライトラベルとを組み合わせた、マルチストリームの検出用ラベル系列を生成する。
【０６７３】
そして、検出用ラベル生成部３４４は、検出用ラベル系列を、最尤状態系列推定部３４６に供給する。
【０６７４】
なお、検出器選択部３４５、最尤状態系列推定部３４６、ハイライトシーン検出部３４７、ダイジェストコンテンツ生成部３４８、および再生制御部３４９は、扱うマルチストリームの検出用ラベルが、４つのストリームからなる検出用ラベル系列となる。それ以外の点については、図１８における検出器選択部７６、最尤状態系列推定部７７、ハイライトシーン検出部７８、ダイジェストコンテンツ生成部７９、および再生制御部８０と基本的に同様の機能であるので、その説明は省略する。
【０６７５】
ここで、最尤状態系列推定部３４６では、ハイライト検出器であるHMMにおいて、検出用ラベル系列が観測される最尤状態系列（ハイライト関係状態系列）が推定されるが、その推定において、検出用ラベル系列の観測確率を求める際の、画像コード系列、音声コード系列、及び、対象物コード系列、並びにダミーの系列としてのハイライトラベル系列のそれぞれの系列の系列重みW1乃至W4は、（W1：W2：W3：W4）＝（1/3：1/3：1/3：0）を用いる。
【０６７６】
これにより、最尤状態系列推定部３４６では、ダミーの系列として入力されたハイライトラベル系列を考慮せずに、注目コンテンツの画像コード系列、音声コード系列、及び、対象物コード系列のみを考慮して、ハイライト関係状態系列の推定が行われることになる。なお、ストリーム数Mの場合の重みを一般化すると、ハイライトラベル系列の重みを0として、それ以外の系列の系列重みを均等にする場合、いずれの系列重みも1/(M-1)となる。
【０６７７】
［ハイライト検出処理］
【０６７８】
図４６は、図４５のハイライト検出部２９３の処理（ハイライト検出処理）を説明するフローチャートである。
【０６７９】
ステップＳ２９１において、コンテンツ選択部７１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、ハイライトシーンを検出する対象のコンテンツである注目コンテンツ（注目ハイライト検出用コンテンツ）を選択する。
【０６８０】
そして、コンテンツ選択部７１は、注目コンテンツを、画像特徴量抽出部３４２、音声特徴量抽出部３５１、および対象物特徴量抽出部３５４に供給する。さらに、コンテンツ選択部７１は、注目コンテンツのカテゴリを認識し、画像モデル選択部３４１、音声モデル選択部３５０、および対象物モデル選択部３５３、並びに検出器選択部３４５に供給して、処理は、ステップＳ２９１からステップＳ２９２に進む。
【０６８１】
ステップＳ２９２では、画像モデル選択部３４１は、画像モデル記憶部２０２ａに記憶された画像コンテンツモデルの中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられた画像コンテンツモデルを、注目モデルに選択する。
【０６８２】
そして、画像モデル選択部３４１は、注目モデルを、画像クラスタリング部３４３に供給し、処理は、ステップＳ２９２からステップＳ２９３に進む。
【０６８３】
ステップＳ２９３では、画像特徴量抽出部３４２は、コンテンツ選択部７１から供給される注目コンテンツの各フレームの画像特徴量を抽出し、画像クラスタリング部３４３に供給して、処理は、ステップＳ２９４に進む。
【０６８４】
ステップＳ２９４では、画像クラスタリング部３４３は、画像モデル選択部３４１からの注目モデルである画像コンテンツモデルのクラスタ情報を用いて、画像特徴量抽出部３４２からの注目コンテンツの画像特徴量（の時系列）をクラスタリングし、その結果得られる画像コード系列を、検出用ラベル生成部３４４に供給し、処理は、ステップＳ２９４からステップＳ２９５に進む。
【０６８５】
ステップＳ２９５では、音声モデル選択部３５０は、音声モデル記憶部２０２ｂに記憶された音声コンテンツモデルの中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられた音声コンテンツモデルを、注目モデルに選択する。
【０６８６】
そして、音声モデル選択部３５０は、注目モデルを、音声クラスタリング部３５２に供給し、処理は、ステップＳ２９５からステップＳ２９６に進む。
【０６８７】
ステップＳ２９６では、音声特徴量抽出部３５１は、コンテンツ選択部７１から供給される注目コンテンツの各フレームの音声特徴量を抽出し、音声クラスタリング部３５２に供給して、処理は、ステップＳ２９７に進む。
【０６８８】
ステップＳ２９７では、音声クラスタリング部３５２は、音声モデル選択部３５０からの注目モデルである音声コンテンツモデルのクラスタ情報を用いて、音声特徴量抽出部３５１からの注目コンテンツの音声特徴量（の時系列）をクラスタリングし、その結果得られる音声コード系列を、検出用ラベル生成部３４４に供給し、処理は、ステップＳ２９７からステップＳ２９８に進む。
【０６８９】
ステップＳ２９８では、対象物モデル選択部３５３は、対象物モデル記憶部２０２ｃに記憶された対象物コンテンツモデルの中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられた対象物コンテンツモデルを、注目モデルに選択する。
【０６９０】
そして、対象物モデル選択部３５３は、注目モデルを、対象物クラスタリング部３５５に供給し、処理は、ステップＳ２９８からステップＳ２９９に進む。
【０６９１】
ステップＳ２９９では、対象物特徴量抽出部３５４は、コンテンツ選択部７１から供給される注目コンテンツの各フレームの対象物特徴量を抽出し、対象物クラスタリング部３５５に供給して、処理は、ステップＳ３００に進む。
【０６９２】
ステップＳ３００では、対象物クラスタリング部３５５は、対象物モデル選択部３５３からの注目モデルである対象物コンテンツモデルのクラスタ情報を用いて、対象物特徴量抽出部３５４からの注目コンテンツの対象物特徴量（の時系列）をクラスタリングし、その結果得られる対象物コード系列を、検出用ラベル生成部３４４に供給し、処理は、ステップＳ３００からステップＳ３０１に進む。
【０６９３】
ステップＳ３０１では、検出用ラベル生成部３４４は、ダミーのハイライトラベル系列として、例えば、ハイライトシーンでないことを表すハイライトラベル（値が"0"のハイライトラベル）のみのハイライトラベル系列を生成し、処理は、ステップＳ３０２に進む。
【０６９４】
ステップＳ３０２では、検出用ラベル生成部３４４は、画像コード系列、音声コード系列、対象物コード系列、及び、ダミーのハイライトラベル系列の４系列の検出用ラベル系列を生成する。
【０６９５】
そして、検出用ラベル生成部３４４は、検出用ラベル系列を、最尤状態系列推定部３４６に供給して、処理は、ステップＳ３０２からステップＳ３０３に進む。
【０６９６】
ステップＳ３０３では、検出器選択部３４５は、検出器記憶部２９２に記憶されたハイライト検出器の中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられたハイライト検出器を、注目検出器に選択する。そして、検出器選択部３４５は、検出器記憶部２９２に記憶されたハイライト検出器の中から、注目検出器を取得し、最尤状態系列推定部３４６とハイライトシーン検出部３４７とに供給して、処理は、ステップＳ３０３からステップＳ３０４に進む。
【０６９７】
ステップＳ３０４では、最尤状態系列推定部３４６は、検出器選択部３４５からの注目検出器において、検出用ラベル生成部３４４からの検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる最尤状態系列（ハイライト関係状態系列）を推定する。
【０６９８】
そして、最尤状態系列推定部３４６は、ハイライト関係状態系列を、ハイライトシーン検出部３４７に供給して、処理は、ステップＳ３０４からステップＳ３０５に進む。
【０６９９】
ステップＳ３０５では、ハイライトシーン検出部３４７は、最尤状態系列推定部３４６からのハイライト関係状態系列の各状態のハイライトラベルの観測確率を、検出器選択部３４５からの注目検出器としてのHMMから認識し、その観測確率に基づいて、注目コンテンツから、ハイライトシーンを検出して、ハイライトフラグを出力するハイライトシーン検出処理を行う。
【０７００】
そして、ハイライトシーン検出処理の終了後、処理は、ステップＳ３０５からステップＳ３０６に進み、ダイジェストコンテンツ生成部３４８は、コンテンツ選択部７１からの注目コンテンツのフレームから、ハイライトシーン検出部３４７が出力するハイライトフラグによって特定されるハイライトシーンのフレームを抽出する。
【０７０１】
さらに、ダイジェストコンテンツ生成部３４８は、注目コンテンツのフレームから抽出したハイライトシーンのフレームを用いて、注目コンテンツのダイジェストコンテンツを生成し、再生制御部３４９に供給して、処理は、ステップＳ３０６からステップＳ３０７に進む。
【０７０２】
ステップＳ３０７では、再生制御部４９は、ダイジェストコンテンツ生成部３４８からのダイジェストコンテンツを再生する再生制御を行う。
【０７０３】
尚、ステップＳ３０５におけるハイライトシーン検出処理については、図２０におけるステップＳ８９の処理、すなわち、図２１のフローチャートを参照して説明した処理と同様であるので、その説明は省略するものとする。
【０７０４】
以上のように、ハイライト検出部２９３は、ハイライト検出器において、画像、音声、及び、対象物それぞれの特徴量をクラスタリングすることにより得られる画像コード系列、音声コード系列、及び、対象物コード系列と、ダミーのハイライトラベル系列とからなる検出用ラベル系列が観測される最尤状態系列であるハイライト関係状態系列を推定する。そして、ハイライト検出部２９３は、そのハイライト関係状態系列の各状態のハイライトラベルの観測確率に基づいて、注目コンテンツから、ハイライトシーンのフレームを検出して、そのハイライトシーンのフレームを用いて、ダイジェストコンテンツを生成する。
【０７０５】
また、ハイライト検出器は、コンテンツの画像コード系列、音声コード系列、および対象物コード系列、並びにユーザの操作に応じて生成されるハイライトラベル系列の４系列の組み合わせからなる学習用ラベル系列を用いて、ハイライト検出器としてのHMMの学習を行うことにより得られる。
【０７０６】
したがって、ダイジェストコンテンツを生成する注目コンテンツが、コンテンツモデルや、ハイライト検出器の学習に用いられていない場合であっても、注目コンテンツと同一のカテゴリのコンテンツを用いての、コンテンツモデル、及び、ハイライト検出器の学習が行われていれば、そのコンテンツモデル、及び、ハイライト検出器を用いて、ユーザの興味があるシーンを、ハイライトシーンとして集めたダイジェスト（ダイジェストコンテンツ）を、容易に得ることができる。
【０７０７】
［スクラップブック生成部２０５の構成例］
【０７０８】
図４７は、図３５のスクラップブック生成部２０５の構成例を示すブロック図である。
【０７０９】
スクラップブック生成部２０５は、初期スクラップブック生成部３７１、初期スクラップブック記憶部３７２、登録スクラップブック生成部３７３、登録スクラップブック記憶部３７４、及び、再生制御部３７５から構成される。
【０７１０】
初期スクラップブック生成部３７１、初期スクラップブック記憶部３７２、登録スクラップブック生成部３７３、登録スクラップブック記憶部３７４、及び、再生制御部３７５は、基本的に初期スクラップブック生成部１０１ないし再生制御部１０５と同様である。しかしながら、いずれも、画像特徴量に基づいた画像コンテンツモデルだけでなく、さらに、音声特徴量に基づいた音声コンテンツモデル、および対象物特徴量に基づいた対象物コンテンツモデルに対応した処理を実行する。
【０７１１】
［初期スクラップブック生成部３７１の構成例］
【０７１２】
図４８は、図４７の初期スクラップブック生成部３７１の構成例を示すブロック図である。尚、図４８の初期スクラップブック生成部３７１の構成において、図２３の初期スクラップブック生成部１０１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【０７１３】
また、図４８において、初期スクラップブック生成部３７１の、画像モデル選択部４１１、画像特徴量抽出部４１２、画像最尤状態系列推定部４１３、画像状態対応画像情報生成部４１４、画像状態間距離算出部４１５、画像座標算出部４１６、画像マップ描画部４１７は、それぞれモデル選択部１１２、特徴量抽出部１１３、最尤状態系列推定部１１４、状態対応画像情報生成部１１５、状態間距離算出部１１６、座標算出部１１７、およびマップ描画部１１８と同一であるので、その説明は省略する。
【０７１４】
すなわち、画像モデル選択部４１１ないし画像マップ描画部４１７は、コンテンツ構造提示部１４（図９）のモデル選択部３２ないしマップ描画部３８と同様に構成され、図１３で説明した画像特徴量に基づいたコンテンツ構造提示処理を行う。
【０７１５】
また、音声モデル選択部４２１、音声特徴量抽出部４２２、音声最尤状態系列推定部４２３、音声状態対応画像情報生成部４２４、音声状態間距離算出部４２５、音声座標算出部４２６、および音声マップ描画部４２７は、いずれも扱う対象が音声特徴量であることを除き、画像モデル選択部４１１、画像特徴量抽出部４１２ないし画像マップ描画部４１７と同様の処理を行う。
【０７１６】
さらに、対象物モデル選択部４２８、対象物特徴量抽出部４２９、対象物最尤状態系列推定部４３０、対象物状態対応画像情報生成部４３１、対象物状態間距離算出部４３２、対象物座標算出部４３３、および対象物マップ描画部４３４は、いずれも扱う対象が対象物特徴量であることを除き、それぞれ画像モデル選択部４１１ないし画像マップ描画部４１７と同様の処理を行う。
【０７１７】
また、表示制御部４１８、状態選択部４１９、及び、選択状態登録部４２０は、図２３の表示制御部１１９、状態選択部１２１、及び、選択状態登録部１２２と、それぞれ同様の処理を行う。
【０７１８】
従って、初期スクラップブック生成部３７１では、コンテンツ構造提示処理が行われることにより、モデルマップ（図１１、図１２）が、画像特徴量、音声特徴量、および対象物特徴量のそれぞれに基づいて、図示せぬディスプレイに表示される。そして、画像特徴量、音声特徴量、および対象物特徴量のそれぞれに基づいたモデルマップ上の状態が、ユーザの操作によって指定された場合に、その指定された状態（選択状態）の状態IDが、（空の）スクラップブックに登録される。
【０７１９】
図４９は、ユーザがモデルマップ上の状態を指定するための、表示制御部４１８が表示制御を行うことによって表示されるユーザインターフェースの例を示す図である。尚、図２４のウィンドウ１３１における表示と、同一の機能を備える表示については、同一の符号を付しており、その説明は適宜省略するものとする。
【０７２０】
図４９では、ウインドウ４５１に、画像マップ描画部４１７で生成された画像特徴量に基づいたモデルマップ４６２、および、音声マップ描画部４２７で生成された音声特徴量に基づいたモデルマップ４６３が表示されている。尚、図４９の例においては、示されていないが、対象物マップ描画部４３４で生成された対象物特徴量に基づいたモデルマップも合わせて表示することも当然のことながら可能である。また、画像特徴量、音声特徴量、および対象物特徴量以外の他の特徴量を扱う場合、さらに、他の特徴量に基づいたモデルマップを描画して表示させることもできる。さらに、それぞれのモデルマップを異なるウィンドウにして表示することもできる。
【０７２１】
ウインドウ４５１内のモデルマップ４６２，４６３上の状態は、ユーザが指定することにより、いわゆるフォーカスをあてることができる。ユーザによる状態の指定は、例えば、マウス等のポインティングデバイスでクリックすることや、ポインティングデバイスの操作に応じて移動するカーソルを、フォーカスをあてようとする状態の位置に移動すること等によって行うことができる。
【０７２２】
また、モデルマップ４６２，４６３上の状態のうち、既に、選択状態になっている状態と、選択状態になっていない状態とは、異なる色等の、異なる表示形式で表示することができる。
【０７２３】
ウインドウ４５１の下部における表示において、図２４のウィンドウ１３１と異なるのは、状態ID入力欄１３３に代えて、画像状態ID入力欄４７１、および音声状態ID入力欄４７２が設けられている点である。
【０７２４】
画像状態ID入力欄４７１には、画像特徴量に基づいたモデルマップ４６２上の状態のうちの、フォーカスがあたっている状態の状態IDが表示される。
【０７２５】
音声状態ID入力欄４７２には、音声特徴量に基づいたモデルマップ４６３上の状態のうちの、フォーカスがあたっている状態の状態IDが表示される。
【０７２６】
なお、画像状態ID入力欄４７１、および音声状態ID入力欄４７２には、ユーザが、直接、状態IDを入力することもできる。また、対象物特徴量に基づいたモデルマップが表示される場合、併せて対象物状態ID入力欄も表示される。
【０７２７】
ウインドウ４６１は、モデルマップ４６２，４６３上の状態のうちの、フォーカスがあたっている状態に、コンテンツ構造提示処理で生成された状態対応画像情報がリンク付けされている場合にオープンする。そして、ウインドウ４６１には、フォーカスがあたっている状態にリンク付けされている状態対応画像情報が表示される。
【０７２８】
なお、ウインドウ４６１には、モデルマップ４６２，４６３上の、フォーカスがあたっている状態と、その状態に近い位置の状態とのそれぞれにリンク付けされた状態対応画像情報を表示することが可能である。また、ウインドウ４６１には、モデルマップ４６２，４６３上のすべての状態のそれぞれにリンク付けされた状態対応画像情報を、時間的にシーケンシャルに、又は、空間的に並列的に表示することが可能である。
【０７２９】
ユーザは、ウインドウ４５１に表示されたモデルマップ４６２，４６３上の任意の状態をクリックすること等によって指定することができる。
【０７３０】
ユーザによって状態が指定されると、表示制御部４１８（図４８）は、ユーザによって指定された状態にリンク付けされた状態対応画像情報を、ウインドウ４６１に表示する。
【０７３１】
これにより、ユーザは、モデルマップ４６２，４６３上の状態に対応するフレームの画像を確認することができる。
【０７３２】
図４８の初期スクラップブック生成部３７１では、選択状態登録部４２０により、画像モデルマップ、音声モデルマップ、および対象物モデルマップの選択状態の状態IDが、初期スクラップブックに登録される。
【０７３３】
すなわち、図４８の初期スクラップブック生成部３７１による初期スクラップブック生成処理は、画像モデルマップ（画像特徴量に基づいたモデルマップ）（画像特徴量を用いたコンテンツモデル学習処理により得られる画像コンテンツモデルのコードモデル(HMM)を用いて生成されるモデルマップ）、音声モデルマップ（音声特徴量に基づいたモデルマップ）、および対象物モデルマップ（対象物特徴量に基づいたモデルマップ）それぞれについて、図２５を参照して説明した処理と同様であるので、その説明は省略するものとする。
【０７３４】
但し、図４８の初期スクラップブック生成部３７１では、画像モデルマップ、音声モデルマップ、及び、対象物モデルマップのうちの、あるモデルマップから選択（指定）された選択状態と、他のモデルマップから選択された選択状態とに、同一のフレームが対応する場合、それらの選択状態（の状態ID）は、関連づけて、初期スクラップブックに登録される。
【０７３５】
すなわち、例えば、いま、画像モデルマップと音声モデルマップとに注目する。
【０７３６】
注目コンテンツの各フレームは、画像モデルマップ上のいずれかの状態に対応し、音声モデルマップ上のいずれかの状態にも対応する。
【０７３７】
したがって、画像モデルマップから選択された選択状態と、音声モデルマップから選択された選択状態とに、注目コンテンツの同一のフレームが対応する場合がある。
【０７３８】
この場合、同一のフレームに対応する、画像モデルマップから選択された選択状態と、音声モデルマップから選択された選択状態とは、関連づけて、初期スクラップブックに登録される。
【０７３９】
画像モデルマップ、音声モデルマップ、及び、対象物モデルマップのうちの、任意の２つのモデルマップそれぞれから選択された２つの選択状態に、同一のフレームが対応する場合の他、画像モデルマップ、音声モデルマップ、及び、対象物モデルマップの３つのモデルマップそれぞれから選択された３つの選択状態に、同一のフレームが対応する場合も、その３つの選択状態は、関連づけて、初期スクラップブックに登録される。
【０７４０】
なお、初期スクラップブックに登録された選択状態の状態ID（登録状態ID）のうちの、画像モデルマップから選択された選択状態（画像コンテンツモデルのコードモデルの状態）の状態IDを、以下、適宜、画像登録状態IDともいう。
【０７４１】
同様に、初期スクラップブックに登録された登録状態IDのうちの、音声モデルマップから選択された選択状態（音声コンテンツモデルのコードモデルの状態）の状態IDを、以下、適宜、音声登録状態IDともいい、対象物モデルマップから選択された選択状態（対象物コンテンツモデルのコードモデルの状態）の状態IDを、以下、適宜、対象物登録状態IDともいう。
【０７４２】
［登録スクラップブック生成部３７３の構成例］
【０７４３】
図５０は、図４７の登録スクラップブック生成部３７３の構成例を示すブロック図である。尚、図５０の登録スクラップブック生成部３７３において、図２６の登録スクラップブック生成部１０３における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【０７４４】
図５０において、画像モデル選択部５０１、画像特徴量抽出部５０２、画像最尤状態系列推定部５０３、及び、フレーム登録部５０５は、図２６におけるモデル選択部１４３ないし最尤状態系列推定部１４５、及び、フレーム登録部１４７と同一であるので、その説明は省略する。
【０７４５】
また、音声モデル選択部５０６、音声特徴量抽出部５０７、および音声最尤状態系列推定部５０８は、扱う対象が音声特徴量に対応したものであることを除き、画像モデル選択部５０１ないし画像最尤状態系列推定部５０３と同様であるので、その説明は省略する。
【０７４６】
さらに、対象物モデル選択部５０９、対象物特徴量抽出部５１０、および対象物最尤状態系列推定部５１１は、扱う処理対象が対象物特徴量に対応したものであることを除き、画像モデル選択部５０１ないし画像最尤状態系列推定部５０３と同様である。そこで、それらの説明は省略する。
【０７４７】
フレーム抽出部５０４は、基本的に図２６のフレーム抽出部１４６と同様の機能を備えたものであるが、扱う状態系列が異なる。すなわち、フレーム抽出部５０４は、画像最尤状態系列（画像特徴量の画像コード系列が観測される最尤状態系列）、音声最尤状態系列（音声特徴量の音声コード系列が観測される最尤状態系列）、および対象物最尤状態系列（対象物特徴量の対象物コード系列が観測される最尤状態系列）の各状態IDが、スクラップブック選択部１４１からの注目スクラップブックに登録されている登録状態IDに一致するかどうかを判定する。
【０７４８】
さらに、フレーム抽出部５０４は、状態IDが、スクラップブック選択部１４１からの注目スクラップブックに登録されている登録状態IDに一致する状態（画像最尤状態系列、音声最尤状態系列、又は、対象物最尤状態系列の状態）に対応するフレームを、注目コンテンツから抽出し、フレーム登録部５０５に供給する。
【０７４９】
［登録スクラップブック生成部３７３による登録スクラップブック生成処理］
【０７５０】
図５１は、図５０の登録スクラップブック生成部３７３が行う登録スクラップブック生成処理を説明するフローチャートである。
【０７５１】
ステップＳ３３１において、スクラップブック選択部１４１は、初期スクラップブック記憶部３７２に記憶された初期スクラップブックのうちの、まだ、注目スクラップブックに選択されたことがない初期スクラップブックの１つを、注目スクラップブックに選択する。
【０７５２】
そして、スクラップブック選択部１４１は、注目スクラップブックを、フレーム抽出部５０４、及び、フレーム登録部５０５に供給する。さらに、スクラップブック選択部１４１は、注目スクラップブックに対応付けられたカテゴリを、コンテンツ選択部１４２、画像モデル選択部５０１、音声モデル選択部５０６、および対象物モデル選択部５０９に供給する。そして、処理は、ステップＳ３３１からステップＳ３３２に進む。
【０７５３】
ステップＳ３３２では、コンテンツ選択部１４２は、コンテンツ記憶部１１に記憶されたコンテンツのうちの、スクラップブック選択部１４１からのカテゴリのコンテンツの中で、注目コンテンツに選択されていないコンテンツの１つを、注目コンテンツに選択する。
【０７５４】
そして、コンテンツ選択部１４２は、注目コンテンツを、画像特徴量抽出部５０２、音声特徴量抽出部５０７、対象物特徴量抽出部５１０、及び、フレーム抽出部５０４に供給して、処理は、ステップＳ３３２からステップＳ３３３に進む。
【０７５５】
ステップＳ３３３では、画像モデル選択部５０１は、画像モデル記憶部２０２ａに記憶された画像コンテンツモデルの中から、スクラップブック選択部１４１からのカテゴリに対応付けられた画像コンテンツモデルを、注目モデルに選択する。
【０７５６】
そして、画像モデル選択部５０１は、注目モデルを、画像最尤状態系列推定部５０３に供給し、処理は、ステップＳ３３３からステップＳ３３４に進む。
【０７５７】
ステップＳ３３４では、画像特徴量抽出部５０２は、コンテンツ選択部１４２から供給される注目コンテンツの各フレームの画像特徴量を抽出し、注目コンテンツの各フレームの画像特徴量（の時系列）を、画像最尤状態系列推定部５０３に供給する。
【０７５８】
その後、処理は、ステップＳ３３４からステップＳ３３５に進む。ステップＳ３３５において、画像最尤状態系列推定部５０３は、画像モデル選択部５０１からの注目モデルである画像コンテンツモデルのクラスタ情報を用いて、画像特徴量抽出部５０２からの注目コンテンツの画像特徴量（の時系列）をクラスタリングし、注目コンテンツの画像特徴量の画像コード系列を求める。
【０７５９】
さらに、画像最尤状態系列推定部５０３は、例えば、Viterbiアルゴリズムに従い、注目モデルである画像コンテンツモデルのHMM（注目コードモデル）において、注目コンテンツの画像特徴量の画像コード系列が観測される尤度が最も高い状態遷移が生じる最尤状態系列（以下、注目コンテンツに対する注目コードモデルの画像最尤状態系列ともいう）を推定する。
【０７６０】
そして、画像最尤状態系列推定部５０３は、注目コンテンツに対する注目コードモデルの画像最尤状態系列を、フレーム抽出部５０４に供給して、処理は、ステップＳ３３５からステップＳ３３６に進む。
【０７６１】
ステップＳ３３６では、音声モデル選択部５０６は、音声モデル記憶部２０２ｂに記憶された音声コンテンツモデルの中から、スクラップブック選択部１４１からのカテゴリに対応付けられた音声コンテンツモデルを、注目モデルに選択する。
【０７６２】
そして、音声モデル選択部５０６は、注目モデルを、音声最尤状態系列推定部５０８に供給し、処理は、ステップＳ３３６からステップＳ３３７に進む。
【０７６３】
ステップＳ３３７では、音声特徴量抽出部５０７は、コンテンツ選択部１４２から供給される注目コンテンツの各フレームの音声特徴量を抽出し、注目コンテンツの各フレームの音声特徴量（の時系列）を、音声最尤状態系列推定部５０８に供給する。
【０７６４】
その後、処理は、ステップＳ３３７からステップＳ３３８に進む。ステップＳ３３８において、音声最尤状態系列推定部５０８は、音声モデル選択部５０６からの注目モデルである音声コンテンツモデルのクラスタ情報を用いて、音声特徴量抽出部５０７からの注目コンテンツの音声特徴量（の時系列）をクラスタリングし、注目コンテンツの音声特徴量の音声コード系列を求める。
【０７６５】
さらに、音声最尤状態系列推定部５０８は、例えば、Viterbiアルゴリズムに従い、音声モデル選択部５０６からの注目モデルである音声コンテンツモデルのHMMにおいて、注目コンテンツの音声特徴量の音声コード系列が観測される尤度が最も高い状態遷移が生じる最尤状態系列（以下、注目コンテンツに対する注目コードモデルの音声最尤状態系列ともいう）を推定する。
【０７６６】
そして、音声最尤状態系列推定部５０８は、注目コンテンツに対する注目コードモデルの音声最尤状態系列を、フレーム抽出部５０４に供給して、処理は、ステップＳ３３８からステップＳ３３９に進む。
【０７６７】
ステップＳ３３９では、対象物モデル選択部５０９は、対象物モデル記憶部２０２ｃに記憶された対象物コンテンツモデルの中から、スクラップブック選択部１４１からのカテゴリに対応付けられた対象物コンテンツモデルを、注目モデルに選択する。
【０７６８】
そして、対象物モデル選択部５０９は、注目モデルを、対象物最尤状態系列推定部５１１に供給し、処理は、ステップＳ３３９からステップＳ３４０に進む。
【０７６９】
ステップＳ３４０では、対象物特徴量抽出部５１０は、コンテンツ選択部１４２から供給される注目コンテンツの各フレームの対象物特徴量を抽出し、注目コンテンツの各フレームの対象物特徴量（の時系列）を、対象物最尤状態系列推定部５１１に供給する。
【０７７０】
その後、処理は、ステップＳ３４０からステップＳ３４１に進む。ステップＳ３４１において、対象物最尤状態系列推定部５１１は、対象物モデル選択部５０９からの注目モデルである対象物コンテンツモデルのクラスタ情報を用いて、対象物特徴量抽出部５１０からの注目コンテンツの対象物特徴量をクラスタリングし、注目コンテンツの対象物特徴量の対象物コード系列を求める。
【０７７１】
さらに、対象物最尤状態系列推定部５１１は、例えば、Viterbiアルゴリズムに従い、対象物モデル選択部５０９からの注目モデルである対象物コンテンツモデルのHMMにおいて、注目コンテンツの対象物特徴量の対象物コード系列が観測される尤度が最も高い状態遷移が生じる最尤状態系列（以下、注目コンテンツに対する注目コードモデルの対象物最尤状態系列ともいう）を推定する。
【０７７２】
そして、対象物最尤状態系列推定部５１１は、注目コンテンツに対する注目コードモデルの対象物最尤状態系列を、フレーム抽出部５０４に供給して、処理は、ステップＳ３４１からステップＳ３４２に進む。
【０７７３】
ステップＳ３４２では、フレーム抽出部５０４は、時刻（注目コンテンツのフレーム数）をカウントする変数tに、初期値としての1をセットして、処理は、ステップＳ３４３に進む。
【０７７４】
ステップＳ３４３では、フレーム抽出部５０４は、画像最尤状態系列、音声最尤状態系列、又は、対象物最尤状態系列の時刻tの状態（先頭からt番目の状態）の状態IDが、スクラップブック選択部１４１からの注目スクラップブックに登録されている選択状態の登録状態IDのいずれかに一致するかどうかを判定する。
【０７７５】
ステップＳ３４３において、注目コンテンツに対する注目コードモデルの画像最尤状態系列、音声最尤状態系列、又は、対象物最尤状態系列の時刻tの状態の状態IDが、注目スクラップブックの登録状態IDのいずれかに一致すると判定された場合、処理は、ステップＳ３４４に進む。
【０７７６】
ここで、いまの場合、スクラップブックの登録状態IDには、画像登録状態ID、音声登録状態ID、及び、対象物登録状態IDの３種類がある。
【０７７７】
このため、画像最尤状態系列、音声最尤状態系列、又は、対象物最尤状態系列の時刻tの状態の状態IDが、注目スクラップブックの登録状態IDのいずれかに一致する場合とは、画像最尤状態系列の時刻tの状態の状態IDが、注目スクラップブックの画像登録状態IDのいずれかに一致する場合、音声最尤状態系列の時刻tの状態の状態IDが、注目スクラップブックの音声登録状態IDのいずれかに一致する場合、及び、対象物最尤状態系列の時刻tの状態の状態IDが、注目スクラップブックの対象物登録状態IDのいずれかに一致する場合の３つの場合がある。
【０７７８】
ステップＳ３４４において、フレーム抽出部５０４は、コンテンツ選択部１４２からの注目コンテンツから、時刻tのフレームを抽出し、フレーム登録部５０５に供給して、処理は、ステップＳ３４５に進む。
【０７７９】
また、ステップＳ３４３において、注目モデルの画像最尤状態系列、音声最尤状態系列、および対象物最尤状態系列の時刻tの状態の状態IDが、注目スクラップブックの登録状態IDのいずれかにも一致しない場合、処理は、ステップＳ３４５に進む。すなわち、ステップＳ３４４はスキップされる。
【０７８０】
ステップＳ３４５では、フレーム抽出部５０４は、変数tが、注目コンテンツのフレームの総数NFに等しいかどうかを判定する。
【０７８１】
ステップＳ３４５において、変数tが、注目コンテンツのフレームの総数NFに等しくないと判定された場合、処理は、ステップＳ３４６に進み、フレーム抽出部５０４は、変数tを1だけインクリメントする。その後、処理は、ステップＳ３４６からステップＳ３４３に戻り、以下、同様の処理が繰り返される。
【０７８２】
また、ステップＳ３４５において、変数tが、注目コンテンツのフレームの総数NFに等しいと判定された場合、処理は、ステップＳ３４７に進む。
【０７８３】
ステップＳ３４７において、フレーム登録部５０５は、フレーム抽出部５０４から供給されたフレーム、すなわち、注目コンテンツから抽出されたフレームすべてを、スクラップブック選択部１４１からの注目スクラップブックに登録する。
【０７８４】
その後、処理は、ステップＳ３４７からステップＳ３４８に進む。ステップＳ３４８において、コンテンツ選択部１４２は、コンテンツ記憶部１１に記憶された、カテゴリが注目スクラップブックに対応付けられたカテゴリと同一のコンテンツの中で、まだ、注目コンテンツに選択されていないコンテンツがあるかどうかを判定する。
【０７８５】
ステップＳ３４８において、コンテンツ記憶部１１に記憶された、カテゴリが注目スクラップブックに対応付けられたカテゴリと同一のコンテンツの中で、注目コンテンツに選択されていないコンテンツがあると判定された場合、処理は、ステップＳ３３２に戻る。
【０７８６】
また、ステップＳ３４８において、コンテンツ記憶部１１に記憶された、カテゴリが注目スクラップブックに対応付けられたカテゴリと同一のコンテンツに、注目コンテンツに選択されていないコンテンツがないと判定された場合、処理は、ステップＳ３４９に進む。
【０７８７】
ステップＳ３４９において、フレーム登録部５０５は、注目スクラップブックを、登録スクラップブックとして、登録スクラップブック記憶部３７４に出力し、登録スクラップブック生成処理を終了する。
【０７８８】
図５２を参照して、登録スクラップブック生成部３７３が行う登録スクラップブック生成処理について、図２８において説明した登録スクラップブック生成部１０３による画像特徴量のみを用いた場合のスクラップブック生成処理との違いについて説明する。
【０７８９】
すなわち、図２８のＥでは、注目スクラップブックの画像登録状態IDとして、"1"と"3"が登録されており、注目コンテンツからは、画像特徴量に基づいた状態ID（（画像）コンテンツモデルのHMMにおいて、注目コンテンツの画像特徴量の（画像）コード系列が観測される画像最尤状態系列の状態の状態ID）が"1"及び"3"のそれぞれのフレームが抽出されている。
【０７９０】
そして、図２８のＦで示されるように、スクラップブックには、注目コンテンツから抽出されたフレームが、その時間的な前後関係を維持する形で、例えば、動画として、登録される。
【０７９１】
一方、画像特徴量以外の特徴量をも用いた場合、すなわち、例えば、画像特徴量と音声特徴量を用いた場合、図５２で示されるように、注目スクラップブックの登録状態IDとして、"V1","V3","A5","V2&A6"が登録されることがある。
【０７９２】
ここで、図５２において、"V1"等の"V"の文字とそれに続く数字からなる文字列は、登録状態IDのうちの、画像登録状態IDを表し、"A5"等の"A"の文字とそれに続く数字からなる文字列は、登録状態IDのうちの、音声登録状態IDを表す。
【０７９３】
また、図５２において、"V2&A6"は、画像登録状態IDである"V2"と、音声登録状態IDである"A6"とが関連づけられていることを表す。
【０７９４】
図５２に示したように、注目スクラップブックに、登録状態IDとして、"V1","V3","A5","V2&A6"が登録されている場合、フレーム抽出部５０４（図５０）では、注目コンテンツから、画像特徴量に基づいた状態IDが、画像登録状態ID="V1"に一致するフレーム、及び、画像登録状態ID="V3"に一致するフレームが抽出されるとともに、音声特徴量に基づいた状態IDが、音声登録状態ID="A5"に一致するフレームが抽出される。
【０７９５】
さらに、フレーム抽出部５０４では、注目コンテンツから、画像特徴量に基づいた状態IDが、画像登録状態ID="V2"に一致し、かつ、音声特徴量に基づいた状態IDが、音声登録状態ID="A6"に一致するフレームが抽出される。
【０７９６】
したがって、複数の特徴量を考慮して、フレームが選択されることになるので、画像特徴量のみを用いた場合よりも、さらに高い精度でユーザの興味があるフレームを集めたスクラップブックを得ることが可能となる。
【０７９７】
尚、図５２においては、画像特徴量、および音声特徴量を用いた例が示されているが、当然の事ながら、対象物特徴量をさらに用いるようにしてもよいものである。
【０７９８】
また、以上においては、画像特徴量、音声特徴量、および対象物特徴量を用いた例について説明してきたが、さらに、異なる特徴量を組み合わせて利用するようにしても良いし、それらを単独で利用するようにしてもよい。さらに、対象物の種類に応じて対象物特徴量を設定し、それらを区別して利用するようにしても良く、例えば、対象物として人物の全体像、上半身、および顔画像等をそれぞれ個別の対象物特徴量として用いるようにしてもよい。
【０７９９】
［本発明を適用したコンピュータの説明］
【０８００】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０８０１】
そこで、図５３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０８０２】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１００５やROM１００３に予め記録しておくことができる。
【０８０３】
あるいはまた、プログラムは、ドライブ１００９に装着されるリムーバブル記録媒体１０１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１０１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１０１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０８０４】
なお、プログラムは、上述したようなリムーバブル記録媒体１０１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１００５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０８０５】
コンピュータは、CPU(Central Processing Unit)１００２を内蔵しており、CPU１００２には、バス１００１を介して、入出力インタフェース１０１０が接続されている。
【０８０６】
CPU１００２は、入出力インタフェース１０１０を介して、ユーザによって、入力部１００７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１００３に格納されているプログラムを実行する。あるいは、CPU１００２は、ハードディスク１００５に格納されたプログラムを、RAM(Random Access Memory)１００４にロードして実行する。
【０８０７】
これにより、CPU１００２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１００２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１０１０を介して、出力部１００６から出力、あるいは、通信部１００８から送信、さらには、ハードディスク１００５に記録等させる。
【０８０８】
なお、入力部１００７は、キーボードや、マウス、マイク等で構成される。また、出力部１００６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０８０９】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０８１０】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０８１１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０８１２】
１１  コンテンツ記憶部，  １２  コンテンツモデル学習部，  １３  モデル記憶部，  １４  コンテンツ構造提示部，  １５  ダイジェスト生成部，  １６  スクラップブック生成部，  ２１  学習用コンテンツ選択部，  ２２  特徴量抽出部，  ２３  フレーム分割部，  ２４  サブ領域特徴量抽出部，  ２５  結合部，  ２６  特徴量記憶部，  ２７  学習部，  ３１  コンテンツ選択部，  ３２  モデル選択部，  ３３  特徴量抽出部，  ３４  最尤状態系列推定部，  ３５  状態対応画像情報生成部，  ３６  状態間距離算出部，  ３７  座標算出部，  ３８  マップ描画部，  ３９  表示制御部，  ５１  ハイライト検出器学習部，  ５２  検出器記憶部，  ５３  ハイライト検出部，  ６１  コンテンツ選択部，  ６２  モデル選択部，  ６３  特徴量抽出部，  ６４  クラスタリング部，  ６５  ハイライトラベル生成部，  ６６  学習用ラベル生成部，  ６７  学習部，  ７１  コンテンツ選択部，  ７２  モデル選択部，  ７３  特徴量抽出部，  ７４  クラスタリング部，  ７５  検出用ラベル生成部，  ７６  検出器選択部，  ７７  最尤状態系列推定部，  ７８  ハイライトシーン検出部，  ７９  ダイジェストコンテンツ生成部，  ８０  再生制御部，  １０１  初期スクラップブック生成部，  １０２  初期スクラップブック記憶部，  １０３  登録スクラップブック生成部，  １０４  登録スクラップブック記憶部，  １０５  再生制御部，  １１１  コンテンツ選択部，  １１２  モデル選択部，  １１３  特徴量抽出部，  １１４  最尤状態系列推定部，  １１５  状態対応画像情報生成部，  １１６  状態間距離算出部，  １１７  座標算出部，  １１８  マップ描画部，  １１９  表示制御部，  １２１  状態選択部，  １２２  選択状態登録部，  １４１  スクラップブック選択部，  １４２  コンテンツ選択部，  １４３  モデル選択部，  １４４  特徴量抽出部，  １４５  最尤状態系列推定部，  １４６  フレーム抽出部，  １４７  フレーム登録部，  ２０１  コンテンツモデル学習部，  ２０２  モデル記憶部，  ２０２ａ  画像モデル記憶部，  ２０２ｂ  音声モデル記憶部，  ２０２ｃ  対象物モデル記憶部，  ２０３  コンテンツ構造提示部，  ２０４  ダイジェスト生成部，  ２０５  スクラップブック生成部，  ２２０  画像特徴量抽出部，  ２２１  音声特徴量抽出部，  ２２２  音声特徴量記憶部，  ２２３  学習部，  ２２４  対象物特徴量抽出部，  ２２５  対象物特徴量記憶部，  ２２６  学習部，  ２４１  プリミティブ特徴量抽出部，  ２４２  平均算出部，  ２４３  分散算出部，  ２２４  結合部，  ２６１  対象物抽出部，  ２６２  フレーム分割部，  ２６３  サブ領域特徴量抽出部，  ２６４  結合部，  ２９１  ハイライト検出器学習部，  ２９２  検出器記憶部，  ２９３  ハイライト検出部，  ３１１  画像モデル選択部，  ３１２  画像特徴量抽出部，  ３１３  画像クラスタリング部，  ３１４  学習用ラベル生成部，  ３１５  学習部，  ３１６  音声モデル選択部，  ３１７  音声特徴量抽出部，  ３１８  音声クラスタリング部，  ３１９  対象物モデル選択部，  ３２０  対象物特徴量抽出部，  ３２１  対象物クラスタリング部，  ３４１  画像モデル選択部，  ３４２  画像特徴量抽出部，  ３４３  画像クラスタリング部，  ３４４  検出用ラベル生成部，  ３４５  検出器選択部，  ３４６  最尤状態系列推定部，  ３４７  ハイライトシーン検出部，  ３４８  ダイジェストコンテンツ生成部，  ３４９  再生制御部，  ３５０  音声モデル選択部，  ３５１  音声特徴量抽出部，  ３５２  音声クラスタリング部，  ３５３  対象物モデル選択部，  ３５４  対象物特徴量抽出部，  ３５５  対象物クラスタリング
部，  ３７１  初期スクラップブック生成部，  ３７２  初期スクラップブック記憶部，  ３７３  登録スクラップブック生成部，  ３７４  登録スクラップブック記憶部，  ３７５  再生制御部，  ４１１  画像モデル選択部，  ４１２  画像特徴量抽出部，  ４１３  画像最尤状態系列推定部，  ４１４  画像状態対応画像情報生成部，  ４１５  画像状態間距離算出部，  ４１６  画像座標算出部，  ４１７  画像マップ描画部，  ４１８  表示制御部，  ４１９  状態選択部，  ４２０  選択状態登録部，  ４２１  音声モデル選択部，  ４２２  音声特徴量抽出部，  ４２３  音声最尤状態系列推定部，  ４２４  音声状態対応画像情報生成部，  ４２５  音声状態間距離算出部，  ４２６  音声座標算出部，  ４２７  音声マップ描画部，  ４２８  対象物モデル選択部，  ４２９  対象物特徴量抽出部，  ４３０  対象物最尤状態系列推定部，  ４３１  対象物状態対応画像情報生成部，  ４３２  対象物状態間距離算出部，  ４３３  対象物座標算出部，  ４３４  対象物マップ描画部，  ５０１  画像モデル選択部，  ５０２  画像特徴量抽出部，  ５０３  画像最尤状態系列推定部，  ５０４  フレーム抽出部，  ５０５  フレーム登録部，  ５０６  音声モデル選択部，  ５０７  音声特徴量抽出部，  ５０８  音声最尤状態系列推定部  ５０９  対象物モデル選択部，  ５１０  対象物特徴量抽出部，  ５１１  対象物最尤状態系列推定部，  １００１  バス，  １００２  CPU，  １００３  ROM，  １００４  RAM，  １００５  ハードディスク，  １００６  出力部，  １００７  入力部，  １００８  通信部，  １００９  ドライブ，  １０１０  入出力インタフェース，  １０１１  リムーバブル記録媒体
【図１】
2011223287.tif 000006
【図２】
2011223287.tif 000007
【図３】
2011223287.tif 000008
【図４】
2011223287.tif 000009
【図５】
2011223287.tif 000010
【図６】
2011223287.tif 000011
【図７】
2011223287.tif 000012
【図８】
2011223287.tif 000013
【図９】
2011223287.tif 000014
【図１０】
2011223287.tif 000015
【図１１】
2011223287.tif 000016
【図１２】
2011223287.tif 000017
【図１３】
2011223287.tif 000018
【図１４】
2011223287.tif 000019
【図１５】
2011223287.tif 000020
【図１６】
2011223287.tif 000021
【図１７】
2011223287.tif 000022
【図１８】
2011223287.tif 000023
【図１９】
2011223287.tif 000024
【図２０】
2011223287.tif 000025
【図２１】
2011223287.tif 000026
【図２２】
2011223287.tif 000027
【図２３】
2011223287.tif 000028
【図２４】
2011223287.tif 000029
【図２５】
2011223287.tif 000030
【図２６】
2011223287.tif 000031
【図２７】
2011223287.tif 000032
【図２８】
2011223287.tif 000033
【図２９】
2011223287.tif 000034
【図３０】
2011223287.tif 000035
【図３１】
2011223287.tif 000036
【図３２】
2011223287.tif 000037
【図３３】
2011223287.tif 000038
【図３４】
2011223287.tif 000039
【図３５】
2011223287.tif 000040
【図３６】
2011223287.tif 000041
【図３７】
2011223287.tif 000042
【図３８】
2011223287.tif 000043
【図３９】
2011223287.tif 000044
【図４０】
2011223287.tif 000045
【図４１】
2011223287.tif 000046
【図４２】
2011223287.tif 000047
【図４３】
2011223287.tif 000048
【図４４】
2011223287.tif 000049
【図４５】
2011223287.tif 000050
【図４６】
2011223287.tif 000051
【図４７】
2011223287.tif 000052
【図４８】
2011223287.tif 000053
【図４９】
2011223287.tif 000054
【図５０】
2011223287.tif 000055
【図５１】
2011223287.tif 000056
【図５２】
2011223287.tif 000057
【図５３】
2011223287.tif 000058