(57)【要約】【課題】機械学習に基づく動画像ハイライト作成では、専門家が予め十分な数のサンプル動画像から抽出したトレーニング動画像を学習させた学習データファイルを作成しておく必要がある。一方、テレビ番組の放送内容は、たとえ同じ番組ジャンルであっても様々なパターンが存在するため、その全てを網羅する学習データを予め準備しておくことは困難である。【解決手段】ユーザがハイライト検出処理完了済のテレビ番組動画像を視聴中に、未検出のハイライト区間を見つけた場合、ユーザがそのハイライト区間をＵＩから選択すると、学習データに新たなトレーニングデータとして追加される。次回の検出処理では更新された学習データを使用することで、類似の特徴ベクトルを持つハイライトシーンが検出可能となる。さらに、学習データ更新時には、初期設定時の性能を著しく損なわぬよう、ユーザが追加できるデータの割合に制限を設けておく。【選択図】図１
2008022103.tif 000002
【特許請求の範囲】
【請求項１】
テレビ番組を録画した動画像から番組の重要シーンを自動抽出する装置において、重要シーンのサンプルデータであるトレーニング動画像から抽出した特徴ベクトルの発生パターンをモデル化した学習データを作成する学習データ作成部と、入力された動画像を一定時間間隔のセグメントに分割し、それぞれのセグメントから特徴ベクトルを抽出し、前記学習データを参照して特徴ベクトルの類似度を比較することによって重要シーンを検出する動画像解析部と、前記動画像解析部での未検出シーンを選択する重要シーン選択部を備え、前記重要シーン選択部で指定された未検出シーン動画像を前記学習データ作成部に入力すると、前記トレーニング動画像と前記未検出シーン動画像のそれぞれから特徴ベクトルを抽出し、特徴ベクトルの発生パターンを再度モデル化することにより学習データを更新することを特徴とするテレビ番組動画像ハイライト抽出装置。
【請求項２】
前記重要シーン選択部は、入力された動画像を再生し、前記動画像解析部で得られた重要シーンを表示する動画像再生部と、前記動画像解析部での未検出シーンを選択する未検出重要シーン選択部と、選択された未検出シーンの動画像を自動的に切り出し、前記学習データ作成部への入力とする選択シーン動画像抽出部を備えることを特徴とする請求項１に記載のテレビ番組動画像ハイライト抽出装置。
【請求項３】
前記学習データ作成部は、各番組ジャンルの特徴カテゴリごとに用意したトレーニング動画像それぞれに特徴カテゴリ識別ラベルを付与して保存する特徴カテゴリ分類保存部と、トレーニング動画像を一定時間間隔のセグメントに分割し、それぞれのセグメントについて音声信号または映像信号から直接的に求められる特徴ベクトルを抽出する第１の低次特徴量抽出部と、前記低次特徴量抽出部で抽出された特徴ベクトルから機械学習に従って学習データを作成し、番組ジャンルと関連づけて保存する特徴量学習部を備えることを特徴とする請求項１に記載のテレビ番組動画像ハイライト抽出装置。
【請求項４】
前記特徴カテゴリ分類保存部は、前記選択シーン動画像抽出部で切り出された未検出重要シーン動画像を、対応する番組ジャンルのトレーニング動画像と同じ識別ラベルを付与して保存することを特徴とする請求項３に記載のテレビ番組動画像ハイライト抽出装置。
【請求項５】
前記特徴カテゴリ分類保存部は、前記選択シーン動画像抽出部で切り出された未検出重要シーン動画像の再生長が、前記トレーニング動画像の再生長に対して一定の割合を超えないよう制限することを特徴とする請求項３に記載のテレビ番組動画像ハイライト抽出装置。
【請求項６】
前記動画像解析部は、音声信号または映像信号を一定時間間隔のセグメントに分割し、それぞれのセグメントについて音声信号または映像信号から直接的に求められる特徴ベクトルを抽出する第２の低次特徴量抽出部と、前記学習データ作成部で作成された学習データを参照し、特徴ベクトルの類似度を比較することによって求められる高次の特徴ベクトルを導出する高次特徴量抽出部と、前記高次の特徴ベクトルを入力すると、番組ジャンルごとに設定された知識ルールに従い、連続した複数のセグメントを重要シーンとして検出する重要シーン検出部を備えることを特徴とする請求項１に記載のテレビ番組動画像ハイライト抽出装置。
【請求項７】
重要シーンのサンプルデータであるトレーニング動画像から抽出した特徴ベクトルの発生パターンをモデル化した学習データを作成するステップと、入力された動画像を一定時間間隔のセグメントに分割し、それぞれのセグメントから特徴ベクトルを抽出し、前記作成された学習ファイルを参照して特徴ベクトルの類似度を比較することによって重要シーンを検出するステップと、前記検出された重要シーンに含まれない未検出シーン動画像を選択するステップと、前記選択された未検出シーン動画像を入力すると、前記トレーニング動画像と前記選択された未検出シーン動画像のそれぞれから特徴ベクトルを抽出し、特徴ベクトルの発生パターンを再度モデル化することにより学習データを更新するステップを有することを特徴とするテレビ番組動画像ハイライト抽出方法。
【請求項８】
請求項７に記載のテレビ番組動画像ハイライト抽出方法を含むプログラム。
【請求項９】
請求項８に記載のプログラムを記録した媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ番組動画像からハイライトシーンを抽出する技術に関し、特に機械学習に基づいたシーン識別方法を用いるアルゴリズムにおいて、ユーザが所望するハイライト抽出結果を得られなかった場合に、対話的に学習データを追加する手段を提供することによりハイライト抽出精度を向上させる装置および方法に関する。
【背景技術】
【０００２】
大容量のＨＤＤレコーダやテレビ録画機能付きＰＣの普及によりテレビ録画が手軽になったことに伴い、大量のコンテンツをＨＤＤ上に蓄積しておき、後でまとめて視聴するという視聴スタイルが一般的になりつつある。その一方で、録画された大量のコンテンツ数に対してユーザの視聴時間は限られており、録画はしたものの視聴する時間が無く、一度も見ないままＨＤＤ内に埋もれている死蔵コンテンツが増加している。そのため、ＨＤＤにため込まれた大量の録画コンテンツを限られた時間内で効率的に視聴するハイライト抽出技術への要求が高まっている。
【０００３】
従来のハイライト抽出技術としては、機械学習を用いる方法がよく知られている（例えば、特許文献１参照。）。機械学習を用いたハイライト抽出システムは、学習・認識の２つの過程で構成される。学習過程では、事前にトレーニングデータとして与えられたハイライトシーンの特徴ベクトルを学習し、確率モデルを構成する。認識過程では、学習過程で作成された確率モデルに従って、入力データの特徴量がハイライトシーンに含まれるか否かを判定する。
【０００４】
この方法は確率モデルを基礎としているため、事前に与えるトレーニングデータが、抽出すべきハイライトシーンのパターンを十分に網羅しているか否かが最終的なハイライト抽出結果を大きく左右する。通常、トレーニングデータを学習させる過程は、専門家であるプログラム設計者が手作業で行っているが、テレビ番組の放送内容はたとえ同じ番組ジャンルであっても様々なパターンが存在するため、その全てを網羅するトレーニングデータを予め準備するのは困難である。このため、トレーニングデータに含まれない特徴ベクトルを持つ未知データが入力された場合、ユーザが所望するハイライト抽出結果を得ることができない。
【０００５】
また、プログラム設計者が意図したハイライトシーンの定義が、特定のユーザにとっては不十分である可能性がある。例えば、プログラム設計者が、音楽番組のハイライトシーンとして楽曲シーンを抽出することを目的としたトレーニングデータを準備しているとする。しかし、ユーザによっては楽曲シーンに加えて、トークの場面で流れているＢＧＭをチェックするために、ＢＧＭシーンも同時に抽出したい場合などが考えられる。従来の技術では、このような場合にＢＧＭシーンを抽出できるようにするには、プログラム設計者がＢＧＭシーン抽出に対応した新たな学習データを作成し、ユーザに配布するしかない。
【０００６】
他の従来法としては、まず、映像／音声データを記録するのと並行して、ユーザを取り巻く状況パターンやユーザの生体情報などの付加情報を記録しておく。記録終了後、各時刻における付加情報の評価値（重要度）を算出し、評価値が閾値を超える区間をハイライト区間として抽出する（例えば、特許文献２参照。）。
【０００７】
この方法を用いるには記録装置がユーザ生体情報などの付加情報を入力するための特殊な装置を備えている必要があるが、一般的な動画像記録装置にはそのような装置は備わっていないため、適用は困難である。また、テレビ番組データのように、放送波を介して送られてくるデータはユーザ自身が撮影するものではないため、付加情報を入力することはできず、この従来法を適用することは不可能である。
【特許文献１】特開２００５―３０９４２７号公報
【特許文献２】特開２００５−１１７５４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、機械学習に基づいたハイライト抽出を行う装置において、ユーザの目的に沿った抽出結果を得る方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明では、ユーザ自身がトレーニング動画像を対話形式で追加可能にする装置を提供することで前述の問題を解決する。つまり、重要シーンのサンプルデータとして予め準備されたトレーニング動画像を一定時間間隔のセグメントに分割し、それぞれのセグメントから特徴ベクトルを抽出し、特徴ベクトルの発生パターンをモデル化した学習データを作成する学習データ作成部と、入力された動画像を一定時間間隔のセグメントに分割し、それぞれのセグメントから特徴ベクトルを抽出し、学習データを参照して特徴ベクトルの類似度を比較することによって重要シーンを検出する動画像解析部と、動画像解析部での未検出シーンを選択する重要シーン選択部を備え、重要シーン選択部で指定された未検出シーン動画像を学習データ作成部に入力すると、トレーニング動画像と未検出シーン動画像のそれぞれを一定時間間隔のセグメントに分割し、それぞれのセグメントから特徴ベクトルを抽出し、特徴ベクトルの発生パターンを再度モデル化することにより学習データを更新するように構成する。
【発明の効果】
【００１０】
本発明によれば、特別な記録装置を用いることなしに、予め準備したトレーニング動画像に含まれない特徴ベクトルを持つハイライト区間を検出することが可能となる。また、各ユーザの嗜好に応じたハイライト再生が実現できる。
【発明を実施するための最良の形態】
【００１１】
（実施の形態１）
図１は、本発明の実施の形態１におけるハイライト抽出装置のシステム構成図を示している。本実施例では、テレビ番組ハイライト抽出の一例として、音楽番組の楽曲シーンを抽出対象とする場合について述べる。また、以下では、動画像に含まれる映像／音声特徴のうちの音声特徴を用い、音声認識のための機械学習法として隠れマルコフモデル（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ：ＨＭＭ）を用いたハイライト抽出方法について述べる。なお、ここで用いる音声特徴、及びＨＭＭについては、既に周知の技術であるため、詳細な説明は省略する。
【００１２】
図１に示すハイライト抽出装置は、予め準備されたトレーニング動画像、及び後述する未検出重要シーン動画像から学習データファイルを作成する学習データ作成部１０と、入力された動画像の重要シーンを抽出する動画像解析部１１と、ユーザが選択したシーンの動画像を切り出し、学習データ作成部１０へ入力する重要シーン選択部１２から構成される。
【００１３】
本装置においてＨＭＭは、入力音声を一定時間間隔ごとに分割したそれぞれのセグメントについて、音声カテゴリを識別する目的で用いられる。音声カテゴリとは、会話音声・音楽・歓声・拍手など、セグメント内の音声データに含まれる音の種類を表すものである。
【００１４】
学習データ作成部１０は、入力された動画像を、対応する番組ジャンルおよび音声カテゴリに応じたラベルと関連づけて保存する特徴カテゴリ分類保存部１０１と、動画像を一定時間間隔のセグメントに分割し、それぞれのセグメントの音声信号から直接的に求められる特徴ベクトルを抽出する低次特徴量抽出部１０２と、特徴ベクトルの発生パターンを機械学習に従ってモデル化し、番組ジャンルと関連づけて学習データファイル１０４として保存する特徴量学習部１０３から構成される。
【００１５】
動画像解析部１１は、テレビ放送波を介して入力されるテレビ番組動画像の映像／音声データを、テレビ放送波に重畳されて、あるいはインターネットを介して入力される番組ジャンル情報と関連付けて保存する動画像録画部１０５と、動画像を一定時間間隔のセグメントに分割し、それぞれのセグメントの音声信号から直接的に求められる特徴ベクトルを抽出する低次特徴量抽出部１０６と、学習データファイル１０４を参照し、特徴ベクトルの類似度を比較することによって求められる高次の特徴ベクトルを導出する高次特徴量抽出部１０７と、高次の特徴ベクトルを入力すると、番組ジャンルごとに設定された知識ルールに従って、連続した複数のセグメントを重要シーンとして検出し、重要シーン情報付動画像ファイル１０９として保存する重要シーン検出部１０８から構成される。
【００１６】
重要シーン選択部１２は、入力された動画像を再生し、重要シーンを表示する動画像再生部１１０と、ユーザ入力を受け取り、動画像解析部１１にて検出されない未検出シーンを選択する未検出重要シーン選択部１１１と、選択された未検出シーンの動画像を自動的に切り出し、学習データ作成部１０への入力とする選択シーン動画像抽出部１２から構成される。
【００１７】
以下、図１に沿って本発明の実施の形態１におけるハイライト抽出装置の詳細を説明する。まず、特徴カテゴリ分類保存部１０１にトレーニング動画像と番組ジャンル情報が入力される。番組ジャンル情報とは、例えば「音楽番組」「スポーツ番組」などのように、テレビ番組をその内容に基づいて分類するために用いられる情報のことである。ここで、トレーニング動画像は、プログラム設計者が予め番組ジャンルのわかっているサンプル動画像データから音声カテゴリごとに分類されたシーンを抽出した動画像データである。使用する音声カテゴリの定義は「会話音声」「音楽」「歓声」「その他（会話音声、音楽、歓声以外）」の４種類とし、それぞれが重複して含まれていても良いものとする。但し、「その他」とそれ以外の３カテゴリを同時に含むことは定義上考えられないので、このパターンのみ除外する。この結果、４種類の音声カテゴリの組み合わせで、合計１５種類のカテゴリが形成されることになる。図２に、複数の音楽番組サンプル動画像データから、各カテゴリのトレーニング動画像を作成する過程を示す。サンプル動画像を、音声カテゴリごとに分類された小区間に分割し、同じ音声カテゴリを持つ小区間全てを結合することで１５種類のトレーニング動画像を作成する。同様の作業を番組ジャンルごとに行う。なお、ここで定義した音声カテゴリの種類および数は、どのような特徴を持つ区間をハイライトとして検出するかによって設計者が任意に変更可能であり、必ずしもこの４カテゴリに限定されるものではない。
【００１８】
特徴カテゴリ分類保存部１０１は、トレーニング動画像ファイルと、対応する番組ジャンル情報が入力されると、トレーニング動画像を、番組ジャンルと音声カテゴリを識別するラベルをつけて保存する。図３に、保存されるラベルとそのデータ内容との対応の一例を示す。ここで、番組ジャンルを識別するためのラベルは、例えば図４に示されるような、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ、電子番組ガイド）で利用されている番組ジャンル識別番号と対応づけられるＩＤなどである。
【００１９】
低次特徴量抽出部１０２は、特徴カテゴリ分類保存部１０１でラベル付けされたそれぞれのカテゴリの音声データを一定時間間隔のセグメント単位に分割し、それぞれのセグメントから１つ以上の特徴ベクトルを抽出する。特徴量としては、ＭＦＣＣ（Ｍｅｌ  Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）、Δケプストラム、基本周波数など、スペクトルパターンを表現し得る多くの特徴ベクトルを用いることができる。
【００２０】
一定時間ごとに抽出された特徴ベクトル系列は特徴量学習部１０３に入力され、ＨＭＭ法に基づいた学習処理が行われる。学習処理は、各音声カテゴリの特徴ベクトル分布を表す統計モデルを作成する処理であり、番組ジャンルごとに、各カテゴリに対応する１５種類の音響モデルが作成される。作成された音響モデルのパラメータ情報は、学習データファイル１０４に番組ジャンル識別番号と関連づけて保存される。つまり、学習データファイル１０４は、番組ジャンル数分だけ用意されることになる。
【００２１】
テレビ放送波を介して入力されたテレビ番組動画像の映像／音声データは、動画像録画部１０５でハードディスクやＤＶＤ／ＢＤなどの記憶媒体に保存される。このとき、動画像録画部１０５は、ＥＰＧを利用して取得することができる番組ジャンル識別番号を、動画像と関連づけて保存する。ＥＰＧデータは、テレビ放送波に重畳して配信されるものと、テレビ放送波とは別に、インターネットを介して配信されるものがあるが、そのどちらも利用可能である。
【００２２】
低次特徴量抽出部１０６は、入力動画像の音声データを一定時間間隔のセグメント単位に分割し、それぞれのセグメントから１つ以上の特徴ベクトルを抽出する。ここで、分割するセグメント長、及び抽出する特徴ベクトルの種類は、低次特徴量抽出部１０２と同一であるものとする。
【００２３】
高次特徴量抽出部１０７では、まず学習データ作成部１０で予め番組ジャンルごとに作成しておいた学習データファイルのうち、入力動画像の番組ジャンル識別番号と一致するものを参照し、入力動画像の各セグメントの特徴ベクトルが該当ジャンルの各音響モデルから生起された確率を求める。そして最も高い確率を出力する音響モデルの音声カテゴリをセグメントの音声カテゴリとして決定する。これを入力動画像の全てのセグメントに対して行う。
【００２４】
音声カテゴリの遷移や連続性には番組ジャンル毎に一定のパターンがあると考えられる。例えば音楽番組における楽曲シーンでは「音楽」カテゴリが多く現れる。一方、スポーツ番組におけるハイライトシーンは一般的に観客が大きな歓声を上げて盛り上がっているシーンであると考えられ、この区間には「歓声」カテゴリが多く現れる。重要シーン検出部１０８ではこのパターンに着目し、番組ジャンル毎にハイライト抽出ルールを設け、このルールに合致する区間を重要シーンとして抽出する。音楽番組の楽曲シーン抽出ルールの一例を図５に示す。
【００２５】
重要シーン情報付動画像ファイル１０９は、入力動画像を、抽出された重要シーン情報と関連づけて保存されたものである。ここで保存される重要シーン情報には、図６に示すように、重要シーン区間の開始時刻・終了時刻に加えて、各区間の属性・尤度などの付加情報を含めることができる。また、番組ジャンル情報も同時に保存する。
【００２６】
動画像再生部１１０は、動画像解析部１１で得られた重要シーン情報付動画像ファイルを読み込み、入力動画像を再生するとともに、重要シーン抽出結果を視覚的に表示する手段を有する。
【００２７】
図７は動画像再生部１１０のＧＵＩイメージを示している。動画像再生領域２０１には、入力動画像の映像データが表示される。重要シーン区間表示領域２０２は、動画像の全再生時間長の中で、どの区間が重要シーンに相当するかを表示し、ユーザが確認できるようにするために設けられている。領域の左から右に向かって時刻が進むものとし、着色された区間が重要シーンを示している。
【００２８】
再生時刻表示領域２０３は、全再生時間長と、現在再生中の時刻を表示する。現在再生時刻アイコン２０４は、重要シーン区間表示領域２０２の上部に配置され、現在再生中の時刻を示すものである。動画像の再生が進むのに連動して、現在再生時刻アイコン２０４も移動する。さらに現在再生時刻アイコン２０４は、ユーザが左右にドラッグ操作を行うことで、該当の位置へ再生をスキップさせることが可能である。
【００２９】
この動画像再生部１１０では、動画像の再生をユーザが制御するためのいくつかのボタンが設けられている。再生ボタン２０５は、停止状態にある動画像の再生を開始するために用いる。一時停止ボタン２０６は、再生中の動画像を一時停止状態にする。この状態で再生ボタン２０５を押下すると、一時停止位置からの再生が開始される。停止ボタン２０７は、再生中の動画像の再生を停止する。次区間移動ボタン２０８は、現在再生時刻より後ろにある最初の重要シーン開始点へ再生をスキップするために設けられる。前区間移動ボタン２０９は、次区間移動ボタン２０８とは逆に、現在再生時刻より前にある最後の重要シーン開始点へ再生を逆スキップするために設けられる。
【００３０】
ユーザは、上記のＧＵＩを用いて、抽出された重要シーンの結果を確認しながら、動画像を視聴することができる。また、次区間移動ボタン２０８や前区間移動ボタン２０９によるスキップ操作、現在再生時刻アイコンのドラッグ操作などを駆使することにより、重要シーンのみを効率的に短縮視聴することが可能となる。
【００３１】
ここで、未検出重要シーンが存在する場合を考える。未検出重要シーンとは、本来重要シーンとして抽出されるべき区間（音楽番組では楽曲シーン）であるにもかかわらず、重要シーン抽出アルゴリズムの性能限界により抽出されなかったシーンのことである（図８）。
【００３２】
本発明では、未検出重要シーンの動画像を新たなトレーニング動画像として追加し、再度学習処理を実施することで学習データファイル１０４を更新する方法を提供する。図９は、未検出重要シーン選択部１１１において、ユーザが対話的に未検出重要シーンをトレーニング動画像に追加するためのＧＵＩイメージを示している。図７に示したＧＵＩ構成要素を全て備えたうえで、未検出重要シーン選択領域３１０と、追加ボタン３１１を新たに設ける。未検出重要シーン選択領域３１０は、重要シーン区間表示領域３０２と同じく、左右の幅が全再生長を表し、左から右に向かって時刻が進むものとする。
【００３３】
ユーザは視聴時に重要シーン区間表示領域３０２で未検出重要シーン区間を発見した場合、未検出重要シーン選択領域３１０の同区間をドラッグ操作により選択する。所望の区間を全て選択した後、追加ボタン３１１を押下すると、選択された区間の情報が選択シーン動画像検出部１１２に送られる。選択シーン動画像抽出部１１２は、入力された区間に該当する動画像データを切り出す。
【００３４】
ここで切り出された動画像データは、予め準備されているトレーニング動画像とともに、学習データ作成部１０の特徴カテゴリ分類保存部１０１への入力となる。同時に、切り出された動画像データの番組ジャンル情報が選択シーン動画像抽出部１１２から入力される。
【００３５】
特徴カテゴリ分類保存部１０１は、トレーニング動画像と選択シーン動画像抽出部１１２で切り出された動画像データの両方が入力された場合、切り出された動画像データを、その番組ジャンルに応じて、該当ジャンルの重要シーン抽出基本ルールに使用されている最も主要な音声カテゴリのラベルを付与して保存する。例えば、図５を参照すると、音楽番組から楽曲シーンを抽出する基本ルールにおいて、最も主要な音声カテゴリ（基本ルール１））は「音楽」カテゴリである。このことから、音楽番組では「音楽」カテゴリが最も主要な音声カテゴリであり、「音楽」カテゴリのトレーニング動画像を充実させることが楽曲シーン抽出の精度向上に大きく寄与するものと考えられる。よって、選択シーン動画像抽出部１１２で切り出された動画像データに、図３に例示されている「Ａ−０１００」のラベルをつけて保存する。
【００３６】
なお、特徴カテゴリ分類保存部１０１は、切り出された動画像データの総再生長が、同じラベルをもつトレーニング動画像の再生長に対してある一定の割合を超えないように制限する処理を行う。これは、プログラム設計者が予め準備してあるトレーニング動画像の再生長と比較して、ユーザによって切り出された動画像データの再生長の割合が大きくなった場合、学習データに含まれる音響モデルがプログラム設計者の意図するものと全く異なるものになり、ハイライト抽出アルゴリズムの性能が著しく低下することを防止するためである。例えば図１０に示すように、予め準備されたトレーニング動画像の再生長を
2008022103.tif 000003
【００３７】
とすると、ユーザが更新可能な動画像データの総再生長が
2008022103.tif 000004
【００３８】
となるようにする。ユーザが更新可能領域の空き領域再生長を超える動画像データを入力しようとすると、特徴カテゴリ分類保存部１０１は、ユーザ更新可能領域のデータ領域に保存された動画像データの一部を新たな動画像データで置換する。また、その場合、新たな動画像データを追加しないように構成することも可能である。
【００３９】
以下、低次特徴量抽出部１０２、特徴量学習部１０３の動作は前述と同様であり、更新された学習データファイル１０４が得られる。高次特徴量抽出部１０７においては、次回処理実行時より更新された学習データファイル１０４を参照して処理が行われる。
【産業上の利用可能性】
【００４０】
以上述べたように本発明によれば、予め準備したトレーニング動画像に含まれない特徴ベクトルを持つハイライト区間を抽出することができる。さらに、各ユーザの意図を反映したハイライト抽出結果を得ることができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の形態１におけるハイライト抽出装置のシステム構成図
【図２】複数の音楽番組サンプル動画像データからトレーニング動画像を作成する過程を示す図
【図３】特徴カテゴリ分類保存部１０１で保存されるラベルとデータ内容の対応を示す図
【図４】ＥＰＧにおける番組ジャンル識別番号の一例を示す図
【図５】重要シーン検出部１０８における、音楽番組の楽曲シーン抽出ルールの一例を示す図
【図６】入力動画像と対応づけて保存される重要シーン情報の構造を示す図
【図７】動画像再生部１１０のＧＵＩイメージ図
【図８】未検出重要シーンの説明図
【図９】未検出重要シーン選択部１１１において、ユーザが対話的に未検出重要シーンをトレーニング動画像に追加するためのＧＵＩイメージ図
【図１０】特徴カテゴリ分類保存部１０１におけるユーザ更新可能領域の説明図
【符号の説明】
【００４２】
１０    学習データ作成部
１１    動画像解析部
１２    重要シーン選択部
１０１    特徴カテゴリ分類保存部
１０２    低次特徴量抽出部
１０３    特徴量学習部
１０４    学習データファイル
１０５    動画像録画部
１０６    低次特徴量抽出部
１０７    高次特徴量抽出部
１０８    重要シーン検出部
１０９    重要シーン情報付動画像ファイル
１１０    動画像再生部
１１１    未検出重要シーン選択部
１１２    選択シーン動画像抽出部
【図１】
2008022103.tif 000005
【図２】
2008022103.tif 000006
【図３】
2008022103.tif 000007
【図４】
2008022103.tif 000008
【図５】
2008022103.tif 000009
【図６】
2008022103.tif 000010
【図７】
2008022103.tif 000011
【図８】
2008022103.tif 000012
【図９】
2008022103.tif 000013
【図１０】
2008022103.tif 000014