(57)【要約】  【課題】動画像コンテンツにおける話題分割点を、テキスト情報を生成することなく、また、話題の構成が他も部分と異なるコーナについても精度よく安定してを識別できるようにすること。  【解決手段】学習プロセスにおけるショット分割処理１１、コーナ切出し処理１２は、学習データをショット分割し、各コーナを切り出す。全体用話題分割点識別器学習処理１４では学習データのショットの特徴量全体を元に全体用話題分割点識別器を生成し、コーナ別話題分割点識別器学習処理１５ではコーナごとのショットの特徴量を元にコーナ別話題分割点識別器を生成する。評価プロセスでは、全体用話題分割点識別器とコーナ別話題分割点識別器とを用いて入力データ全体および各コーナの話題分割点を識別し、両者の識別結果を統合して入力データの話題分割点とする。  【選択図】図１
2006135387.tif 000002
【特許請求の範囲】
【請求項１】
動画像の話題分割を行う動画像話題分割方法において、
学習プロセスと評価プロセスを備え、
話題分割点が明示されている学習データを前記学習プロセスに与え、
前記学習プロセスは、前記学習データに基づいて動画像全体に対し話題分割を行う全体用話題分割点識別器を生成するとともに、動画像のコーナごとの話題分割を行うコーナ別話題分割点識別器を生成し、
前記評価プロセスは、話題分割点が未知の入力データ全体に対し前記全体用話題分割点識別器を適用して全体話題分割点を生成するとともに、前記入力データの各コーナに対し前記コーナ別話題分割器を適用してコーナ別話題分割点を生成し、前記全体話題分割点と前記コーナ別話題分割点を統合して前記入力データの話題分割点とすることを特徴とする動画像話題分割方法。
【請求項２】
前記学習プロセスは、前記学習データをショットごとに分割する第１のショット分割処理と、前記学習データのコーナを切り出す第１のコーナ切出し処理と、前記第１のショット分割処理により得られた各ショットの特徴量を抽出する第１の特徴抽出処理と、第１の特徴抽出処理で得られた各ショットの特徴量全体を用いて前記全体用話題分割点識別器を生成する全体用話題分割点識別器学習処理と、第１の特徴抽出処理で得られた各ショットの特徴量のうち各コーナの各ショットの特徴量を用いて前記コーナ別話題分割点識別器を生成するコーナ別話題分割点識別器学習処理を含み、
前記評価プロセスは、前記入力データをショットごとに分割する第２のショット分割処理と、前記入力データのコーナを切り出す第２のコーナ切出し処理と、前記第２のショット分割処理により得られた各ショットの特徴量を抽出する第２の特徴抽出処理と、第２の特徴抽出処理で得られた各ショットの特徴量全体と前記全体用話題分割点識別器を用いて前記全体話題分割点を識別する全体話題分割処理と、第２の特徴抽出処理で得られた各ショットの特徴量のうち各コーナの各ショットの特徴量と前記コーナ別話題分割点識別器を用いて前記コーナ別話題分割点を識別するコーナ別話題分割処理を含むことを特徴とする請求項１に記載の動画像話題分割方法。
【請求項３】
前記評価プロセスは、前記全体話題分割点に前記コーナ別話題分割点を追加することにより前記入力データの話題分割点とすることを特徴とする請求項１に記載の動画像話題分割方法。
【請求項４】
前記評価プロセスは、前記全体話題分割点のうちのコーナ部分の話題分割点を取り除き、前記コーナ別話題分割点を挿入することにより前記入力データの話題分割点とすることを特徴とする請求項１に記載の動画像話題分割方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像話題分割方法に関し、特に、動画像コンテンツにおける話題分割点情報をユーザに提示するシステムに適用することができる動画像話題分割方法に関する。
【背景技術】
【０００２】
動画像を検索する場合、動画像コンテンツにおいて話題がどのように分割されているかの情報をユーザに提示して検索を支援する方法が知られている。特許文献１には、ビデオデータにおける音声データを文字列としてテキスト化し、これにより得られた文字列を元に共通の話題が継続するセグメントを抽出し、各セグメントにおける話題と各セグメント間の入れ子構造を同定してユーザに提示するビデオデータ検索支援方法が記載されている。
【０００３】
特許文献１のビデオデータ検索支援方法では、テレビの文字放送のように既に文字情報が付加されている場合には音声データの文字列へのテキスト化を省略できるが、それ以外の場合には音声認識装置やキーボードなどを用いて音声データを文字列へテキスト化することが必要となる。
【０００４】
非特許文献１〜３には、ニュース番組の動画像に対して話題分割を行う手法が提案されている。これらの非特許文献で提案されている手法では、話題変化点には新たなアンカーショット（番組のメインキャスタが現われるショット）が現れるという前提に基づき、動画像の中からアンカーショットを抽出し、その出現位置に話題分割点を設定する。
【０００５】
これに対し、本発明者は、アンカーショット検出などの高レベルな動画像処理は行わず、色配置、ショット内の動きなどの低レベルかつ汎用的な特徴量に基づく話題分割手法を特許文献２で提案した。
【特許文献１】特開平５−３４２２６３号公報
【特許文献２】特願２００３−３８２８１７号（先願）
【非特許文献１】S.Boykin et al:“Improving broadcast news segmentation processing”, Proceedings of IEEE Multimedia Systems, pp.744-749, 1999.
【非特許文献２】Q.Huang et al:“Automated semantic structure reconstruction and representation generation for broadcast news”, SPIE Conf. on Storage and Retrieval for Image and Video Databases 7 Vol.3656, pp.50-62, 1999.
【非特許文献３】N.O'Connor et al:“News story segmentation in the Fischlar video indexing system”, Proc of ICIP 2001, pp.418-421, 2001.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載されているビデオデータ検索支援方法では、共通の話題が継続するセグメントを抽出する前に、ビデオデータにおける音声データをテキスト化してテキスト情報を生成しなければならない。
【０００７】
テレビの文字放送のようにテキスト情報が元々存在していればテキスト化を省略できるが、通常のテレビ放送のビデオデータやホームビデオで録画した画像などのパーソナルコンテンツのように、テキスト情報が存在しない場合には、セグメント抽出の前処理としてテキスト化が必要である。
【０００８】
音声データのテキスト化には、作業者が音声を聞き取ってテキスト化する、いわゆる「書き起こし」という手法、音声データの元原稿から作業者がキーボードなどで入力する手法、音声データを音声認識装置に入力して、テキスト情報を生成する手法などが用いられる。
【０００９】
しかし、「書き起こし」や元原稿から作業者が入力する手法は、人手によるものであるため手間が掛かり、膨大な量の動画像データに適用することが困難であるという問題がある。また、音声認識装置を用いる手法は、使用する音声認識装置の精度や音声の質によって認識エラーが発生して後段の話題分割の精度が影響されるという課題がある。
【００１０】
非特許文献１〜３に記載されている手法では、アンカーショットが起点となっている話題分割点については高精度で検出することができるが、アンカーショット以外のショットから始まる話題分割点を検出することができないという課題がある。
【００１１】
これに対して、特許文献２の手法では、汎用的な特徴量に基づいて話題分割を行うのでアンカーショットの有無に依らない話題分割が可能である。しかし、これではニュース番組などの番組全体を元に学習を行って話題分割点識別器を生成することが前提となっているため、話題の構成が他も部分と異なるコーナ、例えばスポーツコーナなどの箇所については話題分割精度が劣化するという課題がある。
【００１２】
本発明の目的は、上記課題を解決し、動画像コンテンツにおける話題分割点をテキスト情報を生成することなく識別でき、また、話題の構成が他も部分と異なるコーナについても精度よく安定して話題分割点を識別することができる動画像話題分割点決定装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明は、動画像の話題分割を行う動画像話題分割方法において、学習プロセスと評価プロセスを備え、話題分割点が明示されている学習データを前記学習プロセスに与え、前記学習プロセスは、前記学習データに基づいて動画像全体に対し話題分割を行う全体用話題分割点識別器を生成するとともに、動画像のコーナごとの話題分割を行うコーナ別話題分割点識別器を生成し、前記評価プロセスは、話題分割点が未知の入力データ全体に対し前記全体用話題分割点識別器を適用して全体話題分割点を生成するとともに、前記入力データの各コーナに対し前記コーナ別話題分割器を適用してコーナ別話題分割点を生成し、前記全体話題分割点と前記コーナ別話題分割点を統合して前記入力データの話題分割点とする点に第１の特徴がある。
【００１４】
また、本発明は、前記学習プロセスが、前記学習データをショットごとに分割する第１のショット分割処理と、前記学習データのコーナを切り出す第１のコーナ切出し処理と、前記第１のショット分割処理により得られた各ショットの特徴量を抽出する第１の特徴抽出処理と、第１の特徴抽出処理で得られた各ショットの特徴量全体を用いて前記全体用話題分割点識別器を生成する全体用話題分割点識別器学習処理と、第１の特徴抽出処理で得られた各ショットの特徴量のうち各コーナの各ショットの特徴量を用いて前記コーナ別話題分割点識別器を生成するコーナ別話題分割点識別器学習処理を含み、前記評価プロセスは、前記入力データをショットごとに分割する第２のショット分割処理と、前記入力データのコーナを切り出す第２のコーナ切出し処理と、前記第２のショット分割処理により得られた各ショットの特徴量を抽出する第２の特徴抽出処理と、第２の特徴抽出処理で得られた各ショットの特徴量全体と前記全体用話題分割点識別器を用いて前記全体話題分割点を識別する全体話題分割処理と、第２の特徴抽出処理で得られた各ショットの特徴量のうち各コーナの各ショットの特徴量と前記コーナ別話題分割点識別器を用いて前記コーナ別話題分割点を識別するコーナ別話題分割処理を含む点に第２の特徴がある。
【００１５】
また、本発明は、前記評価プロセスが、前記全体話題分割点に前記コーナ別話題分割点を追加することにより前記入力データの話題分割点とする点に第３の特徴がある。
【００１６】
さらに、本発明は、前記評価プロセスが、前記全体話題分割点のうちのコーナ部分の話題分割点を取り除き、前記コーナ別話題分割点を挿入することにより前記入力データの話題分割点とする点に第４の特徴がある。
【発明の効果】
【００１７】
本発明は、学習プロセスでは学習データを用いて動画像全体に対し話題分割を行う全体用話題分割点識別器を生成するとともに、動画像のコーナごとの話題分割を行うコーナ別話題分割点識別器を生成し、評価プロセスでは全体用話題分割点識別器による識別結果とコーナ別話題分割点識別器による識別結果を統合して話題分割点とするので、話題の構成が他も部分と異なるコーナについても精度よく安定して話題分割点を識別することができる。例えば、ニュース番組など、多彩なコーナを有する動画像コンテンツに対しても高精度な話題分割を行うことが可能になる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明を説明する。本発明は、大別して学習プロセスと評価プロセスからなる。学習プロセスでは、学習データ（話題分割点が明示されている動画像データ）に基づき、動画像全体に対し話題分割を行う全体用話題分割点識別器を生成するとともに、動画像のコーナごとの話題分割を行うコーナ別話題分割点識別器を生成する。また、評価プロセスでは、学習プロセスで生成された全体用話題分割点識別器を用いて動画像全体における話題分割点を識別し、また、コーナ別話題分割点識別器を用いて各コーナにおける話題分割点を識別し、これらの識別結果を統合して最終的な話題分割点とする。
【００１９】
図１は、本発明における学習プロセスの一例を示すフローチャートである。学習プロセスは、ショット分割処理１１、コーナ切出し処理１２、特徴抽出処理１３、全体用話題分割点識別器学習処理１４、およびコーナ別話題分割点識別器学習処理１５を含む。
【００２０】
ショット分割処理１１には、学習データとして話題分割点が明示されている動画像データが入力される。ショット分割処理１１は、この学習データをショット単位に自動的に分割する。本処理には、例えば特開２０００−３６９６６号公報「動画像のカット画面グループ検出装置」に記載されているカット点抽出技術を利用することができる。
【００２１】
コーナ切出し処理１２は、学習データの各コーナを切り出す。コーナは、番組中でコーナとして区切られている部分であり、例えばニュース番組では解説コーナ、スポーツコーナ、経済コーナ、特集コーナ、お天気コーナなどといったものがある。
【００２２】
コーナ切出しは、学習データに予め各コーナの開始・終了点がラベルなどで明示されている場合は、その開始・終了点の情報を利用して行うことができる。また、コーナの開始・終了点が明示されておらず不明確な場合、各コーナの開始・終了時の特徴的なジングルの映像やオーディオ信号を学習データの動画像ファイルから検出することによっても各コーナ切出しを行うことができる。ジングルの検出は、例えば、「柏野、スミス、村瀬“ヒストグラム特徴量を用いた音響信号の高速探索法−時系列アクティブ探索法−”信学論J82-D-2, Vol.9, pp1365-1373, 1999」に記載されているアクティブ探索手法を適用することにより行うことができる。
【００２３】
図２は、ショット分割およびコーナ切出しの様子を示す説明図である。学習データは、まず、ショット分割処理１１（図１）でショット単位（shot１,shot２,shot３,shot４,・・・,shotｋ,shotｋ＋１,shotｋ＋２,・・・,shotｍ,shotｍ＋１,shotｍ＋２,・・・）に分割され、次に、コーナ切出し処理１２でコーナ切出しが行われる。図２は、スポーツコーナ(SPORTS)であるショット(shot４,・・・,shotｋ)がその開始・終了点の明示あるいはその開始・終了ジングルに基づいて切り出され、経済コーナ(ECONOMY)であるショット(shotｋ＋３,・・・,shotｍ)がその開始・終了点の明示あるいはその開始・終了ジングルに基づいて切り出された状態を示している。
【００２４】
特徴量抽出処理１３は、ショット分割処理１１で分割されたショットごとの特徴量を抽出して全体用話題分割点識別器生成処理１４に与え、また、コーナ切出し処理１２で切り出されたコーナに対するショットの特徴量をコーナ別話題分割点識別器生成処理１５に与える。
【００２５】
本処理で抽出する特徴量としては、各ショットの画像の色情報（ショットの先頭フレーム、キーフレーム、最終フレームの配色など）、画像の動き情報（縦方向および横方向の少なくとも一方での動き度合いなど）、各ショットに含まれるオーディオデータの音量（RMS）、オーディオの種別（音声、音楽、雑音、無音など）などを上げることができる。なお、ここで抽出する特徴量は、１種でもよいし複数種でもよい。複数種の特徴量（a,b,c,・・・）を抽出する場合、各ショットの特徴量をベクトル（shot１(a,b,c,・・・),shot２(a,b,c,・・・),shot３(a,b,c,・・・),・・・）として扱う。
【００２６】
全体用話題分割点識別器学習処理１４は、学習データのショット全体あるいはコーナ部分を除いたショットから抽出された特徴量を元に学習を行うことにより、話題分割点が含まれるショットとそれが含まれないショットとを識別する全体用話題分割点識別器を生成する。
【００２７】
コーナ別話題分割点識別器学習処理１５は、コーナ切出し処理１２で切り出された各コーナのショットから抽出された特徴量を元に学習を行うことにより、個々のコーナごとに、話題分割点を含むショットを識別するためのコーナ別話題分割点識別器を生成する。例えば、コーナ切出し処理１２において学習データからコーナＡとコーナＢが切り出されたとすると、コーナ別話題分割点識別器学習処理１５は、コーナＡの各ショットの特徴量を元にコーナＡ用話題分割点識別器を生成し、コーナＢの各ショットの特徴量を元にコーナＢ用話題分割点識別器を生成する。
【００２８】
全体用話題分割点識別器およびコーナ別話題分割点識別器としては、例えば、「Vapnik:Statistical learning theory, A Wiley-Interscience Publication, 1998」に記載されているサポートベクタマシン（SVM）を利用できる。
【００２９】
図３は、ＳＶＭの概念の説明図である。ＳＶＭは、自動分類の閾値となる分離超平面ｈ＊を有する。分離超平面ｈ＊は、学習データから学習することにより得ることができる。すなわち、全体用話題分割点識別器学習処理１４では、話題分割点が明示されている学習データのショット全体あるいはコーナ部分を除いたショットの特徴量をサポートベクタマシン（SVM）に与え、コーナ別話題分割点識別器学習処理１５では、話題分割点が明示されている学習データの各コーナのショットの特徴量をサポートベクタマシン（SVM）に与える。
【００３０】
各ショットから抽出される特徴量を例えばａ、ｂとすると、図３に示すように、縦軸を特徴量ａ、横軸を特徴量ｂとし、話題分割点が存在するショットの特徴量の位置を「＋」でプロットし、話題分割点が存在しないショットの特徴量の位置を「−」でプロットし、「＋」と「−」が最適に分離されるように分離超平面ｈ＊を定める。これにより、話題分割点が存在するショットとそれが存在しないショットを、特徴量ａ、ｂを元に分離超平面ｈ＊で分離し得る話題分割点識別器が構築される。なお、図３は、抽出する特徴量が２種ａ，ｂの場合であるが、それ以上の場合にはそれに対応した次元位置でのプロットとなり、それらを最適に分離するように分離超平面ｈ＊を定める。
【００３１】
図４は、本発明における評価プロセスの一例を示すフローチャートである。評価プロセスは、ショット分割処理４１、コーナ切出し処理４２、特徴抽出処理４３、全体話題分割処理４４、コーナ別話題分割処理４５、および話題分割結果統合処理４６を含む。
【００３２】
評価プロセスでは入力データとして話題分割点が未知の動画像が入力される。この入力データは、まず、ショット分割処理４１でショット単位に分割され、次に、コーナ切出し処理１２でコーナが切り出される。特徴抽出処理４３では、各ショットから特徴量が抽出される。ショット分割処理４１、コーナ切出し処理４２、特徴抽出処理４３はそれぞれ、学習プロセスでのショット分割処理１１、コーナ切出し処理１２、特徴抽出処理１３と同様の処理である。
【００３３】
全体話題分割処理４４では、学習プロセスで生成された全体用話題分割点識別器を用いて、入力データ全体について話題分割点を含むショットが識別される。入力データ全体についての話題分割点は、例えば、入力データの各ショットの特徴量と全体用話題分割点識別器のＳＶＭの分離超平面ｈ＊の関係から識別できる。
【００３４】
コーナ別話題分割処理４５では、学習プロセスで生成されたコーナ別話題分割点識別器を用いて、入力データの各コーナごとに、話題分割点を含むショットが識別される。入力データの各コーナについてのコーナ別話題分割点は、例えば、入力データのコーナの各ショットの特徴量と該コーナに対応するコーナ別話題分割点識別器のＳＶＭの分離超平面ｈ＊の関係から識別できる。
【００３５】
話題分割結果統合処理４６では、全体話題分割処理４４ならびにコーナ別話題分割処理４５でそれぞれ得られたコーナ別話題分割結果を統合して入力データの話題分割点とする。この統合には、例えば、全体話題分割処理４４で得られた話題分割点にコーナ別話題分割処理で得られた話題分割点を追加して入力データの話題分割点とする手法や、全体話題分割処理４４で得られた話題分割点のうちコーナ部分の話題分割点を取り除き、コーナ別話題分割処理４５で得られたコーナ別話題分割点を挿入して入力データの話題分割点とする手法などがある。
【００３６】
以上のようにして識別された話題分割点をユーザに提示すれば、ユーザは、この話題分割点を参照して入力データから自己が希望するデータ部分のみを分割して取得することができる。
【００３７】
本発明は、パーソナルコンテンツなどの動画像の話題分割に適用でき、また、動画像データベースより話題分割に基づく特定の動画像を提供したり、動画像に関連するサービスを行う動画像サーバなどにも適用できる。
【図面の簡単な説明】
【００３８】
【図１】本発明における学習プロセスの一例を示すフローチャートである。
【図２】ショット分割およびコーナ切出しの様子を示す説明図である。
【図３】サポートベクタマシン（SVM）の概念の説明図である。
【図４】本発明における評価プロセスの一例を示すフローチャートである。
【符号の説明】
【００３９】
１１，４１・・・ショット分割処理、１２，４２・・・コーナ切出し処理、１３，４３・・・特徴抽出処理、１４・・・全体用話題分割点識別器学習処理、１５・・・コーナ別話題分割点識別器学習処理、４４・・・全体話題分割識別処理、４５・・・コーナ別話題分割処理、４６・・・話題分割結果統合処理
【図１】
2006135387.tif 000003
【図２】
2006135387.tif 000004
【図３】
2006135387.tif 000005
【図４】
2006135387.tif 000006