(57)【特許請求の範囲】
【請求項１】
コンテンツデータのストーリー構造を分析するデータ分析装置において、
前記コンテンツデータによって特定される文字列を、パターン認識処理によって抽出する文字列抽出手段と、
前記文字列抽出手段において抽出された前記文字列を、意味的にまとまりのある単位に分割し、その分割点の時系列的な位置（以下、「話題境界点」という。）を特定する話題境界点データを抽出する話題境界点抽出手段と、
前記コンテンツデータによって特定されるコンテンツの物理的な変化点の時系列的な位置（以下、「信号変化点」という。）を特定する信号変化点データを抽出する信号変化点抽出手段と、
前記話題境界点抽出手段において抽出された前記話題境界点データと、前記信号変化点抽出手段において抽出された前記信号変化点データとを用い、前記コンテンツの内容的な境界点の時系列的な位置（以下、「ストーリー境界点」という。）を特定するストーリー境界点データを抽出するストーリー境界点抽出手段と、
を有することを特徴とするデータ分析装置。
【請求項２】
前記ストーリー境界抽出手段は、
時系列的な幅を持った探索区間に属する前記話題境界点のスコアと、この探索区間に属する前記信号変化点のスコアとが、所定の条件を満たした場合に、この探索区間をストーリー境界候補区間とし、
このストーリー境界候補区間ごとに抽出した、このストーリー境界候補区間に属する前記話題境界点或いは前記信号変化点を、前記ストーリー境界点とする手段であること、
を特徴とする請求項１記載のデータ分析装置。
【請求項３】
前記ストーリー境界抽出手段は、
前記話題境界点のスコア及び前記信号変化点のスコアを、第１の重み係数で重み付けを行って合計した値が、所定のしきい値に達した場合に、この話題境界点或いは信号変化点が属する前記探索区間を、前記ストーリー境界候補区間とする手段であること、
を特徴とする請求項２記載のデータ分析装置。
【請求項４】
前記ストーリー境界抽出手段は、
前記ストーリー境界候補区間ごとに、このストーリー境界候補区間に属する前記話題境界点及び前記信号変化点のスコアを、第２の重み係数で重み付けを行って比較し、この重み付け後のスコアが、このストーリー境界候補区中最大であった前記話題境界点或いは信号変化点を、前記ストーリー境界点とする手段であること、
を特徴とする請求項２又は３に記載のデータ分析装置。
【請求項５】
前記第２の重み係数は、前記第１の重み係数と異なる係数であることを特徴とする請求項４記載のデータ分析装置。
【請求項６】
前記ストーリー境界抽出手段は、
前記ストーリー境界候補区間に属する前記話題境界点及び前記信号変化点から、最も優先順位の高い前記話題境界点或いは前記信号変化点を、前記ストーリー境界点とする手段であること、
を特徴とする請求項２又は３に記載のデータ分析装置。
【請求項７】
前記話題境界点のスコアは、
前記パターン認識処理時におけるスコアを用いて生成されたスコアであること、
を特徴とする請求項２から６の何れかに記載のデータ分析装置。
【請求項８】
前記話題境界点のスコアは、
前記話題境界点データを抽出する際のスコアを用いて生成されたスコアであること、
を特徴とする請求項２から６の何れかに記載のデータ分析装置。
【請求項９】
前記信号変化点のスコアは、
前記信号変化点データを抽出する際のスコアを用いて生成されたスコアであること、
を特徴とする請求項２から６の何れかに記載のデータ分析装置。
【請求項１０】
請求項１から９のいずれかに記載されたデータ分析装置としてコンピュータを機能させるためのデータ分析プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、コンピュータシステムによって、コンテンツデータのストーリー構造を分析するデータ分析装置、データ分析方法及びデータ分析プログラムに関し、特に、映像／音声データ等からなるマルチメディアコンテンツデータのストーリー構造を分析するデータ分析装置、データ分析方法及びデータ分析プログラムに関する。
【０００２】
【従来の技術】
従来、映像や音声からなるマルチメディアコンテンツを検索可能な構成とする場合、そのコンテンツを、人手によって、情報のまとまりの単位（以下、「ストーリー構造」という。）に区分し、その区分情報をコンテンツ中に記述することが一般的であった。
しかし、このような人手によってストーリー構造を抽出するには多大な労力が必要であり、大量のコンテンツに対するストーリー構造を生成することは極めて困難であった。
【０００３】
このような中、コンテンツ中の音響信号を音声認識し、抽出した文字列に基づいて、このストーリー構造を自動的に抽出するビデオデータ検索支援方法が提唱されている（特許文献１参照。）。また、この文字列を意味的なまとまり単位に分割する方法としては、例えば、特許文献２に示す方法が開示されている。
【０００４】
【特許文献１】
特開平５−３４２２６３号公報
【特許文献２】
特開２００２−３４２３２４号公報
【０００５】
【発明が解決しようとする課題】
しかし、特許文献１において開示された方法は、コンテンツ中の音響信号を音声認識し、抽出した文字列に基づいてストーリー構造を抽出するため、コンテンツからの音声認識結果が得られず、文字列が抽出できなかった区間では、ストーリー構造が抽出できないという問題点がある。
また、この音声認識結果が得られなかった区間におけるストーリー構造の抽出を人手で行うには、多大な労力を必要とする。
この発明はこのような点に鑑みてなされたものであり、コンテンツから音声認識結果が得られない区間においても、ストーリー構造を容易に抽出することが可能なデータ分析装置を提供することを目的とする。
【０００６】
また、この発明の他の目的は、コンテンツから音声認識結果が得られない区間においても、ストーリー構造を容易に抽出することが可能なデータ分析方法を提供することである。
さらに、この発明の他の目的は、コンテンツから音声認識結果が得られなかった区間であっても、ストーリー構造を容易に抽出することができる機能を、コンピュータに実行させるためのデータ分析プログラムを提供することである。
【０００７】
【課題を解決するための手段】
この発明では上記課題を解決するために、コンテンツデータによって特定される文字列を、パターン認識処理によって抽出し、この抽出された文字列を、意味的にまとまりのある単位に分割し、その分割点の時系列的な位置（話題境界点）を特定する話題境界点データを抽出する。また、このコンテンツデータによって特定されるコンテンツの物理的な変化点の時系列的な位置（信号変化点）を特定する信号変化点データを抽出する。そして、この抽出された話題境界点データと、信号変化点データとを用い、コンテンツの内容的な境界点の時系列的な位置（ストーリー境界点）を特定する。
【０００８】
なお、この発明において、好ましくは、時系列的な幅を持った探索区間に属する話題境界点のスコアと、この探索区間に属する信号変化点のスコアとが、所定の条件を満たした場合に、この探索区間をストーリー境界候補区間とし、このストーリー境界候補区間ごとに抽出した、このストーリー境界候補区間に属する話題境界点或いは信号変化点を、ストーリー境界点とする。
また、この発明において、好ましくは、話題境界点のスコア及び信号変化点のスコアを、第１の重み係数で重み付けを行って合計した値が、所定のしきい値に達した場合に、この話題境界点或いは信号変化点が属する探索区間を、ストーリー境界候補区間とする。
【０００９】
さらに、この発明において、好ましくは、ストーリー境界候補区間ごとに、このストーリー境界候補区間に属する話題境界点及び信号変化点のスコアを、第２の重み係数で重み付けを行って比較し、この重み付け後のスコアが、このストーリー境界候補区中最大であった話題境界点或いは信号変化点を、ストーリー境界点とする。
また、この発明において、好ましくは、上述の第２の重み係数は、上述の第１の重み係数と異なる係数である。
さらに、この発明において、好ましくは、ストーリー境界候補区間に属する話題境界点及び信号変化点から、最も優先順位の高い話題境界点或いは信号変化点を、ストーリー境界点とする。
【００１０】
また、この発明において、好ましくは、話題境界点のスコアは、パターン認識処理時におけるスコアを用いて生成されたスコアである。
さらに、この発明において、好ましくは、話題境界点のスコアは、話題境界点データを抽出する際のスコアを用いて生成されたスコアである。
また、この発明において、好ましくは、信号変化点のスコアは、信号変化点データを抽出する際のスコアを用いて生成されたスコアである。
【００１１】
【発明の実施の形態】
以下、この発明の第１の実施の形態を、図面を参照して説明する。なお、以下では、まずこの形態の概略について説明した後、その詳細について説明を行っていく。
図１は、この形態におけるデータ分析装置１の概略を例示した概念図であり、図２は、そのデータ分析方法を説明するための概念図である。以下、この図１及び図２を用いて、この例のデータ分析装置１の構成、及びそのデータ分析方法の概略について説明を行っていく。
【００１２】
データ分析装置１は、例えば、パーソナルコンピュータに所定のプログラムを実行させることによって構成され、そのコンテンツデータ記憶手段２には、映像・音声からなる時系列（図２では、ｔ＝０〜ｎ）をもったコンテンツデータ１０が記憶されている。この例のデータ分析装置１によってデータ分析を行う場合、まず、文字列抽出手段３によってコンテンツデータ記憶手段２からコンテンツデータ１０を読み出し、これによって特定される文字列を、パターン認識処理によって抽出する。ここで、「パターン認識処理」とは、音声や映像をパターン認識し、文字列を抽出する処理をいう（例えば、音声認識処理や文字認識処理等）。抽出された文字列の情報は、話題境界点抽出手段４に送られ、そこで、この抽出された文字列を、意味的にまとまりのある単位に分割し、その分割点の時系列的な位置（話題境界点１１ａ〜１１ｅ）を特定する話題境界点データ１１を抽出する。
【００１３】
また、この例では、信号変化点抽出手段５によってコンテンツデータ記憶手段２からコンテンツデータ１０を読み出し、このコンテンツデータ１０によって特定されるコンテンツの物理的な変化点の時系列的な位置（音響信号変化点１２ａ〜１２ｉや映像信号変化点１３ａ〜１３ｉ）を特定する信号変化点データ（音響信号変化点データ１２や映像信号変化点データ１３）を抽出する。
そして、これらの抽出された話題境界点データ１１、及び信号変化点データ（音響信号変化点データ１２や映像信号変化点データ１３）は、ストーリー境界点抽出手段６に送られ、そこで、この話題境界点データ１１と、信号変化点データ（音響信号変化点データ１２や映像信号変化点データ１３）を用い、コンテンツの内容的な境界点の時系列的な位置（ストーリー境界点１５ａ〜１５ｄ）が特定される。
【００１４】
なお、詳細は後述するが、この例の場合、ストーリー境界点１５ａ〜１５ｄの特定は以下のように行う。
まず、ある時刻ｔにおける探索区間（t〜t+d）に属するスコアが所定の条件を満たした場合、すなわち、時系列的な幅（d）を持った探索区間１６を時系列に沿って移動させ、この探索区間１６に属する話題境界点１１ａ〜１１ｅのスコアと、この探索区間１６に属する信号変化点（音響信号変化点１２ａ〜１２ｉ、及び映像信号変化点１３ａ〜１３ｉ）のスコアとが、所定の条件を満たした場合に、この探索区間１６をストーリー境界候補区間１４ａ〜１４ｄとする（ストーリー境界候補区間データ１４）。そして、このストーリー境界候補区間１４ａ〜１４ｄごとに抽出した、このストーリー境界候補区間１４ａ〜１４ｄに属する話題境界点或いは信号変化点を、ストーリー境界点１５ａ〜１５ｄとする（ストーリー境界点データ１５）。
【００１５】
以上のように、この形態の例では、音声認識結果と、音響信号や映像信号の変化点の抽出結果とを用いてストーリー境界点１５ａ〜１５ｄを抽出することとしたため、コンテンツから音声認識結果が得られなかった区間であっても、容易にストーリー構造を抽出することができる。
次に、この形態の詳細について説明する。
図３は、この形態におけるデータ分析装置２０のハードウェア構成を例示したブロック図である。
図３に例示するように、データ分析装置２０は、コンテンツデータを記憶するコンテンツデータ記憶部２１、ＣＰＵ（Central Processing Unit）２２、キーボードやマウス等の入力部２３、ストーリー境界点データを記憶するストーリー境界点データ記憶部２４、各種データを記憶する記憶部２５、データ分析プログラムを記憶するデータ分析プログラムメモリ２６、液晶ディスプレイ等の表示部２７、及びこれらをデータのやり取り可能に接続するバス２８を有している。
【００１６】
図４は、図３に例示したハードウェア構成において、データ分析プログラムメモリ２６に記憶されたデータ分析プログラムを実行することによって構築されるデータ分析装置２０の処理機能を例示したブロック図である。また、図５は、記憶部２０ｅに記憶されるデータの構成を例示し、図６は、重み係数記憶部２０ｉに記憶されたデータの構成を例示している。さらに、図７は、データ分析装置２０によって行われるデータ分析方法を説明するためのフローチャートである。
以下、これらの図４〜図７を用い、この形態におけるデータ分析装置２０の機能構成及びそのデータ分析方法について説明を行っていく。なお、以下の説明における音声ポーズデータ（VOP）、音声認識結果データ（VOR）、話題境界点データ（VORB）、音響信号変化点データ（BGC）、音響ポーズデータ（BGP）、映像信号変化点データ（VIC）は、１つの音声データ（VO）、音響データ（BG）、或いは画像データ（VI）に対し、それぞれ１つ或いは複数抽出され、処理されるものとし、それぞれのデータを区別する添え字の記載は省略する(第２及び第３の実施の形態についても同様)。
【００１７】
まず、コンテンツデータ記憶部２０ａから、音声データ（VO）を抽出し（ステップＳ１）、この音声データ（VO）を音声認識部２０ｃに送る。次に、この音声認識部２０ｃにおいて、この音声データ（VO）の音声ポーズデータ（VOP）１００を抽出し（ステップＳ２）、さらに、音声認識処理により、音声データ（VO）によって特定される音声の文字列やその音声認識スコア（音声認識結果データ（VOR））を抽出する（ステップＳ３）。
ここで、「ポーズ」とは、音声開始・終了時等の無音状態（例えば、音情報の振幅の自乗和が所定のしきい値以下である状態）が所定時間以上（この例では０．５秒以上）継続する状態をいい、この例の音声ポーズデータ（VOP）１００は、音声データ（VO）によって特定される音声のポーズ部分の時刻（VOP1）１０１、及びその継続時間（msec）であるポーズ長（VOP2）１０２からなるデータである。なお、「時刻」とは、時系列を有するコンテンツの時系列的な位置をいい、コンテンツの先頭からみた再生時間のみではなく、コンテンツの時系列的な位置を示すカウント数等も含む概念である。
【００１８】
また、この例の「音声認識スコア」は、音声認識時における音響モデルとの一致を示す音響スコア、抽出した文字列の文章的なつながりを示す言語モデルとの一致を示す言語スコア、音声認識結果の信頼性（例えば、対立候補の数と、選択された単語と対立候補のスコア差とに基づく値）を示す信頼性スコアによって構成され、この「音声認識スコア」の値が大きいほど、その認識結果が正確であることを示している。
そして、この例の場合、音声認識部２０ｃで抽出された音声ポーズデータ（VOP）は、記憶部２０ｅに送られ、そこで記憶される他（図５）、音声認識結果データ（VOR）とともに話題境界点抽出部２０ｄに送られる。
【００１９】
これらの情報が送られた話題境界点抽出部２０ｄは、これらの情報をもとに、話題境界点データ（VORB）１１０を抽出し（ステップＳ４）、抽出した話題境界点データ（VORB）１１０を記憶部２０ｅに送って、記憶部２０ｅに記録する（図５）。
なお、この例の話題境界点データ（VORB）１１０は、音声認識結果データ（VOR）の文字列を、意味的にまとまりのある単位に分割した場合の分割点の時刻（VORB1）１１１、及び文字列を意味的にまとまりのある単位に分割する際に付される境界スコア（VORB2）１１２（話題境界点のスコア）からなるデータである。
【００２０】
また、この話題境界点データ（VORB）１１０の抽出は、例えば、音声ポーズデータ（VOP）１００の時刻（VOP1）１０１によって仕切られる「コンテンツの文章単位」を、分割される最小単位とし、これに特開２００２−３４２３２４号公報に記載された方法を用いて行う。すなわち、まず、単語の意味を表現する単語ベクトルが格納されている概念ベースを検索することによって、音声認識結果データ（VOR）の文字列が有する各単語に対応する単語ベクトルを取得する。なお、この単語ベクトルは、意味的に近似している単語間ほど距離が近く、意味的に類似していない単語間ほど距離が遠くなるような値が設定されたベクトルである。次に、音声ポーズデータ（VOP）１００の時刻（VOP1）１０１で仕切られる単語の境界（単語境界）の前後に、所定個数の単語の集合である単語列をとり、各単語列を構成する単語の単語ベクトルの情報から単語列結束度（前後の単語列の類似尺度、或いは距離尺度）を算出する。すなわち、例えば、これらの単語ベクトルの和、又は重心により、前後の単語列の類似尺度、又は単語列結束度を求める。そして、この単語列結束度が類似尺度である場合、極小の単語境界を、距離尺度である場合、極大の単語境界を、話題境界点と認定する。
【００２１】
さらに、この例の場合、境界スコア（VORB2）１１２は、話題境界点データ（VORB）１１０を抽出する際のスコア（単語列結束度）を用いて生成されたスコアであり、単語列結束度が類似尺度の場合、単語列結束度が大きければ大きいほど大きな値をとり、単語列結束度が距離尺度の場合、単語列結束度が大きければ大きいほど小さな値をとるスコアである。
また、音声認識時の「音声認識スコア」の値が所定値以下の単語を、話題境界点データ（VORB）１１０抽出時における評価対象から除外する、或いは、話題境界点データ（VORB）１１０抽出時に「音声認識スコア」に応じた単語に重み付けを行うこと等により、境界スコア（VORB2）１１２に音声認識スコアを反映させることとしてもよい（この場合、境界スコア（VORB2）１１２は、パターン認識処理時におけるスコアを用いて生成されたスコアということができる）。
【００２２】
次に、この例では、コンテンツデータ記憶部２０ａから、音響データ（BG）を抽出し（ステップＳ５）、この音響データ（BG）を音響信号変化点抽出部２０ｆに送る。そして、この音響信号変化点抽出部２０ｆにおいて、音響信号変化点データ（BGC）１２０と音響ポーズデータ（BGP）１３０とを抽出し（ステップＳ６）、これらを記憶部２０ｅに送った後、記憶部２０ｅで記憶させる（図５）。ここで、音響信号変化点データ（BGC）１２０は、音響データ（BG）が有する音響信号の物理的な変化点の時刻（BGC1）１２１、及びこの変化点を抽出する際に付された変化スコア（BGC2）１２２からなるデータであり、音響ポーズデータ（BGP）１３０は、音響データ（BG）によって特定される音のポーズ部分（音声・音楽の開始・終了時等）の時刻（BGP1）１３１、及びその継続時間（msec）であるポーズ長（BGP2）１３２からなるデータである。
【００２３】
なお、この音響信号の物理的な変化点の時刻（BGC1）の抽出は、例えば、以下のような方法を用いる。すなわち、まず、音声区間、音楽区間それぞれのデータを用い、音声区間を表すモデル及び音楽区間を表すモデルを学習する。そして、それらのモデルを適用し、入力された信号にスコア付け（それぞれのモデルとの一致度を示すスコア付け）を行い、音声区間モデルと一致した場合に付されるスコア（音声区間スコア）と、音楽区間モデルと一致した場合に付されるスコア（音楽区間スコア）との大小関係が逆転した点を変化点とする。この際、変化スコア（BGC2）は、例えば、時刻（BGC1）における「音声区間スコア」と「音楽区間スコア」との差を用いて生成され、この差が大きいほど変化スコア（BGC2）の値が大きくなるように生成される。
【００２４】
また、音声区間を表すモデルの学習は、例えば、以下の方法を用いる。すなわち、音声が存在する場合には、周波数方向に整数倍あるいはそれに近い帯状のスペクトルが観測できる。そのため、周波数方向に適当な間隔のくし形フィルターを用意し、くしの間隔を変化させ、又は周波数方向に移動させながら、くしの頂点でのスペクトルパワーの総和を求める。そして、音声が存在し、ハーモニクスが存在する場合には、スペクトルパワーの総和が大きくなるため、このスペクトルパワーの総和が所定のしきい値を超えた領域を、音声区間を表すモデルとして学習する（例えば、特開平８−１７９７９１号公報参照）。
【００２５】
また、音楽区間を表すモデルの学習は、例えば、以下の方法を用いる。すなわち、音情報の周波数スペクトルを算出し、そのケプストラムを求め、さらに、そのケプストラムの周波数方向の変動がない軌跡の平均持続時間を算出し、この平均持続時間が所定のしきい値を超える領域を、音楽区間を表すモデルとして学習する（例えば、特開平８−１７９７９１号公報参照）。
また、音響ポーズデータ（BGP）１３０については、例えば、音情報の振幅の自乗和が所定のしきい値以下である状態の発生時刻を時刻（BGP1）１３１とし、その継続時間をポーズ長（BGP2）１３２とする。
【００２６】
次に、この例では、コンテンツデータ記憶部２０ａから、映像データ（VI）を抽出し（ステップＳ７）、この映像データ（VI）を映像信号変化点抽出部２０ｇに送る。そして、この映像信号変化点抽出部２０ｇにおいて、映像信号変化点データ（VIC）１４０を抽出し（ステップＳ８）、これを記憶部２０ｅに送った後、記憶部２０ｅで記録させる（図５）。ここで、映像信号変化点データ（VIC）１４０は、映像データ（VI）が有する音響信号の物理的な変化点の時刻（VIC1）１４１、及びこの変化点を抽出する際に付された変化スコア（VIC2）１４２からなるデータである。
【００２７】
なお、この映像データ（VI）が有する音響信号の物理的な変化点の時刻（VIC1）１４１の抽出方法としては、例えば、取り込まれた一連の映像データ（VI）の時間的に隣り合う２枚の画像It，It-1にそれぞれ対応する画素の輝度値の差を計算し、その絶対値の画面全体に渡る和（フレーム間差分Ｄ(t)）が、所定のしきい値を超えた場合、このｔを変化点の時刻（VIC1）１４１とする方法がある（大辻、外村、大庭：「輝度情報を使った動画像ブラウジング」、電気情報通信学会技術報告、IE90-103,1991参照。）。この際、変化スコア（VIC2）１４２は、例えば、フレーム間差分Ｄ(t)（信号変化点データを抽出する際のスコアに相当）を用いて生成される。
【００２８】
また、フレーム間差分の代わりに、画素変化面積、輝度ヒストグラム差分、ブロック別色相関、χ2 検定量等をＤ(t)とし、このＤ(t)が所定のしきい値を超えた場合、このｔを変化点の時刻（VIC1）１４１としてもよい（大辻、外村：「映像カット自動検出方式の検討」、テレビジョン学会技術報告、Vol.16,No.43,pp.7-12参照）。この際、変化スコア（VIC2）１４２は、例えば、画素変化面積、輝度ヒストグラム差分、ブロック別色相関、χ2 検定量等（信号変化点データを抽出する際のスコアに相当）を用いて生成される。
また、Ｄ(t) をそのまましきい値処理するのではなく、各種時間フィルターをＤ(t)に対して作用した結果をしきい値処理し、変化点の時刻（VIC1）１４１を求めることとしてもよい（K.Otsuji snd Y.Tonomura:"Projection Detecting Filter for Video Cut Detection"Proc.of ACM Multimedia 93,1993,pp.251-257参照）。
【００２９】
上述のように記憶部２０ｅに記憶された音声ポーズデータ（VOP）１００、話題境界点データ（VORB）１１０、音響信号変化点データ（BGC）１２０、音響ポーズデータ（BGP）１３０、及び映像信号変化点データ（VIC）１４０は、ストーリー境界候補区間抽出部２０ｈに送られる。ストーリー境界候補区間抽出部２０ｈは、これらの情報（VOP,VORB, BGC, BGP, VIC）と、重み係数記憶部２０ｉから読み出した重み係数（W）１６２とを用い、ストーリー境界候補区間データ（STS）１５０を抽出する（ステップＳ９）。なお、このステップＳ９の処理の詳細については後述する。また、図６に例示するように、この重み係数（W）１６２は、話題境界点データ（VORB）等の各イベント１６１に割り当てられた係数であり、この例の場合、「話題境界点データ（VORB）」に対して「０．５」が、「音響信号変化点データ（BGC）」に対して「０．２」が、「映像信号変化点データ（VIC）」に対して「０．０５」が、「音声ポーズデータ（VOP）」に対して「０．２」が、「音響ポーズデータ（BGP）」に対して「０．０５」が、それぞれ割り当てられている。
【００３０】
ストーリー境界候補区間データ（STS）１５０は、その区間の開始時刻である始点時刻（STS1）１５１、及び区間の終了時刻である終点時刻（STS2）１５２によって構成され、このようにストーリー境界候補区間抽出部２０ｈで生成されたストーリー境界候補区間データ（STS）１５０は、記憶部２０ｅに送られ、そこで記録される（図５）。
次に、ストーリー境界点抽出部２０ｊにおいて、記憶部２０ｅから、音声ポーズデータ（VOP）１００、話題境界点データ（VORB）１１０、音響信号変化点データ（BGC）１２０、音響ポーズデータ（BGP）１３０、及び映像信号変化点データ（VIC）１４０、ストーリー境界候補区間データ（STS）１５０を読み出し、また、重み係数記憶部２０ｉから重み係数（W）１６２を読み出し、これらのデータを用いてストーリー境界点データ（STB）を抽出する（ステップＳ１０）。ストーリー境界点抽出部２０ｊで抽出されたストーリー境界点データ（STB）は、ストーリー境界点データ記憶部２０ｋに送られ、そこで記録される。
【００３１】
次に、図７におけるステップＳ９の処理の詳細について説明する。
図８は、図７におけるステップＳ９の処理の詳細を説明するためのフローチャートである。以下、このフローチャートに沿って、ストーリー境界候補区間抽出部２０ｈで行われるステップＳ９の処理の詳細を説明する。
この処理では、探索区間（この例では、時刻ＳＴ１から２秒の時間幅を持つ区間）を１秒ステップで０からｎまで移動させ、それぞれのステップの探索区間１６に属する音声ポーズデータ（VOP）１００、話題境界点データ（VORB）１１０、音響信号変化点データ（BGC）１２０、音響ポーズデータ（BGP）１３０、及び映像信号変化点データ（VIC）１４０の各スコアを、重み係数記憶部２０ｉの重み係数（W）で重み付けして加算し、その合計スコア（TSC）がしきい値に達した探索区間をストーリー境界候補区間データ（STS）として抽出する。
【００３２】
具体的には、まず、ST1とTSCとｑ（添え字）を０にリセットし（ステップＳ１１）、ST1≦VORB1≦ST1+2を満たすか否かを判断する（ステップＳ１２）。すなわち探索区間に話題境界点が存在するか否かを判断する。ここで、ST1≦VORB1≦ST1+2を満たした場合、これを満たす全ての話題境界点データ（VORB）に対し、TSC←TSC+VORB2＊0.5の演算を行って（ステップＳ１３）ステップＳ１４へ進み、満たさなかった場合、この演算を行うことなくステップＳ１４に進む。なお、ここで乗算される「0.5」は、前述のように、話題境界点データ（VORB）に割り当てられた重み係数（W）である。
【００３３】
次に、ST1≦BGC1≦ST1+2を満たすか否かを判断する（ステップＳ１４）。ここで、ST1≦BGC1≦ST1+2を満たした場合、これを満たす全ての音響信号変化点データ（BGC）に対し、TSC←TSC+BGC2＊0.2の演算を行って（ステップＳ１５）ステップＳ１６へ進み、満たさなかった場合、この演算を行うことなくステップＳ１６に進む。なお、ここで乗算される「0.2」は、前述のように、音響信号変化点データ（BGC）に割り当てられた重み係数（W）である。
次に、ST1≦VIC1≦ST1+2を満たすか否かを判断する（ステップＳ１６）。ここで、ST1≦VIC1≦ST1+2を満たした場合、これを満たす全ての映像信号変化点データ（VIC）に対し、TSC←TSC+VIC2＊0.05の演算を行って（ステップＳ１７）ステップＳ１８へ進み、満たさなかった場合、この演算を行うことなくステップＳ１８に進む。なお、ここで乗算される「0.05」は、前述のように、映像信号変化点データ（VIC）に割り当てられた重み係数（W）である。
【００３４】
次に、ST1≦VOP1≦ST1+2を満たすか否かを判断する（ステップＳ１８）。ここで、ST1≦VOP1≦ST1+2を満たした場合、これを満たす全ての音声ポーズデータ（VOP）に対し、TSC←TSC+(VOP2/3000)＊0.05の演算を行って（ステップＳ１９）ステップＳ２０へ進み、満たさなかった場合、この演算を行うことなくステップＳ２０に進む。なお、ここで乗算される「0.05」は、前述のように、音声ポーズデータ（VOP）に割り当てられた重み係数（W）である。
次に、ST1≦BGP1≦ST1+2を満たすか否かを判断する（ステップＳ２０）。ここで、ST1≦BGP1≦ST1+2を満たした場合、これを満たす全ての音響ポーズデータ（BGP）に対し、TSC←TSC+(BGP2/1000)＊0.05の演算を行って（ステップＳ２１）ステップＳ２２へ進み、満たさなかった場合、この演算を行うことなくステップＳ２２に進む。なお、ここで乗算される「0.05」は、前述のように、音響ポーズデータ（BGP）に割り当てられた重み係数（W）である。
【００３５】
そして、以上のように演算された合計スコアTSCが、しきい値0.3以上であるか否かを判断する（ステップＳ２２）。ここで、TSCが0.3以上であった場合、STS1qにST1を、STS2qにST1+2をそれぞれ代入し（ステップＳ２３）、その演算結果(STS1q,STS2q)をストーリー候補区間データ（STS）１５０として、記憶部２０ｅに記憶させ（ステップＳ２４）、ステップＳ２５に進む。なお、添え字ｑは、ステップS２４の処理が行われるたびに、q←q+1の演算が行われるものとする。一方、TSCが0.3以上でなかった場合、これらの演算・記録を行うことなく直接ステップＳ２５に進む。
【００３６】
このステップＳ２５では、ST1+2≧nであるか否か（すなわち、探索区間の終了点ST2がコンテンツの終了時刻ｎに達したか否か）を判断し、ST1+2≧nであれば処理を終了し、ST1+2≧nでなければ、ST1に１を加算し、合計スコアTSCを０にリセットして（ステップＳ２６）、ステップＳ１２に戻る。
次に、図７におけるステップＳ１０の処理の詳細について説明する。
図９は、図７におけるステップＳ１０の詳細を説明するためのフローチャートである。以下、このフローチャートに沿って、ストーリー境界点抽出部２０ｊで行われるステップＳ１０の処理の詳細を説明する。
【００３７】
この処理では、ストーリー境界候補区間（STS1〜STS2の区間）ごとに、このストーリー境界候補区間に属する音声ポーズデータ（VOP）１００、話題境界点データ（VORB）１１０、音響信号変化点データ（BGC）１２０、音響ポーズデータ（BGP）１３０、及び映像信号変化点データ（VIC）１４０の各スコア（VOP2,VORB2,BGC2,BGP2,VIC2）を、重み係数記憶部２０ｉの重み係数（W）で重み付けを行って比較し、この重み付け後のスコアが、このストーリー境界候補区中最大であった音声ポーズデータ（VOP）１００、話題境界点データ（VORB）１１０、音響信号変化点データ（BGC）１２０、音響ポーズデータ（BGP）１３０、或いは映像信号変化点データ（VIC）１４０の時刻（VOP1,VORB1,BGC1,BGP1,VIC1）を、ストーリー境界点とする。なお、図９に例示する処理は、各ストーリー境界候補区間に対し、ストーリー境界候補区間ごとに行われる処理であり、以下では、STS1及びSTS2の添え字ｑを省略する。
【００３８】
この例の場合、まず、SC1〜ＳＣm、及びｋの値を０にリセットする（ステップＳ３１）。ここで、「SC1〜ＳＣm」とは、話題境界点データ（VORB）１１０等の各イベントに対応する重み付け後のスコアを代入する変数であり、ｋは、「SC1〜ＳＣm」の添え字を示す整数であり、mは十分大きな整数である。
次に、STS1≦VORB1≦STS2を満たすか否かを判断する（ステップＳ３２）。すなわちストーリー境界候補区間に話題境界点が存在するか否かを判断する。ここで、STS1≦VORB1≦STS2を満たした場合、これを満たす全ての話題境界点データ（VORB）に対し、SCk←VORB2＊0.5の演算を行い、その演算のたびにｋ←k+1の演算を行う（ステップＳ3３）。なお、ここで乗算される「0.5」は、前述のように割り当てられた重み係数（W）である。この演算結果SCkは、それに対応する話題境界点データ（VORB）に関連付けて記憶部２０ｅに記憶され、ステップＳ３４に進む。一方、STS1≦VORB1≦STS2を満たさなかった場合、この演算・記録を行わずステップＳ３４に進む。
【００３９】
次に、STS1≦BGC1≦STS2を満たすか否かを判断する（ステップＳ３４）。ここで、STS1≦BGC1≦STS2を満たした場合、これを満たす全ての音響信号変化点データ（BGC）に対し、SCk←BGC2＊0.2の演算を行い、その演算のたびにｋ←k+1の演算を行う（ステップＳ３５）。なお、ここで乗算される「0.2」は、前述のように割り当てられた重み係数（W）である。この演算結果SCkは、それに対応する音響信号変化点データ（BGC）に関連付けて記憶部２０ｅに記憶され、ステップＳ３６に進む。一方、STS1≦BGC1≦STS2を満たさなかった場合、この演算・記録を行わずステップＳ３６に進む。
【００４０】
次に、STS1≦VIC1≦STS2を満たすか否かを判断する（ステップＳ３６）。ここで、STS1≦VIC1≦STS2を満たした場合、これを満たす全ての映像信号変化点データ（VIC）に対し、SCk←VIC2＊0.05の演算を行い、その演算のたびにｋ←k+1の演算を行う（ステップＳ３７）。なお、ここで乗算される「0.05」は、前述のように割り当てられた重み係数（W）である。この演算結果SCkは、それに対応する映像信号変化点データ（VIC）に関連付けて記憶部２０ｅに記憶され、ステップＳ３８に進む。一方、STS1≦VIC1≦STS2を満たさなかった場合、この演算・記録を行わずステップＳ３８に進む。
【００４１】
次に、STS1≦VOP1≦STS2を満たすか否かを判断する（ステップＳ３８）。ここで、STS1≦VOP1≦STS2を満たした場合、これを満たす全ての音声ポーズデータ（VOP）に対し、SCk←(VOP2/3000)＊0.05の演算を行い、その演算のたびにｋ←k+1の演算を行う（ステップＳ３９）。なお、ここで乗算される「0.05」は、前述のように割り当てられた重み係数（W）である。この演算結果SCkは、それに対応する音声ポーズデータ（VOP）に関連付けて記憶部２０ｅに記憶され、ステップＳ４０に進む。一方、STS1≦VOP1≦STS2を満たさなかった場合、この演算・記録を行わずステップＳ４０に進む。
【００４２】
次に、STS1≦BGP1≦STS2を満たすか否かを判断する（ステップＳ４０）。ここで、STS1≦BGP1≦STS2を満たした場合、これを満たす全ての音響ポーズデータ（BGP）に対し、SCk←(BGP2/1000)＊0.05の演算を行い、その演算のたびにｋ←k+1の演算を行う（ステップＳ４１）。なお、ここで乗算される「0.05」は、前述のように割り当てられた重み係数（W）である。この演算結果SCkは、それに対応する音響ポーズデータ（BGP）に関連付けて記憶部２０ｅに記憶され、ステップＳ４２に進む。一方、STS1≦BGP1≦STS2を満たさなかった場合、この演算・記録を行わずステップＳ４２に進む。
【００４３】
その後、記憶部２０ｅに記憶した各スコアSCp（0≦p≦k）を読み出し、読み出したSCpから、並び替えアルゴリズム等によって、その最大値を検出する。そして、その最大のSCpに対応する（関連付けられている）イベントの時刻（VORB1,BGC1,VIC1,VOP1,BGP1）を、ストーリー境界点データ（STB）とし、その値をストーリー境界点データ記憶部２０ｋに記録する（ステップＳ４２）。
次に、このように抽出されたストーリー境界点データ（STB）の使用例について説明する。
図１０は、ストーリー境界点データ（STB）を使用する際のデータ分析装置２０の機能構成を例示したブロック図である。
【００４４】
この例では、コンテンツデータ記憶部２０ａには前述したデータの他、音声認識部２０ｃ（図４）で生成された音声認識結果データ（VOR）も記録されているものとする。
この例の場合、まず、制御部２０ｎは、コンテンツデータ記憶部２０ａ、記憶部２０ｅ及びストーリー境界点データ記憶部２０ｋにアクセスし、コンテンツデータ記憶部２０ａからコンテンツデータを、記憶部２０ｅから音声ポーズデータ（VOP）、音響ポーズデータ（BGP）及び音声認識結果データ（VOR）を、ストーリー境界点データ記憶部２０ｋからストーリー境界点データ（STB）を、それぞれ読み出し、これらの情報を用い、図１１に例示するストーリー構造表示画面２００を生成する。生成されたストーリー構造表示画面２００は、表示部２０ｍに送られ、表示部２０ｍはこれを表示する。
【００４５】
図１１に例示するように、ストーリー構造表示画面２００は、コンテンツをストーリー境界点で分割した複数のストーリー区分２１０〜２３０によって構成される。そして、各ストーリー区分２１０〜２３０は、そのストーリーの開始時刻（「開始」）と「長さ」を表示するストーリー範囲表示部２１１、「ストーリー詳細表示」、「メタデータ表示」、「ストーリー再生」、「字幕再生」のクリック操作を受け付けるアイコン２１２、ストーリーの要約（「サマリー」）とそのキーワード（「トピック」）を表示する概略表示部２３１、及びコンテンツの先頭静止映像及びポーズ後の先頭静止映像を表示するポーズ境界画面２１４ａ〜２１４ｈによって構成される。
【００４６】
この例の場合、ストーリー区分２１０〜２３０は、ストーリー境界点データ（STB）を用い、コンテンツをストーリー境界点で分割することによって決定され、ストーリー範囲表示部２１１に表示される「開始」は、ストーリー境界点データ（STB）が示す時刻（各ストーリー区分２１０〜２３０の開始時刻）によって、「長さ」は、ストーリー境界点データ（STB）が示す各ストーリー区分２１０〜２３０の開始時刻と終了時刻との差によって、それぞれ生成される。また、概略表示部２１３の「サマリー」及び「トピック」は、各ストーリー区分２１０〜２３０に対応する音声認識結果データ（VOR）を、各ストーリー区分２１０〜２３０ごとに加工することによって生成される。また、ポーズ境界画面２１４ａ〜２１４ｈは、音声ポーズデータ（VOP）の時刻（VOP1）１０１から、ポーズ長（VOP2）１０２だけ経過した時刻のコンテンツの静止画像、及び音響ポーズデータ（BGP）の時刻（BGP1）１３１から、ポーズ長（BGP2）１３２だけ経過した時刻のコンテンツの静止画像、を時系列順に並べることによって生成される。
【００４７】
このように表示されたストーリー構造表示画面２００を閲覧した利用者は、入力部２０ｐからのマウス入力等により、閲覧を希望するストーリー区分２１０〜２３０のアイコン２１２のクリック操作を行う。この入力情報は制御部２０ｎに伝えられ、これによりアイコン２１２のクリック操作が制御部２０ｎに検出されると、制御部はそれに応じた処理、例えば、選択されたストーリー区分のコンテンツをコンテンツデータ記憶部２０ａから読み出し、そのコンテンツを表示部２０ｍに送り表示させる処理が行われる。
なお、利用者が入力部２０ｐに入力したキーワードを用い、制御部２０ｎにおいて、音声認識結果データ（VOR）が示す文字列を検索し、そのキーワードを有するストーリー区分を表示部２０ｍに表示し、利用者により、表示部２０ｍに表示されたストーリー区分のコンテンツの閲覧を希望する旨の入力が入力部２０ｐに行われた場合に、そのストーリー区分のコンテンツを表示部２０ｍに表示させることとしてもよい。
【００４８】
以上説明したように、この形態では、コンテンツデータによって特定される文字列を、音声認識処理によって抽出し（ステップＳ３）、抽出された文字列を、意味的にまとまりのある単位に分割して話題境界点データ（VORB）を抽出し（ステップＳ４）、データによって特定されるコンテンツの物理的な変化点の時系列的な位置（信号変化点）を特定する信号変化点データ（VOP,BGC,BGP,VIC）を抽出し（ステップＳ２、Ｓ６、Ｓ８）、この話題境界点データ（VORB）と、信号変化点データ（VOP,BGC,BGP,VIC）とを用い、ストーリー境界点データ（STB）を抽出することとした。そのため、コンテンツから音声認識結果が得られなかった区間であっても、その他の信号変化点データ（VOP,BGC,BGP,VIC）を用いることにより、ストーリー構造を容易に抽出することが可能となる。
【００４９】
また、この形態では、話題境界点データ（VORB）だけではなく、信号変化点データ（VOP,BGC,BGP,VIC）をも用いてストーリー境界点を抽出することとしたため、抽出したストーリー境界点の正確性・的確性が向上する。
さらに、この形態では、ストーリー境界候補区間抽出部２０ｈ（ストーリー境界抽出手段を構成）において、時系列的な幅を持った探索区間に属する話題境界点のスコアと、この探索区間に属する信号変化点のスコアとが、所定の条件を満たした場合に、この探索区間をストーリー境界候補区間とし（ステップＳ９）、ストーリー境界点抽出部２０ｊ（ストーリー境界抽出手段を構成）において、このストーリー境界候補区間ごとに抽出した、このストーリー境界候補区間に属する話題境界点或いは信号変化点を、ストーリー境界点とすることとした（ステップＳ１０）。これにより、コンテンツの１つのストーリー境界点に複数の話題境界点及び信号変化点が対応し、これらの話題境界点及び信号変化点が完全に一致しない場合（検出方法による誤差等に起因）であっても、検出された話題境界点及び信号変化点すべてがストーリー境界点であると判断されることを防止することができる。その結果、複数の話題境界点及び信号変化点によるストーリー境界点の抽出が、正確かつ現実的に実行可能なる。
【００５０】
さらに、この形態では、話題境界点のスコア（VORB2）及び信号変化点のスコア（VOP2,BGC2,BGP2,VIC2）を、重み係数（W）で重み付けを行って合計した値が、所定のしきい値に達した場合に、この話題境界点或いは信号変化点が属する探索区間を、ストーリー境界候補区間とした（ステップＳ１１〜Ｓ２６）。これにより、話題境界点や信号変化点の検出信頼度をストーリー境界候補区間の検出に反映させ、さらに、重み係数（W）の調整により、話題境界点や信号変化点のストーリー境界候補区間検出時の寄与度を自由に設定することができる。その結果、適切なストーリー境界候補区間の検出を好適に行うことが可能となる。
【００５１】
また、この形態では、ストーリー境界候補区間ごとに、このストーリー境界候補区間に属する話題境界点及び信号変化点のスコア（VORB2,VOP2,BGC2,BGP2,VIC2）を、重み係数（W）で重み付けを行って比較し、この重み付け後のスコア（SCk）が、このストーリー境界候補区中最大であった話題境界点或いは信号変化点を、ストーリー境界点とすることとした（ステップＳ３１〜Ｓ４２）。これにより、ストーリー境界候補区中最も信頼性が高いデータを用いてストーリー境界点を決定することができ、ストーリー境界点の抽出を適切に行うことができる。
さらに、この形態では、音声認識処理時におけるスコアを用いて、話題境界点のスコア（VRB2）を生成することとしたため、音声認識処理の信頼性をストーリー境界点の抽出処理に反映させることが可能となる。その結果、音声認識誤りの影響を低減させ、適切なストーリー境界点の抽出が可能となる。
【００５２】
また、この形態では、話題境界点データを抽出する際のスコアを用いて、話題境界点のスコア（VRB2）を生成することとしたため、話題境界点抽出処理の信頼性をストーリー境界点の抽出処理に反映させることが可能となる。その結果、話題境界点抽出の誤りの影響を低減させ、適切なストーリー境界点の抽出が可能となる。
さらに、この形態では、信号変化点データを抽出する際のスコアを用いて、信号変化点のスコア（VORB2,VOP2,BGC2,BGP2,VIC2）を生成することとしたため、信号変化点データ抽出処理の信頼性をストーリー境界点の抽出処理に反映させることが可能となる。その結果、ストーリー境界点の抽出処理の誤りの影響を低減させ、適切なストーリー境界点の抽出が可能となる。
【００５３】
次に、この発明における第２の実施の形態について説明する。
この形態は第１の実施の形態の変形例であり、ストーリー境界候補区間データ抽出時（ステップＳ９）に用いる重み係数（第１の重み係数）と、ストーリー境界点データ抽出時（ステップＳ１０）に用いる重み係数（第２の重み係数）とが異なる係数である点が第１の実施の形態と異なる。以下では、第１の実施の形態と異なる点のみを説明し、第１の実施の形態と共通する事項については説明を省略する。なお、この形態で第１の実施の形態と同一の機能構成を図示する場合には、第１の実施の形態と同一の番号を用いる。
【００５４】
図１２は、図３に例示したハードウェア構成において、データ分析プログラムメモリ２６に記憶されたデータ分析プログラムを実行することによって構築される本形態のデータ分析装置３００の処理機能を例示したブロック図である。
この形態の構成と第１の実施の形態の構成との相違点は、第１の実施の形態の重み係数記憶部２０ｉの代わりに、ストーリー境界候補区間データ抽出時（ステップＳ９）に用いる重み係数（W）を記憶した境界候補区間重み係数記憶部３０１、及びストーリー境界点データ抽出時（ステップＳ１０）に用いる重み係数（W'）を記憶した境界点重み係数記憶部３０２を設けた点である。なお、境界候補区間重み係数記憶部３０１は、ストーリー境界候補区間抽出部２０ｈに重み係数（W）の提供が可能なように構成され、境界点重み係数記憶部３０２は、ストーリー境界点抽出部２０ｊに重み係数（W'）の提供が可能なように構成されている。
【００５５】
図１３は、境界候補区間重み係数記憶部３０１に記憶されたデータの構成を例示している。
図１３に例示するように、この重み係数（W'）３１２は、話題境界点データ（VORB）等の各イベント３１１に割り当てられた係数であり、この例の場合、「話題境界点データ（VORB）」に対して「０．２」が、「音響信号変化点データ（BGC）」に対して「０．３」が、「映像信号変化点データ（VIC）」に対して「０．３」が、「音声ポーズデータ（VOP）」に対して「０．１」が、「音響ポーズデータ（BGP）」に対して「０．１」が、それぞれ割り当てられている。
【００５６】
なお、境界候補区間重み係数記憶部３０１に記憶された重み係数（W）は、図６に例示したものと同一とし、ここでは説明を省略する。
次に、この形態におけるデータ分析装置３００によって行われるデータ分析方法について説明する。なお、第１の実施の形態で説明したステップＳ１〜Ｓ９の処理（図７）は、第２の形態におけるデータ分析方法についても同様に行われ、その相違は、重み係数記憶部２０ｉ（図４）が境界候補区間重み係数記憶部３０１（図１２）に置き換わる点のみである。従って、ここでは、その説明を省略し、第１の実施の形態との相違点である図７のステップＳ１０の処理のみについて説明を行う。
【００５７】
図１４は、第２の実施の形態における図７のステップＳ１０の詳細を説明するためのフローチャートである。以下、このフローチャートに沿って、ストーリー境界点抽出部２０ｊ（図４）で行われるこの形態のステップＳ１０の処理の詳細を説明する。
この処理では、ストーリー境界候補区間（STS1〜STS2の区間）ごとに、このストーリー境界候補区間に属する音声ポーズデータ（VOP）１００等の各スコア（VOP2,VORB2,BGC2,BGP2,VIC2）を、重み係数記憶部３０２の重み係数（W'）で重み付けを行って比較し、この重み付け後のスコアが、このストーリー境界候補区中最大であった音声ポーズデータ（VOP）１００等の時刻（VOP1,VORB1,BGC1,BGP1,VIC1）を、ストーリー境界点とする。なお、図１４に例示する処理は、各ストーリー境界候補区間に対し、ストーリー境界候補区間ごとに行われる処理であり、以下では、STS1及びSTS2の添え字ｑを省略する。
【００５８】
この例の場合、まず、SC1〜ＳＣm、及びｋの値を０にリセットし（ステップＳ５１）、STS1≦VORB1≦STS2を満たすか否かを判断する（ステップＳ５２）。ここで、STS1≦VORB1≦STS2を満たした場合、これを満たす全ての話題境界点データ（VORB）に対し、SCk←VORB2＊0.2の演算を行い、その演算のたびにｋ←k+1の演算を行う（ステップＳ５３）。なお、ここで乗算される「0.2」は、前述のように割り当てられた重み係数（W'）である。この演算結果SCkは、それに対応する話題境界点データ（VORB）に関連付けて記憶部２０ｅに記憶され、ステップＳ５４に進む。一方、STS1≦VORB1≦STS2を満たさなかった場合、この演算・記録を行わずステップＳ５４に進む。
【００５９】
次に、STS1≦BGC1≦STS2を満たすか否かを判断する（ステップＳ５４）。ここで、STS1≦BGC1≦STS2を満たした場合、これを満たす全ての音響信号変化点データ（BGC）に対し、SCk←BGC2＊0.3の演算を行い、その演算のたびにｋ←k+1の演算を行う（ステップＳ５５）。なお、ここで乗算される「0.3」は、前述のように割り当てられた重み係数（W'）である。この演算結果SCkは、それに対応する音響信号変化点データ（BGC）に関連付けて記憶部２０ｅに記憶され、ステップＳ５６に進む。一方、STS1≦BGC1≦STS2を満たさなかった場合、この演算・記録を行わずステップＳ５６に進む。
【００６０】
次に、STS1≦VIC1≦STS2を満たすか否かを判断する（ステップＳ５６）。ここで、STS1≦VIC1≦STS2を満たした場合、これを満たす全ての映像信号変化点データ（VIC）に対し、SCk←VIC2＊0.03の演算を行い、その演算のたびにｋ←k+1の演算を行う（ステップＳ５７）。なお、ここで乗算される「0.03」は、前述のように割り当てられた重み係数（W'）である。この演算結果SCkは、それに対応する映像信号変化点データ（VIC）に関連付けて記憶部２０ｅに記憶され、ステップＳ５８に進む。一方、STS1≦VIC1≦STS2を満たさなかった場合、この演算・記録を行わずステップＳ５８に進む。
【００６１】
次に、STS1≦VOP1≦STS2を満たすか否かを判断する（ステップＳ５８）。ここで、STS1≦VOP1≦STS2を満たした場合、これを満たす全ての音声ポーズデータ（VOP）に対し、SCk←(VOP2/3000)＊0.1の演算を行い、その演算のたびにｋ←k+1の演算を行う（ステップＳ５９）。なお、ここで乗算される「0.1」は、前述のように割り当てられた重み係数（W'）である。この演算結果SCkは、それに対応する音声ポーズデータ（VOP）に関連付けて記憶部２０ｅに記憶され、ステップＳ６０に進む。一方、STS1≦VOP1≦STS2を満たさなかった場合、この演算・記録を行わずステップＳ６０に進む。
【００６２】
次に、STS1≦BGP1≦STS2を満たすか否かを判断する（ステップＳ６０）。ここで、STS1≦BGP1≦STS2を満たした場合、これを満たす全ての音響ポーズデータ（BGP）に対し、SCk←(BGP2/1000)＊0.1の演算を行い、その演算のたびにｋ←k+1の演算を行う（ステップＳ６１）。なお、ここで乗算される「0.1」は、前述のように割り当てられた重み係数（W'）である。この演算結果SCkは、それに対応する音響ポーズデータ（BGP）に関連付けて記憶部２０ｅに記憶され、ステップＳ６２に進む。一方、STS1≦BGP1≦STS2を満たさなかった場合、この演算・記録を行わずステップＳ６２に進む。
【００６３】
その後、記憶部２０ｅに記憶した各スコアSCp（0≦p≦k）を読み出し、読み出したSCpから、並び替えアルゴリズム等によって、その最大値を検出する。そして、その最大のSCpに対応する（関連付けられている）イベントの時刻（VORB1,BGC1,VIC1,VOP1,BGP1）を、ストーリー境界点データ（STB）とし、その値をストーリー境界点データ記憶部２０ｋに記録する（ステップ６２）。
このように、この形態では、ストーリー境界候補区間データ抽出時（ステップＳ９）に用いる重み係数（W）（第１の重み係数）と、ストーリー境界点データ抽出時（ステップＳ１０）に用いる重み係数（W'）（第２の重み係数）とを別個に設定することとした。そのため、これらの重み係数を異なる係数とすることも可能であり、これにより、ストーリー境界候補区間抽出やストーリー境界部抽出に対する、話題境界点や信号変化点の寄与度の調節を、より高い自由度で行うことができる。例えば、話題境界点を重んじてストーリー境界候補区間を抽出し、映像変化点を重んじてストーリー境界を抽出するといった具合である。その結果、ストーリー境界部の抽出を、より適切に行うことが可能となる。
【００６４】
次に、この発明における第３の実施の形態について説明する。
この形態は第１の実施の形態の変形例であり、ストーリー境界点データ抽出（ステップＳ１０）を、重み係数で重み付けしたスコアを比較するのではなく、イベント自体に付与された優先順位に従って、ストーリー境界候補区間からストーリー境界点を抽出する点が第１の実施の形態と異なる。以下では、第１の実施の形態と異なる点のみを説明し、第１の実施の形態と共通する事項については説明を省略する。なお、この形態で第１の実施の形態と同一の機能構成を図示する場合には、第１の実施の形態と同一の番号を用いる。
【００６５】
図１５は、図３に例示したハードウェア構成において、データ分析プログラムメモリ２６に記憶されたデータ分析プログラムを実行することによって構築される本形態のデータ分析装置４００の処理機能を例示したブロック図である。
この形態の構成と第１の実施の形態の構成との相違点は、第１の実施の形態の重み係数記憶部２０ｉが、ストーリー境界点抽出部２０ｊに重み係数（W）を供給する構成とはなっていない点、及び各イベントの優先順位を示すイベント順位（R）を記憶したイベント順位記憶部４０１を設けた点である。なお、このイベント順位記憶部４０１は、ストーリー境界点抽出部２０ｊに、イベント順位（R）の情報の提供が可能なように構成されている。
【００６６】
図１６は、イベント順位記憶部４０１に記憶されたデータの構成を例示している。
図１６に例示するように、イベント順位記憶部４０１には、映像信号変化点データ（ＶＩＣ）等のイベント４１１にそれぞれ対応付けられた、イベント順位（R）が記憶されている。この例の場合、映像信号変化点データ（VIC）に対してイベント順位「１」が、音響信号変化点データ（BGC）に対してイベント順位「２」が、話題境界点データ（VORB）に対してイベント順位「３」が、それぞれ割り当てられている。なお、前述のように、「イベント順位」は、各イベントの優先順位を示し、同じストーリー境界候補区間に複数のイベントが存在した場合、その中で最もイベント順位が高いイベントの時刻（VORB1,BGC1,VIC1）が、ストーリー境界点として選択される。
【００６７】
次に、この形態におけるデータ分析装置４００によって行われるデータ分析方法について説明する。なお、第１の実施の形態で説明したステップＳ１〜Ｓ９の処理（図７）は、第３の形態におけるデータ分析方法についても同様に行われるため、ここでは、その説明を省略し、第１の実施の形態との相違点である図７のステップＳ１０の処理のみについて説明を行う。
図１７は、第３の実施の形態における図７のステップＳ１０の詳細を説明するためのフローチャートである。以下、このフローチャートに沿って、ストーリー境界点抽出部２０ｊ（図４）で行われるこの形態のステップＳ１０の処理の詳細を説明する。
【００６８】
この処理では、ストーリー境界候補区間（STS1〜STS2の区間）ごとに、このストーリー境界候補区間に属する映像信号変化点データ（VIC）等のイベントから、最も優先順位が高いイベントを選択し、そのイベントの時刻（VIC1,BGC1,VORB1）を、ストーリー境界点とする。なお、図１４に例示する処理は、各ストーリー境界候補区間に対し、ストーリー境界候補区間ごとに行われる処理であり、以下では、STS1及びSTS2の添え字ｑを省略する。
この例の場合、まず、SC1〜ＳＣmを０にリセットし（ステップＳ７１）、イベント順位記憶部４０１からイベント順位（R）４１２を取得し、このイベント順位（R）４１２が「１」であるイベント、すなわち、映像信号変化点データ（VIC）の時刻（VIC1）が、STS1≦VIC1≦STS2を満たすか否かを判断する（ステップＳ７２）。ここで、STS1≦VIC1≦STS2を満たした場合、これを満たす映像信号変化点データ（VIC）のうち、変化スコア（VIC2）が最大の映像信号変化点データ（VIC）の時刻（VIC1）をストーリー境界点データ（STB）とし（ステップＳ７３）、処理を終了する。
【００６９】
一方、STS1≦VIC1≦STS2を満たさない場合、イベント順位記憶部４０１からイベント順位（R）４１２を取得し、このイベント順位（R）４１２が「２」であるイベント、すなわち、音響信号変化点データ（BGC）の時刻（BGC1）が、STS1≦BGC1≦STS2を満たすか否かを判断する（ステップＳ７４）。ここで、STS1≦BGC1≦STS2を満たした場合、これを満たす音響信号変化点データ（BGC）のうち、変化スコア（BGC2）が最大の音響信号変化点データ（BGC）の時刻（BGC1）をストーリー境界点データ（STB）とし（ステップＳ７５）、処理を終了する。
一方、STS1≦BGC1≦STS2を満たさない場合、イベント順位記憶部４０１からイベント順位（R）４１２を取得し、このイベント順位（R）４１２が「３」であるイベント、すなわち、話題境界点データ（VORB）の時刻（VORB1）が、STS1≦VORB1≦STS2を満たすか否かを判断する（ステップＳ７６）。ここで、STS1≦VORB1≦STS2を満たした場合、これを満たす話題境界点データ（VORB）のうち、境界スコア（VORB2）が最大の話題境界点データ（VORB）の時刻（VORB1）をストーリー境界点データ（STB）とし（ステップＳ７７）、処理を終了する。
【００７０】
このように、本形態では、イベント順位（R）４１２によってイベントの優先順位を定め、ストーリー境界候補区間に属するイベントから、最も優先順位が高いイベントを選択し、そのイベントの時刻（VIC1,BGC1,VORB1）をストーリー境界点とした。そのため、ストーリー境界点としてより適切なイベントを優先的に選択することが可能となり、ストーリー境界点の抽出処理を最適化することができる。
なお、この発明は上述の第１〜３の実施に限定されるものではない。例えば、これらの形態では、パターン認識処理として音声認識処理を用い、コンテンツから文字列を抽出することとしたが、パターン認識処理として文字認識処理を用い、コンテンツの映像に表れるテロップ等の文字から文字列を抽出し、その文字列を話題境界点の抽出に利用することとしてもよい。
【００７１】
また、このテロップが現れる時点を映像信号の変化点として抽出し、それを信号変化点としてストーリー境界点の抽出に利用することとしてもよい。
さらに、この形態では、コンピュータ上で所定のプログラムを実行させることにより、データ分析装置を構成することとしたが、これらの処理内容の少なくとも一部を電子回路によってハードウェア的に実現することとしてもよい。
また、第１〜３の実施の形態で述べたように、上記のデータ分析装置の処理機能は、コンピュータによって実現することができる。この場合、データ分析装置が有すべき機能の処理内容はプログラムによって記述され、このプログラムをコンピュータで実行することにより、上記処理機能をコンピュータ上で実現することができる。
【００７２】
また、この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を用いることができる。
【００７３】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【００７４】
なお、上記におけるプログラムとは、電子計算機に対する指令であって、一の結果を得ることができるように組合されたものをいい、その他電子計算機による処理の用に供する情報であってプログラムに準ずるものをも含むものとする。
【００７５】
【発明の効果】
以上説明したようにこの発明では、コンテンツデータによって特定される文字列を、パターン認識処理によって抽出し、この抽出された文字列を、意味的にまとまりのある単位に分割し、その分割点の時系列的な位置（話題境界点）を特定する話題境界点データを抽出し、また、このコンテンツデータによって特定されるコンテンツの物理的な変化点の時系列的な位置（信号変化点）を特定する信号変化点データを抽出する。そして、この抽出された話題境界点データと、信号変化点データとを用い、コンテンツの内容的な境界点の時系列的な位置（ストーリー境界点）を特定することとした。そのため、コンテンツから音声認識結果が得られない区間においても、ストーリー構造を容易に抽出することが可能となる。
【図面の簡単な説明】
【図１】データ分析装置の概略を例示した概念図。
【図２】データ分析方法を説明するための概念図。
【図３】データ分析装置のハードウェア構成を例示したブロック図。
【図４】データ分析装置の処理機能を例示したブロック図。
【図５】記憶部に記憶されるデータの構成を例示した図。
【図６】重み係数記憶部に記憶されたデータの構成を例示した図。
【図７】データ分析装置によって行われるデータ分析方法を説明するためのフローチャート。
【図８】図７におけるステップＳ９の処理の詳細を説明するためのフローチャート。
【図９】図７におけるステップＳ１０の詳細を説明するためのフローチャート。
【図１０】ストーリー境界点データを使用する際のデータ分析装置の機能構成を例示したブロック図。
【図１１】ストーリー構造表示画面を例示した図。
【図１２】データ分析装置の処理機能を例示したブロック図。
【図１３】境界候補区間重み係数記憶部に記憶されたデータの構成を例示した図。
【図１４】図７のステップＳ１０の詳細を説明するためのフローチャート。
【図１５】データ分析装置の処理機能を例示したブロック図。
【図１６】イベント順位記憶部に記憶されたデータの構成を例示した図。
【図１７】図７のステップＳ１０の詳細を説明するためのフローチャート。
【符号の説明】
１、２０、３００、４００  データ分析装置
３  文字列抽出手段
４  話題境界点抽出手段
５  信号変化点抽出手段
６  ストーリー境界点抽出手段
【図１】
0003973572.tif 000002
【図２】
0003973572.tif 000003
【図３】
0003973572.tif 000004
【図４】
0003973572.tif 000005
【図５】
0003973572.tif 000006
【図６】
0003973572.tif 000007
【図７】
0003973572.tif 000008
【図８】
0003973572.tif 000009
【図９】
0003973572.tif 000010
【図１０】
0003973572.tif 000011
【図１１】
0003973572.tif 000012
【図１２】
0003973572.tif 000013
【図１３】
0003973572.tif 000014
【図１４】
0003973572.tif 000015
【図１５】
0003973572.tif 000016
【図１６】
0003973572.tif 000017
【図１７】
0003973572.tif 000018