(57)【要約】  人手による解析と共に、教師なしクラスタリングアルゴリズムを利用してテレビや映像プログラムなどのプログラムのハイレベル構成を復元するための装置及び方法が提供される。本方法は、３つの段階、すなわち、ここではテキストタイプクラスタリング段階と呼ばれる第１段階と、ターゲットプログラムのジャンル／サブジャンルタイプが検出されるジャンル／サブジャンル特定段階の第２段階と、ここでは構造復元段階と呼ばれる第３の最終段階とから構成される。構造復元段階は、プログラム構造を表すのに図式的モデルを利用する。プログラムのハイレベル構造は、復元されると、以下に限定されるものではないが、時間的イベント、テキストイベント、プログラムイベントなどを含むさらなる情報の復元に効果的に利用されるかもしれない。
2007513398.tif 000002
【特許請求の範囲】
【請求項１】
ターゲットプログラムのハイレベル構造を復元する方法であって、
ａ）前記ターゲットプログラムに対してテキスト検出データを生成するステップと、
ｂ）前記ステップ（ａ）において生成されたテキスト検出データを利用して、前記ターゲットプログラムに対してジャンル／サブジャンル特徴ベクトルを生成するステップと、
ｃ）複数の上位図式的モデルを構成するステップと、
ｄ）前記ターゲットプログラムのクラスタ分布データを利用して、前記上位図式的モデルの一部を特定するステップと、
ｅ）前記ターゲットプログラムのテキスト検出データを利用して、前記モデルの一部から単一の上位図式的モデルを特定するステップと、
を有し、
前記単一の上位図式的モデルは、前記ターゲットプログラムのハイレベル構造に対応することを特徴とする方法。
【請求項２】
請求項１記載の方法であって、さらに、
前記テキスト検出データにより前記単一の上位図式的モデルを利用してプログラムサマリを構成するステップを有することを特徴とする方法。
【請求項３】
請求項２記載の方法であって、
前記プログラムサマリを構成するステップはさらに、
視聴者にとって重要な１以上のイベントを決定するステップと、
前記テキスト検出データから前記重要なイベントを検索するステップと、
前記テキスト検出データから前記重要なイベントを抽出するステップと、
前記プログラムサマリに前記抽出したイベントを含めるステップと、
を有することを特徴とする方法。
【請求項４】
請求項１記載の方法であって、さらに、
前記テキスト検出データにより前記単一の上位図式的モデルを利用してプログラムサマリを構成するステップを有し、
該構成するステップは、
プログラムイベントを検索するステップと、
所定のランキングに基づき、前記検索するステップにおいて特定されたプログラムイベントをランク付けするステップと、
前記ランキングに基づき、前記特定されたプログラムイベントの一部を選択するステップと、
を有することを特徴とする方法。
【請求項５】
請求項４記載の方法であって、
前記プログラムイベントを検索するステップは、
プログラムイベントをまとめて規定するテキストイベントシーケンスを決定するステップと、
前記テキスト検出データから前記テキストイベントシーケンスを検索するステップと、
前記テキスト検出データにおいて前記テキストイベントシーケンスを特定すると、前記テキストイベントシーケンスと前記上位図式的モデルの対応するノードとを比較するステップと、
前記テキストイベントシーケンスの出現時間シーケンスが、前記上位図式的モデルの対応するノードに係る時間制約に従うか判断するステップと、
を有することを特徴とする方法。
【請求項６】
請求項１記載の方法であって、さらに、
前記ターゲットプログラムにおいて、テキストタイプ、前記ターゲットプログラム以外のプログラムとの類似度、テキストパターン、プログラムイベント及びプログラムイベントパターンを有する情報を検索するステップを有することを特徴とする方法。
【請求項７】
請求項６記載の方法であって、
前記ターゲットプログラムにおいて検索対象となる前記情報は、前記テキスト検出データ及び前記上位図式的モデルにより与えられる情報を利用することを特徴とする方法。
【請求項８】
請求項１記載の方法であって、
前記図式的モデルは、ペトリネットモデル、隠れマルコフモデル、及び前記ペトリネットモデルと前記隠れマルコフモデルの組み合わせの１つであることを特徴とする方法。
【請求項９】
請求項１記載の方法であって、
前記ターゲットプログラムは、テレビと映像プログラムの１つであることを特徴とする方法。
【請求項１０】
請求項１記載の方法であって、
前記ターゲットプログラムに対してテキスト検出データを生成するステップは、
ｉ）前記ターゲットプログラムにおいてテキストの存在を検出するステップと、
ｉｉ）前記検出されたテキストのテキスト特徴を特定及び抽出するステップと、
ｉｉｉ）前記特定及び抽出された特徴からテキスト特徴ベクトルを形成するステップと、
を有することを特徴とする方法。
【請求項１１】
請求項１０記載の方法であって、
前記ターゲットプログラムにおいてテキストの存在を検出するステップは、ＭＰＥＧ−７規格に従って実行されることを特徴とする方法。
【請求項１２】
請求項１０記載の方法であって、
前記特定及び抽出されたテキスト特徴は、テキスト位置、テキスト高さ、テキストフォントタイプ及びテキストカラーを有することを特徴とする方法。
【請求項１３】
請求項１０記載の方法であって、
前記ターゲットプログラムにおいてテキストの存在を検出するステップはさらに、前記ターゲットプログラムのある映像特徴におけるテキストの存在を検出するステップを有することを特徴とする方法。
【請求項１４】
請求項１０記載の方法であって、
前記ターゲットプログラムに対してジャンル／サブジャンル特徴ベクトルを生成するステップは、
ｉｉｉ）において生成された前記ターゲットプログラムに対するテキスト特徴ベクトルと各種ジャンル／サブジャンルタイプに対する複数の所定のジャンル／サブジャンル特徴ベクトルとを比較するステップと、
前記ターゲットプログラムに対するテキスト特徴ベクトルを最も高い類似度を有するジャンル／サブジャンル特徴ベクトルと関連付けるステップと、
前記ターゲットプログラムに対するテキスト特徴ベクトルを関連付けるステップにおいて特定されるジャンル／サブジャンル特徴ベクトル群を規定するステップと、
を有することを特徴とする方法。
【請求項１５】
請求項１記載の方法であって、
前記複数の上位図式的モデルは、プログラムレベルにおいてあるプログラムジャンル／サブジャンルタイプを図式的にモデル化することを特徴とする方法。
【請求項１６】
請求項１２記載の方法であって、
前記上位図式的モデルの遷移要素は、プログラムテキストとタイミング情報とを有する下位図式的モデルから構成可能であることを特徴とする方法。
【請求項１７】
請求項１６記載の方法であって、
前記下位図式的モデルは、ペトリネットとしてモデル化されることを特徴とする方法。
【請求項１８】
請求項１７記載の方法であって、
前記遷移要素には、前記上位モデルの他の遷移要素に対して優先順位が割り当てられることを特徴とする方法。
【請求項１９】
請求項１記載の方法であって、
前記ターゲットプログラムに対してジャンル特徴ベクトルクラスタデータを生成するステップは、教師なしクラスタリングアルゴリズムに従って実行されることを特徴とする方法。
【請求項２０】
請求項１９記載の方法であって、
前記教師なしクラスタリングアルゴリズムは、距離メトリックに基づき対応するテキスト特徴を比較することを特徴とする方法。
【請求項２１】
請求項２０記載の方法であって、
前記距離メトリックは、
【数１】
2007513398.tif 000007
として計算することを特徴とする方法。
【請求項２２】
ターゲットプログラムのハイレベル構造を復元するシステムであって、
コンピュータ可読コードを格納するメモリと、
複数の上位ペトリネットを格納するデータベースと、
前記メモリに動作可能に結合され、前記ターゲットプログラムに対してテキスト検出データを生成し、前記テキスト検出データを利用して、前記ターゲットプログラムに対してジャンル／サブジャンル特徴ベクトルを生成し、複数の上位図式的モデルを構成し、前記ターゲットプログラムのクラスタ分布データを利用して、前記上位図式的モデルの一部を特定し、前記ターゲットプログラムのテキスト検出データを利用して、前記モデルの一部から単一の上位図式的モデルを特定するよう構成されるプロセッサと、
を有し、
前記単一の上位図式的モデルは、前記ターゲットプログラムのハイレベル構造に対応することを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に映像解析の技術分野に関し、より詳細には、プログラムに現れる各種タイプの映像テキストの様相に対する分類子を利用して、テレビや映像プログラムなどのプログラムのハイレベル構造の特定に関する。
【背景技術】
【０００２】
映像がますます普及するに従い、それに含まれるコンテンツを解析するより効率的な方法が、ますます必要かつ重要となってきている。本来的に、映像は解析を困難な命題とする複雑さと膨大なデータ量を含む。重要な解析は、さらなる詳細な解析の基礎を提供することが可能な映像のハイレベル構造を理解することである。
【０００３】
いくつかの解析方法が知られている。Ｙｅｕｎｇらによる「Ｖｉｄｅｏ  Ｂｒｏｗｓｉｎｇ  ｕｓｉｎｇ  Ｃｌｕｓｔｅｒｉｎｇ  ａｎｄ  Ｓｃｅｎｅ  Ｔｒａｎｓｉｔｉｏｎｓ  ｏｎ  Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｑｕｅｎｃｅｓ」（Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｎｅｔｗｏｒｋｉｎｇ  １９９５，Ｖｏｌ．ＳＰＩＥ２４１７，ｐｐ．３９９−４１３，Ｆｅｂｒｕａｒｙ  １９９５）、Ｙｅｕｎｇらによる「Ｔｉｍｅ−ｃｏｎｓｔｒａｉｎｅｄ  Ｃｌｕｓｔｅｒｉｎｇ  ｆｏｒ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  Ｖｉｄｅｏ  ｉｎｔｏ  Ｓｔｏｒｙ  Ｕｎｉｔｓ」（ＩＣＰＲ，Ｖｏｌ．Ｃ．ｐｐ．３７５−３８０  Ａｕｇｕｓｔ  １９９６）、Ｚｈｏｎｇらによる「Ｃｌｕｓｔｅｒｉｎｇ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｂｒｏｗｓｉｎｇ  ａｎｄ  Ａｎｎｏｔａｔｉｏｎ」（ＳＰＩＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｓｔｏｒａｇｅ  ａｎｄ  Ｒｅｔｒｉｅｖａｌ  ｆｏｒ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｄａｔａｂａｓｅｓ，Ｖｏｌ．２６７０，Ｆｅｂｒｕａｒｙ  １９９６）、Ｃｈｅｎらによる「ＶｉＢＥ：Ａ  Ｎｅｗ  Ｐａｒａｄｉｇｍ  ｆｏｒ  Ｖｉｄｅｏ  Ｄａｔａｂａｓｅ  Ｂｒｏｗｓｉｎｇ  ａｎｄ  Ｓｅａｒｃｈ」（Ｐｒｏｃ．ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ  Ａｃｃｅｓｓ  ｏｆ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｄａｔａｂａｓｅｓ，１９９８）、及びＧｏｎｇらによる「Ａｕｔｏｍａｔｉｃ  Ｐａｒｓｉｎｇ  ｏｆ  ＴＶ  Ｓｏｃｃｅｒ  Ｐｒｏｇｒａｍｓ」（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  ｓｙｓｔｅｍｓ（ＩＣＭＣＳ），Ｍａｙ  １９９５）を参照されたい。
【０００４】
Ｇｏｎｇらは、サッカー映像の構造解析において、ドメインノリッジとドメイン固有モデルを利用したシステムを説明している。他の従来技術によるシステムと同様に、まず映像がショットにセグメント化される。ショットは、シャッターオープニングとクローシングの間のすべてのフレームとして規定される。各ショット内のフレームから抽出される空間的特徴（プレイングフィールドライン）は、各ショットをペナルティエリア、ミッドフィールド、コーナーエリア、コーナーキック、ゴール時のショットなどの異なるカテゴリに分類するのに利用される。この作業は、特徴抽出前に映像をショットに正確にセグメント化することに大きく依存することに留意されたい。また、各ショットは、サッカー映像において起こるイベントを代表するものではない。
【０００５】
また、Ｚｈｏｎｇらは、スポーツ映像を解析するシステムを説明している。当該システムは、野球のピッチングやテニスのサーブなどのハイレベルのセマティックユニットの境界を検出する。各セマティックユニットはさらに、テニスにおけるストローク数、プレイタイプ、ネットへのリターン、ベースラインリターンなどの興味深いイベントを抽出するため解析される。カラーベース適応的フィルタリング方法が、特定のビューを検出するため、各ショットのキーフレームに適用される。エッジや移動するオブジェクトなどの複雑な特徴は、検出結果を検証及び精緻化するのに利用される。この作業もまた、特徴抽出前に映像をショットに正確にセグメント化することに大きく影響されるということに留意されたい。要するに、ＧｏｎｇとＺｈｏｎｇは、映像を各ユニットがショットとなる基本ユニットの連結と考えている。特徴解析の解像度は、ショットレベルより細かくはない。当該作業は大変詳細なものであり、特定のビューを検出するのにカラーベースフィルタリングに大きく依存する。さらに、映像のカラーパレットが変化する場合、システムは役に立たなくなる。
【０００６】
従って一般には、従来技術は以下のようになる。まず映像がショットにセグメント化される。その後、キーフレームが各ショットから抽出され、シーンにグループ化される。これらデータ構造を表すのに、シーン遷移グラフ及び階層ツリーが利用される。これらのアプローチの問題点は、低レベルショット情報とハイレベルシーン情報との間のミスマッチである。これらは、興味深いコンテンツの変化がショット変化に対応するときのみ機能する。
【０００７】
サッカー映像などの多くのアプリケーションでは、「プレイ」などの面白いイベントは、ショット変化により規定することはできない。各プレイは、同様のカラー分布を有する複数のショットを有するかもしれない。プレイ間の遷移は、単なるショット特徴に基づくシンプルなフレームクラスタリングによって検出することは困難である。
【０００８】
実質的なカメラの動きがある多くの状況では、ショット検出プロセスは、このタイプのセグメント化が映像のドメイン固有のハイレベルシンタックス及びコンテンツモデルを考慮することなく、低レベル特徴からのものであるため、誤ってセグメント化する傾向にある。従って、ショットレベルセグメント化に基づき低レベル特徴とハイレベル特徴との間のギャップを仲介することは困難である。さらに、ショットセグメント化プロセス中に、多くの情報が失われる。
【０００９】
異なるドメインの映像は、極めて異なる特徴及び構造を有する。ドメインノリッジは、解析処理をかなり容易化することが可能である。例えば、スポーツ映像では、サッカーではプレイごと、テニスではサーブごと、野球ではイニングごとなどのゲームのルールにより課される遷移シンタックス、カメラ制御ルール、ビュー及びカメラが通常一定数存在する。
【００１０】
Ｔａｎらは「Ｒａｐｉｄ  ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ｃａｍｅｒａ  ｍｏｔｉｏｎ  ｆｒｏｍ  ｃｏｍｐｒｅｓｓｅｄ  ｖｉｄｅｏ  ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｖｉｄｅｏ  ａｎｎｏｔａｔｉｏｎ」（ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，１９９９）において、Ｚｈａｎｇらは「Ａｕｔｏｍａｔｉｃ  Ｐａｒｓｉｎｇ  ａｎｄ  Ｉｎｄｅｘｉｎｇ  ｏｆ  Ｎｅｗｓ  Ｖｉｄｅｏ」（Ｍｕｌｔｉｍｅｄｉａ  Ｓｙｓｔｅｍｓ，Ｖｏｌ．２，ｐｐ．２５６−２６６，１９９５）において、ニュースと野球の映像解析を説明している。しかしながら、より複雑な映像及び広範な映像では、極めて少数のシステムしかハイレベル構造を考慮していない。
【００１１】
例えば、サッカー映像では、サッカーの試合はニュースや野球などの他の映像と比較して、比較的にルーズな構造を有しているという問題がある。プレイ単位の構造を除いて、コンテンツフローは全く予測不可能であり、ランダムに発生し得る。サッカーの試合の映像には、多数の動き及びビュー変更が存在する。この問題を解決することは、サッカーファンやプロの自動的コンテンツフィルタリングにとって有用である。
【００１２】
上記問題は、映像構造解析及びコンテンツ理解のより広範な背景においてより興味深いものである。構造に関する主要な問題は、サッカーの試合のプレイとブレークのゲーム状態などのハイレベル映像状態の時間シーケンスである。連続する映像ストリームを上記２つのゲーム状態の交互のシーケンスに自動的に構文解析することが所望される。
【００１３】
従来技術による構造解析法は、ほとんどがドメイン固有イベントの検出に着目したものである。イベント検出とは独立に構造解析することは、以下の効果がある。典型的には、コンテンツの６０％以下しかプレイに対応しない。従って、ブレークに対応する映像部分を排除することによりかなりの情報低減を実現することができるであろう。また、プレイとブレークにおけるコンテンツの特徴は異なっており、このような以前の状態の知識によりイベント検出器を最適化することができるであろう。
【００１４】
関連技術の構造解析は、サッカーや他の各種ゲームを含むスポーツ映像解析及び一般的な映像セグメント化にほとんど関連している。サッカーの映像では、従来技術はショット分類に関するものであり、上述のＧｏｎｇによるシーン再構成、Ｙｏｗらによる「Ａｎａｌｙｓｉｓ  ａｎｄ  Ｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  Ｓｏｃｃｅｒ  Ｈｉｇｈｌｉｇｈｔｓ  ｆｒｏｍ  Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ」（Ｐｒｏｃ．ＡＣＣＶ，１９９５，Ｄｅｃｅｍｂｅｒ  １９９５）、及びＴｏｖｉｎｋｅｒｅらのルールベースセマティック分類である「Ｄｅｔｅｃｔｉｎｇ  Ｓｅｍａｔｉｃ  Ｅｖｅｎｔｓ  ｉｎ  Ｓｏｃｃｅｒ  Ｇａｍｅｓ：Ｔｏｗａｒｄｓ  Ａ  Ｃｏｍｐｌｅｔｅ  Ｓｏｌｕｔｉｏｎ」（Ｐｒｏｃ．ＩＣＭＥ  ２００１，Ａｕｇｕｓｔ  ２００１）を参照されたい。
【００１５】
隠れマルコフモデル（ＨＭＭ）が、一般的な映像分類及びニュースやコマーシャルなどの各種タイプのプログラムを区別するのに利用されてきた。Ｈｕａｎｇらによる「Ｊｏｉｎｔ  ｖｉｄｅｏ  ｓｃｅｎｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  ｍｏｄｅｌ」（Ｐｒｏｃ．ＩＣＭＥ  ２０００，ｐｐ．１５５１−１５５４  Ｖｏｌ．３，Ｊｕｌｙ  ２０００）を参照されたい。
【００１６】
ドメイン固有特徴及び支配的カラーの比率に基づくヒューリスティックルールがまた、プレイ及びブレークをセグメント化するのに利用されている。Ｘｕらによる「Ａｌｇｏｒｉｔｈｍｓ  ａｎｄ  ｓｙｓｔｅｍ  ｆｏｒ  ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  ｓｔｒｕｃｔｕｒｅ  ａｎａｌｙｓｉｓ  ｉｎ  ｓｏｃｃｅｒ  ｖｉｄｅｏ」（Ｐｒｏｃ．ＩＣＭＥ  ２００１，Ａｕｇｕｓｔ  ２００１）、及び２００１年４月２０日にＸｕらにより出願された米国特許出願第０９／８３９，９２４号「Ｍｅｔｈｏｄ  ａｎｄ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｈｉｇｈ−Ｌｅｖｅｌ  Ｓｔｒｕｃｔｕｒｅ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｅｖｅｎｔ  Ｄｅｔｅｃｔｉｏｎ  ｉｎ  Ｄｏｍａｉｎ  Ｓｐｅｃｉｆｉｃ  Ｖｉｄｅｏｓ」を参照されたい。しかしながら、これらの特徴の変化は、明示的な低レベル判定ルールにより定量化することが困難である。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
従って、映像の低レベル特徴のすべての情報が保持され、特徴シーケンスがより良好に表されるフレームワークが必要とされる。このとき、単なるショットだけでなく、ハイレベルプログラム構造における映像分類及びセグメント化を可能にするハイレベル構造を特定するため、ドメイン固有シンタックス及びコンテンツモデルを有することが可能となる。
【００１８】
本発明の主たるアイデアは、解析者と協力して教師なしクラスタリングアルゴリズムを利用したテレビや映像プログラムなどのプログラムのハイレベル構造を識別することである。
【課題を解決するための手段】
【００１９】
より詳細には、本発明は、テレビや映像プログラムなどのプログラムのハイレベル構造を自動的に決定する装置及び方法を提供する。本発明の方法は、３つの段階、すなわち、ここではテキストタイプクラスタリング段階と呼ばれる第１段階と、ターゲットプログラムのジャンル／サブジャンルタイプが検出されるジャンル／サブジャンル特定段階の第２段階と、ここでは構造復元段階と呼ばれる第３の最終段階とから構成される。構造復元段階は、プログラム構造を表すのに図式的モデルを利用する。トレーニングに用いられる図式的モデルは、手動により構成されるペトリネット、又はＢａｕｍ−Ｗｅｌｃｈトレーニングアルゴリズムを利用して自動的に構成される隠れマルコフモデルとすることができる。ターゲットプログラムの構造を明らかにするため、Ｖｉｔｅｒｂｉアルゴリズムが利用されてもよい。
【００２０】
第１段階（すなわち、テキストタイプクラスタリング）では、重複したテキストが、ユーザに関心のあるテレビや映像プログラムなどのターゲットプログラムのフレームから検出される。ターゲットプログラムにおいて検出されたテキストの各行に対して、位置（行、列）、高さ、フォントタイプやカラーなどの各種テキスト特徴が抽出される。検出されたテキストの各行に対する抽出されたテキスト特徴から、特徴ベクトルが形成される。次に、教師なしクラスタリング技術に基づき、特徴ベクトルがクラスタにグループ化される。このとき、クラスタは特徴ベクトルにより記述されるテキストのタイプ（ネームプレート、スコア、オープニングクレジットなど）に応じてラベル付けされる。
【００２１】
第２段階（すなわち、ジャンル／サブジャンル特定）では、トレーニング処理が行われ、これにより、各種ジャンル／サブジャンルタイプを表すトレーニング映像が、各自のクラスタ分布を決定するため、第１段階で上述された方法に従って解析される。取得されると、クラスタ分布は、各種ジャンル／サブジャンルタイプのジャンル／サブジャンル識別子として機能する。例えば、コメディー映画はあるクラスタ分布を有し、野球の試合は異なるクラスタ分布を有する。しかしながら、それぞれは各自のジャンル／サブジャンルタイプを適切に表す。トレーニング処理の結果として、ターゲットプログラムのジャンル／サブジャンルタイプは、第１段階（テキストタイプクラスタリング）において以前に取得されたそれのクラスタ分布を、第２段階において取得された各種ジャンル／サブジャンルタイプのクラスタ分布と比較することにより決定されてもよい。
【００２２】
第３の最終段階（すなわち、ハイレベルプログラム構造復元段階）では、ターゲットプログラムのハイレベル構造が、まず上位図式的モデルのデータベースを構成することにより復元され、これにより、当該モデルは、複数のジャンル／サブジャンルタイプのプログラムにおける映像テキストのフローを図式的に表すことになる。ステップ１４０において決定されたテキスト検出結果及びステップ１６０において決定されたクラスタ分布の結果を利用して、図式的モデルデータベースが構成されると、複数の格納されているモデルから１つの図式的モデルが特定及び抽出される。選択された図式的モデルは、テキスト検出及びクラスタ情報と共に、プログラムのハイレベル構造を復元するのに利用される。
【００２３】
映像又はテレビプログラムなどのプログラムのハイレベル構造は、以下に限定されるものではないが、推奨装置として、ターゲットプログラムにおける時間イベント、テキストイベント及び／又はプログラムイベントの検索と、ターゲットプログラムのマルチメディアサマリの構成を含む広範な用途に効果的に利用可能である。
【００２４】
本発明の上記特徴は、添付した図面と共に本発明の例示的な実施例の以下の詳細な説明を参照することによって、より容易に明らかとなり、理解されることとなる。
【発明を実施するための最良の形態】
【００２５】
本発明の以下の詳細な説明では、本発明の完全なる理解を提供するため、多数の具体的詳細が与えられているが、本発明はこれらの具体的詳細なしに実現されてもよい。いくつかの実施例では、本発明を不明りょうにすることを回避するため、詳細にではなくブロック図の形式により周知な構成及び装置が示される。さらに、後述される図１〜６及び本特許文献における本発明の原理を説明するのに用いられる各種実施例は、単なる例示であり、本発明の範囲を限定するものと解釈されるべきでない。
【００２６】
以下の説明では、通常ソフトウェアプログラムとして実現される本発明の好適な実施例が、明確に説明される。当業者は、このようなソフトウェアと等価なものがハードウェアにより構成されてもよいということを容易に認識するであろう。映像処理アルゴリズム及びシステムは周知であるため、本説明は、本発明によるシステム及びアルゴリズムの一部を形成し、又はより直接的に協調するアルゴリズム及びシステムに特に関するものである。ここに具体的に図示又は説明されない、このようなアルゴリズム及びシステムと、関係する映像信号を生成及び処理されるハードウェア及び／又はソフトウェアの他の特徴が、当該分野において知られるそのようなシステム、アルゴリズム、コンポーネント及び要素から選択されるかもしれない。以下において本発明により説明されるようなシステム及び方法が与えられると、本発明を実現するのに有用である、ここでは具体的には図示、示唆又は記載されていないソフトウェアは、従来技術によるものであり、当該分野の当業者の範囲内に属する。
【００２７】
さらに、ここで用いられるように、コンピュータプログラムは、例えば、磁気ディスク（ハードドライブやフロッピー（登録商標）ディスクなど）や磁気テープなどの磁気記憶媒体、光ディスク、光テープ又はマシーン可読バーコードなどの光記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などのソリッドステート電子記憶装置、又はコンピュータプログラムを格納するのに利用される他の任意の物理的装置又は媒体などを含むコンピュータ可読記憶媒体に格納されてもよい。
【００２８】
以下の説明は、以下で定義される用語を使用する。
【００２９】
ジャンル／サブジャンル
ジャンルとは、文学又は芸術作品の種類、カテゴリ、又はタイプなどであり、サブジャンルとは、あるジャンルに属するカテゴリである。ジャンルの一例は、バスケットボール、野球、サッカー、テニスなどのサブジャンルを有する「スポーツ」である。他のジャンルの例は、コメディー、悲劇、ミュージカル、ステップなどのサブジャンルを有する「映画」である。他のジャンルの例として、例えば、「ニュース」、「音楽ショー」、「自然」、「トークショー」、「子供ショー」などがあげられる。
【００３０】
ターゲットプログラム
ターゲットプログラムとは、エンドユーザが興味を有する映像又はテレビプログラムである。それは、本発明の処理への入力として提供される。本発明の原理に従ってターゲットプログラムに対して処理することは、以下の可能性を提供する。（１）ターゲットプログラムのマルチメディアサマリをエンドユーザが受け取ることを可能にし、（２）ターゲットプログラムのハイレベル構造の復元、（３）ターゲットプログラムのジャンル／サブジャンルの決定、（４）プログラムに所望又は所望でないコンテンツであるかもしれないターゲットプログラム内の所定のコンテンツの検出、及び（５）ターゲットプログラムに関する情報の受取り（すなわち、推奨装置として）、である。
【００３１】
クラスタリング
クラスタリングは、類似するコンテンツを有するベクトルが同一のグループに属し、各グループは可能な限り互いに異なるものとなるように、ベクトルを分割する。
【００３２】
クラスタリングアルゴリズム
クラスタリングアルゴリズムは、類似するアイテムのグループを検出し、それらをカテゴリにグループ化することにより実行される。カテゴリが特定されていないとき、これはときどき教師なしクラスタリングと呼ばれる。予めカテゴリが特定されているとき、これは、ときどき教師付きクラスタリングと呼ばれる。
【００３３】
ここで図１〜３に戻って、一実施例による本発明の方法が示される。
【００３４】
図１は、ここではテキストタイプクラスタリング段階１００と呼ばれる一実施例による本発明の第１段階を示すフローチャートであり、ここでは、重ね合わせ、又は添付されたテキストが、ユーザが興味を有するテレビや映像プログラムなどのターゲットプログラムのフレームから検出される。
【００３５】
図２は、ここではジャンル／サブジャンル特定と呼ばれる一実施例による本発明の第２段階を示すフローチャートであり、当該処理中に、トレーニング処理が実行され、これにより、各種ジャンル／サブジャンルのタイプを表すトレーニング映像が、各自のクラスタ分布を決定するため解析される。取得されると、クラスタ分布は各種ジャンル／サブジャンルタイプのジャンル／サブジャンル識別子として利用される。トレーニング処理の結果として、ターゲットプログラムのジャンル／サブジャンルタイプが、それのクラスタ分布とトレーニング中に取得された各種ジャンル／サブジャンルタイプのクラスタ分布と比較することにより決定されてもよい。
【００３６】
図３は、ターゲットプログラム構造復元段階と呼ばれる一実施例による本発明の第３段階を示すフローチャートであり、当該段階中に、ターゲットプログラムのハイレベル構造が、まずより上位のグラフィカルモデルのデータベースを構築することにより決定され、これにより、各モデルは、あるジャンル／サブジャンルタイプのプログラムを通じて映像テキストのフローを図解的に表す。データベースが構築されると、ターゲットプログラムに関するテキスト検出やクラスタ分布結果などの処理の段階において以前に取得された結果が、プログラムのハイレベル構造を復元するため、データベースに格納されているものの中から１つのグラフィカルモデルを特定及び選択するのに利用される。
【００３７】
後述される処理フロー図に記載されるステップの必ずしもすべてが、図示されたものに加えて実行されなくてもよいということに留意されたい。また、一部のステップは、他のステップと実質的に同時に、又はその最中に実行されてもよい。本明細書を読んだ後、当業者は、ステップが特定の要求について利用可能であるということを決定することができるであろう。
【００３８】
Ｉ．第１段階−テキストタイプクラスタリング
図１のフローチャートに示されるように、第１段階、すなわち、テキストタイプクラスタリング段階１００は、一般には以下のステップを有する。
【００３９】
１１０−テレビや映像プログラムなどのエンドユーザが興味を有する「ターゲットプログラム」におけるテキストの存在の検出
１２０−ターゲットプログラムにおいて検出される映像テキストの各行のテキスト特徴の特定及び抽出
１３０−特定及び抽出された特徴からの特徴ベクトルの形成
１４０−特徴ベクトルのクラスタへの整理
１５０−クラスタに存在する映像テキストのタイプに従う各クラスタのラベル付け
上記一般的なステップのそれぞれが、より詳細に説明される。
【００４０】
ステップ１１０において、本プロセスは、ターゲットプログラムの各映像フレーム内に含まれるテキストの存在を検出するため、「ターゲット」テレビ又は映像プログラムを解析することにより開始される。映像テキスト検出のより詳細な説明は、その内容のすべてが参照することによりここに含まれる、２００３年８月１９日にＡｇｎｉｈｏｔｒｉらに付与された米国特許第６，６０８，９３０号「Ｍｅｔｈｏｄ  ａｎｄ  Ｓｙｓｔｅｍ  ｆｏｒ  Ａｎａｌｙｚｉｎｇ  Ｖｉｄｅｏ  Ｃｏｎｔｅｎｔ  Ｕｓｉｎｇ  Ｄｅｔｅｃｔｅｄ  Ｔｅｘｔ  ｉｎ  Ｖｉｄｅｏ  Ｆｒａｍｅｓ」に与えられている。ターゲットプログラムから検出可能なテキストのタイプは、例えば、スターティング及びエンディングクレジット、スコア、タイトルテキスト、ネームプレートなどを含むかもしれない。あるいは、静止又は移動映像オブジェクトのセグメント化方法を記載するＭＰＥＧ−７規格に従って、テキスト検出が実現されてもよい。
【００４１】
ステップ１２０において、テキスト特徴がステップ１１０において検出されたテキストから特定及び抽出される。テキスト特徴の例として、位置（行及び列）、高さ（ｈ）、フォントタイプ（ｆ）及びカラー（ｒ，ｇ，ｂ）があげられる。他のものも可能である。位置特徴について、本発明のため、映像フレームは、９つの指定領域をもたらす３×３の格子に分割されているとみなされる。位置特徴の行及び列パラメータは、テキストが存在する領域を規定する。フォントタイプ（ｆ）特徴について、「ｆ」は使用されているフォントタイプを示す。
【００４２】
ステップ１３０において、検出されたテキストの各行に対して、抽出されたテキスト特徴が、１つの特徴ベクトルＦｖにグループ化される。
【００４３】
ステップ１４０において、特徴ベクトルＦＶは、クラスタ｛Ｃ１，Ｃ２，Ｃ３，．．．｝に整理される。グループ化は、特徴ベクトルＦＶ１とクラスタ｛Ｃ１，Ｃ２，Ｃ３，．．．｝及びＦＶ２の間の距離メトリックを用いることにより実行され、特徴ベクトルＦＶ１を最も高い類似度を有するクラスタと関連付ける。教師なしクラスタリングアルゴリズムは、この類似度に基づき特徴ベクトルＦＶをクラスリングするのに利用されてもよい。
【００４４】
一実施例では、使用される距離メトリックは、
【００４５】
【数２】
2007513398.tif 000003
として計算される各自のテキスト特徴における差の絶対値の和として計算されるマンハッタン距離である。
【００４６】
加重係数ｗ１〜ｗ４と「Ｄｉｓｔ」は、経験的に決定されてもよいということが留意されるべきである。
【００４７】
ステップ１５０において、ステップ１４０において形成される各クラスタ｛Ｃ１，Ｃ２，Ｃ３，．．．｝は、クラスタのテキストのタイプに従ってラベル付けされる。例えば、クラスタＣ１は、常に黄色で配信され、常に画面の右下部分に位置するテキストを記述する特徴ベクトルを有するようにしてもよい。従って、クラスタＣ１は、記述された特徴が以降のショーを通知するテキストを表すため、「以降のプログラム通知」とラベル付けされる。他の例として、クラスタＣ２は、その周囲の黒色のバナーにより青色で常に配信され、画面の左上部分に常に位置するテキストを記述する特徴ベクトルを有するようにしてもよい。従って、クラスタＣ２は、テキスト特徴がスコアを常に表示するのに使用されるものであるため、「スポーツスコア」とラベル付けされる。
【００４８】
クラスタをラベル付けする処理、すなわち、ステップ１５０が、手動又は自動により実行されてもよい。手動によりアプローチの効果は、クラスタラベルが、「タイトルテキスト」、「ニュース更新」などのより直感的なものとなるということである。自動ラベル付けは、「テキストタイプ１」や「テキストタイプ２」などのラベルを生成する。
【００４９】
ＩＩ．第２段階−ジャンル／サブジャンル特定
第２段階、すなわち、図２のフローチャートに示されるようなジャンル／サブジャンル特定段階２００は、一般に以下のステップを有する。
【００５０】
２１０−ジャンル／サブジャンル特定トレーニングの実行
２１０．ａ−あるジャンル／サブジャンルタイプのいくつかのトレーニング映像Ｎが入力として提供される
２１０．ｂ−各トレーニング映像Ｎに対して、テキスト検出が実行される。
【００５１】
２１０．ｃ−各トレーニング映像Ｎの検出されたテキストの各行に対して、テキスト特徴が特定及び抽出される。
【００５２】
２１０．ｄ−ステップ２１０．ｃにおいて抽出されるテキスト特徴から、特徴ベクトルが形成される。
【００５３】
２１０．ｅ−ステップ１４０において導出されたクラスタタイプ｛Ｃ１，Ｃ２，Ｃ３，．．．｝の１つと、ステップ２１０．ｄにおいて形成された特徴ベクトルとを関連付けるため距離メトリックを利用することによって、クラスタタイプ｛Ｃ１，Ｃ２，Ｃ３，．．．｝が特徴ベクトルから導出される。
【００５４】
２２０−ターゲットプログラムのジャンル／サブジャンルタイプに対して、ジャンル特徴ベクトルが構築される。
【００５５】
各種ジャンル／サブジャンルタイプを規定するのにジャンル特徴ベクトルがどのように使用されるか理解するのに供するため、テーブルＩが例示的に提供される。ステップ２１０において、テーブルＩの行は、各種ジャンル／サブジャンルタイプを示し、列２〜５は、ジャンル／サブジャンル特定を行った後に生じるクラスタ分布（カウント）を示す。
【００５６】
【表１】
2007513398.tif 000004
ジャンル／サブジャンル特定から決定されるジャンル特徴ベクトルは、映画／ウェスタン＝｛１３，４４，８，４３｝、スポーツ／野球｛５，３３，８，４｝などの各ジャンル／サブジャンルタイプを特徴付ける。
【００５７】
ステップ２２０において、ターゲットプログラムのジャンル／サブジャンルタイプが、決定される。ここで、ターゲットプログラムのクラスタ分布（ステップ１４０において以前に計算された）が、各種ジャンル／サブジャンルタイプに対してステップ２１０において決定されたクラスタ分布と比較される。ターゲットプログラムのジャンル／サブジャンルタイプは、ステップ２１０において決定されるクラスタ分布の何れが、ステップ１４０において決定されるターゲットプログラムのクラスタ分布に最も近いか決定することによって決定される。閾値決定は、十分な類似度を保証するため利用されてもよい。例えば、ターゲットプログラムのクラス分布は、ターゲットプログラムのジャンル／サブジャンル特定が成功したことを宣言するため、ステップ２１０において決定された最も近いクラスタ分布の少なくとも８０％の類似スコアを有することが必要とされるかもしれない。
【００５８】
ペトリネットの概略
第３段階３００、すなわち、ハイレベル構造復元段階３００を説明する前に、後述されるように、基礎としてペトリネット理論に着目することによりグラフィカルモデリングのいくつかの基本原理の概略が与えられる。
【００５９】
ペトリネットの基礎は周知であり、オースチンのテキサス大学のＪａｍｅｓ  Ｌ．Ｐｅｔｅｒｓｏｎによる「Ｐｅｔｒｉ  Ｎｅｔ  Ｔｈｅｏｒｙ  ａｎｄ  ｔｈｅ  Ｍｏｄｅｌｌｉｎｇ  ｏｆ  Ｓｙｓｔｅｍｓ」に詳しく与えられている。この書籍は、ニュージャージ州のエングルウッドクリフスのＰｒｅｎｔｉｃｅ−Ｈａｌｌ，Ｉｎｃにより発行され、参照することによりここに含まれる。
【００６０】
簡単には、ペトリネットとは、ある場所からある遷移に、またはある遷移からある場所に向けられた有向の弧を有する場所及び遷移と呼ばれる２種類のノードから構成される特定のタイプの有向グラフである。場所はトークンを収集するのに使用され、要素はシステム内を流通するものを表すのに使用され、遷移は場所間のトークンを移動する。
【００６１】
図４において、その場所、遷移、弧及びトークンを有する一例となるペトリネットシステムが示される。図４に示されるペトリネットは、映画「Ｔｈｅ  Ｐｌａｙｅｒ」の導入セグメントをモデル化する図式的モデルである。当該映画では、ここでＬ１、Ｌ２及びＬ３と呼ばれる３つのテキスト位置に、映画クレジットの開始が示される。位置Ｌ１、Ｌ２及びＬ３における導入セグメントにおけるテキストの出現及び以降の消失が、システム状態とそれらの変化に関してペトリネットにより図式的にモデル化されている。より詳細には、後述されるように、システム状態は１以上の条件としてモデル化され、システム状態の変更は遷移としてモデル化されている。
【００６２】
図４を継続的に参照するに、一例となるペトリネットの「場所」が丸印により表され、Ｐ１〜Ｐ６とラベル付けされ、本例では「条件」を表す。例えば、図４のペトリの１つの条件は、「映画画面位置Ｌ１に出現するテキスト」である。この条件は、モデル化のため場所Ｐ５と関連付けされる。遷移は長方形により表され、ｔ１〜ｔ８とラベル付けされ、イベントを表す。例えば、図４のペトリネットの１つのイベントは、「テキストは、映画画面位置Ｌ１においてスタートする」である。このイベントは、モデル化のためｔ２と関連付けされる。
【００６３】
条件とイベントのコンセプトは、ペトリネット理論において利用されるような遷移と場所の１つの解釈である。図示されるように、各遷移ｔ１〜ｔ８はそれぞれ、イベントの前条件及び後条件を表す一定数の入出力場所を有する。イベントが行われるため、前条件が満足される必要がある。
【００６４】
図５において、図４の一例となるペトリネットのため、リンクされるイベントと前後の条件の概略が与えられる。前条件は列１に記載され、後条件は列３に記載され、前後の条件をリンクさせるイベントが列２に記載される。
【００６５】
図４のペトリネットは、テレビや映像プログラムの小さなセグメントを記述するテキストのシステマティックフローの一例である。従って、図４のペトリネットは、「下位の」ペトリネットとして十分に特徴付け可能である。本出願は、後述されるように、「下位の」ペトリネットから部分的に構成される「上位の」ペトリネットを利用する。
【００６６】
ＩＩＩ．第３段階−ターゲットプログラムのハイレベル構造の復元
第３段階、すなわち、図３のフローチャートに示されるようなハイレベル構造復元段階３００は、一般に以下のステップを有する。
【００６７】
３１０−目的：ターゲットプログラムのハイレベル構造の復元
３１０．ａ−上位の図式的モデルのデータベースの構成
３１０．ｂ−各上位図式的モデル内のホットスポットの特定
３１０．ｃ−ステップ１４０においてターゲットプログラムに対して以前に生成されたテキスト検出の結果の抽出（図１を参照せよ）
３１０．ｄ−ステップ１６０においてターゲットプログラムに対して以前に生成されたクラスタ分布の結果の抽出（図１を参照せよ）
３１０．ｅ−ターゲットプログラムのクラスタ分布の結果を用いて、データベースに格納されている複数の上位図式的モデルから上位図式的モデルの一部の特定及び抽出
３１０．ｆ−ステップ２１０．ｅにおいて特定された上位図式的モデルの一部及びテキスト検出の結果を用いて、ステップ２１０．ｃにおいて抽出されたターゲットプログラムのテキスト検出イベントシーケンスと最も近似した、ステップ３１０．ｅにおいて特定されるモデルの一部から１つの上位図式的モデルの特定
この単一のハイレベル図式的モデルは、ターゲットプログラムのハイレベル構造を図式的に表す。
【００６８】
上記一般的なステップのそれぞれが、より詳細に説明される。
【００６９】
ステップ３１０．ａにおいて、プログラム全体において映像テキストのシステマティックフローを記述する複数の上位図式的モデル（ペトリネットなど）が構成される。各図式的モデルは、あるジャンル／サブジャンルタイプの映像テキストのフローを一意的に記述する。これら複数のモデルは、ユーザが興味を有するターゲットプログラムのジャンル／サブジャンルタイプの決定に供するのに、以降の参照のためデータベースに格納される。
【００７０】
一実施例では、図式的モデルは、手動により構成された上位のペトリネットである。手動によりこのようなモデルを構成するため、システム設計者は、多様なプログラムジャンル／サブジャンルタイプについてプログラムにおけるクラスタマッピング及び映像テキスト検出を解析する。
【００７１】
他の実施例では、図式的モデルは、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムを用いて隠れマルコフモデルとして自動的に構成される。
【００７２】
手動又は自動の構成方法に関係なく、上位図式的モデルのいくつかのキーとなる特徴は、（１）上位図式的モデルが、プログラムレベルのフローをモデル化する、（２）図式的モデルは、下位図式的モデルの効果的な簡略的表現である遷移を有する、ということである。言い換えると、上位モデルは、下位図式的モデルから部分的に構成される。このキーとなる特徴は、図６を参照してさらに示される。
【００７３】
図６は、１つのタイプの上位図式的モデルである上位ペトリネットの例示である。図６の上位ペトリネットは、フィギアスケートプログラムにおける映像テキストのシステマティックフローを図式的に示す。すなわち、それは、プログラムレベルのシステマティックフローをモデル化する。周知のように、フィギアスケートプログラムは、以下のテーブルＩＩに列挙されるようないくつかのプログラムイベントから構成される。
【００７４】
【表２】
2007513398.tif 000005
前条件がイベントをトリガーするのに必要とされ、後条件がイベントの結果として発生する。本例での条件は、（条件ａ−プログラムがスタートした）、（条件ｂ−スケーターが紹介された）、（条件ｃ−スケーターのスコアが存在する）、及び（条件ｄ−最終順位が示される）、として規定されるかもしれない。
【００７５】
図６の上位ネットのイベント１〜５が、実際には下位ペトリネットの簡略表現であるということが理解されるべきである。例えば、第１イベント、すなわち、クレジットの開始は、図４に示されるもののような下位ペトリネットとして拡張可能である。
【００７６】
ステップ３１０．ｂ−ステップ２１０ａにおいて構成される各上位図式的モデル内において、いくつかの関心領域（ホットスポット）が特定されてもよい。これらのホットスポットは、可変的範囲を有するものであってもよい。これらホットスポット領域は、エンドユーザに特に関心があるイベントに対応する。例えば、イベント２「スケーターの演技」は、イベント１のクレジットの開始より興味のあるプログラムイベントとしてより高い重要性を有するかもしれない。いわゆる「ホットスポット」には、それの相対的な重要度に応じたランク順位が割り当てられるかもしれない。さらに、上位ペトリネットを構成する下位ペトリネットがまた、いわゆるホットスポットに対して特定されるかもしれない。
【００７７】
ステップ３１０．ｃ−ステップ１４０においてターゲットプログラムに対して以前に生成されたテキスト検出の結果の抽出（図1を参照せよ）
ステップ３１０．ｄ−ステップ１６０においてターゲットプログラムに対して以前に生成されたクラスタ分布の結果の抽出（図1を参照せよ）
ステップ３１０．ｅ−ステップ２１０．ｄにおいて以前に抽出されたターゲットプログラムに対するクラスタ分布を利用して、ステップ２１０．ａにおいて生成された上位図式的モデルの一部が、データベースから特定及び選択される。上位モデルの一部は、ターゲットプログラムに対して特定されたものと同一のクラスタをどの上位モデルが有しているか判断することによって選択される。
【００７８】
ステップ３１０．ｆ−ステップ３１０．ｃにおいて以前に抽出されたターゲットプログラムに対するテキスト検出データを利用して、ステップ３１０．ｄにおいて特定されたネットの一部から１つの上位ペトリネットが特定される。１つの上位ペトリネットを特定するため、テキスト検出データが、ターゲットプログラムに対するテキストイベントシーケンスを満足する１つのペトリネットを特定するため、ペトリネットの一部の各ペトリネットのシステマティックフローと比較される。
【００７９】
ターゲットプログラムのハイレベル構造に最も近似する１つの図式的モデルを特定した結果として、ターゲットプログラムに関する情報を容易に取得するかもしれない。このような情報には、例えば、時間的イベント、テキストイベント、プログラムイベント、プログラム構造、サマリなどが含まれるかもしれない。
【００８０】
一例として、プログラムイベント情報が、特定された１つの上位図式的モデルと共に、ターゲットプログラムからのテキスト検出データを利用して識別することができる。テーブルＩＩＩは、ターゲットプログラムの架空のテキスト検出データを表す。
【００８１】
テーブルＩＩＩの第１行に示されるように、検出されたテキストイベントのクラスタタイプ（列１）、テキストイベント発生時間（列２）、テキストイベントの期間（列３）、及びテキストイベントが発生しなければならない時間の上限及び下限を指定する時間境界情報に関するデータを生成する。説明の簡単化のため、テーブルは、プログラムの期間に発生するテキストイベントシーケンスを大きく低減したものを表しているということは理解されるべきである。
【００８２】
【表３】
2007513398.tif 000006
ターゲットプログラムに関する情報が、テーブルＩＩＩに示されるように、テキスト検出データから直接抽出することが可能であるということが理解されるべきである。このような情報には、例えば、あるテキストクラスタタイプの出現回数、発生期間及び／又は発生時間などが含まれる。当業者は、テキスト検出データから抽出可能な他のデータの組み合わせを想起することができる。さらに、テキスト検出データがターゲットプログラムの構造を最も良く表す特定された上位図式的モデルと比較されるとき、プログラムイベントやプログラム構造などのターゲットプログラムに関する追加的情報が導出されるかもしれない。例えば、テーブルＩＩＩを参照するに、最初の３つの行は、以下の順序でテキストクラスタタイプの発生を記述している。すなわち、テキストクラスタタイプ１、それに続いて再びテキストクラスタタイプ１、それに続いてテキストクラスタタイプ２となる。このシーケンス又はテーブルからの他の何れかのシーケンスは、シーケンス｛１，２，２｝が図式的モデルのプログラムイベントを構成するか判断するため、ハイレベル図式的モデルと共に利用されてもよい。当該シーケンスがプログラムイベントを構成する場合、プログラムイベントはマルチメディアサマリに含めるため、特定の適用においては抽出されてもよい。｛１，２，２｝などの何れか選択されたシーケンスがプログラムイベントを構成するかに関する決定は、当該シーケンスがテーブルの第４列に指定される時間境界内に発生するかに基づくものとされる。この時間境界情報は、上位図式的モデルの一部として構成される時間境界と比較される。これの一例が時間処理されたペトリネットである。
【００８３】
ここで図示及び説明された実施例及び変形は本発明の原理の単なる例示であり、本発明の範囲及び趣旨から逸脱することなく、各種改良が当業者により実現可能であるということは理解されるべきである。
【００８４】
添付した請求項の解釈において、ａ）「有する」という用語は、与えられた請求項に列挙された以外の他の要素又はステップの存在を排除するものではなく、ｂ）要素に前置される「ある」という用語は、当該要素が複数存在することを排除するものでなく、ｃ）請求項の任意の参照符号は、その範囲を限定するものではなく、ｄ）複数の「手段」は、同一のアイテム、ハードウェア又はソフトウェアにより実現される構造若しくは機能により表現可能であり、ｅ）開示された各要素は、ハードウェア部分（各電子回路など）、ソフトウェア部分（コンピュータプログラミングなど）、又はこれらの任意の組み合わせから構成されてもよい、ということは理解されるべきである。
【図面の簡単な説明】
【００８５】
【図１】図１は、一実施例による本発明のテキストタイプクラスタリング段階を示すフロー図である。
【図２】図２は、一実施例による本発明のジャンル／サブジャンル特定段階を示すフロー図である。
【図３】図３は、一実施例による本発明のハイレベル構造復元段階を示すフロー図である。
【図４】図４は、映画のプログラムイベントを示す一例となる図式的モデルである。
【図５】図５は、図４の図式的モデルに関する前後の条件の概要である。
【図６】図６は、上位ペトリネットの一例である。
【図１】
2007513398.tif 000008
【図２】
2007513398.tif 000009
【図３】
2007513398.tif 000010
【図４】
2007513398.tif 000011
【図５】
2007513398.tif 000012
【図６】
2007513398.tif 000013
【国際調査報告】
2007513398.tif 000014
2007513398.tif 000015
2007513398.tif 000016