(57)【要約】トラスクリプト情報を使用して番組の要約及び／又は索引付けの方法は、番組に関連したトランスクリプト情報を提供する手順（１４）と、番組の要約及び／又は索引を得るためトランスクリプト情報を処理する手順と、を含む。好ましい要約方法は、番組のタイプを分類する手順（１３）と、分類された番組のタイプに基づいてトランスクリプト情報内で識別するための第１のキューを判定する手順と、トランスクリプト情報内で第１のキューを識別する手順（１６，１８）と、トランスクリプト情報内で識別された第１のキューに基づいてトランスクリプト情報の一部分を記憶する手順と、記憶されたトランスクリプト情報の一部分に基づいて番組の要約を作成する手順（２０）と、を有する。【特許請求の範囲】
【請求項１】
番組に関連したトランスクリプト情報を提供する手順と、
番組のタイプを分類する手順と、
分類された番組のタイプに基づいてトランスクリプト情報内で識別するため複数のキューの中から少なくとも第１のキューを判定する手順と、
トランスクリプト情報内で少なくとも第１のキューを識別する手順と、
トランスクリプト情報内で識別された少なくとも第１のキューに基づいてトランスクリプト情報の一部分を記憶する手順と、
記憶されたトランスクリプト情報の一部分に基づいて番組の要約を作成する手順と、
を有する番組要約作成方法。
【請求項２】
少なくとも第１のキューがトランスクリプト情報内で識別された時間を、番組の始まりからの相対的な時間として記録する手順を更に有する請求項１記載の番組要約作成方法。
【請求項３】
分類された番組のタイプに基づいてトランスクリプト情報内で識別するため複数のキューの中から少なくとも第２のキューを判定する手順と、
少なくとも第２のキューを探索するための最大時間間隔を判定する手順と、
トランスクリプト情報内で少なくとも第２のキューを識別する手順と、
少なくとも第２のキューが最大時間間隔の終了前にトランスクリプト情報内で識別されたかどうかを判定する手順と、
少なくとも第２のキューが最大時間間隔の終了前にトランスクリプト情報内で識別されなかった場合に、新たな少なくとも第１のキュー及び少なくとも第２のキューを定義し、トランスクリプト情報内で識別する手順と、
を更に有する請求項１記載の番組要約作成方法。
【請求項４】
少なくとも第２のキューがトランスクリプト情報内で識別された時間を、番組の始まりからの相対的な時間として記録する手順を更に有する請求項３記載の番組要約作成方法。
【請求項５】
トランスクリプト情報内の少なくとも第１のキューと少なくとも第２のキューのうちの少なくとも１個のキューの識別に基づいてトランスクリプト情報からデータを抽出する手順と、
番組の要約を作成するため、抽出されたデータ及び分類された番組のタイプを使用する手順と、
を更に有する請求項３記載の番組要約作成方法。
【請求項６】
番組に関連した音声／データ／映像信号を受信する手順と、
抽出されたデータと関連した映像表現と音声表現のうちの少なくとも一方を識別し抽出するため、音声／データ／映像信号を解析する手順と、
画像表現と音声表現のうちの少なくとも一方を番組の要約と関連付ける手順と、
を更に有する請求項５記載の番組要約作成方法。
【請求項７】
複数のキューの中の少なくとも１個のキューは、トランスクリプト情報内で識別されるべき特定の単語、句、又は、文に対応したキューである、請求項３記載の番組要約作成方法。
【請求項８】
番組のタイプを分類する手順は、電子番組案内データ、画像情報、音声情報、及び、トランスクリプト情報のうちの少なくとも一つを解析する手順を含む、請求項１記載の番組要約作成方法。
【請求項９】
少なくとも第１のキュー及び少なくとも第２のキューは、分類された番組のタイプに基づいてデータベースから選択される、請求項３記載の番組要約作成方法。
【請求項１０】
トランスクリプト情報から抽出されたデータは、識別された少なくとも第１のキュー及び少なくとも第２のキューに近似し、番組の構造に関する知識に基づくデータである、請求項５記載の番組要約作成方法。
【請求項１１】
番組はトークショーであり、
抽出されたデータは、ゲストの名前、ゲストが名高い分野、及び、ビデオ番組中でゲストが登場する時間間隔のうちの少なくとも一つである、
請求項５記載の番組要約作成方法。
【請求項１２】
トランスクリプト情報内で識別するため、分類された番組のタイプに基づいてデータベースから選択された少なくとも一つの更なるキューを判定する手順と、
トランスクリプト情報内で少なくとも一つの更なるキューを識別する手順と、を更に有する請求項１記載の番組要約作成方法。
【請求項１３】
音声／データ／映像信号を受信する音声／データ／映像入力ポートと、
受信された音声／データ／映像信号に基づいて、一般化された番組のタイプ分類を識別する番組タイプ検出器と、
音声／データ／映像ポートに動作的に接続され、番組に対応するトランスクリプト情報を与えるトランスクリプト情報抽出器と、
複数のキューのグループを保持するキューデータベースと、
が設けられ、
キューの各グループは、トランスクリプト情報で識別されるべき複数のキューを含み、一つの一般化された番組のタイプ分類に関連付けられ、
トランスクリプト情報抽出器に動作的に接続され、トランスクリプト情報抽出器からトランスクリプト情報を取得し、トランスクリプト情報内で識別すべきキューに関して、番組タイプ検出器によって識別された一般化された番組のタイプ分類に基づいてキューデータベースから命令を取得し、キュー抽出器が更に設けられ、
キュー抽出器は、識別された一般化された番組のタイプ分類の複数のキューの中の少なくとも１個のキューに対応するトランスクリプト情報の一部分を識別する、
トランスクリプト情報を使用する番組要約作成装置。
【請求項１４】
キュー抽出器は、更に、少なくとも１個のキューが識別された時間を番組の始まりに関して識別する、請求項１３記載の番組要約作成装置。
【請求項１５】
キュー抽出器は、少なくとも１個のキュー及び第２のキューにそれぞれ関連したトランスクリプト情報の部分を識別し、
キュー抽出器は、番組中の少なくとも１個のキュー及び第２のキューの識別の時間に対応した第１のタイムスタンプ及び第２のタイムスタンプを示す、
請求項１３記載の番組要約作成装置。
【請求項１６】
キューデータベースに動作的に接続され、少なくとも１個のキューがトランスクリプト情報内で識別された場合に、第２のキューが特定の時間間隔内に出現すべきである旨を規定する時間間隔に関係する複数のタイミング規則を保持する一時データベースと、
一時データベース及びキュー抽出器に動作的に接続され、少なくとも１個のキュー及び第２のキューに対応することがキュー抽出器によって識別されたトランスクリプト情報の部分を取得し、複数のタイミング規則を更に取得する推論エンジンと、
が設けられ、
推論エンジンは、複数のタイミング規則の内の少なくとも１個のタイミング規則を適用する、少なくとも１個のキュー及び第２のキューに関してトランスクリプト情報の部分の識別が適当であるかどうかを判定し、
推論エンジンは、更に、トランスクリプト情報を取得し、キュー抽出器によるトランスクリプト情報の少なくとも１個の部分の識別に基づいて情報を抽出し、
推論エンジンによって抽出された情報を保持するメモリが設けられている、
請求項１３記載の番組要約作成装置。
【請求項１７】
トランスクリプト情報は、音声／データ／映像信号から獲得された字幕テキスト、音声−テキスト、及び、第三者機関から獲得されたビデオ番組に対応したサブタイトル又はテキスト情報の中の一つである、請求項１３記載の番組要約作成装置。
【請求項１８】
番組に関連付けられた、複数の単語を含むトランスクリプト情報を提供する手順と、
特定の単語の出現を記録するためトランスクリプト情報を監視する手順と、
番組中の特定の単語の出現に対応した時間を記録する手順と、
特定の単語と、番組中に特定の単語が出現した時間を関連付ける手順と、
を有する番組索引付け方法。
【請求項１９】
特定の単語の出現を複数のトピックスの中の一つに関係させる手順と、
複数のトピックスと、番組中に特定の単語が出現した時間とを関連付ける手順と、
を更に有する請求項１８記載の番組索引付け方法。
【請求項２０】
番組に関連付けられたトランスクリプト情報を提供する手順と、
番組の要約及び／又は索引を得るため、トランスクリプト情報を処理する手順と、
を有する番組の要約作成及び／又は索引付け方法。
【発明の詳細な説明】
【０００１】
〔発明の背景〕
発明の分野
本発明は、ビデオのような番組の要約及び／又は索引付けに関する。
【０００２】
従来技術の説明
ケーブルテレビ放送、衛星テレビ放送、及び、インターネットに基づく技術の発展と成功に伴って、消費者が入手できるテレビ番組の数は増加し続けている。高品位コンテンツに関して、１チャネルの１日あたりの情報は２００ＧＢ以上に達する。したがって、消費者は、自分が最も視聴することに関心がある番組又は番組セグメントを見つけるために、生のテレビ番組及び蓄積されたテレビ番組の内容説明を素早く見て回る能力を備えることが重要になり始めている。しかし、ビデオ番組の内容は不透明である、という問題がある。現時点で消費者に与えられた選択肢は、ビデオ番組全体を通常の速度で見るか、ビデオ番組の中で興味のある部分を見つけるためにビデオ番組全体を早送りで見るか、或いは、番組の非常に一般的な番組解説だけを提供するＥＰＧ（電子番組案内）データを使用する、ことである。
【０００３】
〔発明の課題と概要〕
本発明の目的は、ビデオ番組のような番組の要約及び索引付けを行う方法並びに装置を提供することである。このため、本発明は、独立請求項に記載されているような番組要約及び／又は索引付けを提供する。従属請求項には、特に、本発明の目的を満たすために適していると思われるトランスクリプト情報を使用する有利な実施例が記載されている。
【０００４】
有利な一実施例において、本発明は、入ってくる音声／データ／映像信号を処理し、音声／データ／映像信号からトランスクリプト情報を抽出し、トランスクリプト情報を解析し、コマーシャル休止の境界及び番組の最後を判定し、番組要約、内容のテーブル及び番組索引を提供する。
【０００５】
他の有利な実施例において、本発明は、従来のビデオ番組情報抽出及び索引付け方法に本質的に伴う欠点を解決するトランスクリプト情報を使用して、ビデオ番組の要約及び索引付けを行う方法並びに装置を提供する。
【０００６】
本発明の上記並びにその他の目的、特徴及び効果は、以下の詳細な説明を、添付図面と共に参照することによって、容易に理解できるであろう。
【０００７】
〔好ましい実施例の詳細な説明〕
図１には、トランスクリプト情報を使用して番組の要約と索引付けを行う装置が示されている。トランスクリプト情報は、たとえば、字幕テキストのようなテキストを示し、典型的に、ビデオ番組の伝送（映像／データ／映像）信号と共に供給され、ビデオ番組の発話イベント及び発話以外のイベント、又は、電子番組案内データのようなその他のテキスト的なソースに対応する。トランスクリプト情報は、ビデオテキスト若しくはスクリーンテキスト（たとえば、ビデオのサブタイトルを検出することによって）を抽出し、光学式文字認識（ＯＣＲ）を抽出されたテキストに適用することによって取得することが可能である。これについては、たとえば、参考のため全文を引用した、国際公開第０１／３７１２１２号パンフレット（代理人書類番号ＰＨＡ２３．８３２）、発明の名称”Ｖｉｄｅｏ Ｓｔｒｅａｍ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｓｙｍｂｏｌ Ｉｓｏｌａｔｉｏｎ Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ”、１９９９年１１月１７日出願、並びに、国際公開第０１／３７２１１号パンフレット（代理人書類番号ＰＨＡ２３．８３２）、発明の名称”Ｓｙｍｂｏｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｓｈａｐｅ Ｆｅａｔｕｒｅｓ Ａｐｐｌｉｅｄ ｔｏ ａ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ”に記載されている。
【０００８】
本発明は、トランスクリプト情報は、キーワード検索や、統計的テキスト索引付け及び検索のような公知の検索技術を使用して解析・検索可能である、という認識に基づいている。一般的に、本実施例の装置は、番組のトランスクリプト情報（音声、映像、データなど）を解析し、（内容のテーブルを与えるため使用される）番組要約泳ぎ番組索引を作成する。音声／データ／映像信号がテキスト部分を含まない場合（すなわち、トランスクリプト情報を含まない場合）、トランスクリプト情報は、従来技術において公知の音声−テキスト変換のような公知技術を用いて作成され得る。トランスクリプト情報は、たとえば、インターネットからのテレビガイドのようなサードパーティのソースからも取得可能である。
【０００９】
番組要約及び内容テーブルは、ユーザが特定の番組へアクセス（たとえば、視聴）するかどうかを決定するためユーザによって見直されることを考慮して設計される。また、番組要約及び内容テーブルは、ユーザが関心のある番組の特定部分を識別する際に役立つ。たとえば、ビデオ（すなわち、テレビ）番組の場合、本発明は、音声／データ／映像信号のトランスクリプト情報を監視し、番組要約に注記する価値のあるイベントが出現したこと、或いは、出現するであろうことを示す特定の手掛かりにある単語を探索する。トラスクリプト情報内で手掛かり単語の場所を見つけた後、特定のイベントは識別され、イベントに関連した情報がトランスクリプト情報から抽出され、タイプスタンプ（番組の放送中にイベントが出現した時間）を作成する。ある種のイベントは、ユーザがイベントの出現に基づいて番組を視聴するかどうかを決定する場合に記録する価値がある。
【００１０】
各イベントの出現後に、トランスクリプト情報から抽出された関連情報及び対応したタイムスタンプが記憶される。番組要約が作成され、次に、番組中に発生した事象、並びに、番組中のどの時間帯にどのようなイベントが出現したかを判定するためユーザがアクセス可能な内容テーブルが構築される。したがって、番組が記憶装置に蓄積／記録された場合（たとえば、ビデオテープ、ディスク、コンピュータのハードディスクなどにアナログ式又はデジタル式に保持された場合）、後で番組を視聴する人は、番組に関心があるかどうかを見極めるため、番組に対して作成された番組要約及び／又は内容テーブルを閲覧することが可能である。番組要約又は内容テーブルを検討した後に、ユーザが関心のある番組の一部分だけを視聴することに興味があるならば、ユーザは、番組の当該部分へ直ちに進むことが可能であり、自分が関心をもっていない他のセグメントを視聴して時間を浪費することがなくなる。
【００１１】
本発明は、構造化された番組と、構造化されていない番組の両方に適用可能であることに注意する必要がある。構造化された番組の例は、トークショー、ニュース番組、及び、スポーツイベントである。構造化された番組は、特定のフォーマット（たとえば、トークショーの場合には、モノローグ、コマーシャル、１番目のゲスト、コマーシャル、２番目のゲスト、コマーシャル、最後のゲスト、コマーシャル、ショーの終わり）があり、ある種の言葉が番組で繰り返される（たとえば、トークショーのホストは、「最初にお迎えするゲストは、・・・です。」のように話す）。構造化されていない番組の一例は、映画である。構造化された番組の場合、番組要約、内容テーブル及び番組索引を作成することができる。しかし、構造化されていない番組の場合、番組索引だけが作成される。
【００１２】
次に、本発明の好ましい一実施例について説明する。トランスクリプト情報を使用してビデオ番組を要約する装置１０は、好ましくは、トランスクリプト情報を含む音声／データ／映像信号を受信するビデオ入力ポート１２を具備する。受信した音声／データ／映像信号に基づいて、番組タイプ判定器１３は、番組が構造化されているか、構造化されていないかを判定する。
【００１３】
番組タイプ判定器１３は、好ましくは、番組の分類タイプの分類を判定し、番組のタイプが構造化された番組のタイプであるばあいに、番組がトークショー、ニュース番組、ゲームショー、或いは、スポーツイベントであるかどうかを判定する、従来公知である電子番組ガイド（ＥＰＧ）データを解析する。ＥＰＧデータが利用できない場合、番組タイプ判定器は、トランスクリプト情報を解析し、番組の分類タイプを判定するため既知の番組フォーマットと比較する。番組の分類タイプは重要である。なぜならば、番組の分類タイプは、（以下で詳述する）トランスクリプト情報内で検索される特定のキューのタイプを判定するからである。すなわち、トークショーは、あるキューの組を保有し、ニュース番組は別のキューの組を保有する。
【００１４】
ビデオ入力ポート１２には、音声／データ／映像入力信号からトランスクリプト情報を抽出するトランスクリプト情報抽出器１４が更に接続される。上述の通り、音声／データ／映像入力信号がトランスクリプト情報（たとえば、字幕テキスト）を含まない場合、トランスクリプト情報は、従来の音声−テキスト発生技術を用いて作成され得る（或いは、サードパーティ（第三者機関）から獲得される）。入力信号のトランスクリプト情報部分が抽出されると、このトランスクリプト情報部分はキュー抽出器１６へ解析のため供給される。
【００１５】
キュー抽出器１６は、複数のキューの組を収容する知識データベース１８に接続される。キューの各組は、特定の番組の分類タイプに関連する。知識データベースは、番組タイプ判定器１３にも接続され、番組タイプ判定器１３は、番組のタイプを知識データベースに供給する。知識データベースは、特定の番組の分類タイプに対応したキューを見つけるためデータベースを検索する。知識データベースは、関連したキューをキュー抽出器へ供給する。キューは、既知の番組のフォーマットに基づいて選択される。キュー抽出器は、トランスクリプト情報を監視し、知識データベースによって与えられたキューの出現を見つける。キューは、一般的に、ある種のイベントが番組で発生しそうであるか、或いは、発生したことを示す文、句、若しくは、単語に関係する。たとえば、番組タイプ判定器１３によってトークショーに分類された番組と関連して、知識データベースは、トークショーに関連したキューの組にアクセスする。知識データベースにトークショーに関して保持されるキューのタイプの一例は以下の通りである。
紹介キュー：たとえば、最初のゲスト、次のゲスト、など。
中間キュー：たとえば、ようこそ、かけがえのない人、など。
コマーシャルを示唆するつなぎのキュー：たとえば、後で直ぐに、など。
終了キュー：たとえば、皆さんおやすみなさい、では来週、ご覧下さり有難うございました、など。
【００１６】
知識データベース１８は、キュー抽出器１６に対し、まさにイベントが発生しようとしていることを示す記述（たとえば、ゲストの紹介中であることを表わす「最初のゲスト」、「次のゲスト」、「２番目のゲスト」、「３番目のゲスト：、「最後のゲスト」など）を見つけるため、テキスト情報抽出器１４によって与えられたトランスクリプト情報を監視するように指令する。知識データベースは、キュー抽出器に対して、イベントが発生中である（たとえば、ゲストがステージ上を歩いている）ことを示す第２のキューを見つけるようにキュー抽出器へ指令する。たとえば、第２のキューは、「ようこそ」、「盛大な拍手を」、「かけがえのない人」などである。一時データベース２２は、第１のキューと第２のキューがどの程度時間的に接近して見つけられるべきであるかに関する情報をキュー抽出器に与える。第２のキューが、第１のキューが識別された後に特定の所定の時間内に識別されなかった場合、本実施例の装置は、第１のキューが間違って識別されたと判定するか、又は、第２のキューが見落とされたと判定する。したがって、知識データベースは、キュー抽出器に対し、第１のキューと第２のキューの新しい組を発見するように指令する。しかし、第２のキューが特定の所定の時間内に確認された場合、第１のキュー及び第２のキューに近いテキスト情報がメモリに保持され、後述のように、関連情報を抽出し、テキスト情報に基づいて推論を実行するため推論エンジン２０へ供給される（トークショーの場合、推論には、ゲストの身分と名高い分野を含む）。
【００１７】
第１のキュー及び第２のキューがテキスト情報内で見つかったという事実は、推論エンジン２０へ供給される。推論エンジンは、キュー抽出器１６から、第１のキュー及び第２のキューの場所が見つけられたという事実だけではなく、第１のキュー及び第２のキューと近似したテキスト情報を取得する。推論エンジン２０は、キュー抽出器によって識別され与えられたトランスクリプト情報の部分を解析し、特定の情報（たとえば、ゲストの名前と著名な分野）を抽出して推論を実行する。好ましい一実施例において、推論エンジン２０には、ルックアップテーブルが付随し、ルックアップテーブルは、トランスクリプト情報内の特定の単語の出現を、特定の分野／トピックスに関連付ける。たとえば、第１のキュー及び第２のキューと関連したトランスクリプト情報（イベントが発生するか、又は、発生したことを示す）が、俳優、女優、グラマー、スター、フィルム、オスカー、若しくは、スリラーのような単語を含む場合、推論エンジンは、（ルックアップテーブルへアクセスした後）これらの単語を映画産業に関連付ける。ゲストは映画産業の人である、と推論される。
【００１８】
ゲストの名前を判定するため、推論エンジンは、たとえば、「ようこそ」のような語を探索し、その単語、或いは、その後に続く名前を抽出する。抽出された単語は、名前（たとえば、有名人及びその他の著名人の名前）のデータベースと比較され、正確な単語（名前）が抽出されたかどうかを検査する。有効な名前が抽出されなかった場合、適切な名前を識別するため、トランスクリプト情報の更なる検索が行われる。同様のトランスクリプト情報の抽出並びに推論は、ゲストに関連したその他の事実に関して行われる。名前と著名分野は、要約と内容テーブルを作成する際に最も有効である、と考えられる。
【００１９】
キュー抽出器１６は、次に識別すべきキューがあるとすれば、どのようなキューであるかを判定するため、知識データベース１８へアクセスする。知識データベース１８から識別された番組のタイプに基づいて命令を受信したとき、キュー抽出器は、次のキューを得るためトランスクリプト情報を探索する。２番目の新しいキューは、番組の分類に応じて要求される場合と、要求されない場合とがある（たとえば、番組がホッケー試合である場合、キュー抽出器は、唯一の単語「得点」若しくは「ゴール」を見つけるため、トランスクリプト情報を監視し、識別された単語の付近に出現するトランスクリプト情報を抽出することが予想される）。次のキューの確認後、推論エンジン及び一時データベースは、番組の終了が検出されるまで、上述のようにアクセスされる。
【００２０】
推論エンジン２０によってトランスクリプト情報から抽出された情報（たとえば、名前及び名高い分野）は、メモリ（図示されず）に、対応したタイムスタンプと共に保持される。推論エンジンから獲得された情報は、番組の番組要約及び内容テーブルに編集される。好ましい一実施例において、番組要約は、各ゲストの名前及び名高い分野を所定のテキストに挿入することによって作成される。たとえば、番組要約は、
「最初のゲストは、（ゲストの名前の挿入箇所）氏であり、この方は、（ゲストの名高い分野）の分野における専門家です」
のような形で作成される。
【００２１】
次の例は、トークショーの番組要約の一例であり、この番組要約は、所定のテキスト及び／又は推論されたテキストと、第１のキューから第２のキューまでの間に出現したトランスクリプト情報とを含む。
【００２２】
最初のゲストは、Ａｄａｍ Ｓａｎｄｌｅｒ氏であり、音楽の分野の専門家です。今夜の最初のゲストは、最も偉大な音楽スターの一人です。今夜、彼は、最新ＣＤ”Ｓｔａｎ ａｎｄ Ｊｕｄｙ’ｓ ｋｉｄ”からの曲を演奏してくれます。このＣＤを買いに出かけてください。彼は本当に気にしています。
【００２３】
次のゲストは、映画の分野からのＰｅｔａ Ｗｉｌｓｏｎ氏です。今夜の二人目のゲストは、ＵＳＡネットワークの”Ｌａ Ｆｅｍｍｅ Ｎｉｋｉｔａ”では、汚れたストリートパンク出身の
魅力に溢れた神秘的な殺し屋を見事に演じています。
【００２４】
最後ゲストは、映画の分野で生活しているＣｈｒｉｓ Ｅｉｇｅｍａｎです。
【００２５】
今夜の次のゲストは、ある種の感じのよいクールな映画で演じています。彼は、”Ｍｅｔｒｏｐｏｌｉｔａｎ”、”Ｂａｒｃｅｌｏｎａ”、及び、”Ｔｈｅ Ｌａｓｔ Ｄａｙｓ ｏｆ Ｄｉｓｃｏ”に出演しています。また、現在、ＡＢＣで放送中の”Ｉｔ’ｓ ｌｉｋｅ， ｙｏｕ ｋｎｏｗ”に出演中です。
【００２６】
番組要約の作成後、この番組に関する内容テーブルが作成される。内容テーブルは、好ましくは、番組に対する関連したイベント情報と、番組中でイベントが発生した時間オフセットとを含む。たとえば、番組がトークショーである場合、内容テーブルは、各ゲストの名前と、ゲストの名高い分野と、番組中でゲストが出演している時間とを含む。トークショーの場合の内容テーブルの一例は、たとえば、
Ｊａｙ Ｌｅｎｏ ホスト　１〜１４分
Ａｄａｍ Ｓａｎｄｌｅｒ 音楽　１５〜２９分
Ｐｅｔａ Ｗｉｌｓｏｎ　映画　３０〜４４分
Ｃｈｒｉｓ Ｅｉｇｅｎｍａｎ 映画　４５〜６０分
のようになる。
【００２７】
内容テーブルは、たとえば、コマーシャルの生起、或いは、会話の話題などのその他の抽出情報を組み込んでもよい。
【００２８】
番組要約及び内容テーブルの作成のためのトランスクリプト情報の解析と並行して、番組索引が作成される。一実施例において、キュー抽出器１６は、トランスクリプト情報中の単語の出現に注目し、その情報を、特定の単語を特定のトピックスと関連付けるためのルックアップテーブルを含む推論エンジン２０及び知識データベース１８へ供給する。トランスクリプト情報は、所定の時間間隔に亘って監視され、大部分の単語と関連付けられているトピックは、対応した時間間隔のトピックとして指定される。また、番組索引は、番組中で使用されるノンストップ単語の全てを掲載し、それらの単語が使用された番組中の対応した時間を与える、と予想される。ノンストップ単語は、ストップ単語以外の単語である。ストップ単語の例には、ａｎｄ（及び）、ｏｒ（又は）、ｔｈｅｎ（そのとき）、ｉｆ（もし〜ならば）、ａｒｅ（〜である）、ｔｏ（〜へ）、並びに、ｗｈｅｎ（とき）が含まれる。
【００２９】
次に、本発明の方法を説明する。最初に、音声／データ／映像信号を受信する。音声／データ／映像信号は、好ましくは、特に、抽出されるトランスクリプト情報を含み。次に、対応したＥＰＧ信号の走査、或いは、トランスクリプト情報の解析のような従来の方法を用いて、番組の分類タイプ（構造化、又は、非構造化）が判定される。番組の分類タイプが構造化タイプであるならば、番組構造は、たとえば、トークショー、ニュース番組、ゲームショー、或いは、スポーツイベントのように識別される。
【００３０】
番組の分類タイプに基づいて、特定のキューの組が、番組の構造（すなわち、番組セグメントが構造化される方法）に関するドメイン知識に基づいて、トランスクリプト情報中（字幕テキスト）で探索される。たとえば、トークショーは、ゲスト毎にセグメントに分けられる。スポーツ番組は、ゲームの既知の部分（たとえば、ホッケーのピリオド、バスケットボール及びフットボールのクォーター、野球のイニング、及び、テニスのセットなど）に基づくセグメントに分けられ、或いは、ゲーム中のイベント（すなわち、得点）に基づくセグメントに分けられる。ホッケーの試合を意味のあるセグメントに要約するため、キューは、点数、ゴールのような単語を含み、これにより、試合の得点の要約が得られる。番組がトークショーである場合、最初のゲスト、次のゲスト、二人目のゲスト、最後のゲスト、及び、ようこそ、のようなキューは、番組セグメントだけではなく、番組イベントを確認するため、トランスクリプト情報で識別される。番組セグメントは、内容テーブルが作成されるとき、番組を特定のイベントが発生した識別可能な部分に区分けするために使用される。
【００３１】
探索されたキューが判定された後、トランスクリプト情報は、第１のキューの出現を見つけるため監視される。第１のキューがトランスクリプト情報で識別されたとき、番組中で第１のキューが識別された時間が記録される。次に、番組の終わりに到達したかどうかを判定する。番組の終わりに達していない場合、トランスクリプト情報は、第２のキューの出現を見つけるため監視される。この状況は、第２のキューは、第１のキューの発生から特定の時間間隔の範囲内に出現しなければならない、という既知の番組の構造（フォーマット）に関して作成された規則に基づいて制限された時間間隔に亘って、トランスクリプト情報で探索される。この制限された時間間隔は、第１のキューを第２のキューに関連付けるルックアップテーブルから獲得される。このルックアップテーブルは、第１のキューの識別と第２のキューの識別の間で番組中の最大許容可能時間間隔を指定する。この情報は、たとえば、既に説明したように、一時データベース２２によって与えられる。この時間的チェックは、一つに関連付けられるべきではない関連したイベントに起こり得るエラーを除去するため実行される。たとえば、トークショーの場合には、トークショーのホストは、典型的に、ゲストの名高いエリアと評判を特定することによって、ゲストを紹介する。ゲストは、次に、比較的短時間のうちに（１分未満に）登場する。しかし、第１のキュー（すなわち、「次のゲストは、・・・」）の識別から第２のキュー（すなわち、「ようこそ、・・・」）の識別までに１分以上（たとえば、１０乃至２０分）の間隔が存在する場合、第１のキュー又は第２のキューの識別にエラーが生じている可能性がある。したがって、第１のキューの識別と、第２のキューの識別が関連していない、という推論がなされる。
【００３２】
第２のキューが、特定の所定の時間間隔内に識別されない場合、本例の方法は、コマーシャルが検出されたかどうかをチェックし、番組中のコマーシャルの時間を記録し、番組の最後が検出されたかどうかをチェックする。コマーシャルの検出は、（上述のように）知識データベースによって与えられたキュー、或いは、他の従来のコマーシャルの手段を用いて行われ、番組の終わりの検出は、番組の終わりの検出手段によって行われ得る。そのための技術は、参考のため全文を引用した、国際公開第０１／２８２４０号パンフレット（代理人書類番号ＰＨＡ２３．８０３）、発明の名称”Ａｕｔｏｍａｔｉｃ Ｓｉｇｎａｔｕｒｅ−Ｂａｓｅｄ Ｓｐｏｔｔｉｎｇ， Ｌｅａｒｎｉｎｇ ａｎｄ Ｅｘｔｒａｃｔｉｎｇ ｏｆ Ｃｏｍｍｅｒｃｉａｌｓ ａｎｄ Ｏｔｈｅｒ Ｖｉｄｅｏ Ｃｏｎｔｅｎｔ”、並びに、米国特許第６，１００，９４１号明細書（代理人書類番号ＰＨＡ２３．４７７）、発明の名称”Ａｐｐａｒａｔｕｓ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｌｏｃａｔｉｎｇ ａ Ｃｏｍｍｅｒｃｉａｌ Ｄｉｓｐｏｓｅｄ Ｗｉｔｈｉｎ ａ Ｖｉｄｅｏ Ｓｔｒｅａｍ”に記載されている。第２のキューが識別されたとき、番組中で第２のキューを識別した時間が記録される。番組が終了したとき、この方法は、以下に説明するように進む。番組が終了していないとき、この方法は、新たな第１のキューと第２のキューを判定するステップへ戻る。
【００３３】
第２のキューが所定の時間間隔内で確認された場合、第１のキューと第２のキューとから推論が行われる。すなわち、第１のキューと第２のキューが識別されたトランスクリプト情報の部分に近いトランスクリプト情報は、キューに関する情報（たとえば、トークショーの一人目のゲストに関する情報）を抽出するため解析される。トークショーの場合にトランスクリプト情報から抽出された情報の例には、ゲストの名前、名高い領域、及び、現在のプロジェクトが含まれる。情報はメモリ（図示せず）に保持される。さらに、番組中の関連したイベントの発生時間は、内容テーブルに収容するため記録され、これにより、システムのユーザは、番組中で特定のイベントが発生したポイントを識別することが可能である。
【００３４】
第１のキュー及び第２のキューに関連したトランスクリプト情報から抽出された情報と関連した表現（たとえば、音声クリップ又は映像クリップ）を抽出することがある。この表現は、番組要約及び内容テーブルを作成するときに、第１のキュー及び第２のキューと関連したトランスクリプト情報から抽出された情報と共に使用される。したがって、ユーザは、番組中に発生したイベントと、番組中でイベントが発生した時間の一覧を見ることができるだけではなく、ユーザは、イベントの視覚的表現を見ること、或いは、イベントの音声クリップを聴くことが可能である。その結果として、ユーザは、番組の特定の部分を視聴するかどうかを決定する際に助けられる。
【００３５】
次に、本実施例の方法は、コマーシャルによる中断が発生したかどうかを判定するため、トランスクリプト情報を監視する（ステップ５８）。コマーシャル検出は、（上述のように）知識データベースによって与えられたキューを用いて行われる。コマーシャルが検出されたとき、（たとえば、番組の一つのセグメントの終わりと別のセグメントの始まりを指定するため）番組中のコマーシャルの時間が記録され、保持される。続いて、番組が終了したかどうかが判定される。番組の終わりは、コマーシャルの検出に関して説明したのと同じような方法で判定される。特に、字幕テキストは、トークショーの場合、「では、来週」、「ありがとう」、「おやすみなさい」などのような句を見つけるため監視される。参考のため全体を引用した、ＰＣＴ／ＥＰ０１／００３０９（代理人書類番号ＰＨＵＳ００００３４）、発明の名称”Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｒｅｃｏｒｄｉｎｇ Ｐｒｏｇｒａｍｓ Ｐｒｉｏｒ ｔｏ ｏｒ Ｂｅｙｏｎｄ Ｐｒｅｓｅｎｔ Ｔｉｍｅ Ｐｅｒｉｏｄ”に記載されているような、その他の公知の番組終了検出方法を使用してもよい。番組の終わりが検出されないとき、トランスクリプト情報から抽出された情報は、対応したタイムスタンプと、ユーザによるアクセス用の表現（たとえば、音声／映像）と共に、メモリに時間順に保持される。番組要約は、抽出された情報を使用して作成され、内容テーブルは、上述のように番組要約に含まれる情報から生成される。これにより、この方法は終了する。
【００３６】
トランスクリプト情報中のキューの検出と並行して、本発明は、番組要約及び内容テーブルとは独立に、ビデオ番組のトランスクリプト情報の番組索引を作成することをここで再度指摘しておく。好ましい一実施例において、本発明は、番組中に特定の単語が出現するのを見つけるためテキスト情報を監視する。本発明は、テキスト中で識別された単語を特定のトピックスに関連付けるルックアップテーブルを含む。トピックスと関連付けられた単語の例は、
映画＞俳優、女優、魅力、ハリウッド、スター、フィルム、オスカー、アカデミー賞、スリラー、映画、タレント
音楽＞歌手、歌、アルバム、ソロ、レコード、ポップ、ボーカル、ＣＤ、ボイス、音楽、パフォーマンス、タレント
政治＞共和、民主、大統領、上院議員、外国、方針、選挙、投票、首相、リーダー、政策
である。
【００３７】
番組索引は、番組中に最も頻繁に取り上げられた単語と関連したトピックスと、そのトピックスが登場した時間を列挙する。番組索引は、特定のトピックが番組中に議論されたかどうかを判定するためにユーザによって参考として使用される。或いは、番組索引は、番組中に使用された単語と、番組中で単語が使用された部分とのりストにより構成される。単語又はトピック索引は、キーワード検索並びに統計的テキスト索引付け及び検索のような従来の単語とトピックの抽出方法を使用して作成される。さらに、番組索引は、番組の内容テーブルを再度規定したものでもよい。たとえば、テーブル内容が、
Ｄａｖｉｄ Ｌｅｔｔｅｒｍａ　００：００〜１２：１５
政治　１：４２　７：１５
感謝祭　７：１５　９：３０
モデル　９：３０　１２：１５
ゲスト１：Ｍｉｃｈｅｌｌｅ Ｐｆｅｉｆｆｅｒ　１６：１７〜２３：００
（以下同様）
コマーシャル　２：２３：０１〜２８：００
ゲスト２：Ｅｔｈａｎ Ｈａｗｋ　２８：０１〜２８：１５
・・・
コマーシャル　３：３８：１６〜４４：００
ゲスト３：Ｊｏｎｉ Ｍｉｔｃｈｅｌｌ　４４：０１〜５９：００
（以下同様）
終わり：５９：０１〜６０：００
であるとする。
【００３８】
このとき、得られる番組索引は、トピックスが後に続く名前のアルファベット順リストであり、
Ｄａｖｉｄ Ｌｅｔｔｅｒｍａ　００：００〜１２：１５
Ｅｔｈａｎ Ｈａｗｋ　２８：０１〜２８：１５
Ｊｏｎｉ Ｍｉｔｃｈｅｌｌ　４４：０１〜５９：００
Ｍｉｃｈｅｌｌｅ Ｐｆｅｉｆｆｅｒ　１６：１７〜２３：００
ｍｏｄｅｌ（モデル）　９：３０　１２：１５
ｐｏｌｉｔｉｃｓ（政治）　１：４２　７：１５
ｔｈａｎｋｓｇｉｖｉｎｇ（感謝祭）　７：１５　９：３０
のように表わされる。
【００３９】
トークショーの場合について、本発明を説明したが、本発明は、任意のタイプの番組に適用可能である。しかし、本発明は、トークショー、ニュース番組、ゲームショー、及び、スポーツイベントのような高度に構造化された番組と共に使用するのに最も好適である。高度に構造化された番組は、既知のフォーマットを備え、全てのショーで特定の句（すなわち、「今夜のトップ記事は」、「最初のゲストは」など）を繰り返し、その後に関連した情報が続けられる。
【００４０】
本発明による装置は、テレビ、セットトップボックス、音声／データ／映像信号プロセッサに接続された自立型装置、或いは、その他の表示装置（たとえば、コンピュータ）に組み込まれる。本発明の方法は、映像／音声番組の任意のデータベースに適用されるサービスとして提供され、或いは、インターネットから提供され得る。
【００４１】
本発明は、テレビ放送信号と共に使用する前後関係（コンテキスト）で説明されているが、このシステムは、たとえば、歌索引を得るためオーディオプロセッサ（すなわち、ラジオ）と共に利用してもよく、インターネットベースの信号をスキャンするようにインターネットアクセス機能を備えたコンピュータと共に使用してもよく、本発明によって検索し処理することが可能であるテキスト情報を作成するため、映像ストリーミング、音声ストリーミング、或いは、その他の蓄積されたコンテンツと共に使用してもよい。
【００４２】
添付図面を参照して、本発明の具体的な好ましい実施例を説明したが、本発明は、これらの詳細な実施例に限定されることはなく、当業者は請求項に記載された事項の範囲を逸脱することなく、種々の変更及び変形を加え得ることが理解されるであろう。たとえば、検索されたキューは、ユーザの特定のニーズに合うようにユーザが変更しても構わない。また、キューは、特定の番組のタイプに関するテキスト情報の繰り返し発生に基づいて、（たとえば、人工知能を用いて）システムによって学習させてもよい。多数のキューを同時に探索してもよく、本発明は、同時に１個のキューしか探索しないわけではない。
【００４３】
請求項の記載中、括弧付きの番号は、請求項に係る発明を限定するものではない。「含む」、「有する」などの語句は、請求項に列挙されていない要素若しくは手順の存在を排除するものではない。要素は単数で表されていても、複数個のこのような要素の存在を除外するものではない。本発明は、幾つかの別個の要素を含むハードウェアを用いて、並びに、適切にプログラムされたコンピュータを用いて実現可能である。幾つかの手段を列挙する装置クレームにおいて、これらの手段のうちの幾つかを全く同一のハードウェア品によって実現することが可能である。ある種の手段が別々の従属請求項で引用されているとしても、これらの手段の組合せが有利になるように使用され得ないということを示すものではない。
【図面の簡単な説明】
【図１】
本発明の好ましい一実施例による字幕テキストを使用するビデオ番組の要約及び索引付けシステムのブロック図である。
【国際公開パンフレット】
2004514350.tif 000002
2004514350.tif 000003
2004514350.tif 000004
2004514350.tif 000005
2004514350.tif 000006
2004514350.tif 000007
2004514350.tif 000008
2004514350.tif 000009
2004514350.tif 000010
2004514350.tif 000011
2004514350.tif 000012
2004514350.tif 000013
2004514350.tif 000014
2004514350.tif 000015
2004514350.tif 000016
2004514350.tif 000017
2004514350.tif 000018
2004514350.tif 000019
2004514350.tif 000020
2004514350.tif 000021
【国際調査報告】
2004514350.tif 000022
2004514350.tif 000023
2004514350.tif 000024