(57)【要約】蓄積された映像コンテンツの関心領域にブックマークを付ける方法、装置及びシステムが提供される。利用者が映像を見て、関心領域を見つけたとき、利用者は、映像の特定のセグメントにブックマークを付け、比較的簡単にそのセグメントへ戻ることができる。これは、ボタンを押下し、マウスでクリックするか、又は、関心のある映像の特定の場所にマークを付ける装置へ信号を送信することにより行われる。フレーム識別情報は、インデックスから希望の映像を選択し、多数の映像を収容している媒体から映像を取り出すため使用される。
2004526372.tif 000002
【特許請求の範囲】
【請求項１】
映像のセグメントを作成する方法であって、
一連の映像フレームを含む映像コンテンツを準備し、映像を調べる手順と、
ブックマーク信号が送信されたときに表示される選択フレームを選択するため、映像を調べている間にブックマーク信号を送信する手順と、
選択フレームの特徴を識別し、該選択フレームに対応した情報を記憶媒体に記録する手順と、
セグメント開始ポイント及びセグメント終了ポイントをもつ映像のセグメントの中で、選択フレームを含む映像のセグメントを識別し、そのセグメントの少なくとも一部分を保存する手順と、
を有する方法。
【請求項２】
フレームの特徴は、フレームのビジュアル特性、オーディオ特性、又は、テキスト特性を用いて作成されたフレーム署名から獲得される、請求項１記載の方法。
【請求項３】
フレームの特徴は、フレームのフレーム番号である、請求項１記載の方法。
【請求項４】
フレームの特徴は、映像におけるフレームのタイムスタンプである、請求項１記載の方法。
【請求項５】
セグメントの開始ポイント及び終了ポイントは、選択フレームの前後で、映像のオーディオ部分、ビジュアル部分、又は、トランスクリプト部分における情報の重要な変化の検出に基づいている、請求項１記載の方法。
【請求項６】
変化を検出するために解析される情報は、映像のＤＣＴ係数、カラー、エッジ、形状、静寂、音声、音楽、字幕、オーディオコンテンツ、及び、それらの組合せよりなる群から選択される、請求項５記載の方法。
【請求項７】
セグメントは映像と同じ媒体に格納される、請求項１記載の方法。
【請求項８】
セグメントの開始ポイントから所定の長さの映像が保存される、請求項１記載の方法。
【請求項９】
セグメントの開始ポイントは、選択フレームよりも前の所定の長さの映像として定められる、請求項１記載の方法。
【請求項１０】
保存されたセグメントは、電子番組案内データと、セグメントのフレームと、セグメントからのトランスクリプト情報と、これらの組合せと、のうちの少なくとも一つを含む、請求項１記載の方法。
【請求項１１】
一連の映像フレームを含む映像のコンテンツを表示することができる映像プレーヤーと共に動作するように構成されたブックマーク付与部を有し、
ブックマーク付与部は、ブックマーク信号をブックマーク付与部へ送信するように構成された信号送信機からの信号に応答し、
ブックマーク付与部は、ブックマーク信号が受信されたとき、表示されている映像の選択フレームを識別するように構成され、
ブックマーク付与部は、選択フレームの特徴を識別し、映像がセグメント開始ポイント及びセグメント終了ポイントをもつセグメントに既に分割されているときには該特徴に対応した情報を記憶媒体に記録し、選択フレームを含むセグメントの少なくとも一部分又は映像を該セグメントに分割することができるセグメンテーション用特徴を含むブックマークを記録するように構成され、
ブックマーク付与部は選択フレームを含むセグメントの少なくとも一部分を記憶媒体へ送信するように構成されている、
システム。
【請求項１２】
選択フレームの特徴は、フレームのビジュアル特性、オーディオ特性、又は、テキスト特性を用いて作成されたフレーム署名から得られる、請求項１１記載のシステム。
【請求項１３】
フレームの特徴はフレームのフレーム番号であり、
ブックマーク付与部はフレーム番号を決めるように構成されている、
請求項１１記載のシステム。
【請求項１４】
フレームの特徴は映像におけるフレームのタイムスタンプであり、
ブックマーク付与部は映像におけるタイムスタンプを決めるように構成されている、
請求項１１記載のシステム。
【請求項１５】
ブックマーク付与部は、セグメントの開始ポイント及び終了ポイントを決めるため、映像のオーディオ部分、ビジュアル部分、又は、トランスクリプト部分の情報の重要な変化を検出するように構成されている、請求項１１記載のシステム。
【請求項１６】
解析エンジンは、映像のＤＣＴ係数、カラー、エッジ、形状、静寂、音声、音楽、字幕、オーディオコンテンツ、及び、それらの組合せよりなる群から選択された情報を解析する、請求項１１記載のシステム。
【請求項１７】
ブックマーク付与部は、セグメントの少なくとも一部分を映像と同じ媒体に格納するように構成されている、請求項１１記載のシステム。
【請求項１８】
ブックマーク付与部は、セグメントの開始ポイントから所定の長さの映像を記録するように構成されている、請求項１１記載のシステム。
【請求項１９】
希望の映像を識別する方法であって、
希望の映像のフレームを選択し、フレームに関係した識別用特徴を記録する手順と、
希望の映像を複数の映像を収容する記憶媒体に格納する手順と、
識別用特徴を探索することにより、記憶媒体の中で希望の映像を探索する手順と、
識別用特徴を備えたフレームを含む映像を取り出す手順と、
を有する方法。
【請求項２０】
フレームの識別用特徴は、映像のビジュアル特性、オーディオ特性、又は、テキスト特性を用いて作成されたフレーム署名から得られる、請求項１９記載の方法。
【請求項２１】
媒体に格納された映像のセグメントは映像索引に基づいてまとめられ、
希望の映像のセグメントは選択フレームを含む、
請求項１９記載の方法。
【請求項２２】
映像は第１の場所に格納され、
索引はインターネットを介して離れた場所のユーザへ送信される、
請求項２１記載の方法。
【請求項２３】
電子的に蓄積されたコンテンツを処理する方法であって、
映像、オーディオ、画像、テキスト、及び、それらの組合せからなる群より選択されたコンテンツ項目を電子的に蓄積し表示する手順と、
コンテンツの表示中に、コンテンツ項目を識別するために十分な識別用情報を含むコンテンツ項目の選択セグメントを保存することにより、ブックマークを作成する手順と、
すべてのコンテンツ項目ではなく、コンテンツ項目を識別するセグメントだけを記憶装置に保持する手順と、
その後に、同じコンテンツ項目を識別するためコンテンツ項目を識別する情報を比較する手順と、
を有する方法。
【請求項２４】
ブックマークは遠隔装置にバックアップされている、請求項２３記載の方法。
【請求項２５】
ブックマークは、ＥＰＧデータと、トランスクリプト情報と、字幕情報と、映像特徴情報と、のうちの少なくとも一つに基づいて分類される、請求項２３記載の方法。
【請求項２６】
ブックマークは、ウェブページと、無線コネクションを介した移動通信装置と、ＰＤＡと、コンピュータ化された時計と、のうちの少なくとも一つによってアクセスされる、請求項２３記載の方法。
【請求項２７】
ブックマークは複数のレベルで保存され、
各個人は異なるレベルにアクセスする、
請求項２３記載の方法。
【請求項２８】
ブックマークは、第１の記憶装置を用いて記憶媒体に格納することによって作成され、他の装置に関連した記憶媒体へ転送される、請求項２３記載の方法。
【請求項２９】
ブックマークが作成された後、コンテンツ項目は、ブックマークを残したままで、格納されていた媒体から削除される、請求項２２記載の方法。
【請求項３０】
映像、オーディオ、画像、テキスト、及び、それらの組合せよりなる群から選択されたコンテンツのコンテンツ項目を識別する方法であって、
コンテンツ項目を識別するために十分な識別用情報を備えたコンテンツ項目を選択セグメントを含むブックマークを作成し、コンテンツ項目を識別するセグメントを記憶媒体に保持する手順と、
ユーザの要求に応じて、ブックマークを離れた場所のユーザへダウンロードする手順と、
を有し、
ユーザは、ブックマークを作成したときに使用された元のコンテンツ項目を識別するためブックマークを使用する、
方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、蓄積された映像コンテンツへアクセスする技術に係り、特に、映像信号の意味のあるセグメントを識別するブックマークを映像コンテンツに付ける方法及び装置に関する。
【背景技術】
【０００２】
ユーザは、直ぐに鑑賞するため、或いは、後で鑑賞するためにＶＨＳフォーマット、ＤＶＤ、ディスク、ファイル等に蓄積された映像を頻繁に獲得する。屡々、映像は膨大な長さになる場合があり、多様なコンテンツを含む。例えば、利用者（見る人）は数時間のコンテンツを記録することがあり、その中には、様々なテレビ番組若しくは私的な活動を単一のビデオカセット、ハードディスク・ドライブ、或いは、その他の記憶媒体に記録することが含まれている。利用者が映像の特に重要な部分へ戻ることは屡々困難である。特に、映像を鑑賞している間に、フレームカウンタ番号若しくは記録時間情報を記録することは、不便であることが多い。
【０００３】
ユーザは、屡々、特定の関心のあるセグメントへ戻るため、苛立たしい行き当たりばったりの方法を使用する。例えば、利用者は、多数のコメディアン若しくはフィギュアスケーターのパフォーマンスを含む映像を記録若しくは獲得したとしても、それらのパフォーマンスをしている個人の中で非常に小数の人のパフォーマンスだけに関心があるということがある。また、利用者は、スーパーボウル若しくはワールドシリーズの観戦中に放送を記録し、ゲーム中の５乃至６個の印象的なプレーに戻りたい場合がある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
関心のある特定のセグメントを見つける従来の方法は使用するのに不便であるので、映像の重要なセグメントにブックマークを付ける改良された装置及び方法を提供することが望ましい。
【課題を解決するための手段】
【０００５】
一般的に、本発明によれば、蓄積された映像コンテンツの関心領域にブックマークを付ける方法、装置及びシステムが提供される。利用者が映像を見て、関心領域を見つけたとき、利用者は、映像の特定のセグメントにブックマークを付け、比較的簡単にそのセグメントへ戻ることができる。これは、ボタンを押下し、マウスでクリックするか、又は、関心のある映像の特定の場所にマークを付ける装置へ信号を送信することにより行われる。フレーム識別情報は、インデックスから希望の映像を選択し、多数の映像を収容している媒体から映像を取り出すため使用される。全セグメントの境界は、映像信号のビジュアル部分、オーディオ部分、及び、トランスクリプト部分を解析することにより、様々なスーパーヒストグラム、フレーム署名、カット検出法、字幕情報、オーディオ情報などを使用して自動的に識別される。ビジュアル情報は、顔の変化、キーフレーム、映像テキスト等による個人の変化を判定するため、カラー、エッジ及び形状の変化に関して解析される。静寂、雑音、音声、音楽、及び、これらの組合せのような様々なオーディオ特徴は、セグメントの始まりと終わりを判定するため解析される。字幕情報は、単語、カテゴリー等に関して解析される。映像の重要なセグメントの境界を判定するためにこの情報を処理することにより、ブックマークは、単に映像の特定のポイントに対応するのではなく、コンテンツの完全に自動的に作成されたセグメントに対応する。
【０００６】
このように、本発明よる方法、システム及び装置は、ユーザが関心のある映像のセグメントに戻るために便利であるだけではなく、ユーザはセグメントの始まりへ導かれ、随意的に特定の関心領域だけを見るか、又は、関心のあるセグメントだけを順々にスクロールするか、若しくは、見ることが可能である。
【０００７】
例えば、特定話者がホームコメディの映像中で話をしている間にブックマーク信号が送信された場合、ブックマーク信号が送出された時点での話者を識別することにより、その話者が話し始めたときと話し終えたときを判定することによってセグメント境界を識別することが可能である。この情報は、映画のセグメントの識別のようなある種のタイプのコンテンツに対して有用であるが、他のタイプのコンテンツに対しては有用でない。カラーパレット信号の変化のようなヒストグラム情報は、セグメント変化を識別するために役立ち得る。字幕及び自然言語処理技術は、あるトピックを次のトピックから分離するための更なる情報を提供し、トピック、会話などに基づいて境界を識別する際に役立つ。上記のセグメント識別技術からの証拠を選択若しくは組合せることにより、セグメントの境界が判定され、確立される。これは、セグメントを更に識別するため、プログラム全体の構造の解析と組合せてもよい。
【０００８】
本発明の一実施例において、ブックマーク信号はフレームを識別し、セグメントは、例えば、選択されたフレームの前後の、３０秒若しくは１分のような時間、又は、選択されたフレーム数のような映像期間（長さ）に基づいている。或いは、セグメントは、セグメント開始から３０秒若しくは１分のような所定の長さに設定してもよい。かくして、ブックマーク信号が長いセグメントの最後の方へ送られたとき、セグメントの最初の部分と、できる限りブックマーク信号を含む部分だけが蓄積される。各セグメントは、ＥＰＧ（電子番組案内）データ、フレーム若しくはトランスクリプト情報、又は、それらの組合せを含み得る。セグメントの索引は、例えば、インターネット若しくはワールド・ワイド・ウェブを介して離れた場所から再検討することが可能であり、映像はこのような索引の中を探すことにより選択される。
【０００９】
本発明の一実施例では、新しいシーンは、映像が鑑賞されているときに実行中に検出される。ブックマーク信号が始動されたとき、システムは、シーンの最後を探し、ブックマークが付けられたシーンを記録／索引付けし、或いは、シーンを別々に蓄積する。
【００１０】
本発明の一実施例において、映像を見ているユーザがブックマーク機能を起動したとき、個別のフレームの固有特性が記録される。次に、ユーザが記憶媒体に大量の映像コンテンツを保有し、ブックマークが付けられたシーン若しくはセグメントへ戻りたいけれども映画、テレビ番組若しくはスポーツイベントの識別情報を思い出せないとき、フレームの特性は、固有若しくはかなり固有の識別情報として探索され、シーン（若しくは作品全体）が取り出される。このように、利用者は、希望のシーンが見つかるまで一連の映像ブックマークをスクロールさせ、そのシーンへそのまま進むか、又は、作品の最初へ進むことが可能である。利用者は、映像だけではなく、音楽、オーディオ及びその他の蓄積コンテンツのお気に入りのブックマーク付きのセグメントの私的リストを保持し続けることが可能であり、利用者は、フレーム識別子若しくはセグメント識別子をコンテンツ情報源へ送信することにより、様々なインターネット若しくはウェブ経由でアクセス可能なソースからコンテンツにアクセスすることができる。
【００１１】
本発明によるブックマークは、ＰＤＡ（携帯情報端末）若しくはその他のコンピュータ化された記憶装置のような遠隔装置でバックアップすることができる。このような装置は、例えば、キーワード検索などを実行して、ＥＰＧデータ、フレーム情報、トランスクリプト情報などを解析することにより、又は、その他の映像特徴を解析することにより、ブックマークを分類することができる。実際上、本発明によるシステム及び方法は、オーディオブック、音楽、無線プログラム、テキスト文書、マルチメディア・プレゼンテーション物、写真若しくはその他の画像などからのセグメントのような様々なタイプの電子コンテンツにブックマークを付け、分類するために使用できる。本発明のある種の実施例では、ブックマークは、ウェブページ、移動通信装置、ＰＤＡ、時計、及び、その他の電子装置を通してアクセスすることができる。
【００１２】
このため、各個人は、映像の豊富な予想情報を獲得するために、ＥＰＧデータ、テキストデータ、若しくは、その他の情報を、ブックマークと共に格納することができる。このテキスト情報は、トランスクリプト、概要若しくは役者に関するＥＰＧデータ、キーフレームなどの一部でも、或いは、全部でも構わない。この情報は、セグメントとブックマークを特徴付けるために更に使用できる。
【００１３】
したがって、本発明の目的は、従来の方法、システム及び装置の欠点を解決し、映像及び他のコンテンツにブックマークを付け、映像及び他のコンテンツを取り出す改良された方法、システム及び装置を提供することである。
【００１４】
本発明をより完全に説明するため、添付図面を参照して以下の記述を参照するべきである。
【発明を実施するための最良の形態】
【００１５】
屡々、利用者は、自分が鑑賞している映像のセグメントに、未来の検索のためにブックマークを付ける。ブックマーク付きの映像は、特定の関心のあるセグメントへ戻ることが非常に簡単化される。ユーザが、生放送の映像、又は、テープ、ディスク、ＤＶＤ、ＶＨＳテープ、或いは、その他の媒体に蓄積された映像を鑑賞するとき、ユーザは、マーキングポイントを入力するため、ボタンを押下するか、或いは、映像が電子的に結合されている装置へ信号を送信させることができる。このマーキングポイント（又は、フレームの署名）は、テープの（制御領域のような）空き領域、又は、映像が記録される媒体に記録され、テープの特定のポイントについての時間若しくはフレームカウントは別個の記憶媒体に記録される。
【００１６】
図５は処理フロー図である。入力ビデオは、ステップ５０１でフレームに分割（フォーマット）される。次に、ステップ５０２で、各フレームに対して、署名が作られ、保存される。ユーザがブックマークを付けるフレームを選択した場合、ステップ５０３で、フレームは識別され、署名は、フレーム位置及びビデオ情報と共にブックマークとして保存される。ブックマークの周辺の境界は識別され、それらの情報もステップ５０４で同様に保存される。セグメント境界若しくは映像のようなセグメント識別情報は、ステップ５０５において、ユーザに応じて保存される。
【００１７】
本発明の一実施例において、ユーザは、ＰＤＡ、サーバ、若しくは、その他の記憶装置にブックマークを格納する。これは、ルックアップテーブルのような役割を果たす。ユーザは、ブックマーク若しくはフレーム情報を、例えば、外部サーバに保存された映像のフレーム情報と比較することにより、特定の映像を見たか、或いは、取得したかどうかを検証することができる。使用者は、映像をダウンロードし、鑑賞後に、映像を削除し、ブックマークだけを保持し、もう一度見たいと思うときに、外部ソースから映像を取り出す。このように、記憶リソースは最大限に活用され、集中コンテンツ記憶ソースの効率のよさを利用できる。
【００１８】
本発明の一実施例では、利用者が映像をクリックしたとき、そのとき表示されるフレームは解析のため抽出される。署名、ヒストグラム、字幕、若しくは、その他の低レベル特徴、又は、それらの特徴の組合せは、このフレームを表現し得る。以下、幾つかの例を列挙する。
【００１９】
本発明によるシステムは、ブックマーク信号が有効にされた正確なポイントへ戻るようにセットアップすることができるが、改良されたシステム若しくはアプリケーションでは、映像の重要なセグメントは、ブックマークが付けられ、ユーザは、セグメントの中ほどやセグメントの終わりではなく、正確なポイントへ戻るか、又は、重要なセグメントの先頭へ戻るかを選ぶことができる
ユーザは、セグメントを見て、そのセグメントに関心のあることが判明するまで、セグメントにブックマークを付けることを決定しない。
【００２０】
ブックマークが対応しているセグメントの識別は、様々な方法で実現できる。例えば、本発明の好ましい一実施例では、映像全体、若しくは、映像の大部分は、本発明に従って解析され、セグメントに分解可能である。次に、ブックマーク信号が有効であるとき、信号が有効であるときに出現するセグメント（又は、前のセグメント、若しくは、両方のセグメント）にブックマークを付けることができる。本発明の他の実施例では、セグメントの境界を決定するための解析は、ブックマーク信号が有効になるまで実施されない。この情報（映像署名、テープの開始時間及び終了時間、フレームカウントなど）は、上記の場所と同じ場所に格納される。
【００２１】
本発明の更に別の実施例では、映像、音声、画像、テキスト及びこれらの組合せのようなコンテンツ品目を識別する方法は、コンテンツ品目を識別するために十分な識別用情報を有するコンテンツ品目の選択されたセグメントを含むブックマークを作成し、品目を識別するセグメントを、サービスプロバイダ側の記憶媒体のような記憶媒体に保持することにより実行される。ユーザは、自分の選択で遠隔場所へブックマークをダウンロードすることが可能である。ユーザは、ブックマークを作成したときの元のコンテンツ品目を識別するためブックマークを使用することができる。このようなブックマークのダウンロードは個人ファイルに従って行われる。
【００２２】
ＤＣＴフレーム署名
利用者がフレームを選択するとき、あるタイプのフレーム署名がＤＣＴ（離散コサイン変換）係数の成分から得られる。フレーム署名表現は、フレーム内の同じような値が与えられたＤＣＴブロックのグループ毎に得られる。即ち、フレーム署名は、フレーム内の領域署名から得られる。各領域署名は、次節で説明するブロック署名から得られる。定性的には、フレーム署名は、識別可能なオブジェクトを表現する映像フレーム内の目立った領域に関する情報を格納する。このフレームの署名は映像のこの部分を取り出すために使用される。
【００２３】
図３を参照するに、ブロック、領域、及び、フレーム署名の抽出が次の通り実行される。ＤＣ係数と、ＡＣ係数の最高値とに基づいて、署名は、映像フレーム３０２のブロック３０１毎に得られる。次に、類似した署名をもつブロック３０１は比較され、ブロック３０１のグループのサイズ及び場所が領域署名を得るために定められる。
【００２４】
ブロック署名３１０は、８ビット長にすることが可能であり、その中の３ビット３２０がＤＣ署名に充てられ、５ビット３３０がＡＣ値に充てられる。署名３１０のＤＣ部３２０は、ＤＣ値が指定された値の範囲（例えば、−２４００乃至２４００）に収まるかどうかを判定することによって得られる。この範囲は、予め選択された個数の間隔に分割してもよい。本例の場合、８個の間隔が使用される（８個の値は３ビットにより表現される。）。アプリケーションのタイプに応じて、署名全体のサイズは、非常に多数の間隔を受け入れるように変更され、より精細な粒状度表現が得られる。各間隔は、ＤＣ値の範囲から、署名のＤＣ部３２０への所定のマッピングに割り当てられる。５ビット３３０は、ＡＣ値の内容を表現するため使用される。各ＡＣ値は、閾値、例えば、２００と比較され、この値が閾値を越えるとき、ＡＣ署名の対応したビットは１にセットされる。図３には、値３７０だけが閾値２００よりも大きい場合の一例が示されている。
【００２５】
図３に示されるように、ＡＣ値の内容を表現するために５ビットが使用される。各ＡＣ値は閾値と比較され、この値が閾値よりも大きい場合、ＡＣ署名の対応したビットは１にセットされる。
【００２６】
フレーム毎にブロック署名を獲得した後、類似した値が与えられたブロック署名の領域が決定される。領域は、同じブロック署名を共用する二つ以上のブロックにより構成される。この処理では、領域成長法が画像内の領域を孤立させるため使用される。従来、領域成長法は、領域を検出するため画素カラーと近傍概念を使用する。本発明の一実施例では、領域成長の基本として、ブロック署名が使用される。各領域には、領域署名、例えば、
regionSignature(mblockSignature, regionSize, Rx, Ry)
が割り当てられる。ここで、Ｒｘ及びＲｙは、領域の中心座標である。各領域は概略的に画像内のオブジェクトに対応する。
【００２７】
選択されたフレームは、最も顕著なＤＣＴのグルーピング（領域）によって表現される。ｎワード長の署名は、フレームに対して得られる。ここで、ｎは、（アプリケーションによって定義された）重要な領域の個数を表し、ワードは、所定数のバイトにより構成される。本発明の一実施例において、画像中の領域の個数は制限され、最大の領域だけが維持される。一つのフレームは、多数の領域によって表現されるので、フレーム間の類似性は、フレームのブロック署名、サイズ及び場所に基づいて、類似している領域の数を選択することによって調節される。領域は、領域サイズによって区分けされ、上位ｎ個の領域署名がフレームの代表:
frame(regionSignature1, ….regionSignaturen)
として選択される。このキーフレームの表現は画像の視覚的な見え方に基づく表現であり、画像の意味を記述しようとするものではない。
【００２８】
フレーム探索
映像内の位置を見つけるため、フレーム比較手続は、ブックマークが付けられたフレームＦ”をフレームのリスト内の全フレームＦ’と比較する。それぞれの領域署名は、サイズに応じて、
【００２９】
【数１】
2004526372.tif 000003
のように比較される。
【００３０】
フレーム差は、中心が同じであるフレーム署名内の中心領域毎に計算することができる。この場合、対象の位置及び署名値が考慮される。これに対して、位置が無関係であり、領域サイズだけを比較し、領域の位置を無視しなければならない場合もある。
【００３１】
フレーム差が零である場合、映像のセクションを取り出すために一致したフレームからの位置情報を使用することができる。
【００３２】
その他のフレーム署名タイプ
署名は、先行フレーム及び／又は後続フレームとの間の最大絶対差（ＭＡＤ）、フレームの強度、フレームに使用されるビットレート、フレームがインターレース走査型であるか順次走査型であるか、フレームは、１６：９からのフレームであるか、又は、４：３からのフレームであるか、などのようなフレームからの特徴の組合せを使用することによって作成され得る。このタイプの情報は、フレームを識別するために任意の組合せで使用することが可能であり、上述のように構築された検索処理が使用される。
【００３３】
カラーヒストグラム
上述の署名を使用するのではなく、フレームに対するカラーヒストグラムを計算し、検索のためこのカラーヒストグラムを使用することが可能である。カラーヒストグラムは、任意の個数のビンにより構成される。
【００３４】
字幕
字幕データもセクションを表現するキーワードを取り出すことによりセグメントにブックマークを付けるため使用できる。
【００３５】
組合せ
上述の事項の任意の組合せは、フレーム若しくはセクションにブックマークを付けるため使用される。
【００３６】
セグメントの定義
セグメントは、使用者に映像の開始ポイントと終了ポイントをクリックさせることによって、使用者によって手入力でブックマークが付けられ得る。或いは、ブックマーク付与は、スーパーヒストグラムのような技術を使用して自動的に行われる。フレームの境界を自動的に決定する技術は後述する。例えば、シーンは、屡々、ある種のカラーパレットを保持する。シーンの変化は、通常、このカラーパレットの中断を伴う。映像が再生されているとき、ヒストグラムを抽出するため自動映像解析が実行され得る。使用者が映像をクリックしたとき、そのフレームに対するカラーヒストグラムが、フレームの始まりを識別するため、前に捕捉されたフレームと比較され、シーンの終わりを見つけるため同じ比較を行うことができる。この情報を使用することによって、使用者の関心があるセグメントだけを保存することが可能になる。この情報は、映像全体のより重要な検索のためにも使用可能である。例えば、使用者がクリックした時点へ直接移動するのではなく、実際にはそのフレームを包含するシーンの始まりへ移動してもよい。
【００３７】
例
使用者は、映画「オズの魔法使い」の映像を見ている。現時点のビューには、ドロシー、ブリキ男、臆病ライオン、及び、かかしがポピー畑からエメラルドの都へ入るフレームが含まれる。使用者は、例えば、色の変わる馬が通り過ぎるときに、映像をクリックする。本発明の一実施例において、フレーム／シーン解析は連続的である。システムは、選択されたフレームを抽出し、ＤＣＴフレーム署名とカラーヒストグラムの両方を生成する。解析プログラムは、同じカラーパレットに属していないフレームを見つけるまで、先に保存されたフレームの中を検索する。このフレームはシーンの開始を意味する。プログラムは、カラーパレットの別の重大な変化によってシーンの最後を見つけるまで、映像を解析し続ける。ユーザが既に映像全体を記録することに決めている場合、開始ポイントと終了ポイントがマークされる。本発明の他の実施例では、セグメントだけが保存される。その一方で、プログラムは、個別のフレームに対するＤＣＴフレーム情報を解析し、蓄積する。その後のある時点で、使用者がブックマーク付きのフレームを見て、映像のその部分を取り出すことに決定した場合、ＤＣＴフレーム情報は、一致しているものが見つかるまで、蓄積された情報と比較される。次に、このフレームの周辺のマーク付きのポイントが映像の一部を取り出すために使用される。
【００３８】
映像の分割（セグメンテーション）は、参考のためここに内容が引用されている米国特許第６，１３７，５４４号及び第６，１２５，２２９号に記載されているような解析技術を使用して実行される。
【００３９】
映像信号の分割は、ベイジアン・エンジン（ＢＥ）とも呼ばれる階層確率論的システムを用いて実現することも可能である。このようなシステムは、文献：J. Pearl, "Probabilistic  Reasoning  in  Intelligent  Systems:  Networks  of  Plusible  Inference",  Morgan  Kaufmann  Publishers,  Inc.  San  Mateo,  California  (1988)に記載されている。このようなシステムは、図９を参照することによって理解できるであろう。
【００４０】
図４には、低レベル４１０と、中レベル４２０と、高レベル４３０の３層確率論的フレームワークが示されている。低レベル層４１０は、映像信号４１０に対する信号処理パラメータを記述する。これらは、カラー、エッジ、及び、形状のようなビジュアル（視覚的）特徴と、平均エネルギー、帯域幅、ピッチ、メル周波数ケプストラム係数、線形予測符号化係数、及び、零交差のようなオーディオ（聴覚的）特徴と、字幕のアスキー文字から抜かれたトランスクリプトと、を含む。字幕情報が利用できない場合、オーディオをトランスクリプト文字に変換するため音声認識手法を使用してもよい。
【００４１】
同図の矢印は、中レベル４２０の特徴を生成する低レベル４１０の特徴の組合せを示している。中レベル４２０の特徴は、全部のフレーム、又は、フレームの集合と関連し、低レベル４１０の特徴は、画素、又は、短期間に関連付けられる。キーフレーム（ショットの最初のフレーム）、顔、及び、映像テキストは、中レベルのビジュアル情報である。キーワード及び字幕／トランスクリプトのカテゴリーも中レベル４２０の一部である。
【００４２】
高レベルの特徴は、異なる様式に及ぶ中レベル４２０の特徴の統合によって獲得された意味的な映像コンテンツを記述することが可能である。
【００４３】
このアプローチは、非常に適している。なぜならば、確率論的フレームワークは、不確実な情報を取り扱うため設計され、情報の統合を表現するために相応しいからある。ベイジアン・エンジンの確率論的統合は、イントラモダリティとインターモダリティのいずれかを採用する。イントラモダリティとは、単一のドメイン内での特徴の統合を表す。例えば、映像テキストのカラー、エッジ及び形状情報の統合は、イントラモダリティ統合を表現する。なぜならば、これは、すべてビジュアルドメインで行われるからである。中レベルのオーディオカテゴリーと、ビジュアルカテゴリーの顔及び映像テキストとの統合は、インターモダリティの一例である。
【００４４】
ベイジアン・ネットワークは、ノードが確率論的変数に対応する有向非巡回グラフ（ＤＡＧ）である。アーク（弧）は、連結された変数間の直接の因果関係を記述する。これらのリンクの強度は、条件付確率分布（ｃｐｄｓ）によって与えられる。より形式的には、Ｎ個の変数Ａ（_i,...,_N）がＤＡＧを定義する場合を考える。各変数に対し、ＤＡＧにおけるＡの変数の部分集合、_iの親集合９_i、即ち、_iの祖先が存在し、
【００４５】
【数２】
2004526372.tif 000004
のように表され、ここで、Ｐ（・｜・）は条件付確率分布を表し、厳密に正である。次に、連鎖法則
【００４６】
【数３】
2004526372.tif 000005
を使用して、同時確率密度関数（ｐｄｆ）
Ｐ（_i,...,_N）
を与える。この式によると、親集合９_iは、_i及び｛_i,...,_N｝＼Ｎ_iは、与えられた９_iに条件付非依存である。
【００４７】
図４において、ベイジアン・エンジンのフロー図は、３層からなるＤＡＧの構造を備えている。各層において、各要素は、ＤＡＧのノードに対応する。有向アークは、所与の層のあるノードを先行層の一つ以上のノードと連結する。アークの二つの集合は、３層の要素を連結する。ある層とある要素に対して、上述の同時確率密度関数を計算する。より厳密には、ｌ番目の層と関連した要素（ノード）ｉ(l)に対して、同時確率密度関数は、
【００４８】
【数４】
2004526372.tif 000006
であり、ここで、各要素_i(l)に対して、親集合９i(l)、所与のレベルに対する親集合の和、即ち、
【００４９】
【数５】
2004526372.tif 000007
が存在する。各レベルに関して異なる親集合の間に重なり合いが存在しても構わない。
【００５０】
ベイジアン・エンジンによって実行されるトピック分割（及び分類）は、図４の第３層（高レベル）に示されている。マルチメディアコンテンツの複雑な性質は、複数のドメインを越える統合を要求する。オーディオドメイン、ビジュアルドメイン、及び、トランスクリプトドメインからのデータの包括的なデータを使用する方が好ましい。
【００５１】
図４のベイジアン・エンジン構造において、３層の各々に関して、各ノード及びアークは、条件付確率分布に関連付けられる。低レベル層において、条件付確率密度分布は、上述のようにＡＥによって割り当てられる。中レベル層では、（例えば）気象、国際、犯罪、スポーツ、映画、ファッション、テクノロジー関連株、音楽、自動車、戦争、経済、エネルギー、株式、暴力、金融、国内（事件）、バイオテクノロジー、災害、芸術、及び、政治の２０個の字幕カテゴリーが生成される。有利的には、キーワードとカテゴリーの関連性テーブルにより構成されたカテゴリー毎に、知識ツリーを使用する。統計処理後、システムは、カテゴリー投票ヒストグラムを使用してカテゴリー化を実行する。字幕ファイルの単語が知識ベースキーワードと一致する場合、対応したカテゴリーが票を獲得する。カテゴリー毎の確率は、キーワード毎の得票総数と、字幕パラグラフに対する投票総数との比によって与えられる。
【００５２】
本発明によるシステムは、テレビ番組をコマーシャル部分とコマーシャル以外の部分に分割し、コマーシャル以外の部分を、例えば（ＢＥによって実行されるように）、金融ニュースと、トークショーの二つの高レベルカテゴリーに基づいてセグメントに分類するセグメンテーションを実行する。
【００５３】
初期セグメンテーションは、映像を番組セグメントとコマーシャルセグメントに分割するため、字幕データを使用して実行され得る。次に、番組セグメントの字幕は、１重、２重、及び、３重の矢印に関して解析される。２重の矢印は、話者変化を表す。システムは、連続した２重の矢印の間のテキストを原子字幕ユニットとして使用するため、開始時間及び終了時間を用いてそのテキストにマークを付ける。セグメントの高レベル索引付け（例えば、セグメントが金融ニュースであるか、若しくは、トークショーであるか）を決定するため、スカウトは、二つの同時確率を計算する。二つの同時確率は、
【００５４】
【数６】
2004526372.tif 000008
【００５５】
【数７】
2004526372.tif 000009
のように定義される。
【００５６】
金融ニュースに対するオーディオ確率p-AUDIO-FINと、トークショーのオーディオ確率p-AUDIO-TALKは、異なる個別オーディオカテゴリー確率の組合せによって作成される。金融ニュースの字幕確率p-CC-FINと、トークショーの字幕確率p-CC-TALKは、２０個の確率のリストから最大確率として選択される。顔確率p-FACETEXT-FIN及び映像テキスト確率p-FACETEXT-TALKは、個別の字幕ユニット毎に、顔とテキストの出現の確率を決定する顔確率p-FACEと映像テキスト確率p-TEXTを比較することによって得られる。一つの発見的な用法は、トークショーが顔によって殆ど知らされ、金融ニュースが顔とテキストの両方を含んでいるという事実に基づいて確立する。高レベルの分割は、新しい確率のペア：p-FIN-TOPICとp-TALK-TOPICを計算することにより、字幕ユニット毎に行われる。最高値は、セグメントを金融ニュースとして分類するか、又は、トークショートして分類するかを決定づける。
【００５７】
映像信号は、セグメントの境界を識別するため使用可能な他の有用情報を抽出するため前処理され得る。例えば、信号は、映像セグメントから意味的に索引付けされた情報を作成するため、オーディオドメインとビジュアルドメインとトランスクリプトドメインに分けられる。ドメインの内容は、解析することが可能であり、解析結果は、セグメントの境界をより正確に識別するため合成される。
【００５８】
映像前処理は、映像前処理と解析を組合せることができる解析エンジン（ＡＥ）を用いて実行される。解析エンジンは、例えば、ＭＰＥＧ−２入力を取得し、字幕（ｃｃ）情報を抽出する。解析エンジンは、付加的な特徴抽出のために後述のようなオーディオ解析及びビジュアル解析を実行し得る。この情報は、セグメント境界を識別するため組み合わされる。
【００５９】
一つの好ましい解析エンジンは、フィリップス社ブランドのTriMedia（商標）Triodecカードである。このカードは、TM 1000プロセッサと、８Ｍｂのメモリと、を含む。これは、WinNTオペレーティングシステムを備えた６００ＭＨｚのＰＩＩＩコンピュータ内でホストモードを使用して動く。Ｃ言語のコードは、解析が実行されるTriMediaへダウンロードすることが可能である。
【００６０】
解析エンジンは、最初に、グループ・オブ・ピクチャー（ＧＯＰ）の順次のＩフレーム（中間フレーム）の間に重大な差を検出したとき、新しいキーフレームを抽出することによってショット検出を実行する。解析エンジンは、フレーム差ヒストグラム及びマクロブロックのために二つのＤＣＴベースの実施形態を採用できる。先に検出されたキーフレームと同じように出現する単色のキーフレーム若しくはフレームは、１バイトのフレーム署名を用いて除去される。このキーフレーム抽出手続は、非圧縮画像を生成し、キーフレーム番号及びカットの確率を与えるリストを生成する。解析エンジンは、この確率を、順次的なＩフレームの間の差を使用して閾値を超える相対的な量に基づいて決める。システムは、映像テキスト検出のためキーフレームを送ることができる。解析エンジンは、非圧縮画像にエッジベースの方法を使用して、映像テキストを探すことができ、各キーフレームにテキストの有無を表すタグを付けることができる。
【００６１】
抽出処理は、完全なタイムスタンプ付きの番組トランスクリプトを生成し得る。タイムスタンプは、トランスクリプトデータを関連した映像と揃えるために使用され得る。
【００６２】
複数の、例えば、２０個の低レベルのオーディオパラメータは、映像信号のオーディオ部分から抽出され、分割処理における解析のため使用される。これは、例えば、ＰＣ上の.wavファイルを使用して行われる。映像前処理の出力は、分類処理で使用できる。
【００６３】
映像信号のセグメンテーションのための更なる方法及びシステムは、以下に説明されると共に、文献：T.  McGee  and  D.  Dimitrova,  "Parsing  TV  Programs  For  Identification  and  Removal  of  Non−Story  Segments",  Proc.  of  SPIE  Conf.  on  Storage  and  Retrieval  for  Image  and  Video  Databases,  pp.243−251,  San  Jose,  CA,  January,  1999、文献：N.  Dimitrova,  H.  Elenbaas  and  T.  McGee,  "PNRS−Personal  News  Retrieval  System",  SPIE  Conference  on  Multimedia  Storage  and  Archiving  Systems  IV,  pp.2−10,  September  1999,  Boston、及び、文献：A.  Hauptmann  and  M.  Smith,  "Text,  Speech,  and  Vision  For  Video  Segmentation:  The  Informedia  Project",  AAAI  Fall  1995  Symposium  on  Computational  Models  for  Integrating  Language  and  Vision  1995に記載され、これらの文献の全体が参考のためここに引用される。
【００６４】
以下の技術もセグメント境界を識別するために有用な情報を獲得するため使用できる。
【００６５】
カット検出：２個の連続的な映像フレームが、急激なシーン変化（ハードカット）又は緩やかな変化（ディザルブ、フェードイン及びフェードアウト）を特定するため比較される。カット検出の説明は、参考のため全体が引用されている文献：N. Dimitrova, T. McGee, H. Elenbaas, "Vide Keyframe Extraction and Filtering: A Keyframe is Not a Keyframe to Everyone", Proc. ACM Conf.
on Knowledge and Information Management, pp.113-120, 1997に記載されている。
【００６６】
顔検出：肌の色合いを含み、長円形の形状に対応した映像フレームの領域が識別される。顔検出の説明は、参考のため全体が引用されている文献：Gang  Wei  and  Ishwar  K.  Sethi,  "Face  Detection  for  Image  Annotation",  Pattern  Recognition  Letters,  Vol.20,  No.11,  November  1999に記載されている。
【００６７】
テキスト検出：オーバーレイ若しくはスーパーインポーズされたテキストのような映像フレーム中に現れるテキストが識別される。テキスト検出の一例は、参考のため全体が引用されている文献：L.  Agnihori  and  N.  Dimitrova,  "Text  Detection  in  Video  Segments",  Proceedings  of  IEEE  Workshop  on  CBAIVL,  Fort  Collins,  Colorado,  June  1999（IEEE  Conference  on  Computer  Vision  and  Pattern  Recognition  1999と共催）に記載されている。本発明の好ましい一実施例によれば、テキストが検出された後、技術的に公知である光学式文字認識が利用される。
【００６８】
動き推定／セグメンテーション／検出：移動物体が映像シーケンス中で判定され、移動物体の軌跡が解析される。映像シーケンス中の物体の動きを判定するため、オプティカルフロー推定、動き補償、及び、動きセグメンテーションのような公知の操作が利用される。動き推定／セグメンテーション／検出の説明は、参考のため全体が引用されている文献：Patrick  Bouthemy  and  Francois  Edouard,  "Motion  Segmentation  and  Qualitative  Dynamic  Scene  Analysis  from  an  Image  Sequence",  International  Journal  of  Computer  Vision,  Vol.10,  No.2,  pp.157−182,  1993に記載されている。
【００６９】
カメラ動作：５個のグローバルカメラパラメータの組が利用され、このうち、好ましくは２個が平行移動を表し、３個が回転移動を表す。３次元カメラ動作は、純然たるトラッキング（水平運動）、ブーミング（垂直運動）、ドリーイング（奥行き方向の運動）、パンニング（垂直グローバル軸周りの回転）、チルティング（水平軸周りの回転）、ローリング（ｚ軸周りの回転）、或いは、これらの運動の組合せとして分類される。この情報は、映像ショット情報を、例えば、「静止」、「ズーム」、及び／又は、「スパン」に分類し、ショットを生成するためのディレクターの意図を決定するため使用可能である。カメラ動作検出の説明は、参考のため全体が引用されている文献：R.  Y.  Tsai  and  T.  S.  Huang,  "Uniqueness  and  Estimation  of  Three−Dimensional  Motion  Parameters  of  Rigid  Objects  with  Curved  Surfaces",  IEEE  Transaction  on  PAMI,  Vol.6,  number  1,  pp.13−27,  1994に記載されている。
【００７０】
オーディオセグメンテーションには、以下のタイプ：音声テキスト変換、オーディオ効果及びイベント検出、話者同定、番組識別、音楽分類、並びに、話者同定に基づく会話検出のテレビ番組の解析が含まれる。オーディオセグメンテーションには、オーディオ信号の音声部分及び非音声部分への分割も含まれ得る。オーディオセグメンテーションにおける第１のステップは、帯域幅、エネルギー及びピッチのような低レベルのオーディオ特徴を使用するセグメント分類を含み得る。その後、（音楽と音声のような）同時に生じるオーディオ成分が夫々独立に解析できるように、オーディオ成分を相互に分離するため、チャネル分離が利用される。
【００７１】
次に、テレビ番組のオーディオ部分は、音声テキスト変換、オーディオ効果及びイベント検出、並びに、話者同定のような様々な方法で処理される。オーディオセグメンテーションは、従来から知られ、一般的に、参考のため全体が引用されている文献：E.  Wold  and  T.  Blum, "Content−Based  Classification,  Search,  and  Retrieval  of  Audio",  IEEE  Multimedia,  pp.27−36,  Fall  1996で説明されている。
【００７２】
音声テキスト変換（従来から公知であり、例えば、参考のため全体が引用されている文献：P.  Beyerlein,  X.  Aubert,  R.  Haeb、−Umbach,  D.  Klakow,  M.  Ulrich,  A.  Wendemuth  and  P.  Wilcox,  "Automatic  Transcription  of  English  Broadcast  News",  DARPA  Broadcast  News  Transcription  and  Understanding  Workshop,  VA,  Feb.−11,  1998を参照。）は、テレビ信号のオーディオ部分の音声セグメントが識別されるか、又は、背景雑音若しくは音楽から分離された後、利用することができる。音声テキスト変換は、テレビ番組のオーディオ部分のトランスクリプトを提供するため字幕が利用できない場合に重要である。
【００７３】
オーディオ効果は、イベントを検出するため使用できる（従来から公知であり、例えば、参考のため全体が引用されている文献：T.  Blum,  D.  Keislar,  J.  Wheaton,  and  E.  Wold,  "Audio  Database  with  Content−Based  Retrieval",  Intelligent  Multimedia  Information  Retrieval,  AAAI  Press,  Menlo  Park,  California,  pp.113−135,  1997を参照。）。イベントは、特定のイベントと関連しているサウンドを識別することにより検出される。例えば、スポーツイベントにおいてアナウンサーの「ゴール」という叫び声は、セグメントを識別するための重要な部分として検出され得る。
【００７４】
話者同定（従来から公知であり、例えば、参考のため全体が引用されている文献：Nilesh  V.  Patel  and  Ishwar  K.  Sethi,  "Video  Classification  Using  Speaker  Identification",  IS&T  SPIE  Proceedings:  Storage  and  Retrieval  for  Image  and  Video  Databases  V,  pp.218−225,  San  Jose,  CA,  February  1997を参照。）は、話者の身元（アイデンティティ）を判定するため、オーディオ信号に含まれる音声中の音声署名を解析する。話者同定は、例えば、セグメント境界を識別するための補助として、話者が変化したときを判定するため使用される。
【００７５】
番組識別では、テレビ番組を識別するため、オーディオ信号／データ信号／ビジュアル信号のオーディオ部分を解析する。これは、特に、セグメント境界を明らかにするために有用である。なぜならば、これらの境界を決定するための規準は、番組のタイプに依存して変化するように設定することができるためである。
【００７６】
音楽分類では、出現する音楽のタイプ（クラシック、ロック、ジャズなど）を判定するため、オーディオ信号の非音声部分を解析する。これは、例えば、オーディオ信号の非音声部分の周波数、ピッチ、音質、サウンド、及び、メロディーを解析し、解析の結果を特定のタイプの音楽の既知の特性と比較することによって実現される。音楽分類は、従来から公知であり、一般的に、文献：Eric  D.  Scheirer,  "Towards  Music  Understanding  Without  Separation:  Segmenting  Music  With  Correlogram  Comodulation",  1999  IEEE  Workshop  on  Application  of  Signal  Processing  to  Audio  and  Acoustic,  New  Paltz,  NY  October  17−20,  1999に説明されている。
【００７７】
オーディオ（音声）信号とビデオ（映像）信号のセグメンテーション後、分割された音声信号と映像信号の様々な部分を組合せることが可能である（統合することが可能である。）。
【００７８】
以下の非限定的な例は、セグメントの索引を作成するため使用できる。セグメントは、ユーザが既存のテープ（ファイル、ＤＶＤ、ディスクなども含まれるが、テープとして総称する）を鑑賞するとき、又は、新しいテープに記録しているときに、これらのセグメントの中の一つのセグメント内でブックマーク信号を有効にしたときに選択される。セグメントは、予め設定してもよく、或いは、映像を見ているときに設定してもよい。シーンの始めを識別することができ、ブックマーク有効信号が起動されたとき、シーンの終わりを識別することが可能であり、シーン（セグメント）に索引が付けられる。テープの先頭は、例えば、索引を保存するために使用できる。或いは、セグメントの識別情報は、関連ファイルに保存してもよい。本例では、３０秒のブランク、若しくは、上書き可能なテープが望ましい。ファイルの場合、ビジュアル索引のため選択されたエリアは、ファイルのどこに現れてもよく、システムによって自動的に確保されるか、又は、ユーザによって手入力で選択される。索引には、ビジュアル画像、音声、テキスト、又は、それらの組合せが含まれる。本例の場合、ビジュアル画像とテキストが与えられる。
【００７９】
保管処理中に、映像コンテンツは映像解析処理中に解析され、ビジュアル索引が作成される。映像解析処理において、自動重要シーン検出及びキーフレーム検出が行われる。重要シーン検出は、シーン変化、即ち、カットを識別し（映像カット検出又はセグメンテーション検出）、静止シーンを識別する（静止シーン検出）でもよい。シーン毎に、キーフレームと呼ばれる特定の代表的なフレームが抽出される。キーフレームフィルタリング及び選択処理は、選択的に選ばれたキーフレームからビジュアル索引を作成するため、映像テープのようなソース映像の各キーフレームに適用される。ソーステープのように総称しているが、ソース映像は、ファイル、ディスク、ＤＶＤ、若しくは、その他の記憶手段からの映像でもよく、又は、（例えば、ホームビデオを録画中に）伝送ソースから直接的に得られる映像でもよい。
【００８０】
映像テープの索引付けにおいて、索引は、一般的にソーステープに保存される。映像ＣＤ，ＤＶＤ、若しくは、他の記憶装置、又は、放送ストリームからのＭＰＥＧ１ファイル、ＭＰＥＧ２ファイル、ＭＰＥＧ４ファイル、モージョンＪＰＥＧファイル、又は、その他の映像ファイルに映像索引を付ける際に、索引は、ハードディスク装置、若しくは、その他の記憶媒体に格納される。
【００８１】
オーディオ及び／又はテキストを含むソース映像が予め記録されたソーステープに関する映像保存処理は、図１に示されている。尚、ＭＰＥＧファイルのようなビジュアル情報が予め保存されている他の記憶装置には類似した処理が続けられる。本処理において、ビジュアル索引は、ソース映像に基づいて作成される。ユーザがソーステープに記録を行おうとする第２の処理は、記録と同時にビジュアル索引を作成する。
【００８２】
図１は、映像テープ用（予め記録されたソーステープ用）の第１の処理の一例の説明図である。ステップ１０１において、ソース映像は、必要に応じて、ＶＣＲのような再生／記録装置によって巻き戻される。ステップ１０２において、ソース映像は再生される。ソース映像からの信号は、テレビ、ＶＣＲ、又は、その他の処理装置によって受信される。ステップ１０３において、処理装置内のメディアプロセッサ、又は、外部プロセッサは、映像信号を受信し、映像信号を、画素データを表現するフレームの形にフォーマット化する（フレーム取り込み）。
【００８３】
ステップ１０４において、ホストプロセッサは、各フレームをブロックに分離し、ＤＣＴ（離散コサイン変換）係数を作成するためブロック及び関連したデータを変換し、重要シーン検出及びキーフレーム検出を実行し、キーフレームをデータ構造として構築し、メモリ、ディスク若しくはその他の記憶媒体に格納する。ステップ１０５において、ソーステープは、先頭へ巻き戻され、ステップ１０６において、ソーステープは、情報を記録するためセットされる。ステップ１０７において、署名がメモリからソーステープへ転送され、ビジュアル索引が作成される。テープは、次に、ビジュアル索引を見るため巻き戻される。
【００８４】
上記の処理は、ユーザが記録中のテープにビジュアル索引を作成したいときには僅かに変更される。ステップ１０１とステップ１０２の代わりに、図１のステップ１１２に示されるように、映像（フィルムなど）の記録中にステップ１０３のフレーム取り込み処理が行われる。更に、テープ若しくはファイルが一度に完全には記録されない場合、部分的に作成された映像索引がテープ、ファイルなどに保存され、後で追加するためにテープメモリに保存することができる。
【００８５】
ステップ１０３及びステップ１０４は、図２Ａ及び２Ｂにより具体的に示されている。映像は、アナログ（連続データ）形式とデジタル（離散データ）形式のいずれで表現してもよい。本例は、デジタル領域で動作するので、処理のためデジタル形式を使用し、アナログ・デジタル変換器を組み入れることができる。ソース映像若しくは映像信号は、十分に高いレートで表示される個々の画像若しくは映像フレームの系列であり、表示された画像のシーケンスは、連続的なピクチャーストリームとして現れる。これらの映像フレームは、非圧縮形式（ＮＴＳＣ若しくは生の映像）でもよく、或いは、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、モーションＪＰＥＧなどのようなフォーマットに圧縮されたデータでもよい。
【００８６】
非圧縮映像の情報は、最初に、メディアプロセッサ２０２において、インテル社製RTM. Smart Video Recorder III（商標）に存在するようなフレーム取り込み技術を使用して、フレームに分割される。他のフレームサイズが利用可能であるとしても、本例では、フレームは、一つのテレビ画像、ビデオ画像、若しくは、ビジュアル画像を表現し、３５２×２４０画素を含む。
【００８７】
フレームは、本例の場合には、ホストプロセッサ２１０（図２Ａ）において、８×８画素のブロックに分解することが可能である。これらのブロックと、普及している放送標準ＣＣＩＲ−６０１を使用して、マクロブロック作成部２０６（図２Ａ）は、ルミナンスブロックを作成し、クロミナンスブロックを作成するためカラー情報を平均化することが可能である。ルミナンスブロック及びクロミナンスブロックは、マクロブロックを形成する。一例において、４：２：０が使用されるが、当業者は４：１：１や４：２：２のような他のフォーマットを容易に使用することができる。４：２：０の場合、マクロブロックは、４個のルミナンスＹ１、Ｙ２、Ｙ３及びＹ４と、２個のクロミナンスＣｒ及びＣｂの合わせて６個のブロックを含み、マクロブロック内の各ブロックは８×８画素である。
【００８８】
映像信号は、モーションＪＰＥＧ（ジョイント・フォトグラフィック・エキスパート・グループ）とＭＰＥＧ（モーション・ピクチャー・エキスパート・グループ）のような圧縮標準を使用して圧縮画像を表現する。信号が、図２Ｂに示されるように、ＭＰＥＧやその他の圧縮信号であるならば、ＭＰＥＧ信号は、フレームパーサー２０５によって、フレーム若しくはビットストリームパーシング技術を使用してフレームに分割される。フレームは、メディアプロセッサ２０３のエントロピー復号部２１４と、テーブル指定部２１６へ送られる。エントロピー復号部２１４は、例えば、ハフマン復号化、若しくは、その他の復号化技術を用いてＭＰＥＧ信号を復号化する。
【００８９】
復号化された信号は、次に、テーブル指定部２１６からのデータを使用して復号化された信号を逆量子化する逆量子化部２１８へ供給される。これらのステップ（ステップ２１４乃至２１８）は、メディアプロセッサ２０３、ホストプロセッサ２１１、又は、使用される装置に依存した別の外部装置のいずれかで行われる。
【００９０】
本発明の方法は、ＤＣＴ（離散コサイン変換）係数の圧縮を使用する。最初に、受信された各フレームは、マクロブロックを作成するため、ホストプロセッサ２１０で個別に処理される。ホストプロセッサ２１０は、ＤＣＴ係数を抽出し、例えば、８×８のＤＣＴ係数の６個のブロックを作成するため、離散コサイン変換部２２０を使用して、空間情報を格納する各マクロブロックを処理する。ホストプロセッサ２１０は、重要シーンプロセッサ２３０を使用して、各マクロブロックを更に処理する。キーフレームフィルタリング方法は、反復的なフレームとその他の選択されたタイプのフレームを除くことによりフレームメモリ２３４に保存されるキーフレームの個数を削減するため、本発明において使用される。キーフレームフィルタリングは、重要シーン検出後に、ホストプロセッサ２１０のキーフレームフィルタ部２４０によって実行される。この情報は索引メモリ２６０へ出力される。
【００９１】
或いは、システムが（例えば、メディアプロセッサに）処理の様々な段階でアクセスを可能にさせる符号化能力を備えている場合、ＤＣＴ係数は、ホストプロセッサへそのまま渡してもよい。これらのすべてのアプローチでは、処理はリアルタイムで実行できる。
【００９２】
図１のステップ１０４では、例えば、Intel（登録商標）Pentium（登録商標）チップ若しくはその他のマルチプロセッサ、Philips（登録商標）Trimedia（商標）チップ若しくはその他のマルチメディアプロセッサ、コンピュータ、拡張ＶＣＲ、記録／再生装置、テレビジョン、又は、その他のプロセッサなどのホストプロセッサ２１０は、重要シーン検出と、キーフレーム選択と、データ構造の構築、及び、ハードディスク、ファイル、テープ、ＤＶＤ若しくはその他の記憶媒体のような索引メモリへの保存と、を実行する。
【００９３】
映像検索
映像テープ又はファイルがビジュアル索引を含む場合、ユーザは、ビジュアル索引にアクセスしようとする。映像検索プロセッサは、ビジュアル索引を使用可能な形式でユーザに表示する。ユーザは、ビジュアル索引をブラウズし、ビジュアル索引をナビゲートし、ソーステープ若しくはＭＰＥＧファイルの選択されたポイントへ早送りすることができる。
【００９４】
ソース映像は、必要に応じて、例えば、ＶＣＲ若しくは再生装置によってビジュアル索引の場所へ、一例では、テープの先頭へ巻き戻される。ソース映像がＭＰＥＧファイル若しくはディスク上にあるとき、ポインタは、記憶場所の先頭を指し示し、巻き戻しをする必要はない。同様に、他の記憶手段は、ビジュアル索引の先頭へ適切に設定される。
【００９５】
ビジュアル索引は、ＶＣＲヘッド、コンピュータ、若しくは、その他のハードウェア装置によってソース映像から読み出され、ＰＤＡ、パームトップ型コンピュータ、携帯電話機、若しくは、その他の無線記憶装置などを含む任意のタイプの記憶装置により実現される索引メモリに保存される。例えば、ＶＣＲに設けられたプロセッサは、ソース映像の索引メモリからキーフレームを取り出すことができる。取り出されたキーフレームは、例えば、１２０×８０画素までサイズを縮小するために処理される。勿論、その他のフレームサイズを自動的に選択してもよく、或いは、ユーザが手入力で選択してもよい。
【００９６】
処理されたフレームは、次に、ホストプロセッサへ転送される。ホストプロセッサは、処理されたキーフレームを表示メモリに書き込み、それらを、コンピュータディスプレイ、テレビ画面などのユーザ・インタフェースに表示する。
【００９７】
ソース映像は、映像索引が読み出された後に停止することができる。映像索引付けシステム又はソフトウェアは、キーフレームを、コンピュータモニタ又はテレビ画面のようなディスプレイに表示させることができる。ビジュアル索引は、ユーザの要求次第で印刷できる。ユーザは、ビジュアル索引から特定のキーフレームを選択してもよい。ユーザがその特定のキーフレームのところでソース映像を見たい場合、ソース媒体は、キーフレームが抽出された対応したポイントへ自動的に送られ、ソースを再生できるようになる。或いは、ユーザがソース映像を早送りするか、又は、ビジュアル索引から選択されたキーフレームまでソース映像を再生し得るようにカウンタを表示してもよい。
【００９８】
本発明の更なる特徴によれば、ユーザは、どのポイントでも映像テープの再生を停止し、その映像テープのビジュアル索引へアクセスすることができる。このため、映像テープがセッション中に最初に使用されるときにビジュアル索引を格納するメモリ若しくはバッファが必要である。
【００９９】
本発明は、ＤＣＴ係数を使用するものとして説明されているが、画像の部分エリアの代表値を与えるために、画像の部分エリアで作用する波長係数又は関数のような代表値を代わりに使用してもよい。これは、重要シーン検出とキーフレームフィルタリングの両方で使用される。
【０１００】
以上の通り、好ましい実施例に関して本発明の説明を行ったが、概要を説明した原理の範囲内でこれらの好ましい実施例を変形することは当業者にとって自明な事項であり、本発明は、好ましい実施例に限定されるものではなく、このような変形を包含するものであることが認められるであろう。
【０１０１】
本発明は、ユーザが映像を見ているときに、ブックマークが付けられるセグメントを与えるため、映像ストリーム中のキューを見つけるためのセグメンテーション、映像パーシング、音声認識、文字認識、及び、オブジェクト・スポッティングのような既存技術を使用し、適合させることができる。或いは、映像に予めブックマークが付けられ、ユーザは、希望のセグメントから希望のセグメントへジャンプすることができる。
【０１０２】
添付図面を参照して本発明の具体的な好ましい実施例が説明されているが、本発明は、これらの実施例と完全に同じものに限定されることはなく、様々な変更及び変形が、特許請求の範囲に記載された本発明の範囲及び精神を逸脱することなく、当業者によってなされ得ることが認められる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の実施例により映像コンテンツを分割する映像解析処理の説明図である。
【図２Ａ】本発明の実施例によりセグメントのビジュアル索引を作成する際に使用される装置のブロック図である。
【図２Ｂ】本発明の実施例によりセグメントのビジュアル索引を作成する際に使用される装置のブロック図である。
【図３】本発明の実施例によりビデオ画像からフレーム情報を選択する技術の概略的な説明図である。
【図４】本発明の実施例によるセグメンテーション解析の３レベルを示すチャートである。
【図５】入力映像に対する処理のフローチャートである。
【図１】
2004526372.tif 000010
【図２Ａ】
2004526372.tif 000011
【図２Ｂ】
2004526372.tif 000012
【図３】
2004526372.tif 000013
【図４】
2004526372.tif 000014
【図５】
2004526372.tif 000015
【国際公開パンフレット】
2004526372.tif 000016
2004526372.tif 000017
2004526372.tif 000018
2004526372.tif 000019
2004526372.tif 000020
2004526372.tif 000021
2004526372.tif 000022
2004526372.tif 000023
2004526372.tif 000024
2004526372.tif 000025
2004526372.tif 000026
2004526372.tif 000027
2004526372.tif 000028
2004526372.tif 000029
2004526372.tif 000030
2004526372.tif 000031
2004526372.tif 000032
2004526372.tif 000033
2004526372.tif 000034
2004526372.tif 000035
2004526372.tif 000036
2004526372.tif 000037
2004526372.tif 000038
2004526372.tif 000039
2004526372.tif 000040
2004526372.tif 000041
2004526372.tif 000042
2004526372.tif 000043
2004526372.tif 000044
2004526372.tif 000045
2004526372.tif 000046
2004526372.tif 000047
2004526372.tif 000048
【国際調査報告】
2004526372.tif 000049
2004526372.tif 000050
2004526372.tif 000051