(57)【要約】いくつかの態様において、技術は、メディア資産管理のためのシステムおよび方法を含む。別の態様では、メディア資産管理のための方法が、メディアデータを受け取ることを含む。メディア資産管理のための方法はさらに、メディアデータに基づく記述子を生成すること、および記述子を一つまたは複数の記憶された記述子と比較することを含む。一つまたは複数の記憶された記述子は、関連するメタデータを有する他のメディアデータと関連付けられる。メディア資産管理のための方法はさらに、記述子と一つまたは複数の記憶された記述子の比較に基づいて、メタデータの少なくとも一部をメディアデータと関連付けることを含む。2011519454.tif 000006
2011519454.tif 000002
【特許請求の範囲】
【請求項１】
第2のメディアデータを受け取る工程;
前記第2のメディアデータに基づく第2の記述子を生成する工程;
前記第2の記述子を、関連するメタデータを有する第1のメディアデータと関連付けられた第1の記述子と比較する工程;および
前記メタデータの少なくとも一部を、前記第2の記述子と前記第1の記述子の前記比較に基づいて前記第2のメディアデータと関連付ける工程
を備える、メディア資産管理の方法。
【請求項２】
第2のメディアデータと関連付けられた一つまたは複数の第2の境界を決定する工程;および
前記第2のメディアデータと前記一つまたは複数の第2の境界に基づく一つまたは複数の第2の記述子を生成する工程
をさらに備える、請求項1記載の方法。
【請求項３】
第2の記述子と第1の記述子を比較する工程が、一つまたは複数の第2の記述子と、それぞれが、第1のメディアデータと関連付けられた一つまたは複数の第1の境界と関連付けられた一つまたは複数の第1の記述子とを比較する工程をさらに備える、請求項2記載の方法。
【請求項４】
一つまたは複数の第2の境界が、空間的境界、時間的境界、または空間的境界と時間的境界の任意の組み合わせを備える、請求項2記載の方法。
【請求項５】
一つまたは複数の第2の境界に基づいて第2のメディアデータを一つまたは複数の第2のメディアデータサブパートに区分する工程をさらに備える、請求項2記載の方法。
【請求項６】
メタデータの少なくとも一部を第2のメディアデータと関連付ける工程が、第2の記述子と第1の記述子の比較に基づいて、メタデータの少なくとも一部を一つまたは複数の第2のメディアデータサブパートの少なくとも一つと関連付ける工程をさらに備える、請求項5記載の方法。
【請求項７】
第2のメディアデータが第1のメディアデータの全部または一部を備える、請求項1記載の方法。
【請求項８】
第2の記述子が第1の記述子の一部または全部に類似したものである、請求項1記載の方法。
【請求項９】
第1のメディアデータおよび該第1のメディアデータと関連付けられたメタデータを受け取る工程;および
前記第1のメディアデータに基づく第1の記述子を生成する工程
をさらに備える、請求項1記載の方法。
【請求項１０】
メタデータの少なくとも一部を第1の記述子と関連付ける工程をさらに備える、請求項9記載の方法。
【請求項１１】
メタデータ、第1の記述子、および該メタデータの少なくとも一部と該第1の記述子との関連付けを記憶する工程;および
前記記憶されたメタデータ、前記記憶された第1の記述子、および前記メタデータの前記少なくとも一部と前記第1の記述子との前記記憶された関連付けを検索する工程
をさらに備える、請求項10記載の方法。
【請求項１２】
第1のメディアデータと関連付けられた一つまたは複数の第1の境界を決定する工程;および
前記第1のメディアデータと前記一つまたは複数の第1の境界に基づく一つまたは複数の第1の記述子を生成する工程
をさらに備える、請求項9記載の方法。
【請求項１３】
一つまたは複数の第1の境界に基づいて第1のメディアデータと関連付けられたメタデータを一つまたは複数のメタデータサブパートに区分する工程;および
前記一つまたは複数の第1の境界に基づいて前記一つまたは複数のメタデータサブパートを一つまたは複数の第1の記述子と関連付ける工程
をさらに備える、請求項12記載の方法。
【請求項１４】
メタデータと第1の記述子を関連付ける工程をさらに備える、請求項1記載の方法。
【請求項１５】
第1のメディアデータがビデオを備える、請求項1記載の方法。
【請求項１６】
第1のメディアデータがビデオ、オーディオ、テキスト、画像、またはこれらの任意の組み合わせを備える、請求項1記載の方法。
【請求項１７】
第2のメディアデータに基づく第2の記述子を生成する工程;
前記第2のメディアデータと関連付けられたメタデータを求める、前記第2の記述子を備える要求を送る工程;
前記要求に基づく、第1のメディアデータの少なくとも一部と関連付けられたメタデータを受け取る工程;および
前記第2の記述子と、前記第1のメディアデータと関連付けられた第1の記述子の比較に基づいて、前記メタデータを前記第2のメディアデータと関連付ける工程
を備える、メディア資産管理の方法。
【請求項１８】
第2のメディアデータが第1のメディアデータの全部または一部を備える、請求項17記載の方法。
【請求項１９】
第2の記述子が第1の記述子の一部または全部と類似したものである、請求項17記載の方法。
【請求項２０】
第1のメディアデータがビデオを備える、請求項17記載の方法。
【請求項２１】
第1のメディアデータがビデオ、オーディオ、テキスト、画像、またはこれらの任意の組み合わせを備える、請求項17記載の方法。
【請求項２２】
第2のメディアデータと関連付けられたメタデータを求める、該第2のメディアデータを備える要求を送る工程;
前記要求に基づく、第1のメディアデータの少なくとも一部と関連付けられたメタデータを受け取る工程;および
第2の記述子と、前記第1のメディアデータと関連付けられた第1の記述子の比較に基づいて、前記メタデータを前記第2のメディアデータと関連付ける工程
を備える、メディア資産管理の方法。
【請求項２３】
第2のメディアデータが第1のメディアデータの全部または一部を備える、請求項22記載の方法。
【請求項２４】
第2の記述子が第1の記述子の一部または全部と類似したものである、請求項22記載の方法。
【請求項２５】
第1のメディアデータがビデオを備える、請求項22記載の方法。
【請求項２６】
第1のメディアデータがビデオ、オーディオ、テキスト、画像、またはこれらの任意の組み合わせを備える、請求項22記載の方法。
【請求項２７】
情報担体において有形的に実施されるコンピュータプログラム製品であって、データ処理装置に:
第2のメディアデータを受け取らせ;
前記第2のメディアデータに基づく第2の記述子を生成させ;
前記第2の記述子を、関連するメタデータを有する第1のメディアデータと関連付けられた第1の記述子と比較させ;
前記第2の記述子と前記第1の記述子の前記比較に基づいて、前記メタデータの少なくとも一部を前記第2のメディアデータと関連付けさせる
ように動作する命令を含む、コンピュータプログラム製品。
【請求項２８】
第2のメディアデータを受け取る通信モジュールと;
前記第2のメディアデータに基づく第2の記述子を生成するメディア指紋モジュールと;
前記第2の記述子と、関連するメタデータを有する第1のメディアデータと関連付けられた第1の記述子を比較するメディア指紋比較モジュールと;
前記第2の記述子と前記第1の記述子の前記比較に基づいて、前記メタデータの少なくとも一部を前記第2のメディアデータと関連付けるメディア・メタデータ・モジュールと
を備える、メディア資産管理のシステム。
【請求項２９】
第2のメディアデータと関連付けられた一つまたは複数の第2の境界を決定するビデオフレーム変換モジュールと;
前記第2のメディアデータと前記一つまたは複数の第2の境界に基づく一つまたは複数の第2の記述子を生成するメディア指紋モジュールと
をさらに備える、請求項28記載のシステム。
【請求項３０】
一つまたは複数の第2の記述子と、それぞれが、第1のメディアデータと関連付けられた一つまたは複数の第1の境界と関連付けられた一つまたは複数の第1の記述子とを比較するメディア指紋比較モジュールをさらに備える、請求項29記載のシステム。
【請求項３１】
一つまたは複数の第2の境界に基づいて、第2のメディアデータを一つまたは複数の第2のメディアデータサブパートに区分するビデオフレーム変換モジュールをさらに備える、請求項29記載のシステム。
【請求項３２】
第2の記述子と第1の記述子の比較に基づいて、メタデータの少なくとも一部を一つまたは複数の第2のメディアデータサブパートの少なくとも一つと関連付けるメディア・メタデータ・モジュールをさらに備える、請求項29記載のシステム。
【請求項３３】
第1のメディアデータおよび該第1のメディアデータと関連付けられたメタデータを受け取る通信モジュールと;
前記第1のメディアデータに基づく第1の記述子を生成するメディア指紋モジュールと
をさらに備える、請求項28記載のシステム。
【請求項３４】
メタデータの少なくとも一部を第1の記述子と関連付けるメディア・メタデータ・モジュールをさらに備える、請求項33記載のシステム。
【請求項３５】
メタデータ、第1の記述子、およびメタデータの少なくとも一部と該第1の記述子との関連付けを記憶し、
前記記憶されたメタデータ、前記記憶された第1の記述子、および前記メタデータの前記少なくとも一部と前記第1の記述子との前記記憶された関連付けを検索する
記憶装置
をさらに備える、請求項34記載のシステム。
【請求項３６】
第1のメディアデータと関連付けられた一つまたは複数の第1の境界を決定するビデオ変換モジュールと;
前記第1のメディアデータと前記一つまたは複数の第1の境界に基づく一つまたは複数の第1の記述子を生成するメディア指紋モジュールと
をさらに備える、請求項35記載のシステム。
【請求項３７】
一つまたは複数の第1の境界に基づいて、第1のメディアデータと関連付けられたメタデータを一つまたは複数のメタデータサブパートに区分するビデオ変換モジュールと;
前記一つまたは複数の第1の境界に基づいて、前記一つまたは複数のメタデータサブパートを一つまたは複数の第1の記述子と関連付けるメディア・メタデータ・モジュールと
をさらに備える、請求項36記載のシステム。
【請求項３８】
メタデータと第1の記述子を関連付けるメディア・メタデータ・モジュールをさらに備える、請求項28記載のシステム。
【請求項３９】
第2のメディアデータに基づく第2の記述子を生成するメディア指紋モジュールと;
前記第2のメディアデータと関連付けられたメタデータを求める、前記第2の記述子を備える要求を送り、
前記要求に基づく、第1のメディアデータの少なくとも一部と関連付けられた前記メタデータを受け取る
通信モジュールと、
前記第2の記述子と、第1のメディアデータと関連付けられた第1の記述子の比較に基づいて、メタデータを前記第2のメディアデータと関連付けるメディア・メタデータ・モジュールと
を備える、メディア資産管理のシステム。
【請求項４０】
第2のメディアデータと関連付けられたメタデータを求める、該第2のメディアデータを備える要求を送り、
前記要求に基づく、第1のメディアデータの少なくとも一部と関連付けられたメタデータを受け取る
通信モジュールと、
第2の記述子と、前記第1のメディアデータと関連付けられた第1の記述子の比較に基づいて、前記メタデータを前記第2のメディアデータと関連付けるメディア・メタデータ・モジュールと
を備える、メディア資産管理のシステム。
【請求項４１】
第2のメディアデータを受け取る手段と;
前記第2のメディアデータに基づく第2の記述子を生成する手段と;
前記第2の記述子と、関連するメタデータを有する第1のメディアデータと関連付けられた第1の記述子と比較する手段と;
前記第2の記述子と前記第1の記述子の前記比較に基づいて、前記メタデータの少なくとも一部を前記第2のメディアデータと関連付ける手段と
を備える、メディア資産管理のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
本発明はメディア資産管理に関する。具体的には、本発明はビデオコンテンツのためのメタデータ管理に関する。
【背景技術】
【０００２】
背景
広帯域通信チャネルがエンドユーザ機器まで利用できることにより、画像、オーディオ、およびビデオコンテンツを用いたユビキタスなメディアサービスが可能になっている。全世界的に送信されるメディアコンテンツの量はますます増加しつつあり、インテリジェントなコンテンツ管理の必要が高まっている。提供者らは自社のコンテンツを整理し、分析することができなければならない。同様に、放送事業者および市場調査会社も、特定のフッテージ（footage）がいつ、どこで放送されているか知ろうとする。コンテンツ監視、市場動向分析、著作権保護、および資産管理は、メディアコンテンツの量が増加しつつあるため、不可能ではないにしても、困難である。しかし、この技術分野では、メディア資産管理を向上させることが求められている。
【発明の概要】
【０００３】
概要
いくつかの局面では、技術は、メディア資産管理の方法を含む。方法は第2のメディアデータを受け取ることを含む。方法はさらに、第2のメディアデータに基づく第2の記述子を生成することを含む。方法はさらに、第2の記述子を第1の記述子と比較することを含む。第1の記述子は、関連するメタデータを有する第1のメディアデータと関連付けられる。方法はさらに、第2の記述子と第1の記述子の比較に基づいて、メタデータの少なくとも一部を第2のメディアデータと関連付けることを含む。
【０００４】
別の局面では、技術は、メディア資産管理の方法を含む。方法は、第2のメディアデータに基づく第2の記述子を生成することを含む。方法はさらに、第2のメディアデータと関連付けられたメタデータを求める要求を送ることを含む。要求は第2の記述子を含む。方法はさらに、要求に基づくメタデータを受け取ることを含む。メタデータは、第1のメディアデータの少なくとも一部と関連付けられる。方法はさらに、第2の記述子と、第1のメディアデータと関連付けられた第1の記述子の比較に基づいて、メタデータを第2のメディアデータと関連付けることを含む。
【０００５】
いくつかの局面では、技術は、メディア資産管理の方法を含む。方法は、第2のメディアデータと関連付けられたメタデータを求める要求を送ることを含む。要求は第2のメディアデータを含む。方法はさらに、要求に基づくメタデータを受け取ることを含む。メタデータは、第1のメディアデータの少なくとも一部と関連付けられる。方法はさらに、第2の記述子と、第1のメディアデータと関連付けられた第1の記述子の比較に基づいて、メタデータを第2のメディアデータと関連付けることを含む。
【０００６】
別の局面では、技術は、コンピュータプログラム製品を含む。コンピュータプログラム製品は、情報担体において有形的に実施される。コンピュータプログラム製品は、データ処理装置に、第2のメディアデータを受け取らせ、第2のメディアデータに基づく第2の記述子を生成させ、第2の記述子を第1の記述子と比較させ、第2の記述子と第1の記述子の比較に基づいて、メタデータの少なくとも一部を第2のメディアデータと関連付けさせるように動作する命令を含む。第1の記述子は、関連するメタデータを有する第1のメディアデータと関連付けられる。
【０００７】
技術のいくつかの局面では、技術は、メディア資産管理のシステムを含む。システムは、通信モジュール、メディア指紋モジュール、メディア指紋比較モジュール、およびメディア・メタデータ・モジュールを含む。通信モジュールは第2のメディアデータを受け取る。メディア指紋モジュールは、第2のメディアデータに基づく第2の記述子を生成する。メディア指紋比較モジュールは、第2の記述子と第1の記述子を比較する。第1の記述子は、関連するメタデータを有する第1のメディアデータと関連付けられる。メディア・メタデータ・モジュールは、第2の記述子と第1の記述子の比較に基づいて、メタデータの少なくとも一部を第2のメディアデータと関連付ける。
【０００８】
別の局面では、技術は、メディア資産管理のシステムを含む。システムは、通信モジュール、メディア指紋モジュール、およびメディア・メタデータ・モジュールを含む。メディア指紋モジュールは、第2のメディアデータに基づく第2の記述子を生成する。通信モジュールは、第2のメディアデータと関連付けられたメタデータを求める要求を送り、要求に基づくメタデータを受け取る。要求は第2の記述子を含む。メタデータは、第1のメディアデータの少なくとも一部と関連付けられる。メディア・メタデータ・モジュールは、第2の記述子と、第1のメディアデータと関連付けられた第1の記述子の比較に基づいて、メタデータを第2のメディアデータと関連付ける。
【０００９】
いくつかの局面では、技術はメディア資産管理のシステムを含む。システムは、通信モジュールとメディア・メタデータ・モジュールとを含む。通信モジュールは、第2のメディアデータと関連付けられたメタデータを求める要求を送り、要求に基づくメタデータを受け取る。要求は第2のメディアデータを含む。メタデータは第1のメディアデータの少なくとも一部と関連付けられている。メディア・メタデータ・モジュールは、第2の記述子と、第1のメディアデータと関連付けられた第1の記述子の比較に基づいて、メタデータを第2のメディアデータと関連付ける。
【００１０】
別の局面では、技術はメディア資産管理のシステムを含む。システムは、第2のメディアデータを受け取る手段と、第2のメディアデータに基づく第2の記述子を生成する手段とを含む。システムはさらに、第2の記述子と第1の記述子を比較する手段も含む。第1の記述子は関連するメタデータを有する第1のメディアデータと関連付けられている。システムはさらに、第2の記述子と第1の記述子の比較に基づいてメタデータの少なくとも一部を第2のメディアデータと関連付ける手段も含む。
【００１１】
前述の各局面はいずれも、以下の特徴および/または例のうちの一つまたは複数を含むことができる。いくつかの例では、方法はさらに、第2のメディアデータと関連付けられた一つまたは複数の第2の境界を決定すること、および第2のメディアデータと一つまたは複数の第2の境界に基づく一つまたは複数の第2の記述子を生成することを含む。
【００１２】
別の例では、方法はさらに、一つまたは複数の第2の記述子と一つまたは複数の第1の記述子を比較することも含む。一つまたは複数の第1の記述子はそれぞれ、第1のメディアデータと関連付けられた一つまたは複数の第1の境界と関連付けることができる。
【００１３】
いくつかの例では、一つまたは複数の第2の境界は、空間的境界および/または時間的境界を含む。
【００１４】
別の例では、方法はさらに、一つまたは複数の第2の境界に基づいて第2のメディアデータを一つまたは複数の第2のメディアデータサブパート（sub-part）に区分することを含む。
【００１５】
いくつかの例では、方法はさらに、第2の記述子と第1の記述子の比較に基づいて、メタデータの少なくとも一部を一つまたは複数の第2のメディアデータサブパートのうちの少なくとも一つと関連付けることも含む。
【００１６】
別の例では、第2のメディアデータは、第1のメディアデータの全部または一部を含む。
【００１７】
いくつかの例では、第2の記述子は第1の記述子の一部または全部と類似のものである。
【００１８】
別の例では、方法はさらに、第1のメディアデータおよび第1のメディアデータと関連付けられたメタデータを受け取ること、ならびに第1のメディアデータに基づく第1の記述子を生成することを含む。
【００１９】
いくつかの例では、方法はさらに、メタデータの少なくとも一部を第1の記述子と関連付けることを含む。
【００２０】
別の例では、方法はさらに、メタデータ、第1の記述子、およびメタデータの少なくとも一部と第1の記述子との関連付けを記憶すること、ならびに記憶されたメタデータ、記憶された第1の記述子、およびメタデータの少なくとも一部と第1の記述子との記憶された関連付けを検索することを含む。
【００２１】
いくつかの例では、方法はさらに、第1のメディアデータと関連付けられた一つまたは複数の第1の境界を決定すること、および第1のメディアデータと一つまたは複数の第1の境界に基づく一つまたは複数の第1の記述子を生成することを含む。
【００２２】
別の例では、方法はさらに、一つまたは複数の第1の境界に基づいて第1のメディアデータと関連付けられたメタデータを一つまたは複数のメタデータサブパートに区分すること、および一つまたは複数の第1の境界に基づいて一つまたは複数のメタデータサブパートを一つまたは複数の第1の記述子と関連付けることを含む。
【００２３】
いくつかの例では、方法はさらに、メタデータと第1の記述子を関連付けることを含む。
【００２４】
別の例では、第1のメディアデータはビデオを含む。
【００２５】
いくつかの例では、第1のメディアデータは、ビデオ、オーディオ、テキスト、および/または画像を含む。
【００２６】
別の例では、第2のメディアデータは、第1のメディアデータの全部または一部を含む。
【００２７】
いくつかの例では、第2の記述子は、第1の記述子の一部または全部と類似のものである。
【００２８】
別の例では、第1のメディアデータはビデオを含む。
【００２９】
いくつかの例では、第1のメディアデータは、ビデオ、オーディオ、テキスト、および/または画像を含む。
【００３０】
別の例では、第2のメディアデータは、第1のメディアデータの全部または一部を含む。
【００３１】
いくつかの例では、第2の記述子は、第1の記述子の一部または全部と類似のものである。
【００３２】
別の例では、システムはさらに、第2のメディアデータと関連付けられた一つまたは複数の第2の境界を決定するビデオフレーム変換モジュールと、第2のメディアデータおよび一つまたは複数の第2の境界に基づく一つまたは複数の第2の記述子を生成するメディア指紋モジュールとを含む。
【００３３】
いくつかの例では、システムはさらに、一つまたは複数の第2の記述子と一つまたは複数の第1の記述子を比較するメディア指紋比較モジュールを含む。一つまたは複数の第1の記述子はそれぞれ、第1のメディアデータと関連付けられた一つまたは複数の第1の境界と関連付けることができる。
【００３４】
別の例では、システムはさらに、一つまたは複数の第2の境界に基づいて第2のメディアデータを一つまたは複数の第2のメディアデータサブパートに区分するビデオフレーム変換モジュールを含む。
【００３５】
いくつかの例では、システムはさらに、第2の記述子と第1の記述子の比較に基づいて、メタデータの少なくとも一部を一つまたは複数の第2のメディアデータサブパートのうちの少なくとも一つと関連付けるメディア・メタデータ・モジュールを含む。
【００３６】
別の例では、システムはさらに、第1のメディアデータおよび第1のメディアデータと関連付けられたメタデータを受け取る通信モジュールと、第1のメディアデータに基づく第1の記述子を生成するメディア指紋モジュールとを含む。
【００３７】
いくつかの例では、システムはさらに、メタデータの少なくとも一部を第1の記述子と関連付けるメディア・メタデータ・モジュールを含む。
【００３８】
別の例では、システムはさらに、メタデータ、第1の記述子、およびメタデータの少なくとも一部と第1の記述子との関連付けを記憶し、記憶されたメタデータ、記憶された第1の記述子、およびメタデータの少なくとも一部と第1の記述子との記憶された関連付けを検索する記憶装置を含む。
【００３９】
いくつかの例では、システムはさらに、第1のメディアデータと関連付けられた一つまたは複数の第1の境界を決定するビデオ変換モジュールと、第1のメディアデータおよび一つまたは複数の第1の境界に基づく一つまたは複数の第1の記述子を生成するメディア指紋モジュールとを含む。
【００４０】
別の例では、システムはさらに、一つまたは複数の第1の境界に基づいて第1のメディアデータと関連付けられたメタデータを一つまたは複数のメタデータサブパートに区分するビデオ変換モジュールと、一つまたは複数の第1の境界に基づいて一つまたは複数のメタデータサブパートを一つまたは複数の第1の記述子と関連付けるメディア・メタデータ・モジュールとを含む。
【００４１】
いくつかの例では、システムはさらに、メタデータと第1の記述子を関連付けるメディア・メタデータ・モジュールを含む。
【００４２】
本明細書で示すメディア資産管理は、以下の利点のうちの一つまたは複数を提供することができる。メディア資産管理の一つの利点は、メタデータの関連付けにより、メディアの完全な、すなわち生産から将来の再利用に至るまでのワークフローにメタデータを組み込むことが可能になり、それによって、メディアの再利用の機会が増大することである。メディア資産管理の別の利点は、メタデータの関連付けが、迅速で、正確なメタデータ関連付けによるアーカイブメディアの再利用および再目的化を可能にすることによって、メディア生産のコストを下げることである。
【００４３】
メディア資産管理の別の利点は、メディアおよびメディアと関連付けられたメタデータを効率よく探索し、ブラウズすることが可能になり、それによって、メディアの利用を阻むハードルが低くなることである。メディア資産管理の別の利点は、メディアの固有の記述子を、メディアアーカイブに記憶されたメディアの記憶された記述子と迅速に、効率よく比較することにより、大規模なメディアアーカイブにおいてメタデータを見つけることができ、それによって、正しいメタデータの迅速で効率のよい関連付け、すなわちメディア資産管理が可能になることである。
【００４４】
本発明の他の局面および利点は、以下の詳細な説明を、本発明の原理を例示するにすぎない添付の図面と併せて読めば明らかになる。
【図面の簡単な説明】
【００４５】
本発明の上記およびその他の目的、特徴、および利点、ならびに本発明自体は、以下の様々な態様の説明を、添付の図面と併せて読めばより十分に理解される。
【図１】例示的なシステムを示す機能ブロック図である。
【図２】例示的なコンテンツ分析サーバを示す機能ブロック図である。
【図３】システムにおける例示的な通信機器を示す機能ブロック図である。
【図４】ディジタルビデオ指紋の生成を示す例示的なフロー図である。
【図５】指紋の生成を示す例示的なフロー図である。
【図６】メタデータの関連付けを示す例示的なフロー図である。
【図７】メタデータの関連付けを示す別の例示的なフロー図である。
【図８】メタデータの関連付けを示す例示的なデータフロー図である。
【図９】メタデータの関連付けを示す別の例示的な表である。
【図１０】メタデータの関連付けを示す例示的なデータフロー図である。
【図１１】メタデータの関連付けを示す別の例示的な表である。
【図１２】メタデータの関連付けを示す例示的なフローチャートである。
【図１３】メタデータの関連付けを示す別の例示的なフローチャートである。
【図１４】メタデータの関連付けを示す別の例示的なフローチャートである。
【図１５】メタデータの関連付けを示す別の例示的なフローチャートである。
【図１６】例示的な多重チャネルビデオ監視システムを示すブロック図である。
【図１７】例示的なグラフィカル・ユーザ・インターフェースのスクリーンショットを示す図である。
【図１８】ディジタル画像表現サブフレームにおける変化の一例を示す図である。
【図１９】ディジタルビデオ画像検出システムを示す例示的なフローチャートである。
【図２０Ａ】特徴空間におけるK-NN入れ子型の独立の特徴部分空間の例示的な横断集合を示す図である。
【図２０Ｂ】特徴空間におけるK-NN入れ子型の独立の特徴部分空間の例示的な横断集合を示す図である。
【発明を実施するための形態】
【００４６】
詳細な説明
おおまかにいうと、技術は、コンテンツ分析器により、メディアコンテンツ（例えば、フィルム、クリップ、広告などのディジタルフッテージや、ディジタルメディア放送など）と他のメディアコンテンツを比較して、メタデータ（例えば、メディアに関する情報、メディアに関する権利管理データなど）を前記メディアコンテンツと関連付けるものである。メディアコンテンツは、メディアを記憶し、記録し、または再生することのできる実質的に任意のソース（例えば、コンピュータ、モバイルコンピューティング機器、生放送のテレビソース、ネットワーク・サーバ・ソース、ディジタル・ビデオ・ディスク・ソースなど）から獲得することができる。コンテンツ分析器は、ディジタルコンテンツと関連付けられたメタデータを識別するためのディジタルコンテンツの自動的な、効率のよい比較を可能にする。例えば、ソースビデオからの元のメタデータは、通常のビデオ編集の過程において失われる場合もあり、または別の方法で壊れる場合もある。編集されたビデオの部分の記述子をソースビデオの記述子と比較することにより、元のメタデータを編集の結果生じたビデオと関連付け、または別の方法でその編集ビデオに復元することができる。コンテンツ分析器は、コンテンツ分析プロセッサまたはサーバとすることができ、高度に拡張性を有し、コンピュータビジョンおよび信号処理技術を使用して、リアルタイムでビデオおよびオーディオ領域においてフッテージを分析することができる。
【００４７】
しかも、コンテンツ分析サーバの自動コンテンツ分析およびメタデータ技術は非常に正確である。人間の観察者は疲労により誤ることもあり、または識別しにくいフッテージ内の細かな詳細を見逃すこともあるが、コンテンツ分析サーバは、メタデータをコンテンツと有利に関連付け、メディアに対するメタデータを繰り返し読み込むことができるので、99％を上回る精度でコンテンツを定常的に比較することができる。コンテンツの比較およびメタデータの関連付けでは、監視されるべきフッテージを予め検査、または操作する必要がない。コンテンツ分析サーバは、メディア・ストリーム・データ自体から関連情報を抽出するので、ほとんど無制限の量のマルチメディアコンテンツを人的介入なしで効率よく比較することができる。
【００４８】
コンテンツ分析サーバは、メディアコンテンツの各サンプルから、本明細書においては指紋ともいう、ディジタルシグネチャなどの記述子を生成する。好ましくは、記述子は、個々のコンテンツセグメントを一意に識別する。例えば、ディジタルシグネチャは、各ビデオ部分における色分布、形状、パターンや、オーディオストリームにおける周波数スペクトルなど、コンテンツに特有のビデオ局面、オーディオ局面および/または視聴覚的局面などを記述する。メディアの各サンプルは、基本的には、その固有のビデオ特性、オーディオ特性、および/または視聴覚的特性のコンパクトなディジタル表現である固有の指紋を有する。
【００４９】
コンテンツ分析サーバは、そのような記述子、すなわち指紋を利用して、表1に示すようにメディアサンプル内の同じおよび/または類似のフレームシーケンスまたはクリップからのメタデータを関連付ける。言い換えると、この例では、コンテンツ分析サーバは、メディアAおよび関連付けられたメタデータを受け取り、メディアAの指紋を生成し、メディアAの指紋および関連付けられたメタデータを記憶する。同時刻または後刻に、この例では、コンテンツ分析サーバは、メディアBを受け取り、メディアBの指紋を生成し、メディアBの指紋を記憶されたメディアAの指紋と比較し、指紋の比較に基づいてメディアAからの記憶されたメタデータをメディアBと関連付ける。
【００５０】
（表１）例示的な関連付けプロセス
2011519454.tif 000003
【００５１】
図1に、例示的なシステム100の機能ブロック図を示す。システム100は、一つまたは複数のコンテンツ機器A105a、B105b〜Z105z（以下コンテンツ機器105という）、コンテンツ分析サーバ110などのコンテンツ分析器、通信ネットワーク125、メディアデータベース115、一つまたは複数の通信機器A130a、B130b〜Z130z（以下通信機器105という）、ストレージサーバ140、およびコンテンツサーバ150を含む。機器、データベースおよび/もしくはサーバは、通信ネットワーク125を介して、かつ/または機器、データベースおよび/もしくはサーバ間の接続（例えば、直接接続、間接接続など）を介して相互に通信し合う。
【００５２】
コンテンツ分析サーバ110は、コンテンツ機器105（例えば、ディジタル・ビデオ・ディスク機器、信号取得機器、衛星受信機器、ケーブル受信ボックスなど）、通信機器130（例えば、デスクトップコンピュータ、モバイルコンピューティング機器など）、ストレージサーバ140（例えば、ストレージ・エリア・ネットワーク・サーバ、ネットワーク接続ストレージサーバなど）、コンテンツサーバ150（例えば、インターネットベースのマルチメディアサーバ、ストリーミング・マルチメディア・サーバなど）、および/またはマルチメディアストリームを記憶することのできる他の任意のサーバもしくは機器のうちの1台もしくは複数に、それだけに限らないが、メディアストリーム、マルチメディア、および/または他の任意の種類のメディア（例えば、ビデオ、オーディオ、テキストなど）を含むメディアデータを要求し、かつ/またはこれらのうちの1台もしくは複数からメディアデータを受け取る。コンテンツ分析サーバ110は、メディアストリームについての一つまたは複数のセグメント、例えば、フレームシーケンスを識別することができる。コンテンツ分析サーバ110は、メディアストリーム内の一つまたは複数のフレームシーケンスのそれぞれの指紋を生成することができ、かつ/またはメディアストリームの指紋を生成することができる。コンテンツ分析サーバ110は、メディアストリームの一つまたは複数のフレームシーケンスの指紋を、他のメディアと関連付けられた一つまたは複数の記憶された指紋と比較する。コンテンツ分析サーバ110は、指紋の比較に基づいて、他のメディアのメタデータをそのメディアストリームと関連付ける。
【００５３】
別の例では、通信機器130がメディア（例えば、映画、テレビ番組、歌、メディアのクリップなど）と関連付けられたメタデータを要求する。通信機器130は、要求をコンテンツ分析サーバ110に送る。通信機器130は、要求に応答してコンテンツ分析サーバ110からメタデータを受け取る。通信機器130は、受け取ったメタデータをメディアと関連付ける。例えば、メタデータは、後で使用するためにメディアと関連付けられたメディアに関する著作権情報を含む。メタデータのメディアとの関連付けは、有利には、メディアに関する情報を、メディアと再度関連付けることを可能にし、これにより、メディアのユーザに、メディアに関する正確で、最新の情報（例えば、利用要件、著者、最初の使用日時、著作権の制限、著作権所有、メディアの記録の場所、メディア内の人物、メディアの種類など）を提供することが可能になる。
【００５４】
いくつかの例では、メタデータは、メディアデータベース115および/またはコンテンツ分析サーバ110によって記憶される。コンテンツ分析サーバ110は、メディアデータ（例えば、マルチメディアデータ、映像データ、オーディオデータなど）および/またはメディアデータと関連付けられたメタデータ（例えば、テキスト、符号化情報、メディアストリーム内の情報など）を受け取ることができる。コンテンツ分析サーバ110は、メディアデータに基づく記述子（例えば、メディアデータの固有の指紋、メディアデータの一部の固有の指紋など）を生成することができる。コンテンツ分析サーバ110は、記述子をメタデータと関連付ける（例えば、著作権情報をメディアデータの一部の固有の指紋と関連付ける、ニュースネットワークをニュース・クリップ・メディアの記述子と関連付けるなど）ことができる。コンテンツ分析サーバ110は、記憶装置（不図示）および/またはメディアデータベース115によって、メディアデータ、メタデータ、記述子、および/またはメタデータと記述子の間の関連付けを記憶することができる。
【００５５】
別の例では、コンテンツ分析サーバ110は、各マルチメディアストリーム内の各フレームごとの指紋を生成する。コンテンツ分析サーバ110は、フレームシーケンス内の各フレームからの指紋および/またはフレームシーケンスと関連付けられた他の任意の情報（例えば、ビデオコンテンツ、オーディオコンテンツ、メタデータなど）に基づいて、各マルチメディアストリームごとに、各フレームシーケンス（例えば、フレームのグループ、直接的なフレームのシーケンス、間接的なフレームのシーケンスなど）ごとの指紋を生成することができる。
【００５６】
いくつかの例では、コンテンツ分析サーバ110は、各フレームに関する情報（例えば、ビデオコンテンツ、オーディオコンテンツ、メタデータ、指紋など）に基づいて各マルチメディアストリームごとのフレームシーケンスを生成する。
【００５７】
別の例では、メタデータは、組み込み式でメディアに記憶され（例えば、メディアストリームに組み込まれる、メディアのコンテナに組み込まれるなど）、かつ/またはメディアとは別個に記憶される（例えば、メタデータとメディアの間のリンクと共にデータベースに記憶される、記憶装置の対応するファイルに記憶されるなど）。メタデータは、例えば、MXF（Material Exchange Format）形式、BMF（Broadcast Media Exchange Format）、MPEG-7（Multimedia Content Description Interface）、XML（Extensible Markup Language Format）、および/または他の任意の種類の形式によって記憶し、かつ/または処理することができる。
【００５８】
図1には、通信機器130とコンテンツ分析サーバ110とが別々に示されているが、通信機器130および/またはコンテンツ分析サーバ110の機能および/または構成部分の一部または全部を、1台の機器/サーバに統合する（例えば、プロセス内制御、同じ機器/サーバ上の異なるソフトウェアモジュール、同じ機器/サーバ上の異なるハードウェア構成部分などによってやりとりする）こともでき、かつ/または複数の機器/サーバ（例えば、複数のバックエンド処理サーバ、複数の記憶装置など）の間で分散させることもできる。例えば、通信機器130は、記述子を生成し、かつ/またはメタデータをメディアおよび/もしくは記述子と関連付けることができる。別の例として、コンテンツ分析サーバ110は、ユーザがメタデータの関連付けのためにコンテンツ分析サーバ110にメディアを送ることを可能にするユーザインターフェース（例えば、ウェブベースのインターフェース、独立型のアプリケーションなど）を含む。
【００５９】
図2に、システム200における例示的なコンテンツ分析サーバ210の機能ブロック図を示す。コンテンツ分析サーバ210は、通信モジュール211、プロセッサ212、ビデオ・フレーム・プリプロセッサ・モジュール213、ビデオフレーム変換モジュール214、メディア指紋モジュール215、メディア・メタデータ・モジュール216、メディア指紋比較モジュール217、および記憶装置218を含む。
【００６０】
通信モジュール211は、コンテンツ分析サーバ210に対する情報を受け取り、かつ/またはコンテンツ分析サーバ210からの情報を送る。プロセッサ212は、マルチメディアストリームの比較を求める要求（例えば、ユーザからの要求、スケジュールサーバからの自動化要求など）を処理し、通信モジュール211に、マルチメディアストリームを要求し、かつ/または受け取るよう指示する。ビデオ・フレーム・プリプロセッサ・モジュール213は、マルチメディアストリームを前処理する（例えば、黒い境界を除去する、安定境界を挿入する、サイズ変更する、圧縮する、キーフレームを選択する、フレームをまとめてグループ化するなど）。ビデオフレーム変換モジュール214は、マルチメディアストリームを変換する（例えば、輝度正規化、RGB/Color9変換など）。
【００６１】
メディア指紋モジュール215は、マルチメディアストリームにおける各キーフレーム選択（例えば、各フレームがそのフレーム自体のキーフレームである、1グループのフレームが一つのキーフレーム選択を有するなど）ごとの指紋を生成する。メディア・メタデータ・モジュール216は、メタデータをメディアと関連付け、かつ/またはメディアからメタデータを決定する（例えば、メディアからメタデータを抽出する、メディアのためのメタデータを決定するなど）。メディア指紋比較モジュール217は、各マルチメディアストリームの各フレームシーケンスを比較して、（例えば、各フレームシーケンスの各キーフレーム選択の指紋を比較する、フレームシーケンス内の各フレームの指紋を比較するなどによって）マルチメディアストリーム間で類似フレームシーケンスを識別する。記憶装置218は、要求、メディア、メタデータ、記述子、フレーム選択、フレームシーケンス、フレームシーケンスの比較、および/またはメタデータの関連付けと関連付けられた他の任意の情報を記憶する。
【００６２】
いくつかの例では、ビデオフレーム変換モジュール214は、メディアデータと関連付けられる一つまたは複数の境界を決定する。メディア指紋モジュール217は、メディアデータおよび一つまたは複数の境界に基づく一つまたは複数の記述子を生成する。表2に、テレビ番組「Why Dogs are Great」に対しビデオフレーム変換モジュール214の一態様により決定された境界を示す。
【００６３】
（表２）テレビ番組のための例示的な境界および記述子
2011519454.tif 000004
【００６４】
別の例では、メディア指紋比較モジュール217は、一つまたは複数の記述子と一つまたは複数の他の記述子を比較する。一つまたは複数の他の記述子はそれぞれ、他のメディアデータと関連付けられた一つまたは複数の他の境界と関連付けることができる。例えば、メディア指紋比較モジュール217は、一つまたは複数の記述子（例えば、Alpha 45e、Alpha 45gなど）を記憶された記述子と比較する。記述子の比較は、例えば、厳密な比較（例えば、テキスト対テキストの比較、ビット対ビットの比較など）、類似性比較（例えば、記述子がある指定の範囲内にある、記述子があるパーセンテージ範囲内にあるなど）、および/または他の任意の種類の比較とすることができる。メディア指紋比較モジュール217は、例えば、記述子の完全適合に基づいてメタデータをメディアデータと関連付けることもでき、かつ/または記述子の類似適合に基づいてメタデータの一部または全部をメディアデータと関連付けることもできる。表3に前記記述子と他の記述子との比較を示す。
【００６５】
（表３）記述子の例示的な比較
2011519454.tif 000005
【００６６】
別の例では、ビデオフレーム変換モジュール214は、一つまたは複数の境界に基づいてメディアデータを一つまたは複数のメディアデータサブパートに区分する。いくつかの例では、メディア・メタデータ・モジュール216は、記述子と他の記述子との比較に基づいて、メタデータの少なくとも一部を一つまたは複数のメディアデータサブパートのうちの少なくとも一つと関連付ける。例えば、表1に示すように、テレビ放映される映画を、映画サブパートおよびコマーシャルサブパートに基づいてサブパートに区分することができる。
【００６７】
いくつかの例では、通信モジュール211は、メディアデータおよびメディアデータと関連付けられたメタデータを受け取る。メディア指紋モジュール215は、メディアデータに基づく記述子を生成する。例えば、通信モジュール211は、ディジタル・ビデオ・ディスク（DVD）プレーヤからメディアデータ、この例では映画を受け取り、インターネット映画データベースからメタデータを受け取る。この例では、メディア指紋モジュール215は、映画の記述子を生成し、メタデータを記述子と関連付ける。
【００６８】
別の例では、メディア・メタデータ・モジュール216はメタデータの少なくとも一部を記述子と関連付ける。例えば、テレビ番組名は、初回の放映日とではなく記述子と関連付ける。
【００６９】
いくつかの例では、記憶装置218は、メタデータ、第1の記述子、および/またはメタデータの少なくとも一部と第1の記述子との関連付けを記憶する。記憶装置218は例えば、記憶されたメタデータ、記憶された第1の記述子、および/またはメタデータの少なくとも一部と第1の記述子との記憶された関連付けを検索する。
【００７０】
いくつかの例では、メディア・メタデータ・モジュール216は、第三者情報ソースにアクセスすることによって、メディアに対する新規の、かつ/または補足的なメタデータを決定する。メディア・メタデータ・モジュール216は、インターネットデータベース（例えば、インターネット映画データベース、インターネット音楽データベースなど）、および/または第三者コマーシャルデータベース（例えば、映画スタジオデータベース、ニュースデータベースなど）に、メディアと関連付けられたメタデータを要求することができる。例えば、メディア（この例では、映画）と関連付けられたメタデータは、タイトル「All Dogs go to Heaven」および映画スタジオ「Dogs Movie Studio」を含む。メタデータに基づき、メディア・メタデータ・モジュール216は、映画スタジオデータベースに追加メタデータを要求し、追加メタデータ（この例では、公開日:「1995年6月1日;キャスト:Wof Gang McRuffおよびRuffus T. Bone;上映時間:2:03:32」）を受け取り、追加メタデータをメディアと関連付ける。
【００７１】
図3に、システム300における例示的な通信機器310の機能ブロック図を示す。通信機器310は、通信モジュール331、プロセッサ332、メディア編集モジュール333、メディア指紋モジュール334、メディア・メタデータ・モジュール337、表示装置338（例えば、モニタ、モバイル機器画面、テレビなど）、および記憶装置339を含む。
【００７２】
通信モジュール311は、通信機器310のための情報を受け取り、かつ/または通信機器310からの情報を送る。プロセッサ312は、メディアストリームの比較を求める要求（例えば、ユーザからの要求、スケジュールサーバからの自動化された要求など）を処理し、通信モジュール311に、メディアストリームを要求し、かつ/または受け取るよう指示する。
【００７３】
メディア指紋モジュール334は、メディアストリーム内の各キーフレーム選択（例えば、各フレームがそれ自体キーフレーム選択である、1グループのフレームが一つのキーフレーム選択を有する、など）ごとに指紋を生成する。メディア・メタデータ・モジュール337は、メタデータをメディアと関連付け、かつ/またはメディアからメタデータを決定する（例えば、メディアからメタデータを抽出する、メディアのためのメタデータを決定する、など）。表示装置338は、要求、メディア、メタデータ、記述子、フレーム選択、フレームシーケンス、フレームシーケンスの比較、および/またはメタデータの関連付けと関連付けられた他の任意の情報を表示する。記憶装置339は、要求、メディア、メタデータ、記述子、フレーム選択、フレームシーケンス、フレームシーケンスの比較、および/またはメタデータの関連付けと関連付けられた他の任意の情報を記憶する。
【００７４】
別の例では、通信機器330は、メディア編集シーケンスおよび/またはハードウェア（例えば、米国カリフォルニア州サンノゼ所在、Adobe Systems Incorporateから提供されているAdobe Premiere、カナダ、オタワ州所在、Corel Corporationから提供されているCorel VideoStudio（登録商標）など）を利用してメディアを操作、かつ/または処理する。編集ソフトウェアおよび/またはハードウェアは、編集されるメディアをコンテンツ分析サーバ210に送って、可能であれば、適用できるメタデータをメディアと関連付けるためのアプリケーションリンク（例えば、ユーザインターフェース内のボタン、ドラッグ・アンド・ドロップ・インターフェースなど）を含むことができる。
【００７５】
図4に、ディジタルビデオ指紋の生成の例示的なフロー図400を示す。コンテンツ分析ユニットは、信号バッファユニットから直接、記録されたデータチャンク（例えば、マルチメディアコンテンツ）を取り出し、分析の前に指紋を抽出する。図1のコンテンツ分析サーバ110は、それぞれが画像フレーム471の個々のシーケンスを含む、一つまたは複数のビデオ（およびより一般的には視聴覚）クリップまたはセグメント470を受け取る。ビデオ画像フレームは冗長性が高く、フレームグループは、ビデオセグメント470の異なるショットによって相互に異なる。例示的なビデオセグメント470では、ビデオセグメントのサンプルフレームが、ショット、すなわち第1のショット472’、第2のショット472’’、第3のショット472’’’に従ってグループ化される。異なるショット472’、472’’、472’’’（一般には472）のそれぞれについて、キーフレームとも呼ばれる代表フレーム474’、474’’、474’’’（一般には474）が選択される。コンテンツ分析サーバ100は、異なるキーフレーム474のそれぞれについて、個々のディジタルシグネチャ476’、476’’、476’’’（一般には476）を求める。キーフレーム474のディジタルシグネチャ476のグループは合わさって、例示的なビデオセグメント470のディジタルビデオ指紋478を表す。
【００７６】
いくつかの例では、指紋を記述子ともいう。各指紋は、フレームおよび/またはフレームグループを代表するものとすることができる。指紋は、フレームのコンテンツから導出することができる（例えば、画像の色および/または明暗度の関数、画像の各部分の微分、全明暗度値の加算、色値の平均、輝度値のモード、空間周波数値など）。指紋は整数（例えば、345、523など）および/または、行列やベクトルなどの数の組み合わせ（例えば、［a,b］、［x,y,z］）とすることができる。例えば、指紋は、xを輝度とし、yをクロミナンスとし、zをフレームの空間周波数とする［x,y,z］で定義されるベクトルである。
【００７７】
態様によっては、ショットは、指紋値に従って差別化される。例えば、ベクトル空間において、同じショットのフレームから求められた指紋と、同じショットの隣り合うフレームの指紋との差は、比較的小さい隔たりになると考えられる。別のショットへの転換に際して、次のフレームグループの指紋はより大きな隔たりを有する。よって各ショットは、各ショットの指紋がある閾値より大きく異なるかどうかによって区別することができる。
【００７８】
よって、第1のショット472’のフレームから求められた指紋は、これらのフレームを、第1のショットに関連するものとしてグループ化、または識別するために使用することができる。同様に、後続のショットの指紋も、後続のショット472’’、472’’’をグループ化、または識別するために使用することができる。各ショット472ごとに、代表フレーム、すなわちキーフレーム474’、474’’、474’’’を選択することができる。態様によっては、キーフレームは、同じショット内のフレームグループの指紋の中から統計的に選択される（例えば、平均値または重心）。
【００７９】
図5に、指紋の生成の例示的なフロー図500を示す。フロー図500は、コンテンツ機器505およびコンテンツ分析サーバ510を含む。コンテンツ分析サーバ510はメディアデータベース515を含む。コンテンツ機器505はコンテンツ分析サーバ510にメタデータA506’およびメディアコンテンツA507’を送る。コンテンツ分析サーバ510はメタデータA506’’およびメディアコンテンツA507’’を受け取る。コンテンツ分析サーバ510は、メディアコンテンツA 507’’に基づく一つまたは複数の指紋A509’を生成する。コンテンツ分析サーバ510は、メタデータA 506’’’、メディアコンテンツA507’’’、および一つまたは複数の指紋A509’’を記憶する。少なくともいくつかの態様では、コンテンツ分析サーバ510は、一つまたは複数の指紋A509’’と記憶されたメタデータA506’’の関連付けを記録する。
【００８０】
図6に、メタデータの関連付けの例示的なフロー図600を示す。フロー図600は、コンテンツ分析サーバ610および通信機器630を含む。コンテンツ分析サーバ610はメディアデータベース615を含む。通信機器630はコンテンツ分析サーバ610にメディアコンテンツB637’を送る。コンテンツ分析サーバ610は、メディアコンテンツB637’’に基づく一つまたは複数の指紋B639を生成する。コンテンツ分析サーバ610は、一つまたは複数の指紋B638とメディアデータベース615によって記憶された一つまたは複数の指紋A609を比較する。コンテンツ分析サーバ610は、メディアデータベース615によって記憶されたメタデータA606を検索する。コンテンツ分析サーバ610は、一つまたは複数の指紋B638と、一つまたは複数の指紋A609および/またはメタデータA606の比較に基づいてメタデータB636’を生成する。コンテンツ分析サーバ610は通信機器630にメタデータB636’を送る。通信機器630はメタデータB636’’をメディアコンテンツB637’と関連付ける。
【００８１】
図7に、メタデータの関連付けの別の例示的なフロー図700を示す。フロー図700はコンテンツ分析サーバ710および通信機器730を含む。コンテンツ分析サーバ710はメディアデータベース715を含む。通信機器730は、メディアコンテンツB737に基づく一つまたは複数の指紋B739’を生成する。通信機器730はコンテンツ分析サーバ710に一つまたは複数の指紋B739’を送る。コンテンツ分析サーバ710は、一つまたは複数の指紋B739’’と、メディアデータベース715によって記憶された一つまたは複数の指紋A709を比較する。コンテンツ分析サーバ710は、メディアデータベース715によって記憶されたメタデータA706を検索する。コンテンツ分析サーバ710は、一つまたは複数の指紋B739’’と一つまたは複数の指紋A709および/またはメタデータA706の比較に基づいてメタデータB736’を生成する。例えば、メタデータB736’は、検索されたメタデータA706から生成される（例えば、コピーされる）。コンテンツ分析サーバ710は通信機器730にメタデータB736’を送る。通信機器730はメタデータB736’’をメディアコンテンツB737と関連付ける。
【００８２】
図8に、図2のシステム200を利用したメタデータの関連付けの例示的なデータフロー図800を示す。フロー図800はメディア803およびメタデータ804を含む。通信モジュール211は、（例えば、図1のコンテンツ機器105、記憶装置218などを介して）メディア803およびメタデータ804を受け取る。ビデオフレーム変換モジュール214は、メディア807と関連付けられた境界808a、808b、808c、808d、および808e（以下境界808という）を決定する。境界は、メディアのサブパート、すなわち、メディアA807a、メディアB807b、メディアC807c、およびメディアD807dを示す。メディア・メタデータ・モジュール216は、メタデータ809の一部をメディアサブパート807のそれぞれと関連付ける。言い換えると、メタデータA809aはメディアA807aと関連付けられ、メタデータB809bはメディアB807bと関連付けられ、メタデータC809cはメディアC807cと関連付けられ、メタデータD809dはメディアD807dと関連付けられる。
【００８３】
いくつかの例では、ビデオフレーム変換モジュール214は、顔検出、パターン認識、音声/テキスト分析、メディア内の埋め込み信号、第三者シグナリングデータ、および/またはメディア境界に関する情報を提供する他の任意の種類の情報に基づいて境界を決定する。
【００８４】
図9に、図8のフロー図800に示すメタデータの関連付けを例示する別の例示的な表900を示す。表900には、メディア部分902、開始時刻904、終了時刻906、メタデータ908、および指紋909に関する情報が示されている。表900は、メディアサブパートA912、B914、C916、およびD918についての情報を含む。表900には、開始時刻904および終了時刻906を利用する各メディアサブパート809の境界808が示されている。別の例では、フレーム番号（例えば、開始フレーム:0および終了フレーム:34、フレーム:0＋42など）および/または他の任意の種類の位置指定（例えば、トラック番号、チャプタ番号、エピソード番号など）を利用して各メディアサブパート809の境界808が示される。
【００８５】
図10に、図2のシステム200を利用したメタデータの関連付けの例示的なデータフロー図1000が示されている。フロー図1000はメディア1003およびメタデータ1004を含む。通信モジュール211は（例えば、図1のコンテンツ機器105、記憶装置218などを介して）メディア1003およびメタデータ1004を受け取る。ビデオフレーム変換モジュール214はメディア1007と関連付けられる境界を決定する。各境界は、メディアのサブパート、すなわち、メディアA1007a、メディアB1007b、メディアC1007c、およびメディアD1007dを示す。ビデオフレーム変換モジュール214は、メディア1007をメディアのサブパートに区分する。メディア・メタデータ・モジュール216は、メタデータ1009の一部を区分されたメディアサブパート1007のそれぞれと関連付ける。言い換えると、メタデータA1009aはメディアA1007aと関連付けられ、メタデータB1009bはメディアB1007bと関連付けられ、メタデータC1009cはメディアC1007cと関連付けられ、メタデータD1009dと関連付けられる。
【００８６】
図11に、図10のフロー図1000に示すメタデータの関連付けを例示する別の例示的な表1100を示す。表1100には、メディア部分1102、元のメディアへの参照1104、メタデータ1106、および指紋1108に関する情報が示されている。表1100は、メディアサブパートA1112、B1114、C1116、およびD1118のための情報を含む。表1100には、元のメディアであるメディアID XY-10302008と関連付けられている異なる部分としての各メディアサブパート1007の区分が示されている。メディアのサブパートへの区分は、有利には、元のメディアの異なる部分への異なるメタデータの関連付け、および/またはメディアアーカイブ（例えば、記憶装置218、メディアデータベース115など）によるサブパートへの独立のアクセスを可能にする。
【００８７】
いくつかの例では、メディアの境界は空間的境界（例えば、ビデオ、画像、オーディオなど）、時間的境界（例えば、時刻コード、相対時刻、フレーム番号など）、および/またはメディアのための他の任意の種類の境界である。
【００８８】
図12に、図2のシステム200を利用したメタデータとの関連付けのための例示的なフローチャート1200を示す。通信モジュール211は第2のメディアデータを受け取る（1210）。メディア指紋モジュール215は第2のメディアデータに基づく第2の記述子を生成する（1220）。メディア指紋比較モジュール217は第2の記述子と第1の記述子を比較する（1230）。第1の記述子は、関連するメタデータを有する第1のメディアデータと関連付けることができる。第2の記述子と第1の記述子が適合する場合（例えば、完全適合、類似、相対尺度において相互からあるパーセンテージ以内にあるなど）、メディア・メタデータ・モジュール216は、第2の記述子と第1の記述子の比較に基づいて、メタデータの少なくとも一部を第2のメディアデータと関連付ける（1240）。第2の記述子と第1の記述子が適合しない場合、処理は終了する（1250）。
【００８９】
図13に、図2のシステム200を利用したメタデータの関連付けのための別の例示的なフローチャート1300を示す。通信モジュール211は第2のメディアデータを受け取る（1310）。ビデオフレーム変換モジュール214は、第2のメディアデータと関連付けられる一つまたは複数の第2の境界を決定する（1315）。メディア指紋モジュール215は、第2のメディアデータおよび一つまたは複数の第2の境界に基づく一つまたは複数の第2の記述子を生成する（1320）。メディア指紋比較モジュール217は、一つまたは複数の第2の記述子と一つまたは複数の第1の記述子を比較する（1330）。いくつかの例では、一つまたは複数の第1の記述子はそれぞれ、第1のメディアデータと関連付けられた一つまたは複数の第1の境界と関連付ける。第2の記述子の一つまたは複数と第1の記述子の一つまたは複数が適合する場合（例えば、完全適合、類似、相対尺度において相互からあるパーセンテージ以内にあるなど）、メディア・メタデータ・モジュール216は、第2の記述子と第1の記述子の比較に基づいて、メタデータの少なくとも一部を、一つまたは複数の第2のメディアデータサブパートのうちの少なくとも一つと関連付ける（1340）。第2の記述子の一つまたは複数と第1の記述子の一つまたは複数が適合しない場合、処理は終了する（1350）。
【００９０】
図14に、図3のシステム300を利用したメタデータの関連付けのための別の例示的なフローチャート1400を示す。メディア指紋モジュール334は、第2のメディアデータに基づく第2の記述子を生成する（1410）。通信モジュール331は、第2の記述子を含む、第2のメディアデータと関連付けられたメタデータを求める要求を送る（1420）。通信モジュール331は要求に基づくメタデータを受け取る（1430）。メタデータは、第1のメディアデータの少なくとも一部と関連付けることができる。メディア・メタデータ・モジュール337は、第2の記述子と、第1のメディアデータと関連付けられた第1の記述子の比較に基づいて、メタデータを第2のメディアデータと関連付ける（1340）。
【００９１】
図15に、図3のシステム300を利用したメタデータの関連付けのための別の例示的なフローチャート1500を示す。通信モジュール331は、第2のメディアデータと関連付けられたメタデータを求める要求を送る（1510）。要求は第2のメディアデータを含むことができる。通信モジュール331は、要求に基づくメタデータを受け取る（1420）。メタデータは、第1のメディアデータの少なくとも一部と関連付けることができる。メディア・メタデータ・モジュール337は、第2の記述子と、第1のメディアデータと関連付けられた第1の記述子の比較に基づいて、メタデータを第2のメディアデータと関連付ける（1430）。
【００９２】
図16に、例示的な多重チャネルビデオ監視システム1600のブロック図を示す。システム1600は、（i）信号、またはメディア取得サブシステム1642、（ii）コンテンツ分析サブシステム1644、（iii）データ記憶サブシステム446、および（iv）管理サブシステム1648を含む。
【００９３】
メディア取得サブシステム1642は、一つまたは複数のビデオ信号1650を取得する。各信号ごとに、メディア取得サブシステム1642は、その信号を、データチャンクとして、いくつかの信号バッファユニット1652に記録する。用途によっては、本明細書においてより詳細に示すように、バッファユニット1652は指紋抽出を行うこともできる。これは、非常にコンパクトな指紋がインターネットなどの通信媒体を介して遠方の取り込みサイトから中央のコンテンツ分析サイトまで送信される遠隔取り込みシナリオに役立てることができる。また、ビデオ検出のシステムおよびプロセスは、記録されたデータにネットワーク接続を介してアクセスすることができる限り、既存の信号取得解決策と統合されていてもよい。
【００９４】
各データチャンクごとの指紋は、データ記憶サブシステム1646のメディアリポジトリ1658部分に記憶させることができる。態様によっては、データ記憶サブシステム1646は、一つまたは複数のシステムリポジトリ1656および基準リポジトリ1660を含む。データ記憶サブシステム1646のリポジトリ1656、1658、1660の一つまたは複数は、一つまたは複数のローカル・ハードディスク・ドライブ、ネットワークを介してアクセスされるハードディスクドライブ、光記憶ユニット、ランダム・アクセス・メモリ（RAM）記憶ドライブ、およびこれらの任意の組み合わせを含むことができる。リポジトリ1656、1658、1660の一つまたは複数は、記憶および記憶されたコンテンツのアクセスを円滑に行わせるためのデータベース管理システムを含むことができる。態様によっては、システム1640は、そのデータベースアクセス層を介して、OracleやMicrosoft-SQL Serverなど、異なるSQLベースの関係データベースシステムをサポートする。このようなシステムデータベースは、処理、構成、および状況情報を含む、動作時に生成されるすべてのメタデータの中央リポジトリとして働く。
【００９５】
態様によっては、メディアリポジトリ1658は、指紋をその指紋に対応するキーフレームと共に記憶するシステム1640の主ペイロードデータ記憶として使用される。また、メディアリポジトリ1658には、記憶された指紋と関連付けられた処理済みフッテージの低品質バージョンも記憶される。メディアリポジトリ1658は、ネットワークで接続されたファイルシステムとしてアクセスされ得る一つまたは複数のRAIDシステムを使用して実施することができる。
【００９６】
データチャンクはそれぞれ、管理サブシステム1648のコントローラ1662による処理のためにスケジュールされる分析タスクとなることができる。コントローラ1662は主に、負荷を平衡化し、コンテンツ分析サブシステム1644のコンテンツ分析クラスタ1654内の個々のノードにジョブを分配する役割を果たす。また、少なくともいくつかの態様では、管理サブシステム1648は、一般にフロントエンド1664と呼ばれる、操作員/管理者用端末1664も含む。操作員/管理者用端末1664は、ビデオ検出システム1640の一つまたは複数の要素を構成するのに使用することができる。また操作員/管理者用端末1664は、比較用の基準ビデオコンテンツをアップロードし、比較の結果を表示させ、分析するのに使用することもできる。
【００９７】
信号バッファユニット1652は、いかなるユーザ対話も必要とせずに、24時間稼働するように実施することができる。このような態様では、連続したビデオ・データ・ストリームが取り込まれ、管理可能なセグメント、すなわちチャンクに分割され、内部ハードディスク上に記憶される。ハードディスク空間は、循環バッファとして機能するように移植することができる。この構成では、より古い記憶データチャンクをアーカイブ用の別の長期記憶ユニットに移動させ、新しく入ってくるデータチャンクを記憶するために内部ハードディスクドライブに空きを確保することができる。このような記憶管理は、非常に長い期間（例えば、何時間も、何日間も、何週間もなど）にわたる信頼性の高い、連続した信号の利用を可能にする。コントローラ1662は、いかなるデータも失われないようにすべてのデータチャンクを適時に処理するのを確実にするように構成されている。信号取得ユニット1652は、システムの耐故障性を高めるために、必要な場合（例えば、ネットワーク遮断の期間）には、いかなるネットワーク接続なしでも動作するように設計されている。
【００９８】
態様によっては、信号バッファユニット1652は、指紋抽出を行い、記録されたチャンクをローカルで変換する。結果として生じる指紋の記憶所要量は、基礎をなすデータチャンクと比べれば些細なものであり、データチャンクと共にローカルで記憶させることができる。これにより、限られた帯域幅のネットワークを介した、絵コンテを含む非常にコンパクトな指紋の送信が可能になり、ビデオコンテンツ全部を送信しなくてもすむ。
【００９９】
態様によっては、コントローラ1662は、信号バッファユニット1652が記録したデータチャンクの処理を管理する。コントローラ1662は、信号バッファユニット1652およびコンテンツ分析ノード1654を絶えず監視し、必要に応じて負荷平衡化を行ってシステムリソースの効率的な使用を維持する。例えば、コントローラ1662は、分析ノード1654のうちの選択されたノードに分析ジョブを割り当てることにより、新しいデータチャンクの処理を開始する。場合によっては、コントローラ1662は、分析ノード1654、または一つもしくは複数の分析ノード1654全体で個々の分析プロセスを自動的に再開し、ユーザ介入なしの誤り回復を可能にする。システム1600の一つまたは複数のサブシステム1642、1644、1646を監視し、制御するためにフロントエンド1664にグラフィカル・ユーザ・インターフェースを設けることができる。例えば、グラフィカル・ユーザ・インターフェースは、ユーザが、コンテンツ分析1644サブシステムの構成、再構成およびその状況の獲得を行うことを可能にする。
【０１００】
態様によっては、分析クラスタ1644は、ビデオ検出監視システムの主力部分として一つまたは複数の分析ノード1654を含む。各分析ノード1654は、コントローラ1662によって割り当てられる分析タスクを独立に処理する。これは主に、記録されたデータチャンクを取り出すこと、ビデオ指紋を生成すること、および基準コンテンツに対して指紋を適合させることを含む。結果として生じるデータは、メディアリポジトリ1658およびデータ記憶サブシステム1646に記憶される。また、分析ノード1654は、基準クリップ収集ノード、バックアップノード、またはシステムが遡及適合を行う場合のRetroMatchノードのうちの一つもしくは複数として動作することもできる。一般に、分析クラスタのすべての活動は、コントローラによって制御され、監視される。
【０１０１】
そのようないくつかのデータチャンク1670を処理した後、これらのチャンクの検出結果がシステムデータベース1656に記憶される。有益には、信号バッファユニット1652およびコンテンツ分析ノード1654の数および容量は、任意の種類の特定用途に合わせてシステムの容量をカスタマイズするために柔軟に拡張することができる。システム1600の実現形態は、個々の必要に適するように組み合わせ、構成することのできる複数のソフトウェアコンポーネントを含むことができる。特定用途に応じて、いくつかのコンポーネントを同じハードウェア上で走らせることができる。あるいは、またはこれに加えて、性能を高め、耐故障性を改善するために各コンポーネントを個別ハードウェア上で走らせることもできる。このようなモジュラ・システム・アーキテクチャは、事実上、可能なあらゆる用途に適するカスタマイズを可能にする。この用途は、局所的な単一PCによる解決策から全国的な監視システム、耐故障性、記録冗長性、およびこれらの組み合わせにまで及ぶ。
【０１０２】
図17に、例示的なグラフィカル・ユーザ・インターフェース（GUI）1700のスクリーンショットを示す。GUI1700は、図1のシステム100の操作員、データ分析者、および/または他のユーザが、コンテンツ分析サーバ110を操作し、かつ/または制御するのに利用することができる。GUI1700は、ユーザが検出を見直し、基準コンテンツを管理し、クリップメタデータを編集し、基準および検出マルチメディアコンテンツを再生し、基準コンテンツと検出コンテンツの詳細な比較を行うことを可能にする。態様によっては、システム1600は、録画セレクタや、コントローラフロントエンド1664など、異なる機能および/またはサブシステムのための、または複数の異なるグラフィカル・ユーザ・インターフェースを含む。
【０１０３】
GUI1700は、標準ウィンドウ制御機構など、一つまたは複数のユーザ選択可能コントロール1782を含む。またGUI1700は検出結果表1784も含む。例示的な態様では、検出結果表1784は各検出ごとに1行ずつ、複数の行1786を含む。行1786は記憶された画像の低解像度バージョンを、検出自体に関連する他の情報と共に含む。一般に、記憶された画像の名前またはその他のテキスト表示を画像の隣に示すことができる。検出情報は、検出の日時、チャネルまたはその他のビデオソースの証拠、適合の品質に関する表示、オーディオ適合の品質に関する表示、検査の日付、検出識別値、および検出ソースに関する表示のうちの一つまたは複数を含むことができる。また態様によっては、GUI1700は、検出された適合するビデオの一つまたは複数のフレームを表示させるためのビデオ表示ウィンドウ1788も含む。GUI1700は、オーディオ比較の証拠を比較するためのオーディオ表示ウィンドウ1789を含むことができる。
【０１０４】
図18に、ディジタル画像表現サブフレームにおける変化の例を示す。目標ファイル画像サブフレームと問い合わせ対象画像サブフレームのうち一つの集合1800が示されており、集合1800はサブフレーム集合1801、1802、1803、および1804を含む。サブフレーム集合1801と1802とは、変換および縮尺の一つまたは複数において他の集合メンバと異なる。サブフレーム集合1802と1803とは、画像コンテンツが互いに異なり、サブフレーム集合1801および1802とも異なり、サブフレーム適合閾値に至る画像差を提示している。
【０１０５】
図19に、図16のディジタルビデオ画像検出システム1600の一態様のための例示的なフローチャート1900を示す。フローチャート1900は、開始点Aで、ユーザがユーザインターフェースにおいてディジタルビデオ画像検出システムを構成する工程126から開始し、システムを構成する工程は、少なくとも一つのチャネル、少なくとも一つの復号方法、ならびにチャネルサンプリング速度、チャネルサンプリング時刻、およびチャネルサンプリング期間を選択する工程を含む。システムを構成する工程126は、ディジタルビデオ画像検出システムを手動で構成する工程、および半自動的に構成する工程のうちの一つを含む。システムを半自動的に構成する工程126は、チャネルプリセットを選択する工程、スケジューリングコードを走査する工程、およびスケジューリングフィードを受け取る工程のうちの一つまたは複数を含む。
【０１０６】
ディジタルビデオ画像検出システムを構成する工程126は、タイミング制御シーケンスを生成する工程127をさらに含み、タイミング制御シーケンス127によって生成される信号の集合は、MPEGビデオ受信機へのインターフェースを提供する。
【０１０７】
態様によっては、ディジタルビデオ画像検出システム100の方法フローチャート1900は、任意で、ディジタルビデオ画像検出システム100が適合を行うためのファイル画像131を求めてウェブに問い合わせする工程を提供する。態様によっては、方法フローチャート1900は、任意で、ディジタルビデオ画像検出システム100が適合を行うためのファイル画像をユーザインターフェース100からアップロードする工程を提供する。態様によっては、ファイルデータベースに問い合わせし、待ち行列に入れる工程133bは、ディジタルビデオ画像検出システム100が適合を行うための少なくとも一つのファイル画像を提供する。
【０１０８】
方法フローチャート1900はさらに、MPEGビデオ受信機においてMPEGビデオ入力を取り込み、バッファに入れる工程、およびMPEGビデオ入力をMPEGビデオアーカイブにディジタル画像表現として記憶させる工程171を提供する。
【０１０９】
方法フローチャート1900はさらに、MPEGビデオ画像を複数の問い合わせディジタル画像表現に変換する工程、ファイル画像を複数のファイルディジタル画像表現に変換する工程、および問い合わせ対象ディジタル画像表現とファイルディジタル画像表現とを比較し、適合させる工程を提供する。ここで、前記MPEGビデオ画像を変換する工程と前記ファイル画像を変換する工程とは、比較可能な方法である。ファイル画像を複数のファイルディジタル画像表現に変換する工程は、ファイル画像がアップロードされるときにファイル画像を変換する工程、ファイル画像が待ち行列に入れられるときにファイル画像を変換する工程、およびMPEGビデオ画像を変換するのと同時にファイル画像を変換する工程のうちの一つによって与えられる。
【０１１０】
方法フローチャート1900は、MPEGビデオ画像とファイル画像とを、それぞれ、問い合わせ対象RGBディジタル画像表現とファイルRGBディジタル画像表現とに変換する方法142を提供する。態様によっては、変換方法142は、問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現から画像境界を除去する工程143をさらに備える。態様によっては、変換方法142は、問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現から分割画面を除去する工程143をさらに備える。態様によっては、画像境界を除去する工程および分割画面を除去する工程143の一つまたは複数は、エッジを検出する工程を含む。態様によっては、変換方法142は、問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現を128×128画素のサイズにサイズ変更する工程をさらに備える。
【０１１１】
方法フローチャート1900はさらに、MPEGビデオ画像とファイル画像とを、それぞれ、問い合わせ対象COLOR9ディジタル画像表現とファイルCOLOR9ディジタル画像表現とに変換する方法144を提供する。変換方法144は、問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現から直接変換する方法を提供する。
【０１１２】
変換方法144は、問い合わせ対象RGBディジタル画像表現とファイルRGBディジタル画像表現とを中間輝度軸上に投影する工程、中間輝度を用いて問い合わせ対象RGBディジタル画像表現とファイルRGBディジタル画像表現とを正規化する工程、および正規化された問い合わせ対象RGBディジタル画像表現とファイルRGBディジタル画像表現とを、それぞれ、問い合わせ対象COLOR9ディジタル画像表現とファイルCOLOR9ディジタル画像表現とに変換する工程を含む。
【０１１３】
方法フローチャート1900はさらに、MPEGビデオ画像とファイル画像とを、それぞれ、問い合わせ対象5セグメント低解像度時間モーメントディジタル画像表現とファイル5セグメント低解像度時間モーメントディジタル画像表現とに変換する方法151を提供する。変換方法151は、問い合わせ対象COLOR9ディジタル画像表現およびファイルCOLOR9ディジタル画像表現から直接変換する方法を提供する。
【０１１４】
変換方法151は、問い合わせ対象COLOR9ディジタル画像表現とファイルCOLOR9ディジタル画像表現とを5つの空間的なオーバーラップセクションと非オーバーラップセクションとに区分する工程、5セクションのそれぞれについて統計モーメントの集合を生成する工程、統計モーメントの集合に重み付けする工程、および統計モーメントの集合を時間的に相互に関連付けて、COLOR9ディジタル画像表現の一つまたは複数のシーケンスの時間的セグメントを表わすキーフレームまたはショットフレームの集合を生成する工程を含む。
【０１１５】
変換方法151で統計モーメントの集合を生成する工程は、5セクションのそれぞれについての平均値、分散、およびスキューのうちの一つまたは複数を生成する工程を含む。態様によっては、変換方法151で統計モーメントの集合を時間的に相互に関連付ける工程は、順次バッファに入れられたRGBディジタル画像表現の集合の手段、分散、およびスキューの一つまたは複数を相互に関連付ける工程を含む。
【０１１６】
順次バッファに入れられたMPEGビデオ画像COLOR9ディジタル画像表現の集合について統計モーメントの集合を時間的に相互に関連付ければ、連続するCOLOR9ディジタル画像表現の一つまたは複数のセグメントについての中央統計モーメントの集合を求めることが可能になる。中央統計モーメントの集合と最も密接に適合する時間的セグメントの集合内の画像フレームの統計モーメントの集合が、ショットフレーム、すなわちキーフレームとして識別される。キーフレームは、より高解像度の適合をもたらすさらに洗練された方法のために確保される。
【０１１７】
方法フローチャート1900はさらに、問い合わせ対象5セクション低解像度時間モーメントディジタル画像表現とファイル5セクション低解像度時間モーメントディジタル画像表現を適合させる比較方法152を提供する。態様によっては、第1の比較方法151は、問い合わせ対象5セクション低解像度時間モーメントディジタル画像表現とファイル5セクション低解像度時間モーメントディジタル画像表現の5セグメントのそれぞれの平均値、分散、およびスキューのうちの一つまたは複数の間の一つまたは複数の誤差を見つける工程を含む。態様によっては、一つまたは複数の誤差は、COLOR9の問い合わせ対象ディジタル画像表現およびファイルディジタル画像表現の一つまたは複数のシーケンスの一つまたは複数の時間的セグメントに対応する、一つまたは複数の問い合わせ対象キーフレームおよび一つまたは複数のファイル・キー・フレームによって生成される。態様によっては、一つまたは複数の誤差は重み付けされ、重み付けは、より外側のセグメントおよびセクションの集合においてよりも、中央のセグメントにおいて時間的により強く、中央のセクションにおいて空間的により強い。
【０１１８】
比較方法152は、第1の比較の結果が適合なしになった場合に方法フローチャート2500を「E」で終了させる分岐要素を含む。比較方法152は、比較方法152の結果が適合ありになった場合に方法フローチャート1900を変換方法153に向かわせる分岐要素を含む。
【０１１９】
態様によっては、比較方法152における適合は、それぞれ、平均値閾値、分散閾値、およびスキュー閾値より小さいメトリックを示す問い合わせ対象平均値とファイル平均値の間の距離、問い合わせ対象分散とファイル分散の間の距離、および問い合わせ対象スキューとファイルスキューの間の距離のうちの一つまたは複数を含む。第1の比較方法152のメトリックは、いくつかの周知の距離生成メトリックのうちのいずれかとすることができる。
【０１２０】
変換方法153aは、問い合わせ対象COLOR9ディジタル画像表現およびファイルCOLOR9ディジタル画像表現から高解像度時間モーメントの集合を抽出する方法を含み、高解像度時間モーメントの集合は、COLOR9ディジタル画像表現の一つまたは複数のシーケンスの時間的セグメントを表わす画像セグメント内の画像の集合のそれぞれについての平均値、分散、およびスキューのうちの一つまたは複数を含む。
【０１２１】
変換方法153aの時間モーメントは変換方法151によって提供される。変換方法153aは、画像の集合および対応する統計モーメントの集合に時系列で索引付けする。比較方法154aは、畳み込みにより各時間的セグメントごとに問い合わせ対象画像集合とファイル画像集合の統計モーメントを比較する。
【０１２２】
比較方法154aにおける畳み込みは、問い合わせ対象およびファイルの、第1の特徴平均値、第1の特徴分散、および第1の特徴スキューのうちの一つまたは複数を畳み込む。態様によっては、畳み込みがクロミナンスの関数として重み付けされる。態様によっては、畳み込みが色相の関数として重み付けされる。
【０１２３】
比較方法154aは、第1の特徴比較の結果が適合なしになった場合に方法フローチャート1900を終了させる分岐要素を含む。比較方法154aは、第1の特徴比較方法153aの結果が適合ありになった場合に方法フローチャート1900を変換方法153bに向かわせる分岐要素を含む。
【０１２４】
態様によっては、第1の特徴比較方法153aにおける適合は、それぞれ、第1の特徴平均値閾値、第1の特徴分散閾値、および第1の特徴スキュー閾値より小さいメトリックを示す問い合わせ対象の第1の特徴平均値とファイルの第1の特徴平均値の間の距離、問い合わせ対象の第1の特徴分散とファイルの第1の特徴分散の間の距離、ならびに問い合わせ対象の第1の特徴スキューとファイルの第1の特徴スキューの間の距離のうちの一つまたは複数を含む。第1の特徴比較方法153aのメトリックは、いくつかの周知の距離生成メトリックのうちのいずれかとすることができる。
【０１２５】
変換方法153bは、問い合わせ対象COLOR9ディジタル画像表現およびファイルCOLOR9ディジタル画像表現の中から、9つの問い合わせ対象ウェーブレット変換係数およびファイルウェーブレット変換係数の集合を抽出する工程を含む。具体的には、9つの問い合わせ対象ウェーブレット変換係数およびファイルウェーブレット変換係数の集合は、COLOR9ディジタル画像表現を備える9つの色表現のそれぞれのグレースケール表現から生成される。態様によっては、グレースケール表現は、COLOR9ディジタル画像表現を備える9つの色表現のそれぞれの対応する輝度表現とおおよそ等価のものである。態様によっては、グレースケール表現は、一般に色域無相関化と呼ばれるプロセスによって生成され、色域無相関化は、COLOR9ディジタル画像表現を備える9つの色表現全体にわたって明るさおよび彩度をおおよそ消去し、または正規化するものである。
【０１２６】
態様によっては、9つのウェーブレット変換係数の集合は、9つの1次元ウェーブレット変換係数の集合、9つの1次元ウェーブレット変換係数の一つまたは複数の非共線集合の集合、および9つの2次元ウェーブレット変換係数の集合のうちの一つである。態様によっては、9つのウェーブレット変換係数の集合は、ハールウェーブレット変換係数の集合およびハールウェーブレット変換係数の2次元集合のうちの一つである。  
【０１２７】
方法フローチャート1900はさらに、9つの問い合わせ対象ウェーブレット変換係数とファイルウェーブレット変換係数の集合を適合させる比較方法154bを提供する。態様によっては、比較方法154bは、9つの問い合わせ対象ウェーブレット変換係数およびファイルウェーブレット変換係数の集合のための相関関数を含む。態様によっては、相関関数が色相の関数として、すなわち、COLOR9ディジタル画像表現を備える9つの色表現のそれぞれの関数として重み付けされる。
【０１２８】
比較方法154bは、比較方法154bの結果が適合なしになった場合に方法フローチャート1900を終了させる分岐要素を含む。比較方法154bは、比較方法154bの結果が適合ありになった場合に方法フローチャート1900を分析方法155a〜156bに向かわせる分岐要素を含む。
【０１２９】
態様によっては、比較方法154bにおける比較は、9つの問い合わせ対象ウェーブレット係数およびファイルウェーブレット係数の集合の間の距離、9つの問い合わせ対象ウェーブレット係数およびファイルウェーブレット係数の選択された集合の間の距離、ならびに9つの問い合わせ対象ウェーブレット係数およびファイルウェーブレット係数の重み付き集合の間の距離のうちの一つまたは複数を含む。
【０１３０】
分析方法155a〜156bは、MPEGビデオ画像およびファイル画像を、それぞれ、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレームに変換し、それぞれ、一つまたは複数のグレー・スケール・ディジタル画像表現サブフレームおよびファイル・グレー・スケール・ディジタル画像表現サブフレームに変換し、一つまたは複数のRGBディジタル画像表現差分サブフレームに変換する工程を提供する。分析方法155a〜156bは、問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現から関連付けられるサブフレームに直接変換する工程を提供する。
【０１３１】
分析方法155a〜156bは、問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現の一つまたは複数の部分を、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレームとして定義する工程、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレームを一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームおよびファイル・グレー・スケール・ディジタル画像表現サブフレームに変換する工程、ならびに一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームおよびファイル・グレー・スケール・ディジタル画像表現サブフレームを正規化する工程を含む、一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームおよびファイル・グレー・スケール・ディジタル画像表現サブフレーム155aを提供する。
【０１３２】
定義する方法は、最初に、一つまたは複数の問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現の各対ごとに同一の画素を定義する工程を含む。変換する方法は、変換を円滑に行わせるために、問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレームの各対から輝度尺度を抽出する工程を含む。正規化する方法は、一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームおよびファイル・グレー・スケール・ディジタル画像表現サブフレームの各対から平均値を減算する工程を含む。
【０１３３】
分析方法155a〜156bはさらに、比較方法155b〜156bを提供する。比較方法155b〜156bは、第2の比較の結果が適合なしになった場合に方法フローチャート1900を終了させる分岐要素を含む。比較方法155b〜156bは、第2の比較方法155b〜156bの結果が適合ありになった場合に方法フローチャート2500を検出分析方法325に向かわせる分岐要素を含む。
【０１３４】
比較方法155b〜156bは、一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームとファイル・グレー・スケール・ディジタル画像表現サブフレームの各対間の位置合わせを提供する工程155b、ならびに一つまたは複数のRGBディジタル画像表現差分サブフレームおよび接続された問い合わせ対象RGBディジタル画像表現の拡張変化サブフレームをレンダリングする工程156a〜bを含む。
【０１３５】
一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームとファイル・グレー・スケール・ディジタル画像表現サブフレームの各対間の位置合わせを提供する方法155bは、一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームとファイル・グレー・スケール・ディジタル画像表現サブフレームの各対間のグレースケール画素差分の絶対値を合計することにより差分絶対値の和（SAD）メトリックを提供する工程、一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームを変換し、スケーリングする工程、ならびに一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームおよびファイル・グレー・スケール・ディジタル画像表現サブフレームの各対ごとの最小SADを繰り返し探し出す工程を含む。方法155bのスケーリングする工程は、一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームを、128×128画素サブフレーム、64×64画素サブフレーム、および32×32画素サブフレームのうちの一つに独立にスケーリングする工程を含む。
【０１３６】
方法155bのスケーリングする工程は、一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームを、720×480画素（480i/p）サブフレーム、720×576画素（576i/p）サブフレーム、1280×720画素（720p）サブフレーム、1280×1080画素（1080i）サブフレーム、および1920×1080画素（1080p）サブフレームのうちの一つに独立にスケーリングする工程を含み、スケーリングは、RGB表現画像から、またはMPEG画像から直接行うことができる。
【０１３７】
一つまたは複数のRGBディジタル画像表現差分サブフレームおよび接続された問い合わせ対象RGBディジタル画像表現の拡張変化サブフレームをレンダリングする方法156a〜bは、位置合わせを提供する方法155bに従って一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームおよびファイル・グレー・スケール・ディジタル画像表現サブフレームを位置合わせする工程、一つまたは複数のRGBディジタル画像表現差分サブフレームを提供する工程、および接続された問い合わせ対象RGBディジタル画像表現の拡張変化サブフレームを提供する工程を含む。
【０１３８】
方法156aにおける一つまたは複数のRGBディジタル画像表現差分サブフレームを提供する工程は、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレーム内のエッジを抑制する工程、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームとファイルRGBディジタル画像表現サブフレームの各対間のRGB画素差分の絶対値を合計することによってSADメトリックを提供する工程、ならびに一つまたは複数のRGBディジタル画像表現差分サブフレームを、対応するSADが閾値を下回る集合として定義する工程を含む。
【０１３９】
抑制する工程は、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレームのエッジマップを提供する工程、ならびに一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレームから、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレームのエッジマップを減算する工程を含み、エッジマップを提供する工程はソボルフィルタ（Sobol filter）を提供する工程を含む。
【０１４０】
方法156aにおける接続された問い合わせ対象RGBディジタル画像表現の拡張変化サブフレームを提供する工程は、一つまたは複数のRGBディジタル画像表現差分サブフレームの集合に対応する一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームの集合を接続し、拡張する工程を含む。
【０１４１】
一つまたは複数のRGBディジタル画像表現差分サブフレームおよび接続された問い合わせ対象RGBディジタル画像表現の拡張変化サブフレームをレンダリングする方法156a〜bは、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームを、128×128画素サブフレーム、64×64画素サブフレーム、および32×32画素サブフレームのうちの一つに独立にスケーリングする方法156a〜bのためのスケーリングする工程を含む。
【０１４２】
方法156a〜bのためのスケーリングする工程は、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームを、720×480画素（480i/p）サブフレーム、720×576画素（576i/p）サブフレーム、1280×720画素（720p）サブフレーム、1280×1080画素（1080i）サブフレーム、および1920×1080画素（1080p）サブフレームのうちの一つに独立にスケーリングする工程を含み、スケーリングは、RGB表現画像から、またはMPEG画像から直接行うことができる。
【０１４３】
方法フローチャート1900はさらに検出分析方法325を提供する。検出分析方法325および関連付けられる検出分類方法124は、ユーザインターフェース110によって制御されるように、適合表示およびビデオドライバ125のためのビデオ検出適合および分類データおよび画像を提供する。検出分析方法325および検出分類方法124はさらに、動的閾値方法335に検出データを提供し、動的閾値方法335は、動的閾値の自動リセット、動的閾値の手動リセット、およびこれらの組み合わせのうちの一つを提供する。
【０１４４】
方法フローチャート1900はさらに第3の比較方法340を提供し、ファイルデータベース待ち行列が空でない場合に方法フローチャート1900を終了させる分岐要素を提供する。
【０１４５】
図20Aに、特徴空間2000におけるK-NN入れ子型独立特徴部分空間の例示的な横断集合を示す。問い合わせ対象画像805はAから開始し、Dのところの目標ファイル画像831まで送られ、特徴空間850と860の境界のところの閾値レベル813のファイル画像832など、適合基準851および852を満たさないファイル画像を除去する。
【０１４６】
図20Bに、問い合わせ対象画像サブフレームにおける変化を伴う、K-NN入れ子型独立特徴部分空間の例示的な横断集合を示す。問い合わせ対象画像805のサブフレーム861と目標ファイル画像831のサブフレーム862とは、特徴空間860および830の境界にあるサブフレーム閾値において適合しない。ファイル画像832との適合が見つかり、新しいサブフレーム832が生成され、ファイル画像831および問い合わせ対象画像805の両方と関連付けられ、目標ファイル画像831のサブフレーム961も新しいサブフレーム832も、ファイルの目標画像832の新しい部分空間集合を備える。
【０１４７】
場合によっては、図1のコンテンツ分析サーバ110はウェブポータルである。ウェブポータルの実施形態は、サービスとして柔軟なオンデマンドの監視を提供することを可能にする。ウェブポータル実施形態は、ウェブアクセスが可能でありさえすればよいため、小容量の参照データボリュームを有するクライアントが、本発明のビデオ検出のシステムおよびプロセスの利点から恩恵を受けることを可能にする。解決策としては、既存のアプリケーションとのシームレスな社内統合のためのMicrosoft. Net Remotingを使用したいくつかのプログラミングインターフェースのうちの一つまたは複数を提供することができる。あるいは、またはこれに加えて、2次コントローラおよび2次信号バッファユニットをインストールすることにより、記録されたビデオデータの長期記憶および運用冗長性を追加することもできる。
【０１４８】
指紋抽出については、参照によりその全体が本明細書に組み入れられる、「Video Detection System And Methods」という名称の、国際特許出願PCT/US2008/060164（国際公開公報WO2008/128143）により詳細に記載されている。指紋比較については、参照によりその全体が本明細書に組み入れられる、「Frame Sequence Comparisons in Multimedia Streams」という名称の、国際特許出願PCT/US2009/035617により詳細に記載されている。
【０１４９】
前述のシステムおよび方法は、ディジタル電子回路として、コンピュータのハードウェア、ファームウェア、および/またはソフトウェアとして実施することができる。コンピュータプログラム製品（すなわち、情報担体において有形的に実施されたコンピュータプログラム）として実施することもできる。例えば、データ処理装置が実行するための、またはデータ処理装置の動作を制御するための機械可読記憶装置として実施することもできる。例えば、プログラマブルプロセッサ、コンピュータ、および/または複数のコンピュータとして実施することもできる。
【０１５０】
コンピュータプログラムは、コンパイルされた言語および/または解釈された言語を含む、任意の形のプログラミング言語で書くことができ、コンピュータプログラムは、独立型プログラムとしてや、サブルーチン、要素、および/またはコンピューティング環境での使用に適する他の単位としての配備を含めて、任意の形で配備することができる。コンピュータプログラムは、1台のコンピュータ上で実行されるように配備することも、または1サイトにおいて複数のコンピュータ上で実行されるように配備することもできる。
【０１５１】
方法の各工程は、入力データに作用し、出力を生成することによって本発明の機能を果たすためのコンピュータプログラムを実行する一つまたは複数のプログラマブルプロセッサによって実行することができる。また、方法の各工程は、専用論理回路によって行うこともでき、装置を専用論理回路として実施することもできる。回路は、例えば、FPGA（フィールド・プログラマブル・ゲート・アレイ）および/またはASIC（特定用途向け集積回路）などとすることができる。その機能を果たすコンピュータプログラム、プロセッサ、専用回路、ソフトウェア、および/またはハードウェアの部分を、モジュール、サブルーチン、およびソフトウェアエージェントと呼ぶこともできる。
【０１５２】
コンピュータプログラムの実行に適するプロセッサには、例えば、汎用と専用両方のマイクロプロセッサや、任意の種類のディジタルコンピュータの任意の一つまたは複数のプロセッサなどが含まれる。一般に、プロセッサは、読取り専用メモリまたはランダム・アクセス・メモリまたはその両方から命令およびデータを受け取る。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための一つまたは複数の記憶装置である。一般に、コンピュータは、データを記憶するための一つまたは複数の大容量記憶装置（例えば、磁気、光磁気ディスク、または光ディスク）を含むことができ、そこからデータを受け取り、かつ/またはそこにデータを転送するように動作可能な状態で結合することができる。
【０１５３】
また、データ伝送および命令は、通信ネットワークを介して行うこともできる。コンピュータプログラム命令およびデータを実施するのに適する情報担体には、例えば、半導体メモリ素子を含む、あらゆる形態の不揮発性メモリが含まれる。情報担体は、例えば、EPROM、EEPROM、フラッシュ・メモリ・デバイス、磁気ディスク、内蔵ハードディスク、取り外し可能ディスク、光磁気ディスク、CD-ROM、および/またはDVD-ROMディスクとすることができる。プロセッサおよびメモリは、専用論理回路によって補うこともでき、かつ/または専用論理回路に組み込むこともできる。
【０１５４】
ユーザとの対話を可能にするために、前述の技法は、表示装置を有するコンピュータ上で実施することができる。表示装置は、例えば、陰極線管（CRT）および/または液晶ディスプレイ（LCD）モニタとすることができる。ユーザとの対話は、例えば、ユーザへの情報の表示や、ユーザがコンピュータに入力を提供する（例えば、ユーザインターフェース要素と対話する）ためのキーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とすることができる。ユーザとの対話を可能にするのに他の種類の機構を使用することもできる。他の機構は、例えば、任意の形の感覚的フィードバックでユーザに提供されるフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）とすることができる。ユーザからの入力は、例えば、音響、音声、および/または触覚入力を含む、任意の形で受け取ることができる。
【０１５５】
前述の技法は、バックエンドコンポーネントを含む分散コンピューティングシステムとして実施することができる。バックエンドコンポーネントは、例えば、データサーバ、ミドルウェアコンポーネント、および/またはアプリケーションサーバとすることができる。前述の技法は、フロントエンドコンポーネントを含む分散コンピューティングシステムとして実施することができる。フロントエンドコンポーネントは、例えば、グラフィカル・ユーザ・インターフェース、ユーザが例示的な実施形態と対話することができるためのウェブブラウザ、および/または送信機器用の他のグラフィカル・ユーザ・インターフェースを有するクライアントコンピュータとすることができる。システムの各構成部分は、任意の形のディジタルデータ通信またはディジタルデータ通信の媒体（例えば、通信ネットワーク）によって相互接続することができる。通信ネットワークの例には、ローカル・エリア・ネットワーク（LAN）、広域ネットワーク（WAN）、インターネット、有線ネットワーク、および/または無線ネットワークが含まれる。
【０１５６】
システムは、クライアントとサーバとを含むことができる。クライアントとサーバは大抵相互に遠く離れており、通常は通信ネットワークを介して対話する。クライアントとサーバの関係は、個々のコンピュータ上で実行される、相互に対してクライアント/サーバ関係を有するコンピュータプログラムによって生じる。
【０１５７】
通信ネットワークには、例えば、パケットベースのネットワークおよび/または回路ベースのネットワークが含まれ得る。パケットベースのネットワークには、例えば、インターネット、キャリア・インターネット・プロトコル（IP）・ネットワーク（例えば、ローカル・エリア・ネットワーク（LAN）、広域ネットワーク（WAN）、キャンパス・エリア・ネットワーク（CAN）、メトロポリタン・エリア・ネットワーク（MAN）、ホーム・エリア・ネットワーク（HAN））、プライベートIPネットワーク、IP構内交換（IPBX）、無線ネットワーク（例えば、無線アクセスネットワーク（RAN）、802.11ネットワーク、802.16ネットワーク、汎用パケット無線サービス（GPRS）ネットワーク、HiperLAN）、および/または他のパケットベースのネットワークが含まれ得る。回路ベースのネットワークには、例えば、公衆交換電話網（PSTN）、構内交換（PBX）、無線ネットワーク（例えば、RAN、ブルートゥース、符号分割多元接続（CDMA）ネットワーク、時分割多元接続（TDMS）ネットワーク、移動体通信のためのグローバルシステム（GSM）ネットワーク）、および/または他の回路ベースのネットワークが含まれ得る。
【０１５８】
通信機器には、例えば、コンピュータ、ブラウザ機構を備えるコンピュータ、電話機、IP電話、モバイル機器（例えば、携帯電話、携帯情報端末（PDA）機器、ラップトップコンピュータ、電子メール機器）、および/または他の種類の通信機器が含まれ得る。ブラウザ機構には、例えば、ワールド・ワイド・ウェブ・ブラウザ（例えば、Microsoft Corporationから入手できるMicrosoft（登録商標） Internet Explorer（登録商標）、Mozilla Corporationから入手できるMozilla（登録商標） Firefox）を備えるコンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ）が含まれる。モバイルコンピューティング機器には、例えば、携帯情報端末（PDA）などが含まれる。
【０１５９】
comprise（備える）、include（含む）、および/またはそれぞれの複数形は非制限的に使用されており、列挙されている部分を含むと共に、列挙されていないさらに別の部分も含むことができる。and/or（および/または）は非制限的に使用されており、列挙されている部分および列挙されている部分の組み合わせのうちの一つまたは複数を含む。
【０１６０】
一般に、ビデオという用語は、動いている場面を表す静止画像、すなわちフレームのシーケンスを指す。よって、ビデオフレーム自体は静止画像である。ビデオおよびマルチメディアという用語は、本明細書において使用する場合、テレビおよびフィルム様式のビデオクリップおよびストリーミングメディアを含む。ビデオおよびマルチメディアは、標準テレビ放送や録画などのアナログ形式と、やはり標準テレビ放送および録画（例えば、DTV）を含むディジタル形式とを含む。ビデオはインターレース方式とすることも、またはプログレッシブ方式とすることもできる。本明細書において説明されるビデオおよびマルチメディアコンテンツは、ディジタルビデオ形式（例えば、DVD）、QuickTime（登録商標）、およびMPEG4、ならびにVHS（登録商標）およびBetamax（登録商標）を含むアナログビデオテープを含む、様々な記憶形式に従って処理することができる。ディジタルテレビ放送の各形式は、MPEG-2ビデオコーデックを使用することができ、ATSC（米国、カナダ）、DVB（欧州）、ISDB（日本、ブラジル）、DMB（韓国）を含む。アナログテレビ放送規格には、FCS（米国、ロシア）、旧MAC（欧州）、旧MUSE（日本）、NTSC（米国、カナダ、日本）、PAL（欧州、アジア、オセアニア）、PAL-M-PALの変形が含まれる。（ブラジル）、PALプラス-PAL拡張（欧州）、RS-343（軍事用）、SECAM（フランス、旧ソ連、中央アフリカ）。また、ビデオおよびマルチメディアは、本明細書において使用する場合、ストリーミング、マルチキャストとは異なりユーザの選択時に開始するビデオを指すビデオ・オン・デマンドも含む。
【０１６１】
当業者は、本発明が、本発明の精神または本質的特徴を逸脱することなく、他の特定の形でも実施され得ることを理解する。したがって、前述の各態様は、あらゆる点で、本明細書において説明される本発明を制限するのではなく例示のためのものであるとみなされるべきである。よって、本発明の範囲は、以上の説明によってではなく添付の特許請求の範囲によって指定されるものであり、したがって、特許請求の範囲と等価の意味および範囲内に該当するあらゆる変更は、特許請求の範囲に包含されるべきものである。
【図１】
2011519454.tif 000007
【図２】
2011519454.tif 000008
【図３】
2011519454.tif 000009
【図４】
2011519454.tif 000010
【図５】
2011519454.tif 000011
【図６】
2011519454.tif 000012
【図７】
2011519454.tif 000013
【図８】
2011519454.tif 000014
【図９】
2011519454.tif 000015
【図１０】
2011519454.tif 000016
【図１１】
2011519454.tif 000017
【図１２】
2011519454.tif 000018
【図１３】
2011519454.tif 000019
【図１４】
2011519454.tif 000020
【図１５】
2011519454.tif 000021
【図１６】
2011519454.tif 000022
【図１７】
2011519454.tif 000023
【図１８】
2011519454.tif 000024
【図１９】
2011519454.tif 000025
【図２０Ａ】
2011519454.tif 000026
【図２０Ｂ】
2011519454.tif 000027
【国際調査報告】
2011519454.tif 000028
2011519454.tif 000029