(57)【要約】メディア環境駆動型コンテンツ配信プラットフォームのための方法は、コンテンツから導出された同期化データ及びコンテンツから導出された同期化データ中の瞬間に固定された補助データを得ること、及びコンテンツから導出された同期化データ及びコンテンツから導出された同期化データ中の瞬間に固定された補助データを通信することによって、コンテンツから導出された同期化データの、コンテンツへののちのアラインメントが、コンテンツから導出された同期化データ中の瞬間に固定された補助データをコンテンツに同期させる、通信することを含む。
2019520011.tif 000002
【特許請求の範囲】
【請求項１】
メディア環境駆動型コンテンツ配信プラットフォームのための装置又は装置群のグループであって、
補助データ及びコンテンツから導出された同期化データを得て、前記補助データを、前記コンテンツから導出された同期化データ中の瞬間に固定することによって、ユーザの敷地での、前記コンテンツから導出された同期化データの、前記コンテンツへののちのアラインメントが、前記コンテンツから導出された同期化データ中の瞬間に固定された前記補助データを前記コンテンツに同期させるよう構成されたプリシンクロナイザ、及び
前記コンテンツから導出された同期化データ及び前記コンテンツから導出された同期化データ中の瞬間に固定された前記補助データをストレージロケーションに通信するよう構成されたトランシーバ
を備える、装置又は装置群のグループ。
【請求項２】
前記プリシンクロナイザは、
前記コンテンツ中の音楽についてのデータ、
前記コンテンツで演じられている台本に関するデータ、
前記コンテンツで登場人物が着ている衣装に関するデータ、
前記コンテンツを記述するデータ、
前記コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、
前記コンテンツの視聴者からのコメントを含むデータ、
前記コンテンツについての情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）を含むデータ、
広告データ、又は
少なくともコンテンツ名又はコンテンツ識別を含む前記コンテンツの統計
の形をとる補助データを受け取るよう構成された
請求項１に記載の装置又は装置群のグループ。
【請求項３】
前記トランシーバは、前記コンテンツから導出された同期化データ及び前記コンテンツから導出された同期化データ中の瞬間に固定された前記補助データを、前記コンテンツの消費者によってアクセス可能なデータベースに通信するよう構成された
請求項１に記載の装置又は装置群のグループ。
【請求項４】
前記トランシーバは、前記コンテンツから導出された同期化データ及び前記コンテンツから導出された同期化データ中の瞬間に固定された前記補助データを、前記コンテンツの消費者によってアクセス可能なストレージロケーションに通信するよう構成され、
前記プリシンクロナイザは、前記ストレージロケーションへのリンクを作るよう構成された
請求項１に記載の装置又は装置群のグループ。
【請求項５】
前記コンテンツから導出された同期化データを作るよう構成されたオーディオプロセッサ
を備え、
前記トランシーバは、前記コンテンツから導出された同期化データ及び前記コンテンツから導出された同期化データ中の瞬間に固定された前記補助データを、前記コンテンツの消費者によってアクセス可能なストレージロケーションに通信するよう構成され、
前記プリシンクロナイザは、前記ストレージロケーションへのリンクを作るよう構成され、
前記プロセッサは、前記ストレージロケーションへの前記リンクを、前記コンテンツのメタデータに挿入するよう構成された
請求項１に記載の装置又は装置群のグループ。
【請求項６】
前記プリシンクロナイザは、前記コンテンツの以前の再生又は実演の間に前記補助データを収集し、前記補助データを、前記コンテンツ中の瞬間に対応する、前記コンテンツから導出された同期化データ中の瞬間に固定するよう構成される
請求項１に記載の装置又は装置群のグループ。
【請求項７】
前記コンテンツから導出された同期化データを作り、前記コンテンツから導出された同期化データを前記プリシンクロナイザに送るよう構成されたプロセッサ
を備える請求項１に記載の装置又は装置群のグループ。
【請求項８】
前記コンテンツのオーディオのオーディオ波形シグネチャを作ることによって、前記コンテンツから導出された同期化データを作るよう構成されたオーディオプロセッサ
を備える請求項１に記載の装置又は装置群のグループ。
【請求項９】
前記補助データを、前記コンテンツから導出された同期化データ中の瞬間に固定するために、前記コンテンツの再生又は実演の間に補助データを収集するよう構成されたオーサリングツール
を備える請求項１に記載の装置又は装置群のグループ。
【請求項１０】
メディア環境駆動型コンテンツ配信プラットフォームのための装置又は装置群のグループであって、
コンテンツ、前記コンテンツから導出された同期化データ、及び前記コンテンツから導出された同期化データ中の瞬間に固定された補助データを得るよう構成されたトランシーバ、及び
前記コンテンツから導出された同期化データを、前記コンテンツにアラインすることによって、前記コンテンツから導出された同期化データ中の瞬間に固定された前記補助データを前記コンテンツに同期させるよう構成されたポストシンクロナイザ
を備える装置又は装置群のグループ。
【請求項１１】
前記トランシーバは、
前記コンテンツ中の音楽についてのデータ、
前記コンテンツで演じられている台本に関するデータ、
前記コンテンツで登場人物が着ている衣装に関するデータ、
前記コンテンツを記述するデータ、
前記コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、
前記コンテンツの視聴者からのコメントを含むデータ、
前記コンテンツについての情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）を含むデータ、
広告データ、又は
少なくともコンテンツ名又はコンテンツ識別を含む前記コンテンツの統計
の形をとる補助データを受け取るよう構成された
請求項１０に記載の装置又は装置群のグループ。
【請求項１２】
前記コンテンツから導出された同期化データ中の瞬間に前記補助データを固定するために、前記コンテンツの再生又は実演の間に補助データを収集するよう構成されたインタラクションツール
を備える請求項１０に記載の装置又は装置群のグループ。
【請求項１３】
前記トランシーバから前記コンテンツを受け取り、前記コンテンツのメタデータから、前記コンテンツから導出された同期化データ及び前記コンテンツから導出された同期化データ中の前記瞬間に固定された前記補助データが記憶され、前記コンテンツの消費者によってアクセス可能であるストレージロケーションへのリンクを抽出するよう構成されたプロセッサ
を備え、
前記トランシーバは、前記コンテンツから導出された同期化データ、及び前記コンテンツから導出された同期化データ中の前記瞬間に固定された前記補助データを前記ストレージロケーションから得るよう構成された
請求項１０に記載の装置又は装置群のグループ。
【請求項１４】
前記コンテンツを前記コンテンツから導出された同期化データと比較することによって前記コンテンツを特定するよう構成されたプロセッサを備える
請求項１０に記載の装置又は装置群のグループ。
【請求項１５】
前記コンテンツから導出された同期化データが前記コンテンツにアラインしていることに依拠して、前記コンテンツの提示と同時に前記補助データを表示するよう構成されたインタラクションツールを備える
請求項１０に記載の装置又は装置群のグループ。
【請求項１６】
メディア環境駆動型コンテンツ配信プラットフォームのための装置又は装置群のグループであって、
前記コンテンツから導出された同期化データ及び前記コンテンツから導出された同期化データ中の瞬間に固定された補助データを記憶することによって、前記コンテンツから導出された同期化データの、前記コンテンツへののちのアラインメントが、前記コンテンツから導出された同期化データ中の瞬間に固定された前記補助データを前記コンテンツに同期させるよう構成されたデータベース、及び
前記コンテンツから導出された同期化データ及び前記コンテンツから導出された同期化データ中の瞬間に固定された前記補助データを通信するよう構成されたトランシーバ
を備える装置又は装置群のグループ。
【請求項１７】
前記データベースは、前記コンテンツののちの再生又は実演の間に、前記補助データを受け取り、記憶し続け、前記補助データは、前記のちの再生又は実演の間に、前記コンテンツ中の瞬間に対応する前記コンテンツから導出された同期化データ中の瞬間に固定される
請求項１６に記載の装置又は装置群のグループ。
【請求項１８】
メディア環境駆動型コンテンツ配信プラットフォームのための方法であって、
前記コンテンツから導出された同期化データ及び前記コンテンツから導出された同期化データ中の瞬間に固定された補助データを得ること、及び
前記コンテンツから導出された同期化データ及び前記コンテンツから導出された同期化データ中の瞬間に固定された前記補助データを通信することによって、前記コンテンツから導出された同期化データの、前記コンテンツへののちのアラインメントが、前記コンテンツから導出された同期化データ中の瞬間に固定された補助データを前記コンテンツに同期させる、通信すること
を含む方法。
【請求項１９】
前記補助データを収集すること、記憶すること、取り出すこと、又は表示することのうちの少なくとも１つを含み、前記補助データは、
前記コンテンツ中の音楽についてのデータ、
前記コンテンツで演じられている台本に関するデータ、
前記コンテンツで登場人物が着ている衣装に関するデータ、
前記コンテンツを記述するデータ、
前記コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、
前記コンテンツの視聴者からのコメントを含むデータ、
前記コンテンツについての情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）を含むデータ、
広告データ、又は
少なくともコンテンツ名又はコンテンツ識別を含む前記コンテンツの統計
を含む
請求項１８に記載の方法。
【請求項２０】
前記補助データを前記コンテンツから導出された同期化データ中の前記瞬間に固定すること、及び
前記コンテンツから導出された同期化データ及び前記コンテンツから導出された同期化データ中の前記瞬間に固定された前記補助データをデータベースに記憶すること
を含む
請求項１８に記載の方法。
【請求項２１】
前記コンテンツの再生又は実演の間に前記補助データを収集すること
を含み、
前記コンテンツから導出された同期化データは、前記再生又は実演の間に前記コンテンツから導き出され、
前記補助データは、前記再生又は実演の間に、前記コンテンツ中の瞬間に対応する前記コンテンツから導出された同期化データ中の前記瞬間に固定される
請求項１８に記載の方法。
【請求項２２】
前記コンテンツのオーディオのオーディオ波形シグネチャを作ることによって、前記コンテンツから導出された同期化データを作ること、及び
前記コンテンツから導出された同期化データ及び前記コンテンツから導出された同期化データ中の前記瞬間に固定された前記補助データを記憶すること
を含む
請求項１８に記載の方法。
【請求項２３】
前記コンテンツから導出された同期化データを作り、前記補助データを前記コンテンツから導出された同期化データ中の瞬間に固定すること、
前記コンテンツから導出された同期化データ及び前記コンテンツから導出された同期化データ中の瞬間に固定された前記補助データを、ストレージロケーションに記憶すること、及び
前記ストレージロケーションへのリンクを作ること
を含む
請求項１８に記載の方法。
【請求項２４】
前記コンテンツから導出された同期化データ及び前記コンテンツから導出された同期化データ中の瞬間に固定された前記補助データを、ストレージロケーションに記憶すること、
前記ストレージロケーションへのリンクを作ること、及び
前記リンクを前記コンテンツのメタデータ中に挿入すること
を含む
請求項１８に記載の方法。
【請求項２５】
前記コンテンツを前記コンテンツから導出された同期化データと比較することによって前記コンテンツを特定すること
を含む
請求項１８に記載の方法。
【請求項２６】
前記コンテンツから導出された同期化データ中の瞬間に固定された前記補助データを前記コンテンツのオーディオに同期させるために、前記コンテンツから導出された同期化データが前記コンテンツのオーディオにアラインしていることに依拠して、前記コンテンツの提示と同時に前記補助データを表示すること
を含む
請求項１８に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
メディアコンテンツは、制作され、処理され、それから消費者へ伝送される。伝統的なメディアコンテンツに加えて、電子通信技術の発展おかげで、コンテンツに関連した、又はコンテンツを向上させる補助データの大量伝達が可能になった。例えば、インスタントメッセージングのような技術は、大人数の人に電子情報を非常に速く伝達する媒体を提供する。例えばパーソナルコンピュータ、携帯電話、パーソナルデジタルアシスタント、スマートフォン、及びテレビセットトップボックス（例えばケーブルセットトップボックス、サテライトセットトップボックス等）を含む電子デバイスは、情報の消費者に即時のアクセスを提供する。現代の通信技術を介して伝達され得る補助データのタイプ及びコンテンツは、さまざまであり、個人情報から広告まで全てを含む。補助データは、単純なテキストからグラフィックスや動画や多数のデータレイヤを包含するコンテンツまで、さまざまな形態をとり得る。
【０００２】
しかし現在の技術には、そのような補助データを管理して、効率的な、スケーラブルな、かつ正確にアラインされたやり方で消費者が補助データにアクセス可能にするには欠点がある。さらに現在の技術は、補助データに対する消費者の関心について適切な分析手法を提供するには欠点がある。
【発明の概要】
【課題を解決するための手段】
【０００３】
本開示は、これらの課題に対応するための方法及びシステムを提供する。本開示は、任意のタイプの番組制作（娯楽、スポーツ、ニュース等）から、任意の局面の任意のタイプの制作情報の価値のあるレイヤに対応する補助データを抽出及び発掘し、そのレイヤを番組自身の中で利用可能にする（例えば放送、ストリーミング、ラジオ等）方法及びシステムを提供する。
【０００４】
補助データは、コンテンツの制作された物理的形態に対して、時間／フレーム／サンプルで同期され得る。このコンテンツは、実時間であってもよく非実時間であってもよい。ここで開示された本発明は、補助データ同期化のためのデュアルパスを利用し、間接的な接続及び障害（roadblock）に対するデータのバイパスを可能にする。ライブイベント及びデータベースに記憶されたイベントを比較するローカルフィンガープリンティングを追加することは、同期化メカニズムを提供し、データのフィードバックを可能してデータベースにアップデートと追加の新情報とを提供する。
【０００５】
ユーザは、情報ルックアップ、ストアフロントモデルとしてのコンテンツを通した取引活動、ブランド及び製品配置に関わるブランド同期化、広告サーバ情報収集、オフライン配信及び他のソーシャルプラットフォーム等への仲介にわたる補助データにそれから関わる（人間及び機械のレベルでの活動）。補助データは、チャネル化されることによって、それぞれのチャネルが異なるアプリケーションの意図のために他とは独立して仲介され得る。最後に、本方法及びシステムは、データ分析が、これらの活動に関して収集及び総計され、関係者に利用可能にされることを可能にする。
【０００６】
添付の図面は、明細書に組み込まれて、その一部を構成するが、本発明の局面のさまざまな例示的実施形態を示す、さまざまな例示的システム、方法等を示す。図面中の図示された要素の境界（例えば四角形、四角形のグループ、又は他の形状）は、境界の１つの例を表すことが理解されよう。当業者は、１つの要素が複数の要素として設計されたり、複数の要素が１つの要素として設計されたりし得ることを理解するだろう。他の要素の内部要素として示される要素が、外部要素として実現されてもよく、その逆も可能である。さらに要素は、正しい縮尺では図示されていない。
【図面の簡単な説明】
【０００７】
【図１】図１は、メディア環境駆動型コンテンツ配信プラットフォームのための例示的システムのブロック図を示す。
【図２】図２は、コンテンツに補助データを同期させる例示的方法の概略図を示す。
【図３】図３は、ブロードキャスタにおける詳細を含む例示的システムのブロック図を示す。
【図４】図４は、消費者における詳細を含む例示的システムのブロック図を示す。
【図５】図５は、ストレージロケーションにおける詳細を含む例示的システムのブロック図を示す。
【図６】図６は、オーディオを含むコンテンツに補助データを同期させる例示的方法のフロー図を示す。
【図７】図７は、オーディオを含むコンテンツに補助データを同期させる例示的方法のフロー図を示す。
【図８】図８は、オーディオを含むコンテンツに補助データを同期させる例示的装置のブロック図を示す。
【発明を実施するための形態】
【０００８】
図１は、メディア環境駆動型コンテンツ配信プラットフォームのための例示的システム１０のブロック図を示す。システム１０は、３つの主要な要素を含み、すなわちブロードキャスタ２０、消費者３０、及びストレージロケーション４０である。図２は、ブロードキャスタ２０、消費者３０、及びストレージロケーション４０が互いに通信する媒体Ｍも示す。
【０００９】
図１は、コンテンツ１を示し、映画、テレビ番組、スポーツイベント（例えばバスケットボールの試合）、インターネット動画、ラジオ等であり得る。図１は、補助データ７も示す。補助データ７は、コンテンツとなんらかのかたちで関連したデータであり、コンテンツ名又はコンテンツ識別データのようなコンテンツを記述するデータ、コンテンツで演じられている台本に関するデータ、コンテンツで登場人物が着ている衣装に関するデータ、コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、コンテンツに関する情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）、コンテンツのオーディオ中の音楽に関するデータ等を含み得る。補助データ７は、広告データのような営業用データを含み得る。補助データ７は、コンテンツの視聴者からのコメント（例えばツイッターメッセージ等）のようなユーザデータも含み得る。補助データ７は、例えばコンテンツオーディオのラウドネス又はダイナミックレンジスケーリングを含む、コンテンツのオーディオの統計のようなプロフェショナルな又はテクニカルなデータも含み得る。上の例からわかるように、補助データ７を構成するものは、さまざまであり、多くの異なるソースから集められ得る。
【００１０】
説明の容易さのために、本開示は、要素２０をブロードキャスタ２０として参照するが、要素２０は、ブロードキャスタ又はブロードキャスティングする施設又は機器には限定されない。実際には、ブロードキャスタ２０は、送信又は放送のための再生の前に、又はその間にコンテンツ１を加工する制作、編集、クオリティコントロール、又はマスタリングの機器のような任意の施設又は機器を表し得る。
【００１１】
同様に、説明の容易さのために、本開示は、要素３０を消費者３０として参照するが、消費者３０は、消費者又は消費者の敷地又は機器に限定されない。実際には、消費者３０は、送信又は放送のための再生の前に、又はその間にコンテンツ１を加工する任意の敷地又は機器を表し得る。
【００１２】
また媒体Ｍは、例えば、インターネット、衛星通信、ラジオ通信、テレビジョン通信（放送又はケーブル）等のような、コンテンツ１又はデータを送信するのに一般に用いられる任意の媒体であり得る。図では媒体Ｍは、ブロードキャスタ２０、消費者３０、及びストレージロケーション４０によって共有されているように示されているが、これら要素の間の通信は、同じ媒体内で行われなければならないことはない。よって例えば、ブロードキャスタ２０は、消費者３０と衛星を介して通信し得て、一方、ブロードキャスタ２０は、ストレージロケーション４０とインターネットを介して通信し得る。
【００１３】
図１の例では、ブロードキャスタ２０は、コンテンツ１を消費者３０に送信し、補助データ７及び同期化データ９を記憶のためにストレージロケーション４０に送信する。消費者３０は、コンテンツ１をブロードキャスタ２０から受け取り、補助データ７及び同期化データ９をストレージロケーション４０から受け取る。興味深いことに、消費者３０は、補助データ７及び／又は同期化データ９をストレージロケーション４０に送信してもよい。よってシステム１０は、消費者３０による双方向通信を提供する。つまり消費者３０は、補助データ７の作成に参加し得て、補助データ７、システムの機能、ひいてはカスタマーエクスペリエンスを向上し得る。
【００１４】
発生する大きな問題は、同期化であり、実際問題としては、どのくらい正確に補助データ７がコンテンツ１に時間軸上で位置合わせされているかが問題である。コンテンツ及び補助データの同期化の現在の方法は、コンテンツのソースとターゲット又は消費者との間の明示的データ関連性（explicit data connection）を必要とする。この明示的データ関連性は、タイミングを消費者の敷地にある機器に伝える。この方法もふつうは、ソース又はコンテンツプロバイダからターゲット又は消費者への一方向であり、これは１つの限界である。同期化の他の現在の方法は、コンテンツに添付されたメタデータに依存するが、このメタデータは、信号チェーンを通してソース又はコンテンツプロバイダからターゲット又は消費者までずっと存在する保証はなく、それは、異なる施設は、メタデータを必ずサポートするという保証はない、さまざまなワークフローを用いるからである。
【００１５】
図２は、補助データ７をコンテンツ１に同期させる例示的方法の概略図を示す。このプロセスは、補助データ７をコンテンツ１の物理的形態に対してアラインさせ、典型的には、それが劇場でのものであれ、又はテレビ放送であれ、完成された番組に対してアラインさせる。以下に詳述するように、このアラインメントは、実時間で、又は非実時間で起こり得る。
【００１６】
非実時間環境では、アラインメントは、編集判断リスト（editorial decision list）又はＥＤＬとして知られる記録に従って起こり得る。ＥＤＬは、コンテンツの非実時間の形態を作るために発生した全てのイベントの記録である。これらのイベントは、元のスクリプトレイアウトに従ってグループ分けされ得るが、編集判断に基づいてリシャッフルされ、使用され、又は使用されないことがあり得る。ＥＤＬは、例えば、ＸＭＬ又はＡＡＦを含む、さまざまなフォーマットでやりとりされている。これらフォーマットのいずれも、リニアシステムでの従来のＥＤＬよりも、ずっと豊富なメタデータを含んでいる。イベント配置、オーダリング、及び持続期間に加えて、これらフォーマットは、用いられるコンテンツクリップのそれぞれについての全てのソース情報も含む。ＥＤＬ中の情報は、フレーム番号、シーン番号、アクト、イベント、ブロードキャストセグメント（例えばコマーシャルブレイクエントリポイント）、キャラクタ、ショットタイプ、説明文、スクリプトレファレンス、音楽、及び他の制作データを含み得る。ＥＤＬは、コンテンツ中のビジュアル及びオーディオのイベントの境界の表現なので、コンテンツにアラインされた全ての補助データ（自動で又は手動で）もまたフレーム／時間同期されている。
【００１７】
実時間環境の場合、データレイヤは、より動的であり、全体的なプログラムモデルに対して予めアラインされた情報の概念を中心として構築される。しかしどこでアラインメントが起きるかの具体的なことは、実際に放映されたタイムコードの、異なる伝達仕様を満足するためのプログラムランタイム又はタイムコードとして特定された予め定めた０スタート又は１スタートのレンジに対する三角測量によって発生する。これらプログラムランタイム又はタイムコードは、放送又はＯＴＴであり、又はもし外国及び国内の放送の要件を満たすために、プログラムのフレームレートが変換されているなら、全体のプログラム持続時間及びフレーム境界が変化し得る。アラインされるべき補助データは、プリステージアラインメントから、又はスポーツ統計又はニュース統計のようなアグリゲーションフィードからであり得る。
【００１８】
上記アクティビティの全ては、広範なクラウドベースの正規化されたオブジェクト指向のデータベースモデルによって支えられている。このデータベースは、階層的モデリングによってサポートされる関係の支配から離れるように構築されており、その代り、データのそれぞれを、実質的に平坦化され、それら自身のブロブ（blob）上に存在するオブジェクトとして扱う。これらデータのブロブは、所定の関係アラインメントによって支配される任意の関係モデル、黙示的判断ロジックによって動機付けが与えられる自動関係アラインメント、プログラムによるアサインメントによって動機付けが与えられる手動で駆動される関係アラインメント、又は外部イベント又はトリガによって駆動されるオンザフライの関係モデルにおいてアラインされ得る。全ての場合において、データブロブ内のデータのそれぞれのピースは、データに三角測量を施すとき、データを拡張するとき、又はデータを改変するとき、キーコードとして用いられる内部識別子が割り当てられる。
【００１９】
システム１０は、メディア環境駆動である。これは、補助データが、メディア環境に基づいて、具体的にはメディア環境状態の変化に基づいて配信されることを意味する。消費者又はユーザは、ユーザ／消費者が体験しているメディア環境に対応する補助データを受け取る。最も単純な例は、ビデオ及びオーディオを持つ映画の例である。
【００２０】
図２は、コンテンツ１を示し、図示された実施形態においてこれは、ビデオ３及びオーディオ５と、補助データ７とを含む。補助データ７ａは、コンテンツ１の時刻txにアラインさせられる（すなわちこの時刻において現れるか、又はこの時刻に関連する）。補助データ７ｂ及び７ｃは、コンテンツ１の時刻tx+1に現れるか又は関連する。補助データ７ｄ及び７ｅは、時刻tx+2に現れるか又は関連する。補助データ７ｆは、コンテンツ１の時刻tx+3に現れるか又は関連し、補助データ７ｇは、時刻tx+4に現れるか又は関連する。
【００２１】
例えば、txにおける補助データ７ａは、コンテンツ名True Blood、シーズン２、エピソード２を示し得る。時刻tx+1において（例えば１２分２秒において）補助データ７ｂは、Anna Paquinによって演じられるSookie StackhouseがManolo Blahnik Hangisi 105サテンポンプシューズを履いていることを記述し、一方で、補助データ７ｃは、音楽がロンドン交響楽団によって演奏されたベートーベンの月光ソナタであることを示す。補助データ７ｄ及び７ｅは、時刻tx+2において受け取られたツイッターメッセージであり得て、これらメッセージの中でユーザは、コンテンツ１又はコンテンツ１中の特定のシーンに対する彼らの反応を表現している。補助データ７ｆは、コマーシャルのための中断によるコンテンツオーディオの指定されたラウドネス又はダイナミックレンジスケーリングのtx+3における変化を示し得る。補助データ７ｇは、コマーシャルのための中断からコンテンツ１への復帰によるコンテンツオーディオの指定されたラウドネス又はダイナミックレンジスケーリングのtx+4における変化を示し得る。
【００２２】
しかし環境状態の変化に基づくコンテンツ配信の概念は、映画には限定されない。例えばバーチャルリアリティ（ＶＲ）及びオーグメンテッドリアリティ（ＡＲ）は、その特徴において、デバイスそのものの結果としての位置データに基づく。ＶＲの場合、ＶＲゴーグルを付けた頭の回転であり得て、又はＶＲ可能な電話なら左から右へ、上下に動かすことがクラウドからユーザ／消費者へ特定の補助データを配信することをトリガする。
【００２３】
著作者（authorship）又はコレクション（collection）について、補助データ７は、コンテンツ１の再生、放送、配信、又は実演の前に獲得又は収集され得る。例えば、補助データ７は、コンテンツ１の制作、編集、クオリティコントロール、又はマスタリングの間に獲得又は収集され得る。補助データ７は、コンテンツ１の再生、放送、配信、又は実演の間にも獲得又は収集され得る。例えば、もしコンテンツ１がテレビ番組であるなら、補助データ７は、テレビ番組の第１回目の又はそれ以降の放送の間に、又は反復する視聴の場合はそれ以後の任意の時に、獲得又は収集され得る。
【００２４】
スクリプト、プログラムアウトライン、プログラムランダウン、アズランのログ（as-run log）、ゲーム又はニュースプログラムテンプレート等のような、作成されるべきコンテンツの任意の形態のプランニングは、インデキシングがなされる。これらスクリプト又はプログラムアウトラインは、プログラムレベルデータを究極的には割り当てる、ある順序に従った構造的なレイアウトを形成する。スクリプトインデキシングの場合は、全てのシーンレベルデータがインデキシングされ得る。これは、キャラクタ、プロップ（props）、セット情報等のような情報である。
【００２５】
スクリプト分析のプロセスの一部として、スクリプトは、シーン及び番号、ロケーション、一日の中の時刻（ストーリー中）、登場人物、注釈（対話時の感情又は状態）及び対話、アクションの説明及び遷移、ページ番号及び持続時間（スクリプト期間で１／８ページ）及び推定リールタイムであるその一般的な業界要素に基づいて、パースされ、カタログ化される。それぞれの登場人物は、必要ならそれぞれについて、推定時間に割り当てられた会話速度（語／分）を有し得る。
【００２６】
それぞれの要素は、完全にインタラクティブなデータベースの一部になり、それぞれの要素は、追跡され、ユーザに対して、誰が、何を、どこで、及びいつ所望のデータが全体のストーリーライン中にあるかについてグラフィックで示される。全ての関係の順列に加えて、感情分析が「アクション」及び「対話」の部分の「ブロック」単位で、登場人物単位でなされることによって、登場人物ごとの対話の話されたブロックごとの変化を、又はシーン及び番組の全体で、追跡し得る。複数のエピソードシリーズにわたるストーリーアーク（story arcs）と共に、バージョンが比較され得る。ユーザ対話性に加えて、全てのクエリーは、データベース構造の全体において、さらなるダウンストリームでの使用のために、構造化されたＸＭＬとしてエクスポートされるレスポンスを有し得る。オーディオ計測の他の形態は、任意の対話入力で与えられ、所与のソースのバージョンを比較するのに用いられる「１秒当たりの音素」のようなビジュアルオーバーレイとして使用及び追跡され得る。この同じメタデータは、拍（ＢＰＭ）に対して音素をマッピングするときの音楽選択のために相互に関連付けられ得る。
【００２７】
プリプロダクション又はポストプロダクションで入力されるデータは、手入力のモデルから、データのトロイの木馬として働く内部アプリケーションから、又はアフィリエイトパートナーのアプリケーションからのいずれかをソースとされ得る。これらデータ流入の点は、コンテンツに対してアラインされ得る。結果は、獲得された全てのプロダクションデータのインベントリストレージロケーションである。収集された情報のそれぞれは、コードの内部セット又はＧＵＩＤ（グローバル一意識別子）が割り当てられることによって、それらは仮想的にダウンストリームにマッピングされ得る。
【００２８】
記憶及び配信について、収集された補助データ７は、コンテンツ１の将来のユーザ又は視聴者にアクセス可能にされ得るデータベース中に記憶され得る。このようにして、コンテンツ１がそれらのユーザ又は視聴者に後に配信されるとき、補助データ７は、コンテンツ１と同じ時刻において消費のために、それらのユーザ又は視聴者に利用可能であり得る。同様に、消費者データが収集された場合は、収集された補助データ７は、例えばブロードキャスタ又は広告主がアクセス可能にされるのと同じ又は異なるデータベースに記憶され得る。補助データ７は、コンテンツ１と時間軸上で位置合わせされているように見え、又はそのように明示する。
【００２９】
配信は、例えばオープン／アクティブＡＰＩ、オープン／パッシブＡＰＩ、ＡＣＲ、又はキーコード挿入のようなものを用いてアラインされた補助データを暴露することを含み得る。
【００３０】
オープン／アクティブＡＰＩは、プレイバックモードで消費者のコンテンツとのインタラクションによって駆動されるリアルタイムイベントクエリをサポートする。アプリケーション又はアクティブプレイバックとアラインされたアプリケーションを見るアクティブプレイバックコンテンツは、直接にクエリーをこのウェブサービスに送り、それらのデータを取得し得る。ウェブサービスは、稼働中のタイムコード又は静的なタイムコードに対して働く。情報への暴露は、チャネル化／制限され得て、特定のサブスクライバが特定のチャネルにアクセスできるようにする。
【００３１】
オープン／パッシブＡＰＩは、他のアプリケーション又は他の非コンテンツ駆動アクセスモデルによって駆動されるオフラインイベントクエリーをサポートする。このレイヤは、許可を有する事実上、任意のサブスクライバアプリケーションによってもアクセスされ得るが、この意図は、非アクティブプレイバックモデルにおいてデータを取得することである。
【００３２】
ＡＣＲモデルは、図１を参照してより詳細に以下で説明される。本質的に、ＡＣＲモデルは、コンテンツを特定し、関連する補助データを取得するために、フィンガープリントを使用することを伴う。ＡＣＲモデルは、テレビジョン放送又は映画のようなメディアの録音されたものからのローオーディオストリームを利用し、時間ベースのコンテンツ特定のために後に用いられ得るデータの一意的なセット――「指紋」−−を作り出す音響指紋生成技術を含み得る。生成されたそれぞれのＡＣＲ指紋は、メディア１個を特定し、当該メディア内の時刻を特定する。以下で説明されるように、ＡＣＲモデルは、サーバ（ブロードキャスタ）側及びクライアント（消費者）側の両方に要素を有する。サーバ側要素は、与えられたメディアについての音響指紋を生成することを担い、クライアント「聴取」側は、クライアントデバイスのマイクから入るオーディオをキャプチャし、これを同じＡＣＲモデルを用いて指紋に変換し、及びこれを指紋群のセットと比較してメディア時間位置を求めることを担う。ＡＣＲ技術は、プリレコーデッド及び実時間のシナリオで用いられ得る。
【００３３】
プリレコーデッドのシナリオでは、ＡＣＲサーバは、コンテンツ指紋群のセットを予め生成し、それらを関連付けられた補助データと共にデータベースに記憶する。クライアントアプリケーションは、後で、これら指紋をデータベースから、登場人物、コスチューム、広告等のような関連する補助データと共にロードする。クライアントアプリケーションは、それからクライアントデバイス上のマイクから音を聞き、入力オーディオストリームについての指紋を生成し始める。指紋が生成される時、それらは、そのメディアについて予め生成された指紋と比較され、指紋がうまく一致すると、そのメディアの既知の時刻は、コンテンツを補助データに同期させるのに用いられ、例えばその時点で画面上に映っている俳優についての情報を表示することができる。
【００３４】
実時間のシナリオでは、放送局のようなオーディオソースは、１以上のオーディオストリームをＡＣＲサーバに提供する。それぞれのストリームは、独立して識別され、時間にわたってフィンガープリンティングがなされ、生成された指紋は、チャネル、ショウ等のようなストリーム識別情報と共にデータベースに発行される。クライアントアプリケーション又は消費者には、これら指紋が実時間で提供され、同じアルゴリズムを用いてマイクに入ってくるオーディオをブロードキャスタ又はサーバから実時間で送られている指紋と照合する。識別がなされると、クライアントアプリケーションは、適切なエクスペリエンスを消費者に提供し得る。
【００３５】
いずれのシナリオにおいても、デバイス上の指紋が、サーバによって生成された指紋のうちの１つとうまく一致した時には、アプリケーションは、視聴されているメディア及びそのメディア内の時刻オフセットの両方を求められている。エンドユーザエクスペリエンスに加えて、この情報は、それからデータ分析採集のためにウェブサービスに対して公開され得る。
【００３６】
キーコード挿入モデル（Key-code insertion model）は、使用モデルに依存して、ＧＵＩＤをプログラムストリーム、ＶＡＮＣ、又はオーディオストリームへ挿入することを可能にする。これらキーは、コンテンツにアラインされたメタデータに対応し、オープンＡＰＩを通じて認証されている。これらキーコードは、特定のキーコードに対して割り当てられた実データに対する参照点である。これらキーコードは、セキュアであり、ソースシステムによってのみ理解される。キーコードは、情報の任意の構造的なものを指し示す（point back）ために用いられ得る。例えば、特定の登場人物が着ているドレスについてのキーコードは、そのドレスについてのメタデータの広範なセットに関連し得て、そのメタデータに関連してアクションを取る能力を有し、コスチュームデータチャネルの下で情報の一部としてドレスロール（dress role）を有する。
【００３７】
アーキテクチャの最後のレイヤは、データ分析である。このレイヤは、コンテンツの補助データとの任意のインタラクション、及びコンテンツの特定のものに対するそのインタラクションの関係、及び／又はコンテンツの視聴におけるそのインタラクションが起きた場所を追跡及び記録できる。
【００３８】
図２の例では、コンテンツ１は、ビデオ３及びオーディオ５を含む。図２は、オーディオ波形シグネチャの形態であるコンテンツ１のオーディオ５の表現（representation）に対応する同期化データ９も図示する。同期化データ９は、少なくともオーディオ５が時間ｔに沿って同期化データ９から特定可能である程度において、コンテンツ１のオーディオ５と一致する。図１の実施形態において、補助データ７は、補助データ７が位置合わせされているオーディオ５の瞬間に対応する、同期化データ９の瞬間において、それぞれ同期化データ９に固定されている（pegged）。
【００３９】
図２の例では、補助データＡは、コンテンツ１の時刻txに対応する同期化データ９の瞬間に固定されている。補助データ７ｂ及び７ｃは、コンテンツ１の時刻tx+1に対応する同期化データ９の瞬間に固定されている。補助データ７ｄ及び７ｅは、時刻tx+2に対応する同期化データ９の瞬間に固定されている。補助データ７ｆは、コンテンツ１の時刻tx+3に対応する同期化データ９の瞬間に固定され、補助データ７ｇは、コンテンツ１の時刻tx+4に対応する同期化データ９の瞬間に固定されている。
【００４０】
補助データ７及び同期化データ９のそれぞれは、コンテンツ１の将来のユーザ又は視聴者にアクセス可能にされ得るデータベースにそれから記憶され得る。このようにして、コンテンツ１がそれらのユーザ又は視聴者に配信されるとき、同期化データ９に固定された補助データ７と共に、同期化データ９は、それらユーザ又は視聴者に利用可能であり得る。
【００４１】
ユーザの敷地において、受け取られているコンテンツ１は、コンテンツ１を同期化データ９に同期させるために、同期化データ９とリアルタイムで比較され得る。さらに、補助データ７は、コンテンツ１のそれぞれの時刻に対応する同期化データ９の瞬間に固定されているので、補助データ７は、明示的タイミングデータがないにもかかわらず、コンテンツ１に同期され得る。
【００４２】
図２の上の例は、補助データ７をコンテンツ１に同期させる潜在的な方法のうちの１つの例に過ぎない。補助データ及びメディアコンテンツの間の関係を作る任意の他の技術が用いられ得る。補助データをコンテンツに同期させるのに用いられ得る他の技術は、クローズドキャプション品質管理製品によって用いられる音声転写アラインメントを含む。
【００４３】
図３は、ブロードキャスタ２０における詳細を含む例示的システム１０のブロック図を示す。図示された実施形態において、ブロードキャスタ２０は、補助データ７を同期化データ９（例えば図１のコンテンツ１のオーディオ５の表現）の瞬間に固定するプリシンクロナイザ２２を含む。
【００４４】
ブロードキャスタ２０は、コンテンツ１を消費者３０に、同期化データ９及び同期化データ９中の瞬間に固定された補助データ７をストレージロケーション４０に、媒体Ｍを介して通信するトランシーバ２４も含み得る。上述のように、ストレージロケーション４０は、消費者３０によってアクセス可能である。あとに起こるコンテンツ１の再生、放送、配信、実演等がなされると、同期化データ９のコンテンツ１へのアラインメントは、同期化データ９中の瞬間へ固定された補助データ７をコンテンツ１に同期させる。
【００４５】
ブロードキャスタ２０は、オーディオプロセッサ２６も含み得て、オーディオプロセッサ２６は、コンテンツ１のオーディオ５を処理することによって、例えば図２のオーディオ波形シグネチャのようなコンテンツの表現を作り得る。トランシーバ２４は、同期化データ９（例えばシグネチャ）及び同期化データ９中の瞬間に固定された補助データ７をストレージロケーション４０にそれから通信し得る。
【００４６】
ある実施形態において、プリシンクロナイザ２２は、ストレージロケーション４０へのリンクを作る。このリンクは、ユニフォームリソースアイデンティファイア（例えばＵＲＬ）又は同様のロケーションアイデンティファイア又はロケータであり得る。オーディオプロセッサ２６は、ストレージロケーション４０へのリンクをコンテンツ１のメタデータ、つまり具体的には、コンテンツのオーディオ５のメタデータに挿入し得る。オーディオ５は、ドルビーAC-4、AC-3、又はE-AC-3、又はMPEG-Hとしてエンコードされ得るが、これら全てはメタデータを運び得る。消費者３０は、コンテンツ１の又はコンテンツのオーディオ５のメタデータから、ストレージロケーション４０へのリンクを抽出し得る。ストレージロケーション４０へのリンクを有することで、消費者３０は、それからストレージロケーション４０と通信して、ストレージロケーション４０に記憶された情報を得たり、その中に情報を記憶したりできる。
【００４７】
上述のように、プリシンクロナイザ２２は、コンテンツ１の以前の再生又は実演の間に補助データ７を収集し得る。例えば、コンテンツ１は、もともとはライブで放送されたバスケットボールの試合であり得る。補助データ７は、最新の試合統計（例えば得点、リバウンド、アシスト等）を含み得る。この補助データ７及びその対応するタイミングにアクセスできることで、プリシンクロナイザ２２は、この統計が正確であるとき、補助データ７を、試合のオーディオ５の同期化データ９（例えば波形シグネチャ）中の、試合中の適切なタイミングに対応する瞬間に固定し得る。トランシーバ２４は、上述のように消費者３０が情報にアクセスして利用できるように、補助データ７及び同期化データ９をストレージロケーション４０に送信し得る。
【００４８】
ブロードキャスタ２０は、補助データ７を収集するオーサリングツール２８も含み得る。オーサリングツール２８は、例えば、統計専門家が上述のバスケットボールの試合の統計を入手することを可能にし得る。一般に、オーサリングツール２８は、補助データ７のエントリを可能にし得る。オーサリングツール２８は、コンテンツ名又はコンテンツ識別データ、コンテンツで演じられている台本に関するデータ、コンテンツで登場人物が着ている衣装に関するデータ、コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、コンテンツに関する情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）、コンテンツのオーディオ中の音楽に関するデータ等のようなコンテンツを記述する補助データをエンターするために用いられ得る。オーサリングツール２８は、コンテンツに関する、又はコンテンツに関連する、広告データのような営業用データ、又はプロフェショナル又はテクニカルデータの形態である補助データ７をエンターするためにも用いられ得る。
【００４９】
図４は、消費者３０における詳細を含む例示的システム１０のブロック図を示す。消費者３０は、コンテンツ１に補助データ７を同期させる機械又は一群の機械を含み得る。
【００５０】
図示された実施形態において、消費者３０は、コンテンツ１をブロードキャスタ２０から、コンテンツのオーディオ５の同期化データ９及び同期化データ９中の瞬間に固定された補助データ７をストレージロケーション４０から受け取るトランシーバ３２を含む。
【００５１】
消費者３０は、上述のように、同期化データ９をコンテンツ１にアラインさせることによって、補助データ７をコンテンツ１に同期させるポストシンクロナイザ３４も含み得る。ポストシンクロナイザ３４が同期化データ９をコンテンツ１にアラインさせる具体的な方法論は、本発明に重大ではない。そのようなアラインメントが達成され得る機構には、自動コンテンツ認識（ＡＣＲ）として知られるもののバリエーションが含まれ、特にフィンガープリンティングとして知られるもののバリエーションが含まれる。ＡＣＲは、メディアデバイス上で再生される又はメディアファイル内に存在するコンテンツを特定又は認識するのに用いられる技術である。音響フィンガープリンティングは、コンテンツ自身からユニークな指紋を生成する。フィンガープリンティング技術は、コンテンツフォーマット、コーデック、ビットレート、及び圧縮技術によらず動作する。これは、ネットワーク及びチャネルにわたって用いることを可能にする。コンテンツ１の進行中のリアルタイムの指紋を同期化データ９と連続的に比較することは、補助データ７をコンテンツ１のタイムラインに同期させるために用いられ得る。
【００５２】
消費者３０は、コンテンツのオーディオ５をトランシーバ３２から受け取るオーディオプロセッサ３６も含み得る。ある実施形態では、オーディオプロセッサ３６は、メタデータをコンテンツ１から、又はコンテンツのオーディオ５から、及びメタデータから抽出し得て、オーディオプロセッサは、上述のようなストレージロケーション４０へのリンクを抽出し得る。ストレージロケーション４０へのリンクを得て、トランシーバ３２は、それからストレージロケーション４０と通信をして、ストレージロケーション４０に記憶された情報を得たり、又はそこに情報を記憶したりすることができる。
【００５３】
代替として又は加えて、ストレージロケーション４０へのリンクは、サブスクリプションベースで消費者３０に配信され得て、又は他のやり方で消費者３０に提供される。このようにして、もし消費者３０によって受け取られたコンテンツ１がメタデータを含まない、又はそのメタデータがストレージロケーション４０へのリンクを含まないとしても、消費者３０は、依然としてストレージロケーション４０にアクセスし得る。
【００５４】
ある実施形態において、オーディオプロセッサ３６は、コンテンツのオーディオ５を、ストレージロケーション４０から得られた同期化データ９と比較する。この比較に基づいて、コンテンツ１は、特定され得る。すなわち、もしコンテンツのオーディオ５及び同期化データ９が、パラメータ群のセット内で一致するなら、コンテンツ１は、同期化データ９に対応するものと特定され得て、逆もまたそうである。同様に、もしコンテンツのオーディオ５及び同期化データ９が、パラメータ群のセット内で一致しないなら、コンテンツ１は、同期化データ９に対応しないものということが可能であり得て、逆もまたそうである。
【００５５】
消費者３０は、コンテンツ１の提示と同時に補助データ７を提示する（例えば表示する）インタラクションツール３８も含み得る。インタラクションツール３８は、コンテンツのオーディオの同期化データ９をコンテンツ１にアラインさせることに依拠することによって、コンテンツ１の提示と同時に、補助データ７を提示する。このアラインさせることは、同期化データ９中の瞬間に固定されている補助データ７をコンテンツ１に同期させる。上述のバスケットボールの試合の例では、インタラクションツール３８は、試合が最初にライブで放送されてから何年も後に試合が再生される場合であっても、試合の提示と同時に、バスケットボールの最新の統計を表示し得る。
【００５６】
ストレージロケーション４０は、補助データ７及び同期化データ９を記憶するので、アクセスのための情報がいつでも利用可能であり得る。例えば、消費者３０は、バスケットボールの試合（すなわちコンテンツ１）をデジタルビデオレコーダー（ＤＶＲ）中に記録したかもしれず、試合の録画を他のやり方で入手したかもしれない。二三日後に消費者が試合を見るかもしれない。トランシーバ３２は、試合（すなわちコンテンツ１）をＤＶＲから（又は消費者３０がコンテンツを入手した任意の他のやり方で）入手し、ストレージロケーション４０から同期化データ９及び補助データ７を入手したかもしれない。インタラクションツール３０は、試合がライブで最初に放送された時から後で当該試合が再生されるとしても、試合の提示と同時に、それからバスケットボールの試合の最新の統計を表示し得る。
【００５７】
ある実施形態において、インタラクションツール３８は、補助データ７を収集するためにも用いられ得る。例えば、コンテンツ１の再生、放送、配信、又は実演の間、消費者は、インタラクションツール３８を介して、コンテンツ１又はコンテンツ１の特定のシーン又は部分に関するメモ又はコメントのような補助データ７を入力し得る。ポストシンクロナイザ３４は、インタラクションツール３８を介して入力された補助データ７を、コンテンツ１中の瞬間に対応する同期化データ９の瞬間にそれから固定し得て、補助データ７をストレージロケーション４０に保存し得る。この場合、同期化データ９は、ａ）ストレージロケーション４０から得られた表現、又はｂ）オーディオプロセッサ３６によって消費者３０においてローカルに作られて、補助データ７と共にストレージロケーション４０に記憶される表現であり得る。
【００５８】
図５は、ストレージロケーション４０における詳細を含む例示的システム１０のブロック図を示す。ストレージロケーション４０は、オーディオを含むコンテンツに補助データを同期させる機械又は一群の機械を含み得る。ストレージロケーション４０は、コンテンツのオーディオの同期化データ９及び補助データ７を通信する（すなわち送信し受信する）トランシーバ４２を含み得る。ストレージロケーション４０は、同期化データ９及び同期化データ９中の瞬間に固定された補助データ７を記憶するデータベース４４も含み得る。
【００５９】
ある実施形態において、トランシーバ４２は、コンテンツのオーディオ５の統計（例えばラウドネス又はダイナミックレンジスケーリング）を通信し、データベース４４は、コンテンツのオーディオ５の統計を上述のように補助データ７として又は補助データ７に加えて記憶する。ある実施形態において、その後のコンテンツ１の再生、放送、配信、及び実演の間、上述のように、トランシーバ４２は、補助データ７を通信し続け、データベース４４は、補助データ７を記憶し続ける。
【００６０】
ストレージロケーション４０は、サブスクリプション、パスワード等によって制御され得る一般的なアクセス可能性を持つ（例えば上述のようなリンクを介して）クラウド又はローカルアーカイブのような、ブロードキャスタ２０及び消費者３０にアクセス可能であるロケーションであり得る。
【００６１】
システム１０は、ソフトウェア、ハードウェア、アナログ又はデジタル技術を用いて実現され得る。
【００６２】
例示的方法は、図６及び７のフロー図を参照してよりよく理解され得る。説明の簡単のために、図示された方法論は、一連のブロックとして示され説明されるが、この方法論は、ブロックの順序によっては限定されず、いくつかのブロックは、図示及び説明されるものとは異なる順序で、又は他のブロックと同時に起こり得る。さらに、例示的方法論を実現するためには、図示されたブロックの全てよりも少ないものしか必要ではないかもしれない。さらに追加の方法論、代替の方法論、又はそれらの両方が、図示しない追加のブロックを採用するかもしれない。
【００６３】
フロー図において、ブロックは、論理で実現され得る「処理ブロック」を表す。処理ブロックは、方法ステップ又は方法ステップを実行する装置要素を表し得る。フロー図は、特定のプログラミング言語、方法、又はスタイル（例えば手続き的、オブジェクト指向）について何らの構文も示さない。むしろ、フロー図は、図示された処理を実行するロジックを開発するために当業者が採用し得る機能情報を図示する。ある例では、一時変数、ルーチンループ等のようなプログラム要素が示されていないことがわかるだろう。電子的及びソフトウェアアプリケーションは、ダイナミックかつ柔軟性がある処理を伴い得ることによって、図示されたブロックが図示されたものとは異なる、他の順序で実行されたり、ブロックが組み合わせられ、又は複数の要素に分解されたりし得ることがさらにわかるだろう。処理は、機械語、手続き的、オブジェクト指向又は人工知能の手法のような、さまざまなプログラミングアプローチを用いて実現され得ることが理解されよう。
【００６４】
図６は、コンテンツに補助データを追加及び同期させる例示的方法６００のためのフロー図を図示する。
【００６５】
方法６００は、６１０において補助データ７を収集することを含む。収集は、上述のように、コンテンツの再生、放送、配信、又は実演の前に、最中に、又は後に行われ得る。補助データ７は、コンテンツとなんらかのかたちで関連したデータであり、コンテンツ名又はコンテンツ識別データのようなコンテンツを記述するデータ、コンテンツで演じられている台本に関するデータ、コンテンツで登場人物が着ている衣装に関するデータ、コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、コンテンツに関する情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）、コンテンツのオーディオ中の音楽に関するデータ等を含み得る。補助データ７は、広告データのような営業用データを含み得る。補助データ７は、コンテンツの視聴者からのコメント（例えばツイッターメッセージ等）のようなユーザデータも含み得る。補助データ７は、例えばコンテンツオーディオのラウドネス又はダイナミックレンジスケーリング等を含む、コンテンツのオーディオの統計のようなプロフェショナルな又はテクニカルなデータも含み得る。
【００６６】
６２０において、方法６００は、同期化データ９を作る、コンテンツ１のオーディオ５を分析することによって、例えば、オーディオ指紋を作ることのような同期化情報を作ることをさらに含む。同期化データ９は、上述のように、コンテンツのオーディオのオーディオ波形シグネチャを作ることによって、又は他の方法によって作られ得る。
【００６７】
６３０において、補助データ７は、同期化データ９中の瞬間に固定される。補助データ７を同期化データ９中の瞬間に固定すること（pegging）は、補助データ７がコンテンツ１に時間でアラインされる（time-aligned）ことを意味する。この固定することは、補助データ７を特定のコンテンツ１の同期化データ９に関連付けること、及び補助データ７に、同期化データ９中の瞬間の時刻でタイムスタンプを付すこと又は他の時間アラインメント方法によって達成され得る。
【００６８】
６４０において、同期化情報（例えば同期化データ９）及び同期化情報（例えば同期化データ９）中の瞬間に固定された補助データ７は、ストレージロケーション４０に記憶され得る。
【００６９】
図７は、補助データを配信及び同期化する例示的方法７００のためのフロー図を図示する。
【００７０】
７１０において、方法７００は、コンテンツ１及び／又は同期化データ９を受け取ることを含む。
【００７１】
７２０において、コンテンツ１の実時間シグネチャは、同期化データ９と比較されることによって、コンテンツ１を特定し得る。例えば、カスタマーデバイス上のクライアントアプリケーション（client app）は、再生されているコンテンツ１を「聴く」ようにされ得る。クライアントアプリケーションは、同期化データ９に固定された補助データ７が記憶されているデータベースにアクセスできる。よってクライアントアプリケーションは、再生されているコンテンツ１を同期化データ９と比較する。
【００７２】
もしそれらが選択可能な範囲内で一致するなら、７３０においてコンテンツ１が特定される。
【００７３】
７４０において、もしメタデータ（例えばＥＭＤＦ）が存在し、タイムスタンプを含むなら、７５０において、補助データ７は、タイムスタンプに基づいてコンテンツ１に同期され得る。
【００７４】
もしメタデータが存在せず、又はメタデータがタイムスタンプを含まないなら、７６０において、補助データ７は、同期化情報に基づいてコンテンツ１に同期される。例えば、同期化データ９は、上述のようにコンテンツのオーディオ５にアラインされることによって、補助データ７をコンテンツ１に同期させ得る。
【００７５】
消費者アプリケーション又はインタラクションツール３８は、ここでコンテンツ１に同期されており、７７０において補助データ７をコンテンツ１の提示と同時に表示し得る。
【００７６】
７８０において、方法７００は、他の消費者、番組プロデューサー、又は場合によっては広告主によって閲覧又はアクセスされ得る追加の補助データ７をさらに通信し得る。このデータは、ダウンストリームのプロフェッショナル又は消費者広告挿入メカニズムによっても用いられ得て、存在し、そのデータへのリアルタイムアップデート又は追加によって潜在的に増強される詳細が豊富なデータのおかげで、これら挿入は、以前の静的方法よりもより精密な正確さで目標にされ得る。方法７００は、コンテンツ１の後続の再生、放送、配信、又は実演の間、新しい補助データ７を受け取り、同期化し続け得る。
【００７７】
図は、さまざまなアクションが順次、起こるものとして示すが、図示されたさまざまなアクションは、実質的に並列に起こり得ることを理解されたく、アクションは、並列に起こるように示され得るが、これらアクションは、実質的に順次、起こり得ることを理解されたい。図示された方法に関連していくつかの処理が記載されているが、より多くの又はより少ない数の処理が採用され得て、ライトウェイトプロセス、レギュラープロセス、スレッド、及び他のアプローチも採用され得ることを理解されたい。他の例示的方法は、場合によっては、実質的に並列に起こるアクションも含み得る。図示された例示的方法及び他の方法は、リアルタイムで、ソフトウェア又はハードウェア又はハイブリッドソフトウェア／ハードウェア実現例においてリアルタイムよりも速く、又はソフトウェア又はハードウェア又はハイブリッドソフトウェア／ハードウェア実現例においてリアルタイムよりも遅く動作し得る。
【００７８】
図８は、オーディオを含むコンテンツに補助データを同期させるための例示的装置８００のブロック図を図示する。装置８００は、バス８０８によって動作可能に接続されたプロセッサ８０２、メモリ８０４、及びＩ／Ｏポート８１０を含む。
【００７９】
ある例では、装置８００は、コンテンツ１、ビデオ３、オーディオ５、補助データ７、同期化データ９等を含む入力信号を、例えばＩ／Ｏポート８１０又はＩ／Ｏインタフェース８１８を介して受け取り得る。装置８００は、ブロードキャスタ２０のプリシンクロナイザ２２、トランシーバ２４、オーディオプロセッサ２６、及びオーサリングツール２８も含み得る。装置８００は、消費者３０のトランシーバ３２、ポストシンクロナイザ３４、オーディオプロセッサ３６、及びインタラクションツール３８も含み得る。装置８００は、ストレージロケーション４０のトランシーバ４２及びデータベース４４も含み得る。よってブロードキャスタ２０、消費者３０、又はストレージロケーション４０は、ハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせとして装置８００内で実現され得て、よって装置８００及びその要素は、プリシンクロナイザ２２、トランシーバ２４、オーディオプロセッサ２６、オーサリングツール２８、トランシーバ３２、ポストシンクロナイザ３４、オーディオプロセッサ３６、インタラクションツール３８、トランシーバ４２、及びデータベース４４によって実行されるとここで説明された機能を実現する手段を提供し得る。
【００８０】
プロセッサ８０２は、デュアルマイクロプロセッサ及び他のマルチプロセッサアーキテクチャを含む多様なさまざまなプロセッサであり得る。メモリ８０４は、揮発性メモリ又は不揮発性メモリを含み得る。不揮発性メモリは、これらには限定されないが、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等を含み得る。揮発性メモリは、例えばＲＡＭ、シンクロナスＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ  ＳＤＲＡＭ）、及びダイレクトＲＡＭバスＲＡＭ（ＤＲＲＡＭ）を含み得る。
【００８１】
ディスク８０６は、例えばＩ／Ｏインタフェース（例えばカード、デバイス）８１８及びＩ／Ｏポート８１０を介して装置５００に動作可能に接続され得る。ディスク８０６は、これらに限定されないが、磁気ディスクドライブ、ソリッドステートディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｚｉｐドライブ、フラッシュメモリカード、又はメモリスティックのようなデバイスを含み得る。さらにディスク８０６は、ＣＤ−ＲＯＭ、ＣＤレコーダブルドライブ（ＣＤ−Ｒドライブ）、ＣＤリライタブルドライブ（ＣＤ−ＲＷドライブ）、又はディジタルビデオＲＯＭドライブ（ＤＶＤ  ＲＯＭドライブ）のような光学ドライブを含み得る。メモリ８０４は、例えばプロセス８１４又はデータ８１６を記憶し得る。ディスク８０６又はメモリ８０４は、装置８００のリソースを制御し、アロケートするオペレーティングシステムを記憶し得る。
【００８２】
バス８０８は、単一の内部バス相互接続アーキテクチャ又は他のバス又はメッシュアーキテクチャであり得る。単一のバスが図示されているが、装置８００は、図示されていない他のバス（例えばＰＣＩＥ、ＳＡＴＡ、インフィニバンド、１３９４、ＵＳＢ、イーサネット（登録商標））を用いて、さまざまな装置、ロジック、及び周辺機器と通信し得る。バス５０８は、これらには限定されないが、メモリバス又はメモリコントローラ、周辺バス又は外部バス、クロスバースイッチ、又はローカルバスを含むさまざまなタイプであり得る。ローカルバスは、これらには限定されないが、産業標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、周辺要素相互接続（ＰＣＩ）バス、ユニバーサルシリアルバス（ＵＳＢ）、及びスモールコンピュータシステムインタフェース（ＳＣＳＩ）バスを含む、さまざまなものであり得る。
【００８３】
装置８００は、Ｉ／Ｏインタフェース８１８及びＩ／Ｏポート８１０を介して入力／出力機器と相互作用し得る。入力／出力機器は、これらに限定されないが、キーボード、マイク、ポインティング及び選択デバイス、カメラ、ビデオカード、ディスプレイ、ディスク８０６、ネットワークデバイス８２０等を含み得る。Ｉ／Ｏポート８１０は、これらには限定されないが、シリアルポート、パラレルポート、及びＵＳＢポートを含み得る。
【００８４】
装置８００は、ネットワーク環境において動作し得て、よってＩ／Ｏインタフェース８１８又はＩ／Ｏポート８１０を介してネットワーク機器８２０と接続され得る。ネットワーク機器８２０を通して、装置８００は、ネットワークと相互作用をし得る。ネットワークを通して、装置８００は、リモートコンピュータに論理的に接続され得る。装置８００が相互作用するネットワークは、これらに限定されないが、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び他のネットワークを含み得る。ネットワークデバイス８２０は、これらに限定されないが、光ファイバ分散データインタフェース（ＦＤＤＩ）、銅線配線分散データインタフェース（ＣＤＤＩ）、イーサネット（登録商標）（IEEE 802.3）、トークンリング（IEEE 802.5）、無線コンピュータ通信（IEEE 802.11）、ブルートゥース（IEEE 802.15.1）、ZigBee（IEEE 802.15.4）等を含むＬＡＮ技術に接続し得る。同様に、ネットワークデバイス８２０は、これらに限定されないが、ポイントツーポイントリンク、サービス総合デジタル網（ＩＳＤＮ）のような回路スイッチングネットワーク、パケットスイッチングネットワーク、及びデジタル加入者線（ＤＳＬ）を含むＷＡＮ技術に接続し得る。個々のネットワークのタイプが記載されているが、ネットワークを経由する、ネットワーク上での、又はネットワークを通じた通信は、通信の組み合わせ及び混合を含み得る。
【００８５】
定義
以下は、ここで採用された語のうちから精選されたものについての定義を含む。定義には、語の範囲に入り、実現のために用いられ得る要素のさまざまな例及び形態を含む。これら例は、限定的であるとは意図されていない。語の単数形及び複数形の両方が定義の中に含まれ得る。
【００８６】
「コンテンツ」は、静止画、オーディオメディア、ビデオメディア、又はオーディオ／ビジュアル（ＡＶ）メディアのセグメントに対応し、少なくとも１つの媒体と共に、具体化され、記憶され、伝送され、受け取られ、処理され、又はその他の方法で用いられる情報を含む。よくあるメディアコンテンツフォーマットには、ＦＬＶフォーマット（フラッシュビデオ）、ウィンドウズメディアビデオ、リアルメディア、クイックタイム、ＭＰＥＧ、ＭＰ３、ＤｉｖＸ、ＪＰＥＧ、及びBitmapsが含まれる。ここで用いられるように、「メディアクリップ」、「メディアコンテンツ」、「情報コンテンツ」、及び「コンテンツ」という語は、交換可能に用いられ得る。
【００８７】
ここで使われる「データストア」又は「データベース」は、データを記憶し得る物理的又は論理的なエンティティをいう。データストアは、例えば、データベース、テーブル、ファイル、リスト、キュー、ヒープ、メモリ、レジスタ等であり得る。データストアは、１つの論理的又は物理的エンティティに常駐し得て、２以上の論理的又は物理的エンティティの間で分散され得る。
【００８８】
ここで用いられる「ロジック」は、これらに限定されないが、機能（群）又は動作（群）を実行するための、又は他のロジック、方法、又はシステムから機能又は動作を起動するためのハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせを含む。例えば、所望のアプリケーション又はニーズに基づいて、ロジックは、ソフトウェアで制御されるマイクロプロセッサ、特定用途向けＩＣ（ＡＳＩＣ）のような個別ロジック、プログラムされたロジックデバイス、命令等を含むメモリデバイスを含み得る。ロジックは、１つ以上のゲート、ゲートの組み合わせ、又は他の回路要素を含み得る。ロジックは、ソフトウェアとして完全に実現されてもよい。複数の論理ロジックが記載されるとき、その複数の論理ロジックを単一の物理的ロジックに組み込むことが可能であり得る。同様に、単一の論理ロジックが記載されるとき、その単一の論理ロジックを複数の物理的ロジックに分散させることが可能であり得る。
【００８９】
「動作可能な接続」、つまりエンティティが「動作可能に接続される」接続とは、信号、物理的通信、又は論理的通信が送られ、又は受け取られ得る接続である。典型的には、動作可能な接続は、物理的インタフェース、電気的インタフェース、又はデータインタフェースを含むが、動作可能な接続は、動作可能な制御を可能にするのに十分な接続のこれらの、又は他のタイプの異なる組み合わせを含み得る。例えば、２つのエンティティは、互いに直接に、又はプロセッサ、オペレーティングシステム、ロジック、ソフトウェア、又は他のエンティティのような１つ以上の中間エンティティを通して、信号をやりとりすることができることによって、動作可能に接続され得る。論理的又は物理的通信チャネルは、動作可能な接続を作るために用いられ得る。
【００９０】
放送において、「プレイアウト（playout、再生）」は、ラジオ又はＴＶチャンネルの送信が放送者から、視聴者へコンテンツを運ぶ放送ネットワークに入り送信することを指す語である。
【００９１】
ここで使われる「信号」は、これらには限定されないが、１つ以上の電気的又は光学的信号、アナログ又はデジタルの信号、データ、１つ以上のコンピュータ又はプロセッサ命令、メッセージ、ビット又はビットストリーム、又は受信、送信、又は検出され得る他の手段を含む。
【００９２】
ここで使われる「ソフトウェア」は、これらには限定されないが、読み取られ、解釈され、コンパイルされ、又は実行され得て、コンピュータ、プロセッサ、又は他の電子デバイスに所望のやり方で機能、行為を実行させ、又は動作させる、１つ以上のコンピュータ又はプロセッサ命令を含む。命令は、動的又は静的にリンクされたライブラリからの別個のアプリケーション又はコードを含む、ルーチン、アルゴリズム、モジュール、方法、スレッド、又はプログラムのようなさまざまな形態で実現され得る。またソフトウェアは、これらには限定されないが、スタンドアローンプログラム、ファンクションコール（ローカル又はリモート）、サーブレット、アプレット、メモリに記憶された命令、オペレーティングシステムの一部、又は他のタイプの実行可能な命令を含む、さまざまな実行可能な又はロード可能な形態で実現され得る。当業者には、ソフトウェアの形態は、例えば、所望のアプリケーションの要件、それが走る環境、又は設計者／プログラマー等の要求に依存し得ることが理解されよう。またコンピュータで読み取り可能な又は実行可能な命令は、１つのロジックに存在し得て、又は２つ以上の通信し、同時に動作する、又は並列処理するロジックの間に分散され得て、よってシリアルで、パラレルで、超並列で、及び他の方法でロードされ、又は実行され得ることが理解されよう。
【００９３】
ここで記載された例示的システム及び方法のさまざまな要素を実現する適切なソフトウェアは、Java、Pascal、C#、C++、C、CGI、Perl、SQL、API、SDK、アセンブリ、ファームウェア、マイクロコード、又は他の言語及びツールのようなプログラミング言語及びツールを用いて作成され得る。ソフトウェアは、システム全体であれシステムの一要素であれ、製造物として実現され得て、前に規定されたようにコンピュータで読み取り可能な媒体の一部として保持又は提供され得る。ソフトウェアの他の形態は、ソフトウェアのプログラムコードをネットワーク又は他の通信媒体を介して受け手に送信する信号を含み得る。よってある例では、コンピュータで読み取り可能な媒体は、ウェブサーバからユーザへとダウンロードされるソフトウェア／ファームウェアを表す信号の形態をとる。他の例では、コンピュータで読み取り可能な媒体は、ウェブサーバ上に保持されたソフトウェア／ファームウェアの形態を有する。他の形態も用いられ得る。
【００９４】
ここで用いられる「ユーザ」又は「消費者」は、これらには限定されないが、１人以上の人、ソフトウェア、コンピュータ又は他のデバイス、又はこれらの組み合わせを含む。
【００９５】
以下の詳細な説明のある部分は、アルゴリズム及びメモリ内のデータビットに対する操作の記号的表現によって提示されている。これらアルゴリズムの記載及び表現は、当業者の仕事の本質を他人に伝えるために用いられる彼らによって用いられる手段である。アルゴリズムは、ここで、また一般的に、結果を作る操作の一連の流れであると理解されている。操作は、物理量の物理的操作を含み得る。必ずしもそうではないが、通常は、物理量は、記憶され、転送され、組み合わされ、比較され、及びロジック等で他の方法で操作され得る、電気的又は磁気的信号の形態をとる。
【００９６】
主に通常の用法の理由から、これら信号をビット、値、要素、シンボル、キャラクタ、語、数等として呼ぶことが時には便利であるとわかっている。しかし、これらの及び同様の語は、適切な物理量と関連付けられ、これらの量に適用される便利なラベルに過ぎないことに注意されたい。そうではないと具体的に述べられていない限り、記載を通して、処理、コンピューティング、計算、決定、表示等は、物理的（電子的）量として表現されるデータを操作及び変形する、コンピュータシステム、ロジック、プロセッサ、又は同様の電子的装置の行為及び処理を指すことが理解されよう。
【００９７】
説明が容易なので、本開示は、例えば、それが埋め込まれるオーディオ信号についての情報及び制御データを伝達するのに用いられる拡張可能なメタデータフォーマット（ＥＭＤＦ）のようなETSI TS 102 366 (Annex H)で記述される命名法のコンテキストで例を説明している。しかし本開示の原則は、そのようなコンテキストには限定されず、ATSC A52:2012及びA/85:2013又はSMPTE 337M規格において記述されるメタデータを含むETSI TS 103 190 (セクション4.3.15)又はベースバンドＰＣＭオーディオシステムを含む任意の圧縮されたオーディオと含まれる任意のそのような埋め込まれたメタデータのスキームを含むさまざまな他のコンテキストにおいても実施され得る。
【００９８】
「含む」又は「含んでいる」という語が詳細な説明又は特許請求の範囲で採用されている限りにおいて、特許請求の範囲で遷移的語として採用されるときに解釈されるように、「備える」という語と同様に、包含的であると意図されている。さらに、「又は」という語が詳細な説明又は特許請求の範囲で採用されている（例えばＡ又はＢ）限りにおいて、「Ａ又はＢ又はその両方」を意味するよう意図されている。出願人が「Ａ又はＢであるが、両方ではない」と表現したい場合には、「Ａ又はＢであるが、両方ではない」が用いられる。よって「又は」という語の使用は、包含的であり、排他的な用法ではない。Bryan A. Garner, A Dictionary of Modern Legal Usage 624 (2d. Ed. 1995)を参照のこと。
【００９９】
例示的システム、方法等が例を記載することによって説明され、これら例は、相当な詳細さで記載されてきたが、そのような詳細に範囲を限定すること、又はいかなるやり方においても制限することは、出願人の意図ではない。もちろん、ここで記載されるシステム、方法等を記載する目的のためには、構成要素又は方法論の、あらゆる想定可能な組み合わせを記載することは不可能である。さらなる優位性及び改変は、当業者には明らかであろう。したがって本発明は、図示され、説明された、具体的な詳細、代表的な装置、及び例示的な例には限定されない。よって本願は、添付の特許請求の範囲の範囲に入る変更、改変、及びバリエーションを包含するように意図される。さらに、上の記載は、本発明の範囲を限定するようには意図されない。むしろ本発明の範囲は、添付の特許請求の範囲及びそれらの等価物によって決定されるべきである。
【図１】
2019520011.tif 000003
【図２】
2019520011.tif 000004
【図３】
2019520011.tif 000005
【図４】
2019520011.tif 000006
【図５】
2019520011.tif 000007
【図６】
2019520011.tif 000008
【図７】
2019520011.tif 000009
【図８】
2019520011.tif 000010
【国際調査報告】
2019520011.tif 000011
2019520011.tif 000012
2019520011.tif 000013