(57)【要約】  システム、方法、装置およびコンピュータプログラム製品は、放送メディア内の反復コンテンツを検出するためのソーシャルおよびインタラクティブアプリケーションを提供する。一部の実装では、方法は、コンテンツから音声統計情報のデータベースを生成する段階と、音声統計情報のデータベースからクエリを生成する段階と、音声統計情報のデータベースに対してクエリを実行して非一致マッチを判定する段階と、非一致マッチが存在する場合に、マッチしたクエリに対応するコンテンツを反復コンテンツとして識別する段階とを含む。
2009524273.tif 000002
【特許請求の範囲】
【請求項１】
音声統計情報のデータベースからクエリを生成する段階と、
音声統計情報の前記データベースに対して前記クエリを実行して非一致マッチを判定する段階と、
非一致マッチが存在する場合に、
マッチしたクエリに対応するコンテンツを反復コンテンツとして識別する段階と
を含む方法。
【請求項２】
非聴覚情報を使用して前記非一致マッチを検証する段階
をさらに含む請求項1に記載の方法。
【請求項３】
前記反復コンテンツの終点を判定する段階
をさらに含む請求項1に記載の方法。
【請求項４】
前記終点が動的なプログラミング技法を使用して判定される請求項3に記載の方法。
【請求項５】
前記反復コンテンツに測定基準を適用して前記反復コンテンツが広告であるかどうかを判定する段階
をさらに含む請求項1に記載の方法。
【請求項６】
前記測定基準は、継続時間、音量、ビジュアルアクティビティおよび空白フレームブラケットからなる一群の測定基準のものである請求項5に記載の方法。
【請求項７】
前記音声統計情報がメディア放送の環境音声スニペットから生成される請求項1に記載の方法。
【請求項８】
前記音声統計情報がフレーム記述子である請求項1に記載の方法。
【請求項９】
前記音声統計情報と共にビデオ統計情報を使用して非一致マッチを判定する請求項1に記載の方法。
【請求項１０】
前記非一致マッチがハッシュ技法を使用して判定される請求項1に記載の方法。
【請求項１１】
プロセッサと、
前記プロセッサに作動的に結合されるコンピュータ読み取り可能メディアであって、前記メディア上に格納される命令を有し、前記命令は、前記プロセッサによって実行されたときに、前記プロセッサに
音声統計情報のデータベースからクエリを生成する操作と、
コンテンツから生成される音声統計情報の前記データベースに対してクエリを実行して非一致マッチを判定する操作と、
非一致マッチが見つかった場合に、
マッチしたクエリに対応するコンテンツを反復コンテンツとして識別する操作と
を実行させるメディアと
を含むシステム。
【請求項１２】
前記プロセッサは、
非聴覚情報を使用して非一致マッチを検証する操作
をさらに実行する請求項11に記載のシステム。
【請求項１３】
前記プロセッサは、
前記反復コンテンツの終点を判定する操作
をさらに実行する請求項11に記載のシステム。
【請求項１４】
前記終点が動的なプログラミング技法を使用して判定される請求項13に記載のシステム。
【請求項１５】
前記プロセッサは、
前記反復コンテンツに測定基準を適用して前記反復コンテンツが広告であるかどうかを判定する操作
をさらに実行する請求項11に記載のシステム。
【請求項１６】
前記測定基準は、継続時間、音量、ビジュアルアクティビティおよび空白フレームブラケットからなる一群の測定基準のものである請求項15に記載のシステム。
【請求項１７】
前記音声統計情報がメディア放送の環境音声スニペットから生成される請求項11に記載のシステム。
【請求項１８】
前記音声統計情報がフレーム記述子である請求項11に記載のシステム。
【請求項１９】
前記音声統計情報と共にビデオ統計情報を使用して非一致マッチを判定する請求項11のシステム。
【請求項２０】
前記非一致マッチがハッシング技法を使用して判定される請求項11に記載のシステム。
【請求項２１】
コンテンツから音声統計情報のデータベースを生成するための手段と、
音声統計情報の前記データベースからクエリを生成するための手段と、
音声統計情報の前記データベースに対して前記クエリを実行して非一致マッチを判定するための手段と、
非一致マッチが存在する場合に、
マッチしたクエリに対応するコンテンツを反復コンテンツとして識別するための手段と
を備えるシステム。
【請求項２２】
コンピュータ読み取り可能メディアであって、前記メディア上に格納される命令を有し、前記命令は、プロセッサによって実行されたときに、前記プロセッサに
音声統計情報のデータベースからクエリを生成する操作と、
前記クエリを音声統計情報の前記データベースに対して実行して非一致マッチを判定する操作と、
非一致マッチが存在する場合に、
マッチしたクエリに対応するコンテンツを反復コンテンツとして識別する操作と
を実行させるメディア。
【請求項２３】
メディア放送に関連する環境音声統計情報のデータベースを生成する段階と、
前記データベースからクエリを生成する段階と、
音声統計情報の前記データベースに対して前記クエリを実行して非一致マッチを判定する段階と、
前記クエリと音声情報の前記データベースとの間の肯定マッチに基づいて反復コンテンツを識別する段階と、
前記反復コンテンツの終点を判定する段階と、
前記反復コンテンツの終点の前または後ろのコンテンツを識別する段階と、
前記識別されたコンテンツに基づいて統計情報を生成する段階と
を含む方法。
【請求項２４】
前記反復コンテンツに少なくとも1つの測定基準を適用して前記反復コンテンツが広告であるかどうかを判定する段階
をさらに含む請求項23に記載の方法。
【請求項２５】
前記測定基準が前記メディア放送の長さに関連する請求項24に記載の方法。
【請求項２６】
前記測定基準が前記メディア放送の音量に関連する請求項24に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本願は、本願にその全体を引用して援用する、2006年11月29日に出願された「Environment-Based Referrals」のための米国仮特許出願第60/740760号の優先権の恩恵を主張するものである。
【０００２】
本願は、本願にその全体を引用して援用する、2006年8月29日に出願された「Audio Identification Based on Signatures」のための米国仮特許出願第60/823881号の優先権の恩恵を主張するものである。
【０００３】
本願は、2006年11月27日に出願された整理番号GP-672-00-US/16113-0630001の「Determining Popularity Ratings Using Social and Interactive Applications For Mass Media」の米国特許出願第 号と、2006年11月27日に出願された整理番号GP-636-00-US/16113-060001の「Social and Interactive Applications For Mass Media」の米国特許出願第 号とに関する。これらの特許出願のそれぞれを、本願にその全体を引用して援用する。
【０００４】
開示する実装は、マスメディア用のソーシャルおよびインタラクティブアプリケーションに関する。
【背景技術】
【０００５】
従来のテレビシステムおよびインタラクティブテレビシステムには、テレビ番組編成に埋め込まれている広告の再放送を検出する能力が欠けている。従来型の録画装置を利用すると、利用者は、テレビ番組(コマーシャルを含む)を以降の日付または時刻に再放送するために格納できる。放送局間でのよくある不満は、これらの再放送から利益を得られないということであり、これらの再放送は、放送局から見ると、番組の最初の放送上のスペースを購入した広告主のための「無料」広告ということになる。
【非特許文献１】Ke, Y.、Hoiem, D.、Sukthankar, R. (2005)、Computer Vision for Music Identification、In Proc. Computer Vision and Pattern Recognition
【非特許文献２】Viola, P.およびJones, M. (2002)、Robust Real-Time Object Detection、International Journal of Computer Vision
【非特許文献３】Covell, M.、Baluja, S.、Fink, M.、Advertisement Detection and Replacement Using Acoustic and Visual Repetition、IEEE Signal Processing Society、MMSP 2006 International Workshop on Multimedia Signal Processing、2006年10月3日〜6日、カナダ、ブリティッシュコロンビア州
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した問題点は、放送メディア内の反復コンテンツを検出する、開示するシステム、方法、装置、ユーザーインターフェイスおよびコンピュータプログラム製品によって解決される。
【課題を解決するための手段】
【０００７】
一部の実装では、方法は、音声統計情報のデータベースからクエリを生成する段階と、音声統計情報のデータベースに対してクエリを実行して非一致マッチを判定する段階と、非一致マッチが存在する場合に、マッチしたクエリに対応するコンテンツを反復コンテンツとして識別する段階とを含む。
【０００８】
一部の実装では、システムは、プロセッサと、プロセッサに作動的に結合されたコンピュータ読み取り可能メディアとを含む。コンピュータ読み取り可能メディアは、プロセッサによって実行されたときに、音声統計情報のデータベースからクエリを生成する操作と、コンテンツから生成される音声統計情報のデータベースに対してクエリを実行して非一致マッチを判定する操作と、非一致マッチが見つかった場合に、マッチしたクエリに対応するコンテンツを反復コンテンツとして識別する操作とをプロセッサに実行させる命令を含む。
【０００９】
他の実装は、システム、方法、装置、ユーザーインターフェイスおよびコンピュータプログラム製品に関する。
【発明を実施するための最良の形態】
【００１０】
マスパーソナライゼーションアプリケーション
マスパーソナライゼーションアプリケーションは、マスメディア放送(たとえば、テレビ、ラジオ、映画、インターネット放送、等)に関連するパーソナル化されたインタラクティブな情報を提供する。そのようなアプリケーションには、パーソナル化情報レイヤ、アドホックソーシャルピアコミュニティ、リアルタイム視聴率、およびビデオ(または音声)ブックマーク、等が含まれるがこれらに限定されるものではない。本明細書で開示するマスメディア実施例のいくつかは、テレビ放送の文脈に含まれるが、開示する実装は、ラジオ放送および/または音楽放送に同様に適用できる。
【００１１】
パーソナル化情報レイヤは、マスメディアチャンネルに補足的情報を提供する。パーソナル化情報レイヤの例としては、ファッション、政治、ビジネス、健康、旅行、等があるがこれらに限定されるものではない。たとえば、有名人についてのニュースセグメントを見ている間に、ファッションレイヤがテレビ画面上またはコンピュータディスプレイデバイス上で視聴者に提示され、それによって有名人がニュースセグメントで着用している服およびアクセサリに関連する情報および/または画像が提供される。さらに、パーソナル化レイヤは、有名人が着用している服を販売している衣料品店へのリンクなど、ニュースセグメントに関連する製品またはサービスを販売促進する広告を含みうる。
【００１２】
アドホックソーシャルピアコミュニティは、テレビで同じ番組を見ているか、または同じラジオ局を聴いている利用者の間に、コメントの場を提供する。たとえば、最新のCNNヘッドラインを見ている利用者に、利用者がチャットしたり、進行中のマスメディア放送についてコメントしたり、進行中のマスメディア放送への他の視聴者の反応を読んだりすることを可能にするコメントメディア(たとえば、チャットルーム、掲示板、Wikiページ、ビデオリンク、等)を提供できる。
【００１３】
リアルタイム視聴率は、コンテンツ提供業者および利用者に視聴率情報(ニールセン視聴率に似ている)を提供する。たとえば、利用者の社会的ネットワークおよび/または似たような人口統計を有する人々によって見られているまたは聴かれているテレビチャンネルまたはラジオ局のリアルタイム視聴率を、利用者に即座に提供できる。
【００１４】
ビデオブックマークまたは音声ブックマークは、好みの放送コンテンツのパーソナル化されたライブラリを作成する低労力な方法を利用者に提供する。たとえば、利用者がコンピュータまたはリモコンデバイス上のボタンを押すだけで、放送コンテンツの環境音声および/またはビデオのスニペットが記録され、処理され、保存される。このスニペットは、後で視聴するために番組または番組の一部を参照するブックマークとして使用できる。ブックマークは、友人と共有するか、または将来の個人的な参照用に保存できる。
【００１５】
マスパーソナライゼーションネットワーク
図1は、マスパーソナライゼーションアプリケーションを提供するためのマスパーソナライゼーションシステム100のブロック図である。システム100は、1つまたは複数のクライアント側インターフェイス102と、音声データベースサーバ104と、ソーシャルアプリケーションサーバ106とを含み、これらすべては、ネットワーク108(たとえば、インターネット、イントラネット、LAN、ワイヤレスネットワーク、等)上で通信する。
【００１６】
クライアント側インターフェイス102は、利用者が情報を入力および受信することを可能にし、ディスプレイデバイス上でユーザーインターフェイスを提示できる任意のデバイスでよく、これにはデスクトップコンピュータまたはポータブルコンピュータ、電子デバイス、電話、携帯電話、ディスプレイシステム、テレビ、コンピュータモニタ、ナビゲーションシステム、ポータブルメディアプレーヤ/レコーダ、携帯情報端末(PDA)、ゲームコンソール、ハンドヘルド電子デバイス、および組み込み電子デバイスまたはアプライアンスが含まれるがこれらに限定されるものではない。クライアント側インターフェイス102については、図2に関してさらに完全に説明する。
【００１７】
一部の実装では、クライアント側インターフェイス102は、放送環境(たとえば、利用者のリビングルーム)でマスメディア放送の環境音声を監視および記録するための環境音声検出器(たとえば、マイク)を含む。1つまたは複数の環境音声セグメントまたは「スニペット」が、「音声指紋」または「記述子」と呼ばれる、特徴的で堅牢な統計要約に変換される。一部の実装では、記述子は、マスメディア放送に関連する以前に生成された参照記述子または統計情報のデータベースと比較できる1つまたは複数の音声シグネチャコンポーネントを含む圧縮ファイルである。
【００１８】
音楽識別のための音声指紋を生成するための技法が、本明細書でその全体を引用して援用するKe, Y.、Hoiem, D.、Sukthankar, R. (2005)、Computer Vision for Music Identification、In Proc. Computer Vision and Pattern Recognitionで説明されている。一部の実装では、図4に関して説明するように、この文献(以下、「Keら」)により提案されている音楽識別方法はテレビ音声データの記述子およびクエリを生成するように構成される。
【００１９】
ウェーブレットを使用して音声記述子を生成する技法が、「Audio Identification Based on Signatures」のための米国仮特許出願第60/823,881号で説明されている。この出願では、コンピュータビジョン技法と大規模データストリーミング処理アルゴリズムの組み合わせを利用して、効率的にマッチさせることができる音声スニペットのコンパクトな記述子/指紋を作成する技法を説明している。この技法では、階層的分解関数のための既知の算術ツールであるウェーブレットを使用する。
【００２０】
「Audio Identification Based on Signatures」では、取得プロセスの実装は、1)音声スニペットの音声スペクトルについて、たとえば11.6*w msの継続時間のスペクトル画像を、平均d ms離れているランダムな間隔で抽出するステップと、各スペクトル画像について、2)スペクトル画像のウェーブレットを計算するステップと、3)上位tつのウェーブレットを抽出するステップと、4)上位tつのウェーブレットのバイナリ表現を作成するステップと、5)min-hashを使用して上位tつのウェーブレットのサブ指紋を作成するステップと、6)LSHをbビンおよびlハッシュテーブルと共に使用して厳密にマッチするサブ指紋セグメントを検索するステップと、7)マッチがv未満のサブ指紋を破棄するステップと、8)残りの候補サブ指紋からクエリサブ指紋までのハミング距離を計算するステップと、9)動的プログラミングを使用して、マッチを時間にまたがって組み合わせるステップとを含む。
【００２１】
一部の実装では、記述子と、クライアント側インターフェイス102を識別するための関連する利用者識別子(「利用者ID」)とは、ネットワーク108を通じて音声データベースサーバ104に送信される。音声データベースサーバ104は、記述子を、以前に判定され、音声データベースサーバ104に結合する音声データベース110に格納された複数の参照記述子と比較する。一部の実装では、音声データベースサーバ104は、音声データベース110に格納された参照記述子を最近のマスメディア放送から継続的に更新する。
【００２２】
音声データベースサーバ104は、受信した記述子と参照記述子との間のベストマッチを判定し、ベストマッチ情報をソーシャルアプリケーションサーバ106に送信する。マッチプロセスについては、図4に関してさらに完全に説明する。
【００２３】
一部の実装では、ソーシャルアプリケーションサーバ106は、クライアント側インターフェイス102に関連するWebブラウザ接続を受け入れる。ベストマッチ情報を使用して、ソーシャルアプリケーションサーバ106は、利用者のためのパーソナル化情報を集約し、そのパーソナル化情報をクライアント側インターフェイス102に送信する。パーソナル化情報は、広告、パーソナル化情報レイヤ、視聴率、およびコメントメディア(たとえば、アドホックソーシャルピアコミュニティ、フォーラム、ディスカッショングループ、ビデオ会議など)に関連する情報を含みうるがこれらに限定されるものではない。
【００２４】
一部の実装では、パーソナル化情報は、視聴者がリアルタイムで見ている番組を把握することなく、視聴者のためのチャットルームを作成するために使用できる。チャットルームは、クライアントシステムによって伝送されたデータストリーム内の記述子を直接比較してマッチを判定することにより作成できる。つまり、チャットルームは、マッチする記述子を有する視聴者のまわりに作成できる。そのような実装では、視聴者から受信した記述子を参照記述子に対して比較する必要はない。
【００２５】
一部の実装では、ソーシャルアプリケーションサーバ106は、クライアント側インターフェイス102で実行されるWebブラウザ(たとえば、Microsoft Internet Explorer(商標))によって受信および表示されるWebページをクライアント側インターフェイス102に提供する。ソーシャルアプリケーションサーバ106はまた、パーソナル化コンテンツの集約と、クライアント側インターフェイス102へのWebページの提供とを支援するために、クライアント側インターフェイス102および/または音声データベースサーバ104から利用者IDを受信する。
【００２６】
システム100の他の実装が可能であることは明らかであろう。たとえば、システム100は、複数の音声データベース110、音声データベースサーバ104および/またはソーシャルアプリケーションサーバ106を含みうる。別法として、音声データベースサーバ104およびソーシャルアプリケーションサーバ106は、単一のサーバまたはシステムか、あるいはネットワークリソースおよび/またはネットワークサービスの一部でよい。さらに、ネットワーク108は、さまざまなネットワークデバイス(たとえば、ハブ、ルータ、等)およびメディア(たとえば、銅、光ファイバ、無線、等)を使用するさまざまなトポロジおよび配置で作動的に相互結合された多数のネットワークおよびリンクを含みうる。クライアントサーバアーキテクチャは、本明細書では単なる実施例として説明されている。他のコンピュータアーキテクチャが可能である。
【００２７】
環境音声識別システム
図2は、図1に示すクライアント側インターフェイス102を含む、環境音声識別システム200を示している。システム200は、マスメディアシステム202(たとえば、テレビ受像機、ラジオ、コンピュータ、電子デバイス、携帯電話、ゲームコンソール、ネットワークアプライアンス、等)と、環境音声検出器204と、クライアント側インターフェイス102(たとえば、デスクトップコンピュータまたはラップトップコンピュータ、等)と、ネットワークアクセスデバイス206とを含む。一部の実装では、クライアント側インターフェイス102は、図5に関して説明するように利用者がマスパーソナライゼーションアプリケーションと対話することを可能にするためのユーザーインターフェイス(UI)208を提示するためのディスプレイデバイス210を含む。
【００２８】
作動中、マスメディアシステム202は、マスメディア放送の環境音声(たとえば、テレビ音声)を生成し、この環境音声は、環境音声検出器204によって検出される。環境音声検出器204は、自立型マイクおよびクライアント側インターフェイス102に統合されたマイクを含む、環境音声を検出可能な任意のデバイスでよい。検出された環境音声は、環境音声を識別する記述子を提供するために、クライアント側インターフェイス102によって符号化される。この記述子は、ネットワークアクセスデバイス206およびネットワーク108を経由して音声データベースサーバ104に伝送される。
【００２９】
一部の実装では、クライアント側インターフェイス102で実行されるクライアントソフトウェアが、環境音声のn秒(たとえば、5秒)の音声ファイル(「スニペット」)を継続的に監視および記録する。スニペットはその後、図4に関して説明するプロセスに応じて、mフレーム(たとえば、415フレーム)のkビット符号化記述子(たとえば、32ビット)に変換される。一部の実装では、監視および記録は、イベントベースである。たとえば、監視および記録は、指定した日付の指定した時刻(たとえば、月曜日の午後8時)に、指定した継続時間(たとえば、午後8時から午後9時の間)にわたり、自動的に開始できる。あるいは、監視および記録は、制御デバイス(たとえば、リモコン、等)からの利用者入力(たとえば、マウスクリック、ファンクションキー、またはキーの組み合わせ)に応じて開始できる。一部の実装では、環境音声は、Keらに記載されている32ビット/フレーム識別機能のストリーミング版を使用して符号化される。
【００３０】
一部の実装では、クライアントソフトウェアは、「サイドバー」または他のユーザーインターフェイス要素として実行される。そうすると、クライアント側インターフェイス102が起動されるときに、完全なWebブラウザセッションを開始することなく、環境音声のサンプリングを直ちに開始し「バックグラウンド」で実行して、(オプションで)結果をサイドバー内に表示できる。
【００３１】
一部の実装では、環境音声のサンプリングは、クライアント側インターフェイス102が起動されるときか、あるいは視聴者がサービスまたはアプリケーション(たとえば、電子メール、等)にログインするときに開始できる。
【００３２】
記述子は、音声データベースサーバ104に送信される。一部の実装では、記述子は、Keらに記載されているように、環境音声の圧縮済み統計概要である。統計概要は可逆性ではない、すなわち元の音声を記述子から復元できないため、統計概要を送信することにより、利用者の音のプライバシーが維持される。したがって、放送環境で監視および記録された利用者または他の個人によるすべての会話は、記述子から再現できない。一部の実装では、記述子を、さらなるプライバシーおよびセキュリティのために、1つまたは複数の既知の暗号化技法(たとえば、非対称鍵暗号または対称鍵暗号、楕円暗号、等)を使用して暗号化できる。
【００３３】
一部の実装では、記述子は、クライアント側インターフェイス102の監視プロセスによって検出されるトリガイベントに応じて、クエリ送信(クエリ記述子とも呼ばれる)として音声データベースサーバ104に送信される。たとえば、トリガイベントは、テレビ番組のオープニングテーマ(たとえば、「Seinfeld」のオープニング音楽)、または役者が話すせりふである可能性がある。一部の実装では、クエリ記述子は、連続的なストリーミングプロセスの一部として音声データベースサーバ104に送信できる。一部の実装では、クエリ記述子は、利用者入力(たとえば、リモコン経由、マウスクリック、等)に応じて音声データベースサーバ104に伝送できる。
【００３４】
マスパーソナライゼーションプロセス
図3は、マスパーソナライゼーションプロセス300の流れ図である。プロセス300のステップは、特定の順序に完了する必要はなく、少なくとも一部のステップは、マルチスレッディングまたはパラレルプロセッシング環境で同時に実行できる。
【００３５】
プロセス300は、クライアント側インターフェイス(たとえば、クライアント側インターフェイス102)が放送環境内でマスメディア放送の環境音声のスニペットを監視および記録するときに始まる(302)。記録された環境音声スニペットは、記述子(たとえば、圧縮済み統計要約)に符号化され、この記述子は、クエリとして音声データベースサーバに送信できる(304)。音声データベースサーバは、マスメディア放送の統計情報から計算された参照記述子のデータベースに対してクエリを比較して、クエリに最もマッチする候補記述子を判定する(308)。候補記述子は、ソーシャルアプリケーションサーバまたは他のネットワークリソースに送信され、ソーシャルアプリケーションサーバまたは他のネットワークリソースは、候補記述子を使用して利用者のためのパーソナル化情報を集約する(310)。たとえば、利用者がテレビ番組「Seinfeld」を見ている場合、その番組の環境音声から生成されるクエリ記述子は、「Seinfeld」の以前の放送から派生した参照記述子にマッチする。したがって、最もマッチする候補記述子が使用されて、「Seinfeld」に関連するパーソナル化情報(たとえば、ニュース記事、ディスカッショングループ、アドホックソーシャルピアコミュニティまたはチャットルームへのリンク、広告、等)が集約される。一部の実装では、マッチング手順は、図4に関して説明するように、ハッシング技法(たとえば、ダイレクトハッシングまたはLocality Sensitive Hashing (LSH))を使用して候補記述子の短いリストを得ることで、効果的に実行される。候補記述子はその後、Keらに記載されているような検証手続きで処理される。
【００３６】
一部の実装では、異なる視聴者からのクエリ記述子は、各クエリを参照記述子のデータベースとマッチさせるのではなく、直接マッチさせられる。そのような実施形態により、参照記述子のデータベースが利用できない主題についてのアドホックソーシャルピアコミュニティを作成することが可能となるであろう。そのような実施形態では、同じ公的形態(たとえば、スタジアム、バー、等)内にいて、ポータブル電子デバイス(たとえば、携帯電話、PDA、等)を使用している視聴者を、リアルタイムでマッチさせることが可能であろう。
【００３７】
視聴率
一部の実装では、放送(たとえば、番組、広告、等)を現在見ている視聴者のリストから、リアルタイムかつ集約された統計情報が推論される。これらの統計情報は、視聴者が他のアプリケーションを使用している間に、バックグラウンドで収集できる。統計情報には、1)放送を見ている視聴者の平均数、2)視聴者が放送を見た平均回数、3)視聴者が見た他の番組、4)視聴者の最低数および最高数、5)視聴者が放送を離れたときに最も多かった切り替え先、6)視聴者が放送を見る時間、7)視聴者がチャンネルを切り替える回数、8)視聴者が見た広告、および9)視聴者が放送に入ったときに最も多かった切り替え元、等が含まれうるがこれらに限定されるものではない。これらの統計情報から、1つまたは複数の視聴率を判定できる。
【００３８】
視聴率の生成に使用される統計情報は、監視されている各放送チャンネル用のカウンタを使用して生成できる。一部の実装では、カウンタは、人口統計的なグループデータまたは地理的なグループデータと交差させることができる。視聴率は、視聴者が放送の進行中に(たとえば、2004年のスーパーボウルのハーフタイムパフォーマンス中に視聴率が上昇したことに注目することにより)「何が人気なのかを確認する」ために利用できる。また広告主およびコンテンツ提供者は、表示される素材を視聴率に応じて動的に調整するために、視聴率を利用できる。これは、広告の場合は特にそうである。なぜなら、広告キャンペーンによって生成される広告は、単位長さが短く、多数のバージョンが存在するため、視聴率レベルに合わせて容易に交換されるからである。統計情報のその他の例としては、人口統計または時間によるテレビ放送とラジオ放送の人気の比較、1日の時間帯の人気、すなわちピーク視聴時間帯、特定のエリア内の世帯数、特定の番組(番組のジャンル、1日の特定の時間帯)中のチャンネルサーフィンの量、放送の音量、等があるがこれらに限定されるものではない。
【００３９】
パーソナル化情報は、クライアント側インターフェイスに送信される(312)。視聴率は、上述した広告の動的な調整など、他のプロセスで使用するためにデータベースに格納することもできる(318)。パーソナル化情報は、クライアント側インターフェイスで受信され(314)、そこで書式設定されユーザーインターフェイス内で提示される(316)。パーソナル化情報は、ユーザーインターフェイス内で利用者に提示されるコメントメディア(たとえば、チャットルーム内のテキストメッセージ)と関連付けることができる。一部の実装では、チャットルームは、1つまたは複数のサブグループを含みうる。たとえば、「Seinfeld」のディスカッショングループは、「Seinfeld Experts」という名前のサブグループを含む可能性があり、あるいは特定の人口統計層、たとえば「Seinfeld」を見ている20歳から30歳までの女性に、サブグループが関連付けられる場合がある。
【００４０】
一部の実装では、視聴率用の統計情報を生成するために使用される未加工の情報(たとえば、カウンタ値)は、ソーシャルアプリケーションサーバではなく、クライアント側インターフェイスで収集および格納される。未加工の情報は、利用者がオンラインのときおよび/またはマスパーソナライゼーションアプリケーションを起動するときにいつでも放送局に転送できる。
【００４１】
一部の実装では、放送測定ボックス(BMB)がクライアント側インターフェイスに設置される。BMBは、セットトップボックスに似ているが放送デバイスには接続しない単純なハードウェアデバイスでありうる。テレビ内にハードウェアを設置する必要があるニールセン視聴率システムと異なり、BMBは、マスメディアシステムの近傍またはテレビ信号の範囲内に設置できる。一部の実装では、BMBは、音声スニペットを自動的に記録し、メモリ(たとえば、フラッシュメディア)内に格納される記述子を生成する。一部の実装では、BMBは、(ニールセン視聴率と同じように)利用者が利用者の見ている放送を示すために押すことができる1つまたは複数のハードウェアボタンをオプションで含みうる。BMBデバイスは、視聴率提供業者がときどき回収して格納された記述子を収集するか、またはBMBが格納された記述子を1つまたは複数の当事者にネットワーク接続(たとえば、電話、インターネット、無線用のショートメッセージサービス(SMS)などの無線通信、等)を介してときどきブロードキャストすることができる。
【００４２】
一部の実装では、広告を監視して広告の効果を判定し、それを広告主に折り返し報告することができる。たとえば、見られた広告、飛ばされた広告、広告のボリュームレベル、等を報告できる。
【００４３】
一部の実装では、画像キャプチャデバイス(たとえば、デジタルカメラ、ビデオレコーダ、等)を使用して、放送を見ているまたは聴いている視聴者の数を測定できる。たとえば、さまざまな既知のパターンマッチングアルゴリズムを画像または一連の画像に適用して、特定の放送中に放送環境内にいる視聴者の数を判定できる。画像およびまたは画像から派生したデータは、利用者のためのパーソナル化情報を収集する、視聴率を計算する、またはその他の任意の目的で、音声記述子と組み合わせて使用できる。
【００４４】
音声指紋採取プロセス
図4は、音声指紋採取プロセス400の流れ図である。プロセス400のステップは、特定の順序で完了する必要はなく、また少なくとも一部のステップは、マルチスレッディング環境またはパラレルプロセッシング環境内で同時に実行できる。プロセス400は、クライアント側インターフェイス(たとえば、クライアント側インターフェイス102)で生成されたクエリ記述子を、1つまたは複数のデータベースに格納された参照記述子とリアルタイムかつ低遅延でマッチさせる。プロセス400は、環境音声データ(たとえば、テレビ放送のもの)およびクエリを処理するように、Keらによって提案されている技法を構成する。
【００４５】
プロセス400は、クライアント側インターフェイスで、環境音声検出器(たとえば、マイク)によってキャプチャされたマスメディア放送の環境音声スニペット(たとえば、5〜6秒の音声)を、重複するフレームに分解することにより開始される(402)。一部の実装では、フレームに数ミリ秒の間隔が空けられる(たとえば、12ms間隔)。各フレームは、Keらに記述されているように、音声のノイズおよび歪みを克服するようにトレーニングされた記述子(たとえば、32ビット記述子)に変換される(404)。一部の実装では、各記述子は、音声スニペットの識別的な統計要約を表す。
【００４６】
一部の実装では、記述子は、クエリスニペット(クエリ記述子とも呼ばれる)として音声データベースサーバに送信でき、そこでマスメディア放送の以前に記録された音声スニペットの統計要約を識別する参照記述子のデータベースに対してマッチさせられる(406)。ベストマッチを有する候補記述子のリストを判定することができる(408)。候補記述子には、クエリ記述子と時間的に一致する候補記述子が、クエリ記述子とあまり時間的に一致しない候補記述子よりも高スコアになるように、スコアを与えることができる(410)。スコアが最も高い(たとえば、スコアが十分に高いしきい値を超える)候補記述子は、ソーシャルアプリケーションサーバに伝送されるかまたはそれ以外の方法で提供され(412)、そこでそれらの候補記述子を使用してメディア放送に関連するパーソナル化情報を集約できる。しきい値を使用することで、記述子がソーシャルアプリケーションサーバに伝送されるかまたはそれ以外の方法で提供される(412)前に、記述子が十分にマッチすることが保証される。
【００４７】
一部の実装では、参照記述子のデータベースは、記述子を生成するためにインデックス設定および使用することが可能な、さまざまなメディア企業により与えられる放送から生成できる。他の実装では、参照記述子は、テレビガイドあるいは放送信号に埋め込まれている他のメタデータおよび/または情報を使用して生成することもできる。
【００４８】
一部の実装では、スピーチ認識技術を使用して、見られている番組の識別を支援することができる。そのような技術は、利用者がテレビ番組だけでなく、ニュースについて論じるのにも役立つ可能性がある。たとえば、利用者は、シャトルの発射を別の視聴者とは異なるチャンネルで見ていて、したがって(たとえば、ニュースキャスターが異なるために)異なる音声信号を受信している可能性がある。スピーチ認識技術を使用すると、キーワード(たとえば、シャトル、発射、等)を認識することが可能であり、それらのキーワードを使用して利用者をコメントメディアに結び付けることができる。
【００４９】
記述子のハッシング
Keらは、コンピュータビジョン技法を使用して、音声の高度に識別的でコンパクトな統計情報を見つけている。彼らの手続きは、肯定的な例(xおよびx'は、同じ音声のノイズ入りバージョンである)と否定的な例(xおよびx'は、異なる音声のものである)のラベル付きペア上でトレーニングされている。このトレーニング段階では、ブースティングに基づく機械学習技法でラベル付きペアを使用して、高度に識別的な統計情報を連携して作成する32のフィルタおよびしきい値の組み合わせを選択する。フィルタは、時間および周波数にまたがる一次差分および二次差分を使用して、スペクトログラムマグニチュード内の変化を局在化する。これらの単純な差分フィルタを使用することの1つの利点は、これらのフィルタが、本明細書でその全体を引用して援用するViola, P.およびJones, M. (2002)、Robust Real-Time Object Detection、International Journal of Computer Visionで説明されているインテグラルイメージ技法を使用して効率的に計算できることである。
【００５０】
一部の実装では、これら32のフィルタの出力は、各音声フレームでフィルタごとに1つのビットを与えるしきい値である。これら32のしきい値結果は、音声の当該のフレームの伝送済み記述子のみを形成する。符号化におけるこの希少性により、不正な盗聴に対する利用者のプライバシーが保証される。さらに、これらの32ビット記述子は、トレーニングデータ内の音声歪みに対して堅牢であり、したがって肯定的な例(たとえば、マッチするフレーム)ではハミング距離(すなわち、異なるビット数を計測する距離)が小さく、否定的な例(たとえば、マッチしないフレーム)ではハミング距離が大きくなる。より多くまたは少ないフィルタを使用することが可能であり、また各音声フレームでフィルタごとに2つ以上のビットを使用する(たとえば、複数のしきい値テストを使用する、より多くのビット)ことが可能であることに留意されたい。
【００５１】
一部の実装では、32ビット記述子自体が直接ハッシングのためのハッシュキーとして使用される。記述子は、バランスのとれたハッシュ関数である。取得速度は、クエリ記述子だけでなく、類似する記述子(元のクエリ記述子からハミング距離が2まで)の小規模なセットも問い合わせることにより、さらに向上する。
【００５２】
クエリ内の時間的一貫性
上述したハッシュ手順を使用してクエリ記述子を音声データベースにマッチさせると、マッチが検証され、データベースから返されたどのヒットが正確なマッチであるかが判定される。それ以外の場合、候補記述子は、クエリ記述子にマッチするフレームを多数有しているものの、時間的な構造が誤っている可能性がある。
【００５３】
一部の実装では、検証は、各データベースヒットを、特定のクエリデータベースオフセットでのマッチをサポートするものとして見ることにより実現される。たとえば、5秒間415フレーム長の「Seinfeld」クエリスニペットq内の8番目の記述子(q8)が、1008番目のデータベース記述子(x1008)にヒットする場合、このことは、5秒間のクエリと、音声データベース内のフレーム1001〜1415との間の候補マッチをサポートする。qnとx1000+n (1≦n≦415)との間の他のマッチは、この同じ候補マッチをサポートすることになる。
【００５４】
時間的一貫性に加えて、会話が環境音声を一時的にかき消すときのフレームを考慮する必要がある。これは、環境音声と干渉音との間の排他的切り替えとしてモデル化できる。各クエリフレームiについて、隠れ変数yiが存在する。yi=0の場合、クエリのi番目のフレームは、干渉のみとしてモデル化される。yi=1の場合、i番目のフレームは、クリーンな環境音声のものとしてモデル化される。極端な見方(純粋な環境か、純粋な干渉か)をとることは、各音声フレームが表現される精度がきわめて低い(32ビット)ことによって正当化され、また2つの仮定(yi=0およびyi=1)のそれぞれの下でフレームベクタの32の位置のそれぞれについて追加のビットフロップ確率を提供することにより緩和される。最後に、環境のみ状態と干渉のみ状態との間のフレーム間移行を、トレーニングデータから派生した移行確率を使用して、隠れ一次マルコフ過程としてモデル化する。たとえば、KeらによりCVPR 2005で与えられた66パラメータの確率モデルを再利用できる。
【００５５】
クエリベクタqと、Nフレームのオフセットの環境データベースベクタxNとの間のマッチ確率の最終的なモデルは、
【００５６】
【数１】
2009524273.tif 000003
【００５７】
であり、ここで<qn,xm>は、32ビットフレームベクタqnおよびxmの間のビット差異を示す。このモデルは、時間的一貫性の制約と、環境/干渉の隠れマルコフモデルとを両方含んでいる。
【００５８】
マッチ後の一貫性フィルタ処理
人々は、テレビを見ている間に他の人としばしば会話し、結果として、特に環境音声のサンプリングにラップトップベースのマイクを使用している場合に、散発的ながらも強力な音響干渉が生じる。会話の発声のほとんどが2、3秒の長さであることを考えると、視聴者間の簡単な情報のやり取りにより、5秒間のクエリが認識不能になる可能性がある。
【００５９】
一部の実装では、マッチ後のフィルタ処理を使用して、こうした間欠的な低信頼のミスマッチを処理する。たとえば、予想される滞留時間(すなわち、チャンネル変更間の時間)をL秒とするチャンネル切り替えの連続時間隠れマルコフモデルを使用できる。ソーシャルアプリケーションサーバ106は、近接過去内の最も信頼性の高いマッチを(その「差し引いた」信頼性と共に)、各クライアントセッションに関連する状態情報の一部として示す。この情報を使用して、サーバ106は、近接過去のコンテンツインデックスマッチまたは現在のインデックスマッチを、どちらの信頼性がより高いかに基づいて選択する。
【００６０】
前の時間ステップ(5秒前)についてのベストマッチと、その対数尤度信頼スコアとを表すために、MhおよびChを使用する。この前のベストマッチに、別の観測を行わずにマルコフモデルを単純に適用すると、現在の時刻についてのベストマッチは、その同じ番組シーケンスのちょうど5秒後であると予測され、またこの予測の信頼はCh-l/Lであり、l=5秒がクエリ時間ステップである。この対数尤度におけるl/Lの差し引きは、長さlの時間ステップ内でチャンネルを切り替えないマルコフモデルの確率e-l/Lに対応する。
【００６１】
代替の仮定は、現在のクエリに対する音声マッチによって生成される。現在の音声スニペットに対するベストマッチ、すなわち、音声指紋採取プロセス400によって生成されるマッチを表すために、M0を使用する。C0は、音声指紋採取プロセス400によって与えられる対数尤度信頼スコアである。
【００６２】
これら2つのマッチ(更新された履歴的な予測と、現在のスニペットの観測)が異なるマッチを与える場合、信頼スコアが高いほうの仮説を選択する。
【００６３】
【数２】
2009524273.tif 000004
【００６４】
ここで、M0は、ソーシャルアプリケーションサーバ106によって関連するコンテンツを選択するために使用されるマッチであり、M0およびC0は、MhおよびChとして次の時間ステップに繰り越される。
【００６５】
ユーザーインターフェイス
図5は、マスパーソナライゼーションアプリケーションと対話するためのユーザーインターフェイス208の一実施形態を表す図である。ユーザーインターフェイス208は、パーソナル化レイヤ表示領域502と、コメントメディア表示領域504と、スポンサーリンク表示領域506と、コンテンツ表示領域508とを含む。パーソナル化レイヤ表示領域502は、補足的な情報および/またはコンテンツ表示領域508に表示されるビデオコンテンツに関連する画像を表示する。パーソナル化レイヤは、ナビゲーションバー510および入力デバイス(たとえば、マウスまたはリモコン)を使用してナビゲートできる。各レイヤは、ナビゲーションバー510内に関連するラベルを持つ。たとえば、利用者が「ファッション」ラベルを選択すると、「Seinfeld」に関連するファッション関係のコンテンツを含むファッションレイヤが表示領域502に表示される。
【００６６】
一部の実装では、クライアント側インターフェイス102は、ユーザーインターフェイス208を提示できるディスプレイデバイス210を含む。一部の実装では、ユーザーインターフェイス208は、ソーシャルアプリケーションサーバ106によって提供され、ディスプレイデバイス210の画面上のブラウザウィンドウ内で提示されるインタラクティブなWebページである。一部の実装では、ユーザーインターフェイス208は永続的であり、コンテンツマッチプロセスで使用される放送音声が適時に変更された後に対話に利用できるようになる。一部の実装では、ユーザーインターフェイス208は、時間とともに、またはトリガイベント(たとえば、新しい人がチャットルームに入る、コマーシャルが始まる、等)に応じて、動的に更新される。たとえば、コマーシャルが放送されるたびに、スポンサーリンク表示領域506を、コマーシャルの主題に関連する新しいリンク518で更新できる。
【００６７】
一部の実装では、パーソナル化情報およびスポンサーリンクは、視聴者に電子メールで送信するか、または後でサイドバー上に表示できる。
【００６８】
一部の実装では、クライアント側インターフェイス102は、パーソナル化情報をソーシャルアプリケーションサーバ106から受信する。この情報は、Webページ、電子メール、掲示板、リンク、インスタントメッセージ、チャットルーム、あるいは進行中のディスカッショングループ、eRoom、ビデオ会議またはネットミーティング、ボイスコール(たとえば、Skype(登録商標))、等への招待を含みうる。一部の実装では、ユーザーインターフェイス208は、以前に見られた放送または映画のコメントおよび/またはコメントへのリンクへのアクセスを提供する。たとえば、利用者は、「Shrek」のDVDを現在見ている場合、人々がその映画について過去に何と言っているかを見たいことがある。
【００６９】
一部の実装では、表示領域502は、放送に関する視聴率を表示するために使用される視聴率領域512を含む。たとえば、表示領域512は、「Seinfeld」を現在見ている視聴者が何人いるかを、同時に放送されている別のテレビ番組との比較で表示できる。
【００７０】
一部の実装では、コメントメディア表示領域504は、複数の利用者が放送についてコメントできるチャットルーム型の環境を提供する。一部の実装では、表示領域504は、入力機構516(たとえば、ボタン)を使用してチャットルームに送信されるコメントを入力するためのテキストボックス514を含む。
【００７１】
スポンサーリンク表示領域506は、放送に関連する広告に関する情報、画像および/またはリンクを含む。たとえば、リンク518の1つは、利用者を「Seinfeld」の商品を販売しているWebサイトに案内することができる。
【００７２】
コンテンツ表示領域508は、放送コンテンツが表示される場所である。たとえば、現在の放送の場面が、他の関連情報(たとえば、エピソード番号、タイトル、タイムスタンプ、等)と共に表示されうる。一部の実装では、表示領域508は、表示されるコンテンツをナビゲートするためのコントロール520(たとえば、スクロールボタン)を含む。
【００７３】
ビデオブックマーク
一部の実装では、ビデオにブックマークを設定するために使用できるボタン522がコンテンツ表示領域に含まれる。たとえば、ボタン522をクリックすることで、表示領域508に表示されている「Seinfeld」のエピソードが利用者のお気に入りビデオライブラリに追加され、それを後でWebベースのストリーミングアプリケーションまたは他のアクセス方法を通じてオンデマンドで見ることができる。コンテンツ所有者によって設定されるポリシーに応じて、このストリーミングサービスでは、1回だけ見ることができる無料の再生を提供するか、コンテンツ所有者のエージェントとして支払いを徴収するか、またはコンテンツ所有者への支払いを提供する広告を挿入することができる。
【００７４】
クライアント側インターフェイスのハードウェアアーキテクチャ
図6は、図1に示すクライアント側インターフェイス102のためのハードウェアアーキテクチャ600のブロック図である。ハードウェアアーキテクチャ600は、コンピューティングデバイス(たとえば、パーソナルコンピュータ)に典型のものであるが、開示する実装は、ディスプレイデバイス上でユーザーインターフェイスを提示できる任意のデバイス内で実現でき、これには、デスクトップコンピュータまたはポータブルコンピュータ、電子デバイス、電話、携帯電話、ディスプレイシステム、テレビ、モニタ、ナビゲーションシステム、ポータブルメディアプレーヤ/レコーダ、携帯情報端末、ゲームシステム、ハンドヘルド電子デバイス、および組み込み電子デバイスまたはアプライアンスが含まれるがこれらに限定されるものではない。
【００７５】
一部の実装では、システム600は、1つまたは複数のプロセッサ602(たとえば、CPU)と、オプションの1つまたは複数のディスプレイデバイス604(たとえば、CRT、LCD、等)と、マイクインターフェイス606と、1つまたは複数のネットワークインターフェイス608(たとえば、USB、イーサネット(登録商標)、FireWire(登録商標)ポート、等)と、オプションの1つまたは複数の入力デバイス610(たとえば、マウス、キーボード、等)と、1つまたは複数のコンピュータ読み取り可能メディア612とを含む。これらの各コンポーネントは、1つまたは複数のバス614(たとえば、EISA、PCI、USB、FireWire(登録商標)、NuBus、PDS、等)に作動的に結合される。
【００７６】
一部の実装では、ディスプレイデバイスまたは入力デバイスは存在せず、システム600は、利用者の入力なしで、サンプリングおよび符号化(たとえば、記述子の生成、等)だけをバックグラウンドで実行する。
【００７７】
「コンピュータ読み取り可能メディア」という用語は、命令を実行のためにプロセッサ602に提供することに関わる任意のメディアを表し、これには不揮発性メディア(たとえば、光学ディスクまたは磁気ディスク)、揮発性メディア(たとえば、メモリ)および伝送メディアが含まれるがこれらに限定されるものではない。伝送メディアには、同軸ケーブル、銅線および光ファイバが含まれるがこれらに限定されるものではない。伝送メディアはまた、音声周波、光周波または無線周波の形式をとりうる。
【００７８】
コンピュータ読み取り可能メディア612は、オペレーティングシステム616(たとえば、Mac OS(登録商標)、Windows(登録商標)、Unix(登録商標)、Linux、等)と、ネットワーク通信モジュール618と、クライアントソフトウェア620と、1つまたは複数のアプリケーション622とをさらに含む。オペレーティングシステム616は、マルチユーザー、マルチプロセッシング、マルチタスキング、マルチスレッディング、リアルタイム等でよい。オペレーティングシステム616は、入力デバイス610からの入力の認識、ディスプレイデバイス604への出力の送信、ストレージデバイス612上のファイルおよびディレクトリの追跡、周辺デバイス(たとえば、ディスクドライブ、プリンタ、画像キャプチャデバイス、等)の制御、ならびに1つまたは複数のバス614上のトラフィックの管理を含むがこれに限定されるものではない基本タスクを実行する。
【００７９】
ネットワーク通信モジュール618は、ネットワーク接続を確立および管理するためのさまざまなコンポーネント(たとえば、TCP/IP、HTTP、イーサネット(登録商標)、USB、FireWire(登録商標)、等の通信プロトコルを実装するためのソフトウェア)を含む。
【００８０】
クライアントソフトウェア620は、マスパーソナライゼーションアプリケーションのクライアント側を実装するためと、図1〜5に関して説明するさまざまなクライアント側機能(たとえば、環境音声識別)を実行するための、さまざまなソフトウェアコンポーネントを提供する。一部の実装では、クライアントソフトウェア620によって実行されるプロセスの一部またはすべてを、オペレーティングシステム616に統合できる。一部の実装では、これらのプロセスは、デジタル電子回路内、あるいはコンピュータのハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組み合わせの中に、少なくとも部分的に実装できる。
【００８１】
他のアプリケーション622は、ワードプロセッサ、ブラウザ、電子メール、インスタントメッセージング、メディアプレーヤ、テレフォニーソフトウェア、等を含むがこれに限定されるものではない任意の他のソフトウェアアプリケーションを含みうる。
【００８２】
広告および再放送の検出
反復の検出
検索用のデータベースを用意する場合、前述した記述子を使用して反復素材に事前にフラグを設定できれば役に立つ。反復素材には、再放送番組、広告、サブセグメント(たとえば、ニュース番組の資料映像)、等が含まれるがこれに限定されるものではない。これらのフラグを使用して、反復素材を、検索を実行している利用者の注意範囲を超える(たとえば、最初の10〜20ヒットを超える)他のすべての素材をプッシュしない方法で提示できる。以下に説明するプロセス700は、データベース上でのすべての検索クエリの前に、そうした重複を検出する方法を提供する。
【００８３】
ビデオ広告の削除
素材の検索および再生を可能にすることに関して放送局が抱いている不満の1つは、埋め込まれた広告が再放送されることである。放送局の観点からすると、この再放送は非生産的である。再放送は、広告主に無料の広告を提供するため、広告主が直接費用を支払う放送の価値を下げる。古い広告を取り除き、元の放送局に何らかのレビューを返すような方法で新しい広告を代入しないかぎり、元の放送局は以前の放送素材の再生から利益を得ない。以下に説明するプロセス700は、反復を、場合によっては他の条件(たとえば、継続時間、ボリューム、ビジュアルアクティビティ、ブラケット空白フレーム、等)と組み合わせて検索することにより、埋め込まれた広告を検出する方法を提供する。
【００８４】
ビデオの要約化
反復されない番組素材の「要約」(すなわち、より短いバージョン)が必要な場合、それを得るための1つの方法は、(反復素材により検出された)広告を削除し、広告の位置の直前および直後の素材からセグメントを取得することである。テレビ放送では、番組内のこれらの位置は通常、「ティーザー」(広告の前)と「リキャップ」(放送の直後)とを含んでいる。反復しない非広告素材と反復する非広告素材とが混在するニュース番組の要約を作成する場合、通常、反復する非広告素材は、サウンドバイトに相当する。これらのセグメントは一般に、ニュースについての司会者のナレーションよりも提供する情報が少なく、削除の有力な候補である。物語的な番組(たとえば、映画または連続番組)の要約を作成する場合、反復する音声トラックは通常、テーマ音、ムード音楽、または静寂に相当する。これらもまた典型的には、要約ビデオからの削除に適したセグメントである。以下に説明するプロセス700は、要約ビデオから削除できるように、これらの反復する音声トラックを検出する方法を提供する。
【００８５】
反復検出プロセス
図7は、調和する反復検出プロセス700の一実施形態の流れ図である。プロセス700のステップは、特定の順序で完了する必要はなく、また少なくとも一部のステップは、マルチスレッディング環境またはパラレルプロセッシング環境で同時に実行できる。
【００８６】
プロセス700は、テレビフィード、ビデオアップロード、等のコンテンツの集まりから音声統計情報のデータベースを作成することから始まる(702)。たとえば、データベースは、Keらに記載されているように、32ビット/フレームの記述子を含みうる。クエリがデータベースから取得され、反復が存在するか確認するために、データベースに対して実行される(704)。一部の実装では、音声統計情報の短いセグメントがクエリとして取得され、考えうる聴覚マッチの短いリストを得るために、ハッシング技法(たとえば、ダイレクトハッシングまたはLocality Sensitive Hashing(LSH))を使用して、非一致マッチ(同一ではないマッチ)のために実行確認される。これらの候補マッチはその後、たとえばKeらに記載される検証手続きで処理される。検証された候補マッチに相当するコンテンツは、反復コンテンツとして識別できる(706)。
【００８７】
最も強い非一致マッチは、反復素材の始点と終点を検索するために、時間の前方および後方に「成長」させられる。一部の実装では、これを既知の動的プログラミング技法(たとえば、ビタビ復号)を使用して行うことができる。マッチを時間の前方に拡張する際、この強い「シード」マッチ内の最後の時間スライスが「マッチング」として設定され、クエリとマッチとの間の同じデータベースオフセットについての最初の信用強度未満マッチの最後の時間スライスが「非マッチング」として設定される。一部の実装では、これら2つの固定ポイント間の個々のフレームのマッチスコアが観察として使用され、状態内移行に加えて「マッチング」状態から「非マッチング」状態への単一の移行を許可する一次マルコフモデルが使用される。マッチングから非マッチングへの移行確率1/L(Lは、これら2つの固定ポイント間のフレームの数)は、許可される範囲内の移行位置の最小知識に対応して、ある程度任意に設定されうる。移行確率を選択するための別の可能性は、マッチ強度プロファイルを使用して、この推定を以前または以後の移行に付勢することであろう。しかし、これでは動的プログラミングモデルの複雑さが増し、またマッチ強度が既にこの期間内で観察として使用されているため、結果が向上しそうもない。同じプロセスを使用して、セグメントマッチを時間の後方に成長させる(たとえば、過去/未来を単純に切り替え、同じアルゴリズムを実行する)。
【００８８】
一部の実装では、より高いマッチ精度を獲得するために、音声キューが非聴覚情報(たとえば、視覚キュー)と組み合わされる。たとえば、音声マッチングで見つかったマッチを、その後、単純な視覚類似性測定基準を使用することにより検証する(または2回目の確認を行う)ことができる(710)。これらの測定基準には、カラーヒストグラム(たとえば、2つの画像における類似した色の頻度)、端部の数および分布についての統計情報、等が含まれるがこれらに限定されるものではない。これらの測定基準は、画像全体についてのみ計算する必要はなく、画像のサブ領域についても計算でき、またターゲット画像内の対応するサブ領域と比較できる。
【００８９】
（すべてのタイプの反復素材とは対照的に）広告を検索しているアプリケーションのために、反復素材検出の結果を、広告を広告以外のものから区別することを目的とした測定基準と組み合わせることができる(712)。これらの区別特性は、継続時間などの広告慣例(たとえば、10/15/30秒のスポットが一般的)、ボリューム(たとえば、広告は、周囲の番組素材よりも音が大きい傾向があり、したがって反復素材が両側の素材よりも音が大きい場合、その反復素材は広告である可能性がより高い)、ビジュアルアクティビティ(たとえば、広告は、場面間の移行がより速く、場面内の動きがより多い傾向があり、したがって反復素材が両側の素材よりも大きなフレーム差異を有する場合、その反復素材は広告である可能性がより高い)、およびブラケット空白フレーム(地方で挿入された広告は通常、全国的な番組供給によって広告用に残されたスロットを完全には埋めず、結果として黒いフレームおよび静寂が30秒の倍数であるスペース内に残る)に依拠しうる。
【００９０】
広告を識別したら、広告を囲む素材を分析し、統計情報を生成できる。たとえば、特定の製品が特定の創造物(たとえば、画像、テキスト)を使用して広告された回数、または特定のセグメントが放送された回数、等に関する統計情報を生成できる。一部の実装では、1つまたは複数の古い広告を削除するか、または新しい広告で置換できる。広告の検出および置換のためのさらなる技法は、本明細書でその全体を引用して援用する記事Covell, M.、Baluja, S.、Fink, M.、Advertisement Detection and Replacement Using Acoustic and Visual Repetition、IEEE Signal Processing Society、MMSP 2006 International Workshop on Multimedia Signal Processing、2006年10月3日〜6日、カナダ、ブリティッシュコロンビア州で説明されている。
【００９１】
一部の実装では、コンテンツの詳細な構造に関するコンテンツ所有者からの情報(たとえば、広告素材が挿入された位置、番組が反復された位置)を使用して、プロセス700を補強し、マッチ精度を向上させることができる。一部の実装では、音声の代わりに、ビデオ統計情報を使用して反復を判定できる。他の実装では、ビデオ統計情報および音声統計情報の組み合わせを使用できる。
【００９２】
音声スニペットのオークション
一部の実装では、広告主は、広告主が販売したい製品またはサービスに関する環境音声の存在に関するオークションに参加できる。たとえば、「Seinfeld」に関連する音声スニペットまたは記述子に製品またはサービスを関連付ける権限のオークションに、複数の広告主が入札できる。オークションの勝者はその後、対象の環境音声が存在するときはいつでも、何らかの関連情報を視聴者の前に置くことができる(たとえば、スポンサーリンク)。一部の実装では、広告主は、メタレベルの記述を有する環境音声スニペットに入札できる。たとえば、広告主は、テレビ広告に関連する音声(たとえば、これは、フォードエクスプローラのテレビ広告に関連する音声である)、クローズドキャプション(たとえば、「ヤンキースベースボール」というキャプション)、番組セグメント位置(たとえば、この音声は、「Seinfeld」の開始の15分前に発生し、また前のコマーシャル中断の3分後と、次のコマーシャル中断の1分前とに発生する)、または低レベルの音声特性または視覚特性(たとえば、「背景音楽」、「会話の声」、「爆発物のようなもの」、等)に入札できる。
【００９３】
一部の実装では、1つまたは複数のマスパーソナライゼーションアプリケーションを、利用者が別のWebサイト(たとえば、スポンサーリンク)のブラウズなどの他のタスクを実行している間に、バックグラウンドで実行できる。メディア放送に関連する素材(たとえば、テレビコンテンツ)は、別のコンテンツソースに関連する素材(たとえば、Webサイトコンテンツ)と同じスポンサーリンクオークションに参加しうる。たとえば、テレビ関連の広告を、現在のWebページのコンテンツに対応する広告と混合することができる。
【００９４】
さまざまな変型を開示する実装に加え、依然として添付の特許請求の範囲内に収めることが可能である。
【図面の簡単な説明】
【００９５】
【図１】マスパーソナライゼーションシステムの一実施形態のブロック図である。
【図２】図1に示すクライアント側インターフェイスを含む、環境音声識別システムの一実施形態を示す図である。
【図３】マスパーソナライゼーションアプリケーションを提供するためのプロセスの一実施形態の流れ図である。
【図４】音声指紋採取プロセスの一実施形態の流れ図である。
【図５】マスパーソナライゼーションアプリケーションと対話するためのユーザーインターフェイスの一実施形態を表す図である。
【図６】図1に示すクライアント側インターフェイスを実装するためのクライアントシステムのハードウェアアーキテクチャの一実施形態のブロック図である。
【図７】反復検出プロセスの一実施形態の流れ図である。
【符号の説明】
【００９６】
100    マスパーソナライゼーションシステム
102    クライアント側インターフェイス
104    音声データベースサーバ
106    ソーシャルアプリケーションサーバ
108    ネットワーク
110    音声データベース
200    環境音声識別システム
202    マスメディアシステム
204    環境音声検出器
206    ネットワークアクセスデバイス
208    ユーザーインターフェイス
210    ディスプレイデバイス
300    マスパーソナライゼーションプロセス
400    音声指紋採取プロセス
600    クライアントシステム
602    プロセッサ
604    ディスプレイデバイス
606    マイクインターフェイス/組み込みマイク
608    ネットワークインターフェイス
610    入力デバイス
612    コンピュータ読み取り可能メディア
614    バス
616    オペレーティングシステム
618    ネットワーク通信モジュール
620    クライアントソフトウェア
622    他のアプリケーション
700    反復検出プロセス
【図１】
2009524273.tif 000005
【図２】
2009524273.tif 000006
【図３】
2009524273.tif 000007
【図４】
2009524273.tif 000008
【図５】
2009524273.tif 000009
【図６】
2009524273.tif 000010
【図７】
2009524273.tif 000011
【国際調査報告】
2009524273.tif 000012