(57)【要約】  音楽に対するユーザコンテクストおよびエンゲージメントを監視および記録するための、システムおよび方法が説明される。例示的な方法においては、ユーザデバイスは、例えば、マイクロフォンを通して、ユーザのオーディオ環境のオーディオ入力を受け取る。オーディオ入力から、ユーザのオーディオ環境において演奏されている歌が、ユーザデバイスによって識別される。これは、オーディオ特徴のデータベースに問い合わせることによって行うことができる。ユーザデバイスは、歌に対するユーザコンテクストおよび／またはユーザのエンゲージメントのレベルを決定する。コンテクストは、歌が演奏されていた時間および場所を含むことができる。エンゲージメントのレベルは、例えば、ユーザが歌に合わせて踊った、もしくは他の動作をしたかどうか、ユーザが歌に合わせて歌ったかどうか、および／またはユーザが歌の音量を上げたかどうかを監視することによって、決定することができる。
2018505442.tif 000002
【特許請求の範囲】
【請求項１】
演奏されている歌を識別するステップと、
ポータブルユーザデバイスを動作させて、前記歌の演奏中にユーザの少なくとも１つの行動を検出するステップと、
前記少なくとも１つのユーザ行動に基づいて、前記歌に対するユーザのエンゲージメントのレベルを決定するステップと、
前記ユーザのエンゲージメントのレベルに基づいて、前記歌についての聴取カウントポイント値を更新するステップと
を備えることを特徴とする方法。
【請求項２】
前記聴取カウントポイント値は、複数の歌についてそれぞれの聴取カウントポイント値を含む聴取カウントポイントデータベース内に記憶されることを特徴とする請求項１に記載の方法。
【請求項３】
前記複数の歌の前記それぞれの聴取カウントポイント値に基づいて、プレイリストを生成するステップをさらに備えることを特徴とする請求項２に記載の方法。
【請求項４】
前記ユーザについての前記プレイリストを演奏するステップをさらに備えることを特徴とする請求項３に記載の方法。
【請求項５】
前記ユーザのエンゲージメントのレベルの前記決定、および前記聴取カウントポイント値の更新は、前記プレイリストの演奏中に実行されることを特徴とする請求項４に記載の方法。
【請求項６】
前記複数の歌の前記それぞれの聴取カウントポイント値に基づいて、人気チャートを生成するステップをさらに備えることを特徴とする請求項２に記載の方法。
【請求項７】
前記聴取カウントポイントデータベースは、単一のユーザの聴取カウントポイント情報から成るユーザ聴取ログであることを特徴とする請求項２に記載の方法。
【請求項８】
前記聴取カウントポイントデータベースは、複数のユーザの聴取カウントポイント情報から成るマスタ聴取ログであることを特徴とする請求項２に記載の方法。
【請求項９】
前記ユーザの少なくとも１つの行動を検出するステップは、ユーザデバイスの加速度計を動作させて、前記ユーザが前記歌に合わせて動いているかどうかを決定するステップを含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記ユーザの少なくとも１つの行動を検出するステップは、前記ユーザデバイスのマイクロフォンを動作させて、前記ユーザが前記歌に合わせて歌っているかどうかを決定するステップを含むことを特徴とする請求項１に記載の方法。
【請求項１１】
前記ユーザの少なくとも１つの行動を検出するステップは、前記ユーザが前記ユーザデバイス上でゲームと対話しているかどうかを決定するステップを含むことを特徴とする請求項１に記載の方法。
【請求項１２】
前記ユーザの少なくとも１つの行動を検出するステップは、前記ユーザが前記歌の音量を上げたことを検出するステップを含むことを特徴とする請求項１に記載の方法。
【請求項１３】
演奏されている前記歌を識別するステップは、
マイクロフォンを動作させて、オーディオ信号を検出するステップと、
前記検出されたオーディオ信号からサンプルオーディオフィンガプリントを生成するステップと、
前記サンプルオーディオフィンガプリントを、記憶されたオーディオフィンガプリントのデータベースと比較するステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項１４】
演奏されている前記歌を識別するステップは、
第１のユーザデバイスと第２のユーザデバイスが互いに近接していることを決定するステップと、
第１のユーザデバイス上の第１のマイクロフォンを動作させて、第１のオーディオ信号を検出するステップと、
第２のユーザデバイス上の第２のマイクロフォンを動作させて、第２のオーディオ信号を検出するステップと、
前記第１のオーディオ信号から第１のオーディオフィンガプリントを生成するステップと、
前記第２のオーディオ信号から第２のオーディオフィンガプリントを生成するステップと、
前記第１のオーディオフィンガプリントおよび前記第２のオーディオフィンガプリントを、記憶されたオーディオフィンガプリントのデータベースと比較するステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項１５】
前記第１のオーディオフィンガプリントおよび前記第２のオーディオフィンガプリントを、記憶されたオーディオフィンガプリントのデータベースと比較するステップは、
前記第１のオーディオフィンガプリントと前記第２のオーディオフィンガプリントとを合成して、合成されたオーディオフィンガプリントを生成するステップと、
前記合成されたオーディオフィンガプリントを、記憶されたオーディオフィンガプリントのデータベースと比較するステップと
を含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
複数の歌に対するユーザのエンゲージメントのレベルを反映して、聴取カウントポイントデータベースを編集するステップであって、前記データベースは、前記歌の演奏と関連付けられた空間−時間情報を含む、ステップと、
空間−時間イベントと関連付けられた複数の画像を識別するステップと、
前記選択された空間−時間イベントに最も近い空間−時間情報を伴った演奏を有する複数の歌を識別するステップと、
前記識別された画像および識別された歌を音楽付きスライドショーとして前記ユーザに提示するステップと
を備えることを特徴とする方法。
【請求項１７】
複数の歌を識別するステップは、高い聴取カウントポイント値を有する歌を識別するステップを含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
プロセッサと、前記プロセッサ上で実行されたときに、
演奏されている歌を識別することと、
ポータブルユーザデバイスを動作させて、前記歌の演奏中にユーザの少なくとも１つの行動を検出することと、
前記少なくとも１つのユーザ行動に基づいて、前記歌に対するユーザのエンゲージメントのレベルを決定することと、
前記ユーザのエンゲージメントのレベルに基づいて、前記歌についての聴取カウントポイント値を更新することと
を含む機能を実行するように動作する命令を記憶した非一時コンピュータ記憶媒体と
を備えたことを特徴とするシステム。
【請求項１９】
前記命令は、前記複数の歌の前記それぞれの聴取カウントポイント値に基づいて、プレイリストを生成するようにさらに動作することを特徴とする請求項１８に記載のシステム。
【請求項２０】
前記命令は、前記ユーザについての前記プレイリストを演奏するようにさらに動作することを特徴とする請求項１９に記載のシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
関連出願の相互参照
本出願は、その開示全体が参照によって本明細書に組み込まれる、２０１４年１２月３１日に出願された米国仮特許出願第６２／０９８，７５０号の非仮出願であり、米国特許法第１１９条（ｅ）の下で、同仮出願に基づく利益を主張する。
【０００２】
音楽は、文化および日々の生活の重要な一部である。音楽は、多くの異なる環境において、多くの異なる媒体を使用して、広く演奏される。音楽は、ラジオで演奏され、インターネットを介してストリーミング配信され、自動車、エレベータ、およびスポーツジム内で聴かれる。音楽は、自動車旅行または結婚初夜など、特別な場所または瞬間の記憶を呼び起こすことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第０２１１１２３Ａ３号公報
【非特許文献】
【０００４】
【非特許文献１】Avery Li-chun Wang，“An Industrial-Strength Audio Search Algorithm，” October 2003
【発明の概要】
【発明が解決しようとする課題】
【０００５】
音楽を聴くのに様々な方法が利用可能であること、また日々の生活における音楽の全般的な重要性に鑑みて、人々の人生にとって重要な音楽を認識および記憶するための、システムおよび方法が必要とされている。
【課題を解決するための手段】
【０００６】
本開示は、聴取ログおよび音楽ライブラリを生成するためのシステムおよび方法について説明する。例示的な実施形態においては、音楽が検出され、検出された音楽は、特定の歌として識別され、追加のコンテクスト情報が、識別された歌と関連付けられ、歌のアイデンティティおよび追加のコンテクスト情報が、記憶される。様々な実施形態においては、スマートフォンおよびそれのアクセサリなど、モバイルコンピュータ処理システムによって、音楽が検出され、追加のコンテクスト情報が感知される。
【０００７】
本開示は、検出された音楽に関連する情報を記録するための聴取ログの生成について説明する。歌に対するユーザの傾聴のレベルを表すために、聴取カウントポイント（ＬＣＰ）スコアが開発される。いくつかの実施形態においては、ＬＣＰは、音楽と関連付けられたコンテクストデータに依存する。検出される音楽は、スマートフォン、コンピュータ、もしくはカーオーディオシステムなど、ユーザのコンピュータ処理システムを介して演奏することができ、またはラジオおよびコンサートなど、外部音源から演奏されて、ユーザのコンピュータ処理システムによって検出される。追加の傾聴因子は、ユーザの動作、周囲条件、およびユーザのバイオメトリックデータを測定することによって決定されるような、音楽に対するユーザの意識を検出することを含む。
【０００８】
外部音源から演奏される音楽を検出および識別するために、いくつかの実施形態においては、オーディオフィンガプリント技術が使用される。いくつかの実施形態は、オーディオフィンガプリント技術の２ステージ実施を使用して動作し、オーディオフィンガプリントは、マスタ聴取ログからの追加のデータによって補足される。追加のデータは、歌を識別するためにオーディオフィンガプリントデータベースと比較される、単一のオーディオフィンガプリントを生成するための、複数のオーディオフィンガプリントの合成を含むことができる。
【０００９】
ユーザおよび音楽業界に追加のサービスを提供するために、識別された歌と関連付けられた追加のコンテクスト情報も、マスタ聴取ログと共有される。追加のサービスは、検出された音楽と関連付けられたプレゼンテーションの生成、音楽サービスのためのマーケティング情報、同じ歌の代替バージョンの演奏をサポートするためのオーディオトランジションサービス、および不法に配信された音楽の検出を含む。
【００１０】
いくつかの実施形態においては、聴取ログ内に含まれるデータは、様々なアプリケーションにおいて使用するために、電子メール、カレンダイベント、およびソーシャルネットワークなどを含む他の情報源からのデータと組み合わされる。
【図面の簡単な説明】
【００１１】
【図１】ユーザレベルのエンゲージメントを追跡する聴取ログを生成するための、システム内のユーザデバイスの機能アーキテクチャの概略図である。
【図２】ユーザレベルのエンゲージメントを追跡する聴取ログを生成するための、例示的なシステムのシステムアーキテクチャの概略図である。
【図３】聴取ログを更新するための、いくつかの実施形態において利用される方法を説明するフローチャートである。
【図４】演奏されている歌を識別するための、いくつかの実施形態で利用される方法を説明するフローチャートである。
【図５】１または複数の歌に対するユーザエンゲージメントに基づいて、プレイリストを生成および更新するための、いくつかの実施形態で利用される方法を説明するフローチャートである。
【図６】１または複数の歌に対するユーザエンゲージメントに基づいて、音楽付きスライドショーを生成するための、いくつかの実施形態で利用される方法を説明するフローチャートである。
【図７】例示的な聴取カウントポイントデータベース内に含まれるテーブルを示す図である。
【図８】音楽再生の品質を向上させるための、いくつかの実施形態で実行される方法を示す図である。
【図９】いくつかの実施形態においてユーザデバイスとして利用される、無線送受信ユニット（ＷＴＲＵ）の機能アーキテクチャを示すブロック図である。
【図１０】歌の識別および／または聴取カウントポイントデータベースの維持のために、いくつかの実施形態で使用することができる、ネットワークエンティティの機能アーキテクチャを示すブロック図である。
【発明を実施するための形態】
【００１２】
図１は、ユーザレベルのエンゲージメント(engagement：没頭)を追跡する聴取ログを生成するための、システム内のユーザデバイスの機能アーキテクチャの概略図である。図１の例においては、ユーザは、スマートフォン１０２など、ユーザコンピューティングデバイスを提供される。例示的なユーザデバイスは、セルフォン、スマートフォン、ＭＰ３プレーヤ、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、自動車オーディオシステムおよびラジオなどを含む。ユーザデバイスは、１または複数のアクセサリに通信可能に結合することもできる。例示的なアクセサリは、マイクロフォン、カメラ、位置センサ、バイオメトリックセンサ、スマートウォッチ、スマートグラス、およびクロックなどを含む。
【００１３】
図１の例においては、音楽プレーヤソフトウェアが、ユーザデバイス上に提供され、エルトンジョンによる歌「ユアソング」を演奏するために使用されている。ユーザデバイスによって演奏される音楽は、（保存されたＭＰ３音楽ファイルとして、もしくはコンパクトディスクを介してなど）コンピュータ処理システム上にローカルに記憶すること、または（データ接続を通してストリーミング配信される、もしくはラジオチューナを介して受信されるなど）外部接続を通して受信することができる。ユーザデバイスによって演奏された検出された音楽は、その音楽に付加されたメタデータによって識別することができる。例示的なメタデータは、ファイル名、ＭＰ３データの歌タイトルおよびアーティストフィールド、ならびにラジオ信号（例えば、ラジオ放送データシステム）に付随するデジタル信号を介して送られる歌情報などを含む。
【００１４】
ユーザデバイスは、歌の演奏に関するコンテクスト情報を収集することが可能である。例えば、いくつかの実施形態においては、ユーザデバイスは、歌が演奏されている時間および／または場所に関する情報を含む、空間−時間情報を収集する。時間情報１０６を提供するために、内部クロックおよび／またはネットワーククロックを使用することができる。歌の演奏中におけるユーザの所在場所についてのジオロケーション（空間）情報１０８を提供するために、全地球測位システム（ＧＰＳ）チップセットまたは他の位置決定回路を使用することができる。他のコンテクスト情報１１０も提供することができる。例えば、（ローカルに記憶することができる、またはネットワークベースのカレンダとすることができる）ユーザのカレンダにアクセスすることができ、カレンダ情報に基づいて、ユーザが休暇中であること、通勤中であること、在宅であること、およびスポーツジムにいることなどを決定することができる。コンテクスト情報は、ユーザの電子メールおよびテキストメッセージなど、他の情報源から収集することができる。様々な実施形態においては、視線追跡情報、ＥＥＧ測定値、心拍数、および体温などの情報を含む、バイオメトリック情報１１２を収集することができる。
【００１５】
ユーザデバイスは、ユーザデバイス１０２上の「いいね」および「やだね」ボタンを介して提供することができる、ユーザ入力１１４をさらに収集する。ユーザデバイス１０２に提供することができる他のユーザ入力１１４は、演奏されている歌の音量を上げるまたは下げる、音量コントロールへのユーザ入力を含むことができる。例えば、ユーザが歌に合わせて踊っている、または跳ねているかどうか、静かに座っているかどうか、ジョギングをしているかどうかなど、歌の間のユーザの動作に関する情報を提供するために、ユーザデバイス１０２内の１または複数の加速度計および／またはジャイロスコープによって、動作情報１１６を収集することもできる。いくつかの実施形態においては、周囲音情報１１８が、１または複数のマイクロフォンから収集される。この音信号は、例えば、ユーザが歌に合わせて歌っているかどうか、または歌が演奏されている間、ユーザが関係のない会話に参加しているかどうかを決定するために使用することができる。
【００１６】
空間−時間およびコンテクスト入力１０６、１０８、１１０、１１２を使用して、ユーザデバイス１０２は、例えば、ユーザが、冬期休暇中の２００２年１月２日、シドニ滞在中に、「ユアソング」を聴いたことを決定することができる。ユーザがその歌を聴いたことを示す情報は、関連するコンテクスト情報（またはそれから導出される情報）とともに、以下でより詳細に説明される聴取カウントポイントデータベース１０４内に記憶される。
【００１７】
いくつかの実施形態においては、ユーザデバイス１０２それ自体が、（例えば、メディアプレーヤまたは音楽ストリーミングアプリケーションを通して）歌を再生していないとき、ユーザの環境内において演奏されている歌は、周囲音情報１１８に基づいて識別される。歌を識別するために、音信号は、オーディオフィンガプリントまたはハッシュに変換され、（ローカルまたはリモートに記憶されたデータベースとすることができる）オーディオフィンガプリントデータベース１２０内の情報と比較される。
【００１８】
いくつかの実施形態においては、音楽の検出は、複数のステップにおいて行われる。第１のステップにおいて、ユーザデバイスは、スタンバイまたは低電力モードで動作している。ユーザデバイスは、音楽の音調または拍子など、音楽の特徴を検出する。その後のステップにおいて、ユーザデバイスは、最初に検出された特定の歌の十全な識別を可能にする、アクティブモードに遷移する。歌の識別は、音楽検出アルゴリズムを使用して行われる。例示的な音楽検出アルゴリズムは、オーディオフィンガプリントの比較を含む。オーディオフィンガプリンティングに基づいた例示的な歌検出システムは、例えば、非特許文献１、およびＡｖｅｒｙ  Ｌｉ−Ｃｈｕｎ  Ｗａｎｇ、Ｊｕｌｉｕｓ  Ｏ．  Ｓｍｉｔｈ，  ＩＩＩの特許文献１、２００２年２月７日、「Ｍｅｔｈｏｄ  ｆｏｒ  Ｓｅａｒｃｈ  ｉｎ  ａｎ  Ａｕｄｉｏ  Ｄａｔａｂａｓｅ」において説明されている。オーディオフィンガプリント技術は、音楽の抜粋を問い合わせ、音楽の抜粋をデータベースと比較することによって、音楽を識別する。フィンガプリントデータベースは、ユーザデバイス上、リモートサーバ上、またはコンピュータ処理システムおよびリモートサーバの組み合わせにおいて記憶することができる。
【００１９】
音楽を識別するのと同時に、ユーザデバイスは、追加のコンテクスト情報を検出する。追加のコンテクスト情報の例は、場所データ、時間データ、スピード、近くの無線デバイス、コンピュータ処理システムによってアクセス可能なカレンダ上に記憶されたイベント、（眼球位置、ＥＥＧ、心拍数、および体温などの）バイオメトリックデータを含む。追加のコンテクスト情報は、識別された音楽に結び付けられ、聴取カウントポイントデータベースなどのデータベース内の聴取ログ内に記憶される。
【００２０】
例においては、ユーザのスマートフォンは、それのマイクロフォンを介して、音楽を検出することができる。スマートフォンは、音楽をサンプリングし、サンプルをフィンガプリントデータベースと比較して、その歌をロードの「ロイヤルズ」として識別する。識別を、ローカルに記憶されたフィンガプリントデータベース、またはクラウドベースのフィンガプリントデータベースから得ることができる。追加のコンテクスト情報を使用して、ユーザデバイスは、ユーザ（または彼のスマートフォン）が、カリフォルニア州のペブルビーチの近くに所在すること、それは、午後であり、特に、２０１４年１月１９日の１５時２７分であることを決定することができる。追加のコンテクスト情報は、他の人々がユーザと一緒であることを示す情報を含むことができる。これは、近くの無線信号によって決定することができ、それは、手動で入力することができ、それは、他のソーシャルメディアネットワークから収集することができ、または他の類似の方法を使用することができる。加えて、コンピュータ処理システムは、ユーザが自動車内に所在することを決定することができる。ユーザが自動車内にいることを決定するために使用することができる例示的な情報は、ユーザの所在場所、加速度、および自動車の電子システムとの同期などを含む。他の例においては、コンピュータ処理システムは、飛行機（飛行機モードにおける高高度、高速での移動など）、または列車（知られた列車ルートに沿った移動、ユーザのカレンダとの比較など）など、交通の他の方法を検出することもできる。ユーザのスマートフォンは、スマートウォッチ、スマートグラス、心拍数モニタ、およびＢｌｕｅｔｏｏｔｈヘッドセットなど、他の通信可能に接続された周辺デバイスからの情報にアクセスすることもできる。これらの接続された周辺デバイスは、ユーザの注視、ＥＥＧデータ、心拍数、体温、および運動などを検出することができる。識別された歌は、追加のコンテクスト情報とともに、聴取カウントポイントデータベースなどのデータベース内に記憶される。
【００２１】
図２は、ユーザレベルのエンゲージメント(engagement)を追跡する聴取ログを生成するための、例示的なシステムのシステムアーキテクチャの概略図である。図２の例においては、歌は、場所２０４において、音楽音源２０２から演奏されている。場所２０４は、音源２０２からの音楽が、１または複数のスピーカ２０６を通して演奏されている、例えば、店舗、レストラン、またはバーとすることができる。第１のユーザ「ユーザＡ」によって携帯されるスマートフォン２０８、および第２のユーザ「ユーザＢ」によって携帯されるスマートフォン２１０など、複数のユーザデバイスが、その場所に存在することができる。ユーザデバイス２０８および２１０の両方は、音楽を検出し、歌を識別する。ユーザデバイス２０８および２１０の両方は、また、追加のコンテクスト情報を検出し、追加のコンテクスト情報を、識別された歌とともに、各ユーザの聴取ログ内に、具体的には、ユーザＡと関連付けられた聴取ログ２１２およびユーザＢと関連付けられた聴取ログ２１４内に記憶する。各ユーザの聴取ログに属するデータは、聴取ログのマスタ収集２１６と共有される。マスタ収集２１６内に記憶された収集情報は、人気音楽チャートを開発するために使用すること、不法な音楽配信を検出するために使用すること、さらなる音楽マーケティングのために使用すること、および他の類似の用途のために使用することができる。
【００２２】
人気音楽チャート２１８を開発するために、マスタ収集ログが使用されて、異なるユーザがその音楽を聞いた回数を決定することができる。例えば、リスナのより良い近似は、送信（再生）エンドよりもむしろ受信（聴取）エンドに依存する、従来の方法を通して獲得することができる。聴取の回数を記録するのに加えて、例えば、会話が行われている背後に流れているバックグラウンドミュージックと、それに合わせて歌われている歌とを区別する、音楽に対するリスナのエンゲージメントのレベルを決定するために、追加のコンテクスト情報を分析することができる。音楽がラウドスピーカを通して演奏される例示的なシナリオにおいては、本開示の方法は、聴衆のうち何人の人々が歌を聴いているかを決定するために使用することができる。
【００２３】
不法な音楽配信を検出するために、マスタ収集ログ２１６が使用されて、公共空間において音楽が演奏されるエリアを強調することができる。一般に、公共空間は、音楽を公共的に演奏するために、許可および／または契約を有することが必要とされる。不法配信検出モジュール２２０による、（方法の中でもとりわけ、公共的場所において何人かの参加者によって歌を識別することによって示されるような）検出された公共的演奏と、許可された公共的演奏のデータベースとの比較は、不法な公共的配信の疑わしい事例を強調することができる。
【００２４】
音楽マーケティングを支援するために、マスタ収集ログが使用されて、リスナの伝記的プロファイル、歌が聞かれた場所、およびリスナが音楽に対して有するエンゲージメントのレベルなど、聴取コンテクスト情報を提供することができる。音楽マーケティングモジュール２２２は、この情報に基づいて動作して、適切な音楽広告および／またはオファをユーザに提供することができる。
【００２５】
図３は、聴取ログを更新するための、いくつかの実施形態において利用される方法を示すフローチャートである。ステップ３０２において、ユーザデバイスは、スリープ状態にあり、最小の電力およびコンピューティングリソースを使用している。ステップ３０４において、ユーザデバイスは、音を検出し、ステップ３０６において、音が周囲雑音であったかどうかを決定する。音が周囲雑音である場合、デバイスは、スリープ状態のままである。雑音が周囲雑音でなかった場合、コンピュータ処理システムは、ステップ３０８において、アクティブモード（ウェイクアップ＆リスン）に遷移し、オーディオを記録する。ステップ３１０において、コンピュータ処理システムは、記録されたオーディオからオーディオフィンガプリントなどのデータを抽出する。ステップ３１２において、ユーザデバイスは、オーディオフィンガプリントに基づいて歌を識別し、歌の識別を聴取ログに記録することによって、聴取ログを更新する。コンピュータ処理システムは、検出プロセスを出て、スリープ状態に戻り、または音楽および追加のコンテクスト情報を監視し続ける。
【００２６】
音楽を識別する例示的な方法において、ユーザデバイスは、音楽を検出し、歌のオーディオフィンガプリントを生成する。オーディオフィンガプリントは、ローカルに保存されたフィンガプリントデータベースと比較される。検出された音楽のオーディオフィンガプリントが、ローカルのフィンガプリントデータベース内の知られた歌と相関がある場合、歌が識別される。音楽データベース内に記憶されたフィンガプリントは、最も人気のある歌、ユーザによって選択された歌、またはユーザ達の間で人気がある音楽的に類似のテイストがある歌と相関がある歌を含む。オーディオフィンガプリントが、ローカルのオーディオフィンガプリントデータベース内に記憶された歌と相関がない場合、ユーザは、任意選択で、オーディオフィンガプリントをクラウドベースのオーディオフィンガプリントデータベースに送信することができる。ユーザは、任意選択で、あるＷｉ−Ｆｉ接続上でこのチェックを自動的に実行するように、あらかじめこの選択を行うことができ、または都度、手動でこの要求を開始することができる。さもなければ、オーディオフィンガプリントは、後の送信のために、ローカルの待ち行列内でバッファリングされる。後の時点において、自動的に、またはユーザが開始することによって、コンピュータ処理システムは、オーディオフィンガプリントをクラウドベースのフィンガプリントデータベースに送信する。コンピュータ処理システムは、その後、クラウドベースのフィンガプリントデータベースからマッチを受け取る。いくつかの実施形態においては、コンピュータ処理システムは、オーディオフィンガプリントおよび歌識別アルゴリズムの計算のために、原音をリモートサーバに送信する。
【００２７】
図４は、演奏されている歌を識別するための、いくつかの実施形態において利用される方法を説明するフローチャートである。ステップ４０２において、ユーザデバイスは、１または複数のマイクロフォンを使用して、オーディオ信号を獲得する。ステップ４０４において、ユーザデバイスは、オーディオ信号からオーディオフィンガプリントを生成する。ステップ４０６において、ユーザデバイスは、生成されたオーディオフィンガプリントがローカルデータベース内に記憶されたオーディオフィンガプリントとマッチ（match）するかどうかを決定するように動作する。ローカルデータベースは、オーディオフィンガプリントと、対応する歌タイトルおよびアーティスト名、または歌を識別するために使用することが可能な（任意のインデックス番号を含む）他の識別子との間の関連付けを含むことができる。ステップ４０８において、歌がローカルデータベース内で識別された場合、歌のアイデンティティが、例えば、ユーザに対する通知、および／または聴取ログに対する更新を通して報告される。歌がローカルデータベースを使用して識別することができない場合、ユーザデバイスは、ステップ４１０において、オーディオフィンガプリントがネットワーク接続されたデータベース内のフィンガプリントとマッチするかどうかを決定する。ステップ４１０は、オーディオフィンガプリントを含む問い合わせを、ネットワークサーバに送信するステップと、歌のアイデンティティを示す、またはマッチが見いだされなかったことを示す応答を、ネットワークサーバから受信するステップとを含むことができる。いくつかの実施形態においては、オーディオ信号自体を表すデータが、ネットワークサーバに送信され、ネットワークサーバは、データベースとの比較のために、フィンガプリントを生成するように動作する。ネットワーク接続されたデータベースに基づいて、歌が識別された場合、ステップ４０８において、歌の識別が、ユーザに対するアラートとして、および／または聴取ログに対する更新として報告される。
【００２８】
ステップ４１０において、生成されたフィンガプリントに基づいて、フィンガプリントマッチが見いだされない場合、異なる（しかし近くの）ユーザデバイスから獲得された別のフィンガプリントを使用することによって、歌のアイデンティティを決定するための試みを行うことができる。例として、ユーザＡおよびユーザＢが、実質的に同じ場所にいることが決定される。ユーザＡとユーザＢが同じ場所にいることは、例えば、ユーザのＧＰＳ座標、特定のＷｉ−Ｆｉネットワークの範囲内におけるユーザの存在、またはユーザが特定の場所にいることを示すソーシャルメディア上におけるユーザ表示（例えば、「チェックイン」）に基づいて、決定することができる。ユーザＡによって収集されたフィンガプリント情報Ｘが、それだけでは、その環境において演奏されている歌をユーザＡが識別することを可能にするには十分でなく、ユーザＢによって収集されたフィンガプリント情報Ｘ’が、それだけでは、その歌をユーザＢが識別することを可能にするには十分でない、状況について考察する。その結果、フィンガプリント情報ＸおよびＸ’は、聴取ログマスタ収集プロセスに送信され、歌は、フィンガプリント情報ＸおよびＸ’の合成を使用して識別することができる。フィンガプリントＸおよびＸ’は、ユーザＡとユーザＢが同じ歌を聴いている可能性が高いと聴取ログマスタ収集プロセスが決定することを可能にするのに十分な、それぞれのコンテクストデータとともに、聴取ログマスタ収集プロセスに送信することができる。
【００２９】
例えば、ユーザＡのユーザデバイスが、２０１４年５月２０日の１６時３３分０３秒から１６時３３分１３秒までの時間の間に、フィンガプリントＸ’を検出する。しかしながら、フィンガプリントＸ’の中間の一部は、貧弱なオーディオ品質によって損なわれていることがあり、システムは、貧弱な検出されたオーディオ品質に基づいて、オーディオを識別することができないことがある。貧弱なオーディオフィンガプリント品質の原因は、背景雑音およびエラーなどを含むことができる。ユーザＢのユーザデバイスは、ユーザＡと同じ時間および場所において、フィンガプリントＸ’を検出する。しかしながら、オーディオフィンガプリントＸ’の異なる部分が貧弱な品質であることがあり、Ｘ’だけに基づいた識別を妨げる。しかしながら、フィンガプリントＸおよびフィンガプリントＸ’から導出される合成されたフィンガプリントＹは、ユーザＡおよびユーザＢの両方の近辺で演奏されている音楽を識別するのに十分なことがある。
【００３０】
オーディオフィンガプリントＸおよびＸ’を合成するための例示的な式は、以下の通りである。
Ｙ＝ｆ（Ｘ，Ｘ’）＝ａＸ＋ｂＸ’
ここで、ａ2＋ｂ2＝１であり、ａおよびｂの値は、相対電力および品質因子に基づいて、決定することができる。合成されたフィンガプリントＹを生成するための別の例示的な式においては、
Ｙ＝Ｘ＋Ｘ’／ｓｑｒｔ（ｐｏｗ（Ｘ）＋ｐｏｗ（Ｘ’））
であり、ここで、
【００３１】
【数１】
2018505442.tif 000003
【００３２】
である。
【００３３】
合成されたオーディオフィンガプリントＹは、歌を識別するために使用することができ、歌の識別を、ユーザデバイスに伝えることができる。あるいは、合成されたオーディオフィンガプリントＹを、ユーザデバイスに伝達することができ、その後、ユーザデバイスは、オーディオフィンガプリントＹを使用して、歌を識別することができる。
【００３４】
図４に示されるように、ユーザデバイスが、そのユーザデバイスから生成されたオーディオフィンガプリントに基づいて歌を識別することができないとき、ステップ４１２において、近くのユーザデバイスによって獲得された同時刻のフィンガプリントが利用可能であるかどうかが決定される。近隣フィンガプリントが利用可能である（およびまだ試みられていない）場合、ステップ４１４において、フィンガプリントが合成され、ステップ４１０において、合成されたフィンガプリントをネットワーク接続されたデータベース内のフィンガプリントと照合する試みが行われる。２つ以上の可能な近隣フィンガプリントが、私達に利用可能である場合、システムは、利用可能なフィンガプリントを使用して、合成を繰り返すことができ、またはそれは、３つ以上のフィンガプリントの合成を生成することができる。
【００３５】
例示的な実施形態では、ラジオ局またはコンサート主催者などの音楽放送者が、放送された音楽についての情報を提供する。放送された音楽についての情報は、オーディオフィンガプリント、演奏された時間、および音楽が演奏された場所を含むことができる。放送された音楽に関する情報は、部分的なオーディオフィンガプリントに基づいて、検出された歌を識別するために使用することができる。この例においては、ユーザはラジオ局を聴いており、ユーザデバイスは、演奏された音楽を検出し、フィンガプリントデータベースとの比較のために、オーディオフィンガプリントを記録する。部分的なフィンガプリントは、ユーザが所在する対応する場所のために、放送された音楽と比較することができる。加えて、この機能は、放送ラジオ局の聴取者サイズを推定するのに役立つことができる。オーディオ音楽をストリーミング演奏するパーソナルコンピュータと、ストリーミング演奏されたオーディオ音楽を検出する個人のフォン（ｐｈｏｎｅ）とを含む、類似の方法も、実施することができる。例えば、コンピュータ上でストリーミングサービスを介して音楽をストリーミング聴取している人は、部屋を離れることがある。セルフォンが、ストリーミング演奏される音楽を聞かなくなった場合、ストリーミングミュージックアプリケーションは、音楽の演奏を続けるためのボタンを押すようにユーザを促すことができる。ボタンを押すユーザがいない場合、音楽ストリームは停止する。
【００３６】
図５は、１または複数の歌に対するユーザエンゲージメントに基づいて、プレイリストを生成および更新するための、いくつかの実施形態において利用される方法を説明するフローチャートである。ステップ５０２において、システム（例えば、単独で動作する、または１もしくは複数のネットワークサーバと通信して動作するユーザデバイス）は、演奏されている歌を識別する。歌が、ユーザデバイスの環境において演奏されている場合、オーディオフィンガプリントを使用して、識別を作成することができる。歌が、ユーザデバイス自体によって演奏されている場合、歌の識別は、歌を演奏しているアプリケーションによって提供することができる。ステップ５０４において、システムは、識別された歌の演奏中のユーザの１または複数の行動を決定する。例えば、システムは、マイクロフォンからの入力に基づいて、ユーザが歌に合わせて歌っているかどうか、またはユーザが関係のない会話をしているかどうかを決定することができる。システムは、例えば、ユーザデバイス内の１または複数の加速度計および／またはジャイロスコープからの入力を使用して、ユーザが歌に合わせて踊っているか、または他の動作をしているかどうかを決定することができる。ユーザデバイスが、内部に、または周辺機器として、バイオメトリックセンサを含む場合、システムは、例えば、心拍数または体温の上昇に基づいて、歌に対するユーザエンゲージメントを決定することができる。システムは、さらに、歌の音量を上げる（もしくは下げる）、または「いいね」（もしくは「やだね」）ボタンを選択するなど、歌に対するエンゲージメントのレベルを示す、他の行動をユーザが取ったかどうかを決定することができる。歌がユーザデバイスによって演奏されているケースにおいては、ユーザが歌の音量を変更したことの決定は、ユーザデバイス上の音量ボタンのユーザの操作に基づいて行うことができる。歌が外部デバイスによって演奏されているケースにおいては、ユーザデバイスは、ユーザデバイスのマイクロフォンに到達した歌の音レベルの変化に基づいて、音量変更を識別することができる。
【００３７】
ステップ５０６において、１または複数のユーザ行動に基づいて、システムは、歌に対するユーザエンゲージメントのレベルを決定する。歌に対するユーザエンゲージメントのレベルを表すスコアは、本明細書においては、聴取カウントポイント（ＬＣＰ）と呼ばれる。ＬＣＰは、検出、傾聴の度合い、聴取の質、聴取時間、および／または他のコンテクスト情報の関数として計算される。いくつかの実施形態においては、ＬＣＰは、０（ユーザが聴いていない）から１．０（ユーザがコンテンツの全再生時間にわたって最高品質のコンテンツに完全に集中している）までの範囲の１０進数として与えられるが、他のスケールを使用することができる。いくつかの実施形態においては、検出された音楽と関連付けられたＬＣＰは、それがエリア内の他のユーザによって乗数倍される場合、最大スケールよりも高いことがある。ユーザのコンピュータ処理システムが、他のリスナの存在を検出した場合、ＬＣＰを乗数倍することができる。追加のユーザは、歌に対するユーザのＬＣＰスコアを増加させなくてよいが、マスタ聴取ログ内に記憶される情報の集合内に含むことができる。例えば、ユーザのデバイスが、識別された音楽を聞いている３人の人達を検出し、他の３人の人達の誰も、聴取カウントポイントをマスタＬＣＰデータベースに報告していない場合、追加のユーザは、歌を聴いていたとしてカウントすることができる。追加のリスナは、視覚、無線信号の検出、および他の類似の方法によって検出することができる。
【００３８】
例示的な実施形態においては、ＬＣＰは、以下のタイプの情報入力、すなわち、演奏モード、ユーザの傾聴、音のラウドネスおよび品質、ならびに注視方向、ＥＥＧ、体温、心拍数、タイムスタンプ、ＧＰＳ、およびスケジュールなどの他のコンテクストデータのうちの１または複数に基づいて計算される。例示的な実施形態においては、ユーザの傾聴が測定される。演奏されている音楽に対してユーザが払う注意が大きいほど、その検出された歌に対するＬＣＰは高い。例えば、ユーザがヘッドフォンを装着して音楽を聴いているが、ユーザが同時に本を読んでいる場合、ユーザは、演奏されている音楽に耳を傾けていないことがある。しかしながら、ユーザが、ウェブのサーフィングまたはテキストメッセージの送信など、他の単純なタスクを行っているとき、演奏されている音楽に対するユーザのエンゲージメントのレベルは、より高いことがある。例示的な実施形態においては、ユーザのエンゲージメントのレベルは、少なくとも部分的には、検出された注視によって決定される。ユーザデバイスは、ユーザの注視を捕捉することができる。このケースにおいては、デバイスは、注視を分析し、ユーザが読書していること、または他の物を見ていることを決定する。
【００３９】
例示的な実施形態においては、ユーザのエンゲージメントのレベルは、少なくとも部分的には、ユーザが音楽を演奏しているデバイスを監視している程度に基づいて決定される。タッチスクリーン、キーボード、またはマウスなどを通した、デバイスへの連続的な入力信号は、ユーザの活動として分析される。歌に対するエンゲージメントは、デバイスの使用を観察することによって測定することもできる。ユーザがデバイス上でゲームをしており、デバイスが同時に音楽も演奏している場合、ＬＣＰは、引き下げることができる。
【００４０】
例示的な実施形態においては、ユーザのエンゲージメントのレベルは、少なくとも部分的には、１または複数の近辺の会話の検出に基づいて決定される。ユーザが他の人達との会話に参加していることは、ユーザが音楽を聴いていないことの証拠である。話をしている人達の存在は、音およびカメラ情報の獲得によって検出することができる。聴取ログ用と同じマイクロフォン入力を使用することができる。人がユーザに話しているかどうかの決定は、ＬＣＰの計算において直接的に考慮される。コンテクストを決定するために、話者ダイアリゼーション技術を組み込むこともできる。具体的には、少なくとも２人の話者の存在を示す、少なくとも２つの異なる方向から到来する音を識別する際に、マイクロフォンのアレイを使用することができる。加えて、頭部追跡が、会話が行われていること、およびユーザが音楽に耳を傾けていないことをさらに示すことができ、したがって、ＬＣＰを引き下げる。
【００４１】
例示的な実施形態においては、ユーザのエンゲージメントのレベルは、少なくとも部分的には、ユーザが運動している、または車を運転していることの検出に基づいて決定される。いくつかの実施形態においては、ユーザが運動している、または車を運転していることの決定に応答して、ＬＣＰは、引き上げられる。ユーザが車を運転している、または運動していることの検出は、ロケーションロギングデバイス、自動車との無線接続、およびウェアラブルデバイスからの入力などを通して行うことができる。
【００４２】
例示的な実施形態においては、ユーザのエンゲージメントのレベルは、少なくとも部分的には、ユーザが音楽に合わせて歌っている、または拍子を取り続けていることの決定に基づいて決定される。ユーザが演奏されている音楽に合わせて歌っている、または拍子を取り続けていることは、ユーザが演奏されている音楽によく耳を傾けていることを示し、ＬＣＰを引き上げる。ユーザが検出された音楽に合わせて歌っていることの検出は、アクティブなマイクロフォンの受音を使用することによって行うことができる。拍子に合わせた首振りまたは他のリズミカルな身体動作など、ユーザが拍子を取り続けていることは、いくつかの方法で検出することができる。マイクロフォンは、タッピングによって発生させられた音を検出することができる。加えて、スマートフォンの慣性センサも、ユーザが歌に合わせて踊っていること、タップしていること、または拍子を取り続けていることを検出することができる。マイクロフォンの受音信号に基づいて、タッピングパルスが、他の周囲雑音および音から、一意的に解析される。スマートリストバンドも、手からのタッピングを検出することができる。首振りまたは他のリズミカルな身体動作は、カメラおよび／または他の慣性センサを使用することによって検出することができる。例えば、スマートグラスの取り付けられたカメラおよび慣性センサは、慣性センサの運動、および画像の揺れによって、ユーザの頭部の動きを検出することができる。
【００４３】
マイクロフォン入力信号から、ユーザが歌に合わせて歌っている出来事、またはユーザが歌に合わせてタップしている、もしくは動いている出来事を決定するために、異なる技法を使用することができる。聴取および解析の後、入力信号ｓ（ｎ）は、最初にフィンガプリント抽出モジュールに提供される。抽出されたフィンガプリントｆ（ｉ）は、先に言及された方法のうちの１つに基づいて、フィンガプリントデータベースと比較することができ、その後、それは、ターゲット音楽コンテンツｔ（ｎ）を決定することができる。ターゲット音源信号ｔ（ｎ）および受け取った信号ｓ（ｎ）を使用して、ユーザ挙動特徴を抽出することができる。ｓ（ｎ）を近似するために、式１を使用することができる。
ｓ（ｎ）＝ｔ（ｎ）＊ｒ１（ｎ）＋ｕ（ｎ）＊ｒ２（ｎ）＋ａ（ｎ）＊ｒ３（ｎ）    （式１）
【００４４】
式１において、ｒ１（ｎ）、ｒ２（ｎ）、ｒ３（ｎ）は、音源から受音マイクロフォンまでの伝達関数であり、一般に、室内インパルス応答によって支配される。式１において、ｕ（ｎ）は、ユーザによって発生させられた歌唱またはタッピング信号であり、ａ（ｎ）は、他の任意の周囲音および雑音とすることができる。さらなる簡略化のために、ｒ１（ｎ）＝ｒ２（ｎ）＝ｒ３（ｎ）＝ｒ（ｎ）であるとする。それらの室内伝達関数をブラインドで分離／除去するための、（本明細書において残響除去関数Ｄ（）と呼ばれる）いくつかの方法が存在する。Ｄ（）を使用して、ｒ（ｎ）の効果をうまく除去し、その後、知られた信号ｔ（ｎ）の寄与を除去したとき、抽出された特徴信号ｅ（ｎ）が、式２で獲得される。
ｅ（ｎ）＝Ｄ（ｓ（ｎ））−ｔ（ｎ）＝ｕ（ｎ）＋ａ（ｎ）    （式２）
【００４５】
式２において、ｅ（ｎ）は、ｔ（ｎ）と比較され、音楽に合わせたユーザの歌唱または動きの事例を抽出する。周囲音ａ（ｎ）を除去するために、相互相関を使用することができる。相関係数は、類似性の尺度として機能させることができる。ｖ（ｎ）が、ターゲット音楽ｔ（ｎ）にある抽出拍子特徴である場合、類似性インデックスが式３で決定される。
【００４６】
【数２】
2018505442.tif 000004
【００４７】
式３において、ρw＝［０，１］であり、ρw＞ｔｈｒpであるとき、リズミカルなタッピングｔ（ｎ）は、音楽とマッチすることが決定される。
【００４８】
例示的な実施形態においては、歌に対するユーザのエンゲージメントのレベルは、少なくとも部分的には、ユーザが音楽の音量を上げたこと、または下げたことの検出に基づいて決定される。ユーザが音楽の音量を上げることは、より高いＬＣＰと相関があり、反対に、音楽の音量を下げることは、より低いＬＣＰと相関がある。いくつかの実施形態においては、ユーザによる音量のコントロールは、音源音楽のラウドネスに関連して判断される。いくつかの録音された音楽が、マスタにされ、歌ごとに異なるラウドネスで録音される。したがって、ユーザによる音量の上げ下げは、いくつかの事例では、１つの歌のラウドネスを次のものにマッチさせることであることがあり、必ずしも、歌がもたらすユーザの相対的な楽しみを反映しないことがある。音源信号のラウドネスの測定は、ラウドネスをマッチさせるためのユーザによる音量の上げ下げを補償する。
【００４９】
例示的な実施形態においては、歌に対するユーザのエンゲージメントのレベルは、少なくとも部分的には、ユーザがヘッドフォンを装着しているかどうかに基づいて決定される。ユーザがヘッドフォンを装着していることを確認するために、近接センサを装備したヘッドフォンを使用することができる。歌がヘッドフォンを通してユーザに演奏されていることの決定は、より高いＬＣＰをもたらす。
【００５０】
例示的な実施形態においては、歌に対するユーザのエンゲージメントのレベルは、少なくとも部分的には、検出された音楽の品質、ラウドネス、または両方に基づいて決定される。音楽の品質は、マイクロフォンを通して検出される。マイクロフォンは、音楽の解像度（ビット深度およびサンプリング周波数など）を検出する。より高い品質は、より高いＬＣＰに対応する。ラウドネスも、マイクロフォンを通して検出される。いくつかのそのような実施形態においては、音品質の追加の因子は、３Ｄ空間解像度またはサラウンドサウンドなど、イマーシブオーディオを用いて演奏されている音楽である。イマーシブオーディオは、マイクロフォンによって受音された音を使用して、またはオーディオチャネルの数、ラウドスピーカの数、およびオブジェクトの数などをカウントすることによって検出される。
【００５１】
音品質に関連する追加の因子は、周囲音のレベルである。歌に対するリスナのエンゲージメントのレベルを検出する際、信号対雑音比（ＳＮＲ）に類似した受音の品質尺度が、因子として使用される。追加の因子は、測定されたオーディオ品質の知覚評価（ＰＥＡＱ）を含むことができる。いくつかの実施形態においては、音楽品質およびラウドネスのこれらの因子のすべてが存在する。例においては、ユーザが、リスニングルーム内に設置された２２台のラウドスピーカのスイートスポットに座り、音楽が７０ｄＢのＳＰＬで演奏されるとき、ＬＣＰは、１．０に近く設定するなど、非常に高く設定することができる。対照的に、ユーザが、高い周囲雑音環境内において、フォン上の組み込み小型ラウドスピーカを介して、４０ｄＢのＳＰＬで音楽を演奏している場合、ＬＣＰは、０．１に近いなど、低くなる。
【００５２】
例示的な実施形態においては、ユーザのエンゲージメントのレベルは、少なくとも部分的には、検出されたバイオメトリックデータに基づいて決定される。音楽の異なるスタイルは、異なる方法で、リスナのバイオメトリックデータに影響する。例えば、ユーザがクラシック音楽を聴いている場合の心拍変動（ＨＲＶ）は、一般に、ユーザがヘビーメタルロック音楽を聴いている場合のそれとは異なる。ＨＲＶは、ユーザデバイスに通信可能に結合されたウェアラブルアクセサリによって検出される。ＨＲＶなどの、検出されたバイオメトリックデータが、演奏されている音楽のタイプに対応するとき、これは、ユーザが音楽に耳を傾けていることを示しており、ＬＣＰを引き上げる。バイオメトリックデータの追加のタイプは、心拍数、体温、およびＥＥＧなどである。
【００５３】
例示的な実施形態においては、ユーザのエンゲージメントのレベルは、少なくとも部分的には、識別された音楽の特定の場所および／または人々との関連付けに基づいて決定される。ユーザの所在場所は、手動入力、およびスマートフォンの位置追跡機能などによって決定することができる。他の人々との近接性は、他のユーザのモバイルデバイスの存在を感知することによって、手動入力によって、ソーシャルネットワークから受信された情報によって、およびその他によって決定される。例えば、初めて訪れた非常に遠い場所において音楽を聞くとき、その歌は、ユーザにとって、より大きな意味をもつ見込みが高い。これは、ＬＣＰを引き上げ、後の時点において思い出すための歌のタグ付けをサポートする。
【００５４】
ステップ５０８において、聴取カウントポイントデータベースが、エンゲージメントのレベルに基づいて更新される。例えば、データベースは、歌を識別し、その歌のその事例について計算された聴取カウントポイントを含む、エントリを含むように更新することができる。ＬＣＰデータベースは、特定の歌についてのＬＣＰのランニング合計を含むことができる。合計ＬＣＰは、すべてのユーザについての合計、個人ユーザについての合計、ユーザのグループについての合計、またはこれらの何らかの組み合わせについての合計とすることができる。いくつかの実施形態においては、個別的なＬＣＰ用および集合的なＬＣＰ用に、異なるデータベースが維持される。
【００５５】
いくつかの実施形態においては、ＬＣＰデータベースは、ＬＣＰについての情報ばかりでなく、ユーザによって（またはユーザのグループによって）歌が聴かれた合計回数についての情報も記憶する。いくつかの実施形態においては、ユーザは、ＬＣＰが事前決定された閾値、例えば、０．１を超えた場合だけ、歌を聴いていたとしてカウントされる。いくつかの実施形態においては、合計ＬＣＰのユーザが歌を聞いた回数に対する比は、歌に対するユーザの関心のレベルの表示を提供する。
【００５６】
いくつかの実施形態においては、歌のプレイリストを生成するために、ＬＣＰ情報が使用される。例えば、図５のステップ５１０において、プレイリストが生成される。プレイリストは、例えば、特定のユーザについて、またはユーザのグループについて、最も高い合計ＬＣＰを有する歌を選択することによって選択することができる。プレイリスト内の歌の数は、選択された数とすることができ、または可能性の中でもとりわけ、例えば、音楽の選択された持続時間を満たすのに十分な歌の数とすることができる。プレイリストは、上限なしとすることができ、ユーザが聴いている限り、さらなる歌が追加されていく（または繰り返されてさえいく）。最も高い合計ＬＣＰを有する歌の選択は、特定の時間期間、例えば、「最近６カ月」もしくは「２０１０年代」にわたって累積された、最も高い合計ＬＣＰを有する歌の選択とすることができ、または歌の選択は、様々な期間の各々からの最も高いＬＣＰを有する歌、例えば、「各年のあなたのトップソング」を含むことができる。あるいは、ＬＣＰ情報に基づいたプレイリストの選択のために、他の技法を使用することができる。
【００５７】
ステップ５１２において、プレイリスト上の歌が、ユーザに対して演奏される。プレイリスト上の歌の演奏中におけるユーザの行動は、ステップ５０４において検出され、歌に対するユーザのエンゲージメントの継続的レベルを決定するために使用される（ステップ５０６）。これは、プレイリストがそれに基づくＬＣＰ情報の更新（ステップ５０８）を可能にする。歌があまりにも頻繁に演奏される場合、歌に対するユーザの関心、したがって、歌に対するユーザのエンゲージメントの測定されたレベルは、低下しがちである。したがって、低下したＬＣＰと関連付けられた歌は、プレイリストから削除することができ、またはあまり頻繁に演奏しないようにすることができる。
【００５８】
いくつかの実施形態においては、音楽が選択されて、イベント（例えば、特定の場所または時間期間）の写真と同時に演奏される、音楽付きスライドショーの生成において、ＬＣＰデータが使用される。ステップ６０２において、システムは、歌を識別する。ステップ６０４において、システムは、１または複数のユーザ行動を検出し、ステップ６０６において、システムは、１または複数のユーザ行動に基づいて、歌に対するユーザエンゲージメントのレベルを決定する。ステップ６０８において、システムは、歌に対するユーザのエンゲージメントの測定されたレベルに基づいて、聴取カウントポイントデータベースを更新する。システムは、また、ステップ６１０において、ユーザが歌を聞いた時間（例えば、日付）、およびステップ６１２において、ユーザが歌を聞いた場所（例えば、ＧＰＳ座標）を記憶する。
【００５９】
ユーザは、また、例えば、ユーザデバイス上のカメラを使用して、ステップ６１４において、画像をキャプチャし、ステップ６１６において、画像を記憶して、１または複数の画像を収集する。画像自体とともに、システムは、画像キャプチャの時間（ステップ６１８）、および画像キャプチャの場所（ステップ６２０）についての情報を記憶する。画像キャプチャの時間および／もしくは場所についての空間−時間情報は、画像ファイル自体内にメタデータとして記憶することができ、またはそれは、画像データベースなど、別個のデータストア内に記憶することができる。
【００６０】
音楽付きスライドショーの生成を開始するために、ステップ６２２において、ユーザは、時間および／または場所の選択を含むことができる、対象イベントを選択する。ユーザ選択は、様々な方法で、提示することができる。例えば、ユーザは、デジタルフォトストア内の特定のアルバムもしくはフォルダを選択することによって、自分のデジタルカレンダ内のカレンダイベントを選択することによって、または日付の範囲もしくは特定の場所（例えば、市、州、もしくは国）を明示的に入力することによって、イベントを選択することができる。ステップ６２４において、システムは、選択されたイベントに対応する複数の画像（例えば、選択された時間に、または選択された場所で撮られた画像）を識別する。ステップ６２６において、システムは、選択されたイベントに対応する複数の歌を識別する。これらは、例えば、選択された期間にわたって最も高い合計ＬＣＰを有する、もしくは選択された場所において最も高い合計ＬＣＰを有する、または２つの何らかの組み合わせを有する、歌とすることができる。
【００６１】
ステップ６２８において、選択された歌および選択された画像が、音楽付きスライドショーとして一緒に提示される。例えば、選択された歌を含むプレイリストが演奏されている間、ユーザデバイス上のディスプレイは、選択された画像を順番に繰り返すことができる（例えば、各画像は、１０秒など、事前決定された時間長にわたって表示されてから、例えば、ディゾルブして、次の画像に切り換わる）。
【００６２】
上述のステップまたはそれの変形を使用して、スライドショーに同伴する自動バックグラウンドミュージックが生成される。例示的なプロセスにおいては、スマートフォンは、あるイベントに対応する写真を表示する。イベントは、自動車旅行、休暇、出張旅行、または結婚初夜などとすることができる。写真は、スマートフォン上にローカルに記憶すること、ソーシャルネットワークを介してアクセス可能であること、または友人のソーシャルネットワークからシェアすることができる。自動生成されるバックグラウンドミュージックは、あるイベントにおいて費やされた時間と相関がある歌を含む。相関がある歌は、ユーザが高い傾聴のレベルで聴いた歌、イベント中にしばしば演奏された歌、または高いＬＣＰを有する歌に対して高い度合いの類似性を有する他の類似する歌とすることができる。
【００６３】
いくつかの実施形態においては、音楽付きスライドショーは、画像の空間−時間情報（場所および／または時間情報）に基づいて選択された音楽とともにスライドショー内に含めるための画像のユーザ選択に応答して生成される。反対に、他の実施形態においては、音楽付きスライドショーは、歌と関連付けられた空間−時間情報に基づいて選択された画像とともにスライドショー内に含めるための歌のユーザ選択に応答して生成される。自動生成されるスライドショーは、利用可能な歌のリストから特定の音楽をユーザが選択することに基づいて生成することができる。スライドショーは、スライドショーの写真内に示される人々、場所、およびイベントにラベル付けする、自動生成されたキャプションも含むことができる。自動生成されたキャプションは、収集されたコンテクストデータに基づいて選択された、写真とともに現れる事前生成された画像も含むことができる。例は、嬉しい瞬間に対応する写真の上に、嬉しい顔の絵文字を表示することである。
【００６４】
例示的な聴取カウントポイントデータベースが、図７に示されている。データベースは、テーブル７０２およびテーブル７０４などの、１または複数のテーブルを含むことができる。例示的なテーブル７０２は、各歌に１つのエントリを含む。テーブル７０２は、歌を識別するために使用される情報を、それらの歌についての合計聴取カウントポイントとともに記憶する。（様々な実施形態においては、合計聴取カウントポイントは、特定のユーザについての合計とすることができ、またはユーザのグループについてのマスタ合計とすることができる）。テーブル７０２は、各歌についての任意の一意識別子を提供するＳｏｎｇ＿Ｉｎｄｅｘ列を含む。Ｓｏｎｇ＿Ｔｉｔｌｅ列およびＳｏｎｇ＿Ａｒｔｉｓｔ列は、それぞれ、歌のタイトルおよびアーティストを識別する。Ｐｌａｙｓ列は、（本明細書において説明されるシステムおよび方法を使用して検出された）歌が演奏された回数を識別する。Ｔｏｔ＿ＬＣＰ列は、歌の各々についての合計聴取カウントポイント値を示す。
【００６５】
いくつかの実施形態においては、より詳細な情報を提供するために、別個のテーブル７０４を使用することができる。いくつかの実施形態においては、テーブル７０４は、聴取ログと呼ばれる。例示的なテーブル７０４は、歌の演奏が検出されるたびに１つのエントリを含む。テーブル７０４は、検出された歌についての一意識別子を提供するＳｏｎｇ＿Ｉｎｄｅｘ列を含む。Ｌｉｓｔｅｎ＿Ｔｉｍｅ列は、歌が検出された時刻についての情報を記憶し、Ｌｏｃ＿Ｌａｔ列は、歌が検出された場所の経度および緯度を識別する。テーブル７０４においては、ＬＣＰ列は、歌に対するユーザエンゲージメントのレベルを示す、１または複数のユーザ行動に基づいて、検出された歌のその再生について決定された、聴取カウントポイント値を記憶する。例においては、ＬＣＰ値のいくつかは１．０よりも大きく、それは、０．０〜１．０スケール以外のスケールに基づいた実施形態において生じることができ、またはそれは、歌の再生時にユーザが複数存在したことをシステムが検出したときに生じることができる。テーブル７０４の例においては、Ｓｏｕｒｃｅ列は、歌がどのように演奏されたかについての情報を提供する。例えば、インジケータＬＩＶは、歌がライブ演奏されたことを示すために使用することができる。いくつかの実施形態は、オリジナルのアーティストによるライブ演奏と、他のアーティストによるライブ演奏を区別することができる。インジケータＬＩＢは、歌がユーザ自身の音楽ライブラリ（例えば、ＭＰ３ファイルの集まり）から演奏されたことを示すことができる。インジケータＳＴＲは、歌がストリーミングメディアアプリケーションを使用して演奏されたことを示すことができる。インジケータＡＵＤは、歌が、別のオーディオシステムによって再生されたものとして検出されたことを、例えば、ユーザデバイス以外のシステムによって再生され、ユーザデバイスのマイクロフォンによって検出されたことを示すことができる。いくつかの実施形態においては、テーブル７０４は、追加の情報を含むＮｏｔｅｓフィールドを含むことができ、それは、ユーザによって手動で入力することができ、または例えば、ユーザのデジタルカレンダもしくはソーシャルメディア情報からの情報を使用して書き込むことができる。聴取カウントポイントデータベースのために、図７に示されたものに加えて、他のデータベースおよびテーブル構造を使用することができることが理解されるべきである。
【００６６】
データベース内に記憶される情報の例として、実施形態によれば、データベースは、歌、アーティスト、演奏回数、聴取回数、および強調された瞬間についての情報を含むことができる。例においては、ユーザのコンピュータ処理システムは、２８９回の演奏が検出され、歌が対象ユーザについて３５７．３１の聴取カウントポイント（ＬＣＰ）スコアを有することを示す情報を記憶することができる。強調された瞬間は、他のアーティストによってライブ演奏された歌を聞いたこと、オリジナルのアーティストによってライブ演奏された歌を聞いたこと、休暇中に聞いたこと、ユーザの誕生日パーティにラジオを通して聞いたこと、および他のときに聞いたことを含む。ＬＣＰは、音楽に対するユーザのエンゲージメントを表す。ＬＣＰの１つの因子は、ユーザの傾聴である。より高い傾聴のレベルは、より高いレベルのＬＣＰをもたらす。
【００６７】
いくつかの実施形態においては、ユーザデバイスは、ユーザが、演奏された歌に対するそのユーザの関心（またはエンゲージメント）のレベルを手動で入力することができるユーザインターフェースを提供する。ひとたび検出および識別されると、ユーザは、識別された歌に対して、好きまたは嫌いを手動で入力することができる。図１を参照すると、ユーザのスマートフォンは、エルトンジョンによるユアソングを検出し、スマートフォンのタッチスクリーン上のどちらかのボタンを押すことによって、歌に「いいね」または「やだね」を表明するためのオプションを提示される。ＬＣＰは、ユーザが「いいね」を押した場合は肯定的に、ユーザが「やだね」を押した場合は否定的に調整される。
【００６８】
例示的な実施形態においては、演奏カウント、聴取カウント、および関連するコンテクストデータを含む、聴取カウントポイントデータベース内に含まれるデータは、より高いレベルのアプリケーションによって使用される。関連するコンテクストデータは、本開示のいたるところで説明されたような、検出されたコンテクストデータを含み、ソーシャルネットワーク（フェイスブック、マイスペース、フレンドスター、フォトバケットなど）、ユーザのデジタルフォトアルバム、ビデオ、電子メール、およびカレンダアポイントメントなどからも獲得することができる。情報は、コンピュータ処理システム上にローカルに記憶すること、ネットワーク接続を通してアクセス可能であること、（ユーザのフェイスブックページ上で）ユーザと密接な関係があること、または（友人のフェイスブックページ上で）ユーザとシェアすることができる。より高いレベルのアプリケーションを介して、マルチモーダル情報から追加のコンテンツを開発するために、ディープニューラルネットワークおよび機械学習手法などの技術を使用することができる。
【００６９】
図８は、実施形態による、例えば、検出された歌の代替バージョンを演奏することによって、音楽再生の品質を向上させるための、いくつかの実施形態において実行される方法を示している。ステップ８０２において、システムは、演奏されている歌を識別する。ステップ８０４において、システムは、歌の代替バージョンがより高い品質で利用可能であるかどうかを決定する。利用可能である場合、ステップ８０６において、システムは、例えば、歌の開始以来、何秒経過したかを決定して、現在演奏されている歌の再生ポイントを識別する。再生ポイントがひとたび決定されると、例えば、より高い品質の歌のバージョンにフェードすることによって、ステップ８０８において、より高い品質の歌のバージョンの再生が、再生ポイントにおいて開始する。
【００７０】
図８の方法などの方法は、音楽を検出し、音楽を識別し、識別された音楽の異なるバージョンを演奏するために使用することができる。一例においては、ユーザは、ＦＭラジオを介して何らかの品質で放送されている歌を聴いていることがある。ユーザのセルフォン、スマートフォン、または自動車内に組み込まれたオーディオシステムを含むことができる、ユーザデバイスが、演奏されている音楽を検出する。本開示の方法に基づいて、ユーザデバイスは、音楽を識別し、識別された歌の代替バージョンを検索する。代替バージョンは、より高い品質のバージョン、異なるアーティストによるバージョン、明示的な歌詞を含むバージョン、および同じアーティストによるが、コンサートにおいて「ライブ」演奏されたバージョンなどを含むことができる。代替バージョンは、無料または有料で、ユーザに利用可能とすることができる。無料音楽の例は、すでに購入した音楽、ローカルデバイス上にすでに記憶された音楽、およびサブスクリプションサービスを通して利用可能な音楽などである。有料で利用可能な音楽は、１回限りの演奏料金、音楽に対する長期ライセンス、またはデジタルダウンロードの購入を含むことができる。高品質の歌フォーマットの１つのバージョンは、マスタリングクオリティサウンド（ＭＱＳ）フォーマットであるが、もちろん他の歌バージョンを列挙することができる。
【００７１】
ユーザデバイスは、その後、オーディオ再生を、識別された歌の代替バージョンに移行させる。移行は、自動的に、または手動で開始することができる。自動的な移行の例は、ＦＭラジオ局を通した歌の演奏から、ユーザのスマートフォン上に記憶されたより高い品質のバージョンの歌の演奏への移行を含む。手動移行の例は、ＦＭラジオを通して演奏される音楽を検出および識別し、ユーザデバイスが、選択肢の中でもとりわけ、最近のコンサートにおいてアーティストによって演奏された代替バージョンの歌を提案し、ユーザが、代替ライブバージョンおよび支払い方法を選択し、ユーザデバイスが、代替ライブバージョンへのオーディオ移行を完了することを含む。
【００７２】
代替バージョンへの移行は、多くの形態を取ることができる。代替バージョンの歌は、スマートフォンなどのユーザデバイス上において、クラウドストレージを介してなど、リモートサーバ上において、オーディオシステムに接続されたＣＤプレーヤ内のＣＤ上において、およびストリーミングサービスを通してなどして入手可能とすることができる。ユーザデバイスは、通信リンクを介して、音楽ファイルを（自動車のオーディオシステムなどの）オーディオシステムに直接的にストリーミング送信することができ、またはそれ自体のオーディオシステムを介して、音楽を演奏することができる。加えてユーザデバイスは、音楽ファイルをリモートサーバから取得するように、オーディオシステムに指令を出すことができる。
【００７３】
いくつかの実施形態においては、代替バージョンへの移行は、ユーザが移行を検出することができないように同期させられる。例えばオーディオシステムは、ＤＪのしゃべりおよび歌の冒頭を含む、ＦＭ局を演奏していることができる。歌は、本明細書において説明される開示を使用して検出および識別される。音楽は、ＦＭ局と、個人の音楽ライブラリを介して演奏される音楽との間で同期させられる。より高い品質のバージョンなど、代替バージョンからの音楽が演奏される。音楽は、その後、歌の終了時に元通りＦＭ局に移行する。ユーザは、向上した品質を除く他の理由で、移行を検出しないことが可能である。
【００７４】
例示的な実施形態においては、音楽は、代替バージョンに移行されるが、元の音源からのコンテンツ内に混入される。この例においては、最重要な演奏される音楽は、高品質バージョンである。しかしながら、元の音源上において、ＤＪのしゃべりなど、追加のオーディオが検出される場合、ＤＪの声は、高品質オーディオ再生内に混入される。例示的な実施形態においては、ラジオＤＪは、音楽を選択し、また歌の名前を挙げ、最新交通情報を提供するなど、追加のコンテクストを提供することができ、高品質または代替バージョンの歌への移行は、自動的およびシームレスに起こる。
【００７５】
代替バージョンへの音楽移行の例示的な方法においては、実施形態によれば。そのような実施形態においては、音楽認識エンジンが、本明細書において説明される技法を使用して、中間品質でＦＭ局を介して演奏される音楽を検出および識別する。自動的に、またはユーザ入力を用いて、演奏される歌のバージョンを決定するために、演奏コントロールモジュールが提供される。同期されたディゾルバモジュールは、演奏されるオーディオのバージョンをシームレスに移行する。例示的な方法においては、同期されたディゾルバは、選択肢の中でもとりわけ、ＦＭ局またはクラウドサービスからの音楽を演奏する。
【００７６】
いくつかの実施形態においては、同期されたディゾルバ機能は、異なるバージョン間の異なる演奏時間を補償する。異なる演奏時間を補償するために使用することができる例示的な技術は、オーディオ信号についての時間スケールを拡張または圧縮する、時間スケール変更を含む。
【００７７】
いくつかの実施形態においては、演奏コントロールモジュールは、異なる音源の利用可能性に基づいて、演奏される歌のバージョンを決定する。例えば、ＦＭ局が一時的に圏外にある場合、またはユーザが劣悪な受信エリアを通過している場合、演奏コントロールモジュールは、歌のクラウドベースのバージョンを選択することができる。あるいは、クラウドベースの音楽とオーディオプレイアウトとの間のデータ接続が中断された場合、演奏コントロールモジュールは、歌のバッファリングされたバージョンを演奏すること、または元通りＦＭバージョンに移行することを選択することができる。
【００７８】
例示的な実施形態においては、インターネットベースのラジオ局における音楽演奏が、検出および識別される。そのような実施形態においては、音楽は、ストリーミング配信される音楽内に含まれるメタデータを読み取ることによって識別することができる。識別された歌は、音楽ライブラリ内において利用可能な歌と比較される。演奏コントロールモジュールは、歌のどのバージョンを演奏すべきかを決定する。同期されたディゾルバは、インターネットラジオ局と音楽ライブラリから演奏される音楽との間の移行を行う。
【００７９】
以下でさらに詳細に説明されるように、様々な他の機能を、個々に、または本明細書において開示される上述の実施形態に対する補足機能として、実施することもできる。例えばいくつかの実施形態においては、ジオロケーションベースの音楽演奏が可能にされる。音楽演奏は、収集されたデータに基づいて、推奨される音楽のプレイリストを生成する。
【００８０】
いくつかの実施形態においては、ユーザは、友人のソーシャルネットワーク更新を見て、友人のソーシャルメディア投稿内において場所メタデータに出会う。ユーザデバイスは、友人のソーシャルメディア投稿内において検出された場所データを共有するユーザのコンテンツを追加することを勧める。
【００８１】
いくつかの実施形態においては、ユーザデバイスは、組み込まれた音楽プレーヤを含み、ユーザは、演奏する歌またはアルバムを選択する。選択された音楽に応答して、ユーザデバイスは、コンテクストミキサ情報に基づいて、写真およびビデオを表示する。コンテクストミキサ情報は、場所タグ、関連する感情状態、およびイベントなどを含む。そのような実施形態においては、コンピュータ処理システムは、いつも写真を表示することができ、または見る人が検出されたときだけ写真を表示するように構成することができる。
【００８２】
例示的な実施形態においては、ユーザのコンピュータ処理システムは、ユーザが場所に戻ったことに基づいて、音楽、画像、または両方を提案する。
【００８３】
例示的な実施形態においては、コンテクストは、手動で入力された場所に基づいて混入される。手動で入力された場所は、ユーザがその場所に関連付けられたコンテンツを生成したいと望む、任意の場所とすることができる。例えば、遠隔オフィス施設におけるプレゼンテーションのための準備において、旅行するマネージャは、遠隔オフィスの場所を選択して、遠隔オフィスの場所に基づいたコンテンツを生成することができる。プレゼンテーションのコンテンツは、遠隔オフィスと関連付けられた音楽、写真、およびビデオである。いくつかのそのような実施形態においては、プレゼンテーションは、年代順にメディアを列挙する、タイムラインタイプのプレゼンテーションである。
【００８４】
例示的な実施形態においては、ユーザは、共有されたデータを管理する。音楽と関連付けられたデータを含む聴取ログは、各個々の歌のメタデータフィールド内に記憶することができ、またはそれは、別個のデバイス内に記憶することができる。例として、クラウド音楽サービスシナリオにおいては、聴取ログは、ネットワークストレージ内の個人エリア内に記憶することができる。あるいは、聴取ログデータは、匿名でデータを分析することを含むことができる包括的な方法で、分析することができる。
【００８５】
例示的な実施形態においては、ユーザは、ユーザが歌を購入していないことに基づいて、聴取ログ内に記憶された限られたデータだけにアクセスすることができる。ユーザは、歌を購入したこと、または完全なデータへのサブスクリプションサービスに基づいて、聴取ログデータへの完全なアクセスを受け取る。
【００８６】
例示的な実施形態においては、ユーザは、聴取ログの機密情報を管理する。ユーザは、フォン内またはリモートネットワーク上のプライベートエリア内に記憶されたデータに対する分析を実行することによって、聴取ログの機密情報を管理する。聴取ログの原データは、機密情報がサニタイズされる。サニタイズされた情報は、ＬＣＰ数の決定因子なしに、ＬＣＰ数だけを含むことができる。
【００８７】
いくつかの実施形態においては、聴取ログデータは、匿名で共有される。例えば、異なるユーザの聴取ログデータを、プライバシ保護のために、匿名ブリッジモジュールに提供することができる。ブリッジモジュールは、聴取ログデータから機密情報を取り除き、聴取ログマスタ収集プロセスとデータを共有する。聴取ログマスタ収集プロセスは、複数のユーザデバイスからの検出された音楽のマッチングを容易にし、聴取ログ情報を記憶する。ブリッジは、リモートサーバ内に、またはユーザのコンピュータ処理システム上に配置することができる。
【００８８】
説明された実施形態の１または複数における様々なハードウェア要素は、「モジュール」と呼ばれ、それは、それぞれのモジュールに関連して本明細書において説明された様々な機能を実施する（すなわち、実行および遂行などする）ことに留意されたい。本明細書において使用される場合、モジュールは、与えられた実施のために当業者によって適切と見なされたハードウェア（例えば、１または複数のプロセッサ、１または複数のマイクロプロセッサ、１または複数のマイクロコントローラ、１または複数のマイクロチップ、１または複数の特定用途向け集積回路（ＡＳＩＣ）、１または複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、１または複数のメモリデバイス）を含む。各説明されたモジュールは、それぞれのモジュールによって実施されるとして説明された、１または複数の機能を実施するために実行可能な命令も含むことができ、それらの命令は、ハードウェア（すなわち、ハードワイヤード）命令、ファームウェア命令、および／もしくはソフトウェア命令などの形態を取ること、またはそれらを含むことができ、一般にＲＡＭ、ＲＯＭなどと呼ばれる、任意の適切な１または複数の非一時コンピュータ可読媒体内に記憶することができることが留意される。
【００８９】
本明細書において開示される例示的な実施形態は、無線送受信ユニット（ＷＴＲＵ）または他のネットワークエンティティなど、１または複数の有線および／または無線ネットワークノードを使用して実施される。
【００９０】
図９は、本明細書において説明される実施形態においてユーザデバイスとして利用することができる、例示的なＷＴＲＵ９０２のシステム図である。図９に示されるように、ＷＴＲＵ９０２は、プロセッサ９１８と、送受信機９２０を含む通信インターフェース９１９と、送信／受信要素９２２と、スピーカ／マイクロフォン９２４と、キーパッド９２６と、ディスプレイ／タッチパッド９２８と、非リムーバブルメモリ９３０と、リムーバブルメモリ９３２と、電源９３４と、全地球測位システム（ＧＰＳ）チップセット９３６と、センサ９３８とを含むことができる。ＷＴＲＵ９０２は、実施形態との整合性を保ちながら、上述の要素の任意のサブコンビネーションを含むことができることが理解される。
【００９１】
プロセッサ９１８は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと連携する１または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、他の任意のタイプの集積回路（ＩＣ）、および状態機械などとすることができる。プロセッサ９１８は、信号符号化、データ処理、電力制御、入力／出力処理、および／またはＷＴＲＵ９０２が無線環境で動作することを可能にする他の任意の機能性を実行することができる。プロセッサ９１８は、送受信機９２０に結合することができ、送受信機９２０は、送信／受信要素９２２に結合することができる。図９は、プロセッサ９１８と送受信機９２０を別々の構成要素として示しているが、プロセッサ９１８と送受信機９２０は、電子パッケージまたはチップ内に一緒に統合することができることが理解される。
【００９２】
送信／受信要素９２２は、エアインターフェース９１５上で、基地局に信号を送信し、または基地局から信号を受信するように構成することができる。例えば、一実施形態においては、送信／受信要素９２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナとすることができる。別の実施形態においては、送信／受信要素９２２は、例として、ＩＲ信号、ＵＶ信号、または可視光信号を送信および／または受信するように構成された放射器／検出器とすることができる。また別の実施形態においては、送信／受信要素９２２は、ＲＦ信号と光信号の両方を送信および受信するように構成することができる。送信／受信要素９２２は、無線信号の任意の組み合わせを送信および／または受信するように構成することができることが理解される。
【００９３】
加えて、図９においては、送信／受信要素９２２は単一の要素として示されているが、ＷＴＲＵ９０２は、任意の数の送信／受信要素９２２を含むことができる。より具体的には、ＷＴＲＵ９０２は、ＭＩＭＯ技術を利用することができる。したがって、一実施形態においては、ＷＴＲＵ９０２は、エアインターフェース９１５上で無線信号を送信および受信するための２つ以上の送信／受信要素９２２（例えば、複数のアンテナ）を含むことができる。
【００９４】
送受信機９２０は、送信／受信要素９２２によって送信される信号を変調し、送信／受信要素９２２によって受信された信号を復調するように構成することができる。上で言及されたように、ＷＴＲＵ９０２は、マルチモード機能を有することができる。したがって、送受信機９２０は、ＷＴＲＵ９０２が、例えば、ＵＴＲＡおよびＩＥＥＥ８０２．１１など、複数のＲＡＴを介して通信することを可能にするための、複数の送受信機を含むことができる。
【００９５】
ＷＴＲＵ９０２のプロセッサ９１８は、スピーカ／マイクロフォン９２４、キーパッド９２６、および／またはディスプレイ／タッチパッド９２８（例えば、液晶表示（ＬＣＤ）ディスプレイユニットもしくは有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合することができ、それらからユーザ入力データを受け取ることができる。プロセッサ９１８は、スピーカ／マイクロフォン９２４、キーパッド９２６、および／またはディスプレイ／タッチパッド９２８にユーザデータを出力することもできる。加えて、プロセッサ９１８は、非リムーバブルメモリ９３０および／またはリムーバブルメモリ９３２など、任意のタイプの適切なメモリから情報を入手することができ、それらにデータを記憶することができる。非リムーバブルメモリ９３０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ９３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティックおよびセキュアデジタル（ＳＤ）メモリカードなどを含むことができる。他の実施形態においては、プロセッサ９１８は、サーバまたはホームコンピュータ（図示されず）上などに配置された、ＷＴＲＵ９０２上に物理的に配置されていないメモリから情報を入手でき、それにデータを記憶することができる。
【００９６】
プロセッサ９１８は、電源９３４から電力を受け取ることができ、ＷＴＲＵ９０２内の他の構成要素への電力の分配および／または制御を行うように構成することができる。電源９３４は、ＷＴＲＵ９０２に給電するための任意の適切なデバイスとすることができる。例として、電源９３４は、１または複数の乾電池（例えば、ニッケル−カドミウム（ＮｉＣｄ）、ニッケル−亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、およびリチウム−イオン（Ｌｉ−ｉｏｎ）など）、太陽電池、ならびに燃料電池などを含むことができる。
【００９７】
プロセッサ９１８は、ＧＰＳチップセット９３６にも結合することができ、ＧＰＳチップセット９３６は、ＷＴＲＵ９０２の現在ロケーションに関するロケーション情報（例えば、経度および緯度）を提供するように構成することができる。ＧＰＳチップセット９３６からの情報に加えて、またはそれの代わりに、ＷＴＲＵ９０２は、基地局からエアインターフェース９１５上でロケーション情報を受信することができ、および／または２つ以上の近くの基地局から受信した信号のタイミングに基づいて、自らのロケーションを決定することができる。ＷＴＲＵ９０２は、実施形態との整合性を保ちながら、任意の適切なロケーション決定方法を用いて、ロケーション情報を獲得することができることが理解される。
【００９８】
プロセッサ９１８は、他の周辺機器９３８にさらに結合することができ、他の周辺機器９３８は、追加の特徴、機能性、および／または有線もしくは無線接続性を提供する、１または複数のソフトウェアモジュールおよび／またはハードウェアモジュールを含むことができる。例えば、周辺機器９３８は、加速度計、ｅコンパス、衛星送受信機、（写真またはビデオ用の）デジタルカメラ、ユニバーサルシリアルバス（ＵＳＢ）ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、およびインターネットブラウザなどのセンサを含むことができる。
【００９９】
図１０は、例えば、聴取カウントポイントを追跡するために、および／または検出されたオーディオフィンガプリントをオーディオフィンガプリントのデータベースと比較するために使用されるネットワークサーバとして、本開示の実施形態において使用することができる、例示的なネットワークエンティティ１０９０を示している。図１０に示されるように、ネットワークエンティティ１０９０は、通信インターフェース１０９２と、プロセッサ１０９４と、非一時データストレージ１０９６とを含み、それらのすべては、バス、ネットワーク、または他の通信経路１０９８によって、通信可能に結合される。
【０１００】
通信インターフェース１０９２は、１もしくは複数の有線通信インターフェース、および／または１もしくは複数の無線通信インターフェースを含むことができる。有線通信に関して、通信インターフェース１０９２は、例として、イーサネットインターフェースなどの、１または複数のインターフェースを含むことができる。無線通信に関して、通信インターフェース１０９２は、１もしくは複数のアンテナ、１もしくは複数のタイプの無線（例えば、ＬＴＥ）通信のために設計および構成された１もしくは複数の送受信機／チップセット、ならびに／または当業者によって適切と見なされた他の任意の構成要素などの、構成要素を含むことができる。さらに、無線通信に関して、通信インターフェース１０９２は、無線通信（例えば、ＬＴＥ通信およびＷｉ−Ｆｉ通信など）の、クライアントサイドではなく、ネットワークサイド上において動作するのに適したスケールおよび構成で、装備することができる。したがって、通信インターフェース１０９２は、カバレージエリア内の複数の移動局、ＵＥ、または他のアクセス端末にサービスするための、（おそらくは複数の送受信機を含む）適切な機器および回路を含むことができる。
【０１０１】
プロセッサ１０９４は、当業者によって適切と見なされた任意のタイプの１または複数のプロセッサを含むことができ、いくつかの例は、汎用マイクロプロセッサおよび専用ＤＳＰを含む。
【０１０２】
データストレージ１０９６は、任意の非一時コンピュータ可読媒体、またはそのような媒体の組み合わせの形態を取ることができ、当業者によって適切と見なされた任意の１または複数のタイプの非一時データストレージとして、僅かではあるが名前を挙げれば、フラッシュメモリ、リードオンリーメモリ（ＲＯＭ）、およびランダムアクセスメモリ（ＲＡＭ）を含む、いくつかの例を使用することができる。図１０に示されるように、データストレージ１０９６は、本明細書において説明される様々なネットワークエンティティ機能の様々な組み合わせを実施するための、プロセッサ１０９４によって実行可能なプログラム命令１０９７を含む。
【０１０３】
上では特徴および要素が特定の組み合わせで説明されたが、各特徴または要素は、単独で使用することができ、または他の特徴および要素との任意の組み合わせで使用することができることを当業者は理解する。加えて、本明細書において説明された方法は、コンピュータまたはプロセッサによって実行するための、コンピュータ可読媒体内に包含された、コンピュータプログラム、ソフトウェア、またはファームウェアで実施することができる。コンピュータ可読記憶媒体の例は、限定することなく、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、ならびにＣＤ−ＲＯＭディスクおよびデジタル多用途ディスク（ＤＶＤ）などの光媒体を含む。ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、または任意のホストコンピュータにおいて使用するための無線周波数送受信機を実施するために、ソフトウェアと連携するプロセッサを使用することができる。
【図１】
2018505442.tif 000005
【図２】
2018505442.tif 000006
【図３】
2018505442.tif 000007
【図４】
2018505442.tif 000008
【図５】
2018505442.tif 000009
【図６】
2018505442.tif 000010
【図７】
2018505442.tif 000011
【図８】
2018505442.tif 000012
【図９】
2018505442.tif 000013
【図１０】
2018505442.tif 000014
【国際調査報告】
2018505442.tif 000015
2018505442.tif 000016