(57)【要約】  テレビ送信から少なくとも１つのデコードされたフレームを抽出することによって、現在視聴されているテレビ番組内の製品を識別することができる。そのフレームは、画像探索を要求し、探索結果を受信するために別のモバイルデバイスに送信することができる。その探索結果を用いて製品を識別することができる。【選択図】図１
2014530390.tif 000002
【特許請求の範囲】
【請求項１】
イベントの発生を検出することと、
イベントを検出するのに応答して、テレビ番組から、電子通信のデコードされた信号を自動的に取り込むことと、
前記信号を用いて探索を実行して、前記テレビ番組において表現される製品の識別を容易にすることと、を含む、方法。
【請求項２】
ビデオフレーム若しくはビデオクリップ、音声又はメタデータの電子的表現を含む信号を取り込むことを含む、請求項１に記載の方法。
【請求項３】
前記信号をモバイルデバイスに自動的に転送することを含む、請求項１に記載の方法。
【請求項４】
探索結果を前記モバイルデバイスに与えることを含む、請求項３に記載の方法。
【請求項５】
前記信号を遠隔サーバーに送信して、前記探索を実行することを含む、請求項３に記載の方法。
【請求項６】
複数のモバイルデバイスを追跡することと、前記複数のモバイルデバイスのそれぞれから要求を受信することと、前記複数のモバイルデバイスのそれぞれに応答を与えることとを含む、請求項１に記載の方法。
【請求項７】
モバイルデバイスと、テレビと、モバイルデバイスからの要求とを相関させるテーブルを維持管理することを含む、請求項６に記載の方法。
【請求項８】
前記製品の販売元についての情報を自動的に与えることを含む、請求項１に記載の方法。
【請求項９】
ユーザーが１つのモバイルデバイスを使用し、異なる時刻に２つの異なるテレビにアクセスできるようにすることを含む、請求項１に記載の方法。
【請求項１０】
少なくとも１つの非一時的コンピュータ可読媒体であって、
コンピュータがイベントの発生を検出できるようにする命令と、
イベントの検出に応答して、前記コンピュータが自動的に画像を取り込むことができるようにする命令と、
前記コンピュータが前記画像を用いて探索を開始できるようにする命令であって、前記画像内に表現された製品の識別を容易にする命令と、を記憶する、少なくとも１つの非一時的コンピュータ可読媒体。
【請求項１１】
テレビ番組からのビデオフレーム若しくはビデオクリップ、音声又はメタデータの電子的表現の形で、電子通信のデコードされた信号を取り込む命令を更に記憶する、請求項１０に記載の非一時的コンピュータ可読媒体。
【請求項１２】
前記信号をモバイルデバイスに転送する命令を更に記憶する、請求項１０に記載の非一時的コンピュータ可読媒体。
【請求項１３】
探索結果を前記モバイルデバイスに与える命令を更に記憶する、請求項１２に記載の非一時的コンピュータ可読媒体。
【請求項１４】
前記信号を遠隔サーバーに送信して、前記探索を実行する命令を更に記憶する、請求項１２に記載の非一時的コンピュータ可読媒体。
【請求項１５】
複数のモバイルデバイスを追跡する命令と、前記複数のモバイルデバイスのそれぞれから要求を受信する命令と、各モバイルデバイスに応答を与える命令であって、異なる時刻に２つの異なるテレビを使用できるようにする命令とを更に記憶する、請求項１０に記載の非一時的コンピュータ可読媒体。
【請求項１６】
デバイス、テレビ、モバイルデバイスの要求を相関させるテーブルを維持管理する命令を更に記憶する、請求項１５に記載の非一時的コンピュータ可読媒体。
【請求項１７】
音声信号の電子的表現である信号を取り込む命令と、前記取り込まれた信号をテキストに変換する命令と、キーワード探索の入力として使用するように前記テキストを送信する命令とを更に記憶する、請求項１０に記載の非一時的コンピュータ可読媒体。
【請求項１８】
前記製品の販売元についての情報を与える命令を更に記憶する、請求項１０に記載の非一時的コンピュータ可読媒体。
【請求項１９】
イベントに応答してテレビ番組から電子通信の信号を自動的に取り込み、キーワード探索の入力として使用するように、デコードされた前記信号を送信して、前記信号内に表現される製品を識別するプロセッサと、
前記プロセッサに結合される記憶装置と、を備える、装置。
【請求項２０】
前記装置はモバイルデバイスである、請求項１９に記載の装置。
【請求項２１】
前記装置は携帯電話である、請求項２０に記載の装置。
【請求項２２】
前記装置はリモートコントロールである、請求項２０に記載の装置。
【請求項２３】
前記装置はテレビ受信機である、請求項１９に記載の装置。
【請求項２４】
前記装置は、テレビ受信システムに信号を送り、ビデオフレーム若しくはビデオクリップ、音声又はメタデータの電子的表現の形で、電子通信のデコードされた信号を取り込む、請求項１９に記載の装置。
【請求項２５】
前記装置は、テレビシステムから前記信号を受信し、前記信号を、データベース内で又はインターネットを介してキーワード探索を実行する遠隔デバイスに送信する、請求項２０に記載の装置。
【請求項２６】
少なくとも１つの非一時的コンピュータ可読媒体であって、
コンピュータが指定された場所を受信できるようにする命令と、
前記コンピュータがユーザーの現在の場所を監視できるようにする命令と、
前記コンピュータが、前記ユーザーが前記指定された場所から所定の距離内にいるときに前記ユーザーに知らせることができるようにする命令と、を記憶する、少なくとも１つの非一時的コンピュータ可読媒体。
【請求項２７】
製品の取り込まれた電子的表現を探索する命令と、画像探索を用いて前記製品を識別する命令とを更に記憶する、請求項２６に記載の非一時的コンピュータ可読媒体。
【請求項２８】
取り込まれた電子テレビ信号を探索する命令して前記製品を識別する命令を更に記憶する、請求項２７に記載の非一時的コンピュータ可読媒体。
【請求項２９】
前記製品に関連するインターネット探索結果から製品販売元の場所を導出する命令を更に記憶する、請求項２８に記載の非一時的コンピュータ可読媒体。
【請求項３０】
テレビ番組からの音声を解析して前記番組を識別する命令を更に記憶する、請求項２６に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は包括的にコンピュータに関し、詳細には、コンピュータ処理による画像解析に関する。
【背景技術】
【０００２】
アナログ信号又はデジタル信号の無線周波数送信を用いてテレビ番組を放送することによってテレビ映像を配信することができる。さらに、テレビ番組はケーブルシステム及び衛星放送システムを介して配信することもできる。最終的には、テレビ映像はストリーミングを用いてインターネットを介して配信することができる。本明細書において用いられるときに、「テレビ送信」という用語は、これらのテレビ映像配信形式の全てを含む。本明細書において用いられるときに、「テレビ映像」とは、コマーシャルの有無にかかわらず、番組コンテンツの配信を意味し、従来のテレビ番組、及びビデオゲームの配信の両方を含む。
【０００３】
ユーザーがどの番組を視聴しているかを判断するシステムが既知である。例えば、ＩｎｔｏＮｏｗサービスは、視聴されているテレビ番組からの音声信号を携帯電話上に録音し、それらの信号を解析し、その情報を用いて、視聴者がどの番組を視聴しているかを判断する。音声解析が抱える１つの問題は、周囲雑音からの劣化を受けることである。当然、視聴環境における周囲雑音は共通であり、それゆえ、音声に基づくシステムは著しい制約を受ける。
【図面の簡単な説明】
【０００４】
【図１】本発明の一実施形態のハイレベルアーキテクチャーを示す図である。
【図２】本発明の一実施形態によるセットトップボックスのブロック図である。
【図３】本発明の一実施形態によるモバイルグラバーに関する流れ図である。
【図４】本発明の一実施形態によるマルチメディアグラバーに関する流れ図である。
【図５】本発明の一実施形態によるショッピングアプリケーションに関する流れ図である。
【図６】一実施形態によるテーブルを維持管理するシーケンスに関する流れ図である。
【発明を実施するための形態】
【０００５】
幾つかの実施形態によれば、１人又は複数人の視聴者が能動的に選局し、現在視聴しているテレビチャネルから、ビデオフレーム若しくはビデオクリップ、メタデータ又は音声の持続時間限定の電子的表現のようなマルチメディアセグメントを捕捉することができる。一実施形態では、その後、このマルチメディアセグメントは、モバイルデバイスに送信されることができる。その後、そのモバイルデバイスは、テレビ番組内で表現される製品を識別するために、その情報を探索用サーバーに送信することができる。例えば、最終的には、画像探索を用いて、どの製品が表現されているかを判断することができる。製品が識別されると、視聴者に種々の他のショッピングサービスを提供することができる。これらのサービスは、その製品の他の販売元を識別すること、価格比較及び小売店位置特定サービスを含むことができる。
【０００６】
図１を参照すると、テレビ画面２０をプロセッサ利用デバイス１４に結合することができ、そのデバイスは更にテレビ送信１２に結合される。この送信は、アナログ信号又はデジタル信号の無線周波数放送、ケーブル配信、衛星放送配信を含む、インターネットを介して、又は放送電波を介して配信することができる。プロセッサ利用システム１４はテレビ受信機とは別のスタンドアローンデバイスとすることができるか、又はテレビ受信機内に統合することができる。例えば、そのシステムは、従来のセットトップボックスの構成要素を含むことができ、実施形態によっては、受信されたテレビ送信をデコードする役割を担うこともできる。
【０００７】
一実施形態では、プロセッサ利用システム１４は、受信機（一実施形態ではデバイス１４の一部とすることができる）によって現在選局されているデコードされたテレビ送信から、ビデオフレーム若しくはビデオクリップ（すなわち、一連のフレーム）、メタデータ又は音声の電子的表現を捕捉するマルチメディアグラバー１６を含む。プロセッサ利用システム１４は有線又は無線インターフェース１８も含むことができ、そのインターフェースによって、捕捉されたマルチメディアを外部制御デバイス２４に送信できるようになる。この送信２２は、テレビ受信機及びセットトップボックス内で広く利用可能である、ユニバーサルシリアルバス（ＵＳＢ）接続のような有線接続を介して、又は無線周波数信号を用いる送信媒体及び光信号を用いる送信媒体を含む、任意の利用可能な送信媒体を介して行うことができる。
【０００８】
他の実施形態では、デコードされていないコンテンツを捕捉し、その後、制御デバイス２４又は他の場所でデコードすることができる。
【０００９】
制御デバイス２４は、数例を挙げると、携帯電話、ラップトップコンピュータ、タブレットコンピュータ、モバイルインターネットデバイス、又はテレビ受信機用のリモートコントロールを含む、モバイルデバイスとすることができる。デバイス２４は、デスクトップコンピュータ又はエンタテインメントシステムのような、モバイル以外とすることもできる。一実施形態では、デバイス２４及びシステム１４は、無線ホームネットワークの一部とすることができる。一般的に、デバイス２４は、テレビディスプレイ画面とは別に情報を表示できるように、自らの別のディスプレイを有する。デバイス２４が自らのディスプレイを含まない実施形態では、ピクチャーインピクチャーディスプレイ等によって、テレビディスプレイ上にディスプレイを重ねて表示することができる。
【００１０】
一実施形態では、制御デバイス２４はクラウド２８と通信することができる。デバイス２４が、例えば、携帯電話である場合、そのデバイスは携帯電話信号２６によってクラウドと通信することができ、その信号は最終的にインターネットを介して搬送される。他の場合には、デバイス２４は、ネットワーク接続のような有線接続を通してインターネットと通信することができる。更に別の例として、デバイス２４は、テレビ送信をトランスポートしたのと同じトランスポート媒体を介して通信することができる。例えば、ケーブルシステムの場合、デバイス２４は、ケーブルシステムを通してケーブルヘッドエンド又はサーバー１１に信号を与えることができる。当然、実施形態によっては、これは、利用可能な送信帯域幅のうちの幾らかを消費する場合もある。したがって、実施形態によっては、デバイス２４はモバイルデバイス以外とすることができ、更にはプロセッサ利用システム１４の一部とすることもできる。
【００１１】
図２を参照すると、プロセッサ利用システム１４の一実施形態が表されるが、数多くの他のアーキテクチャーも使用することができる。図２に表されるアーキテクチャーは、インテル社から市販されるＣＥ４１００プラットフォームに対応する。そのアーキテクチャーは、システムインターコネクト２５に結合される中央処理ユニット２４を含む。そのシステムインターコネクトはＮＡＮＤコントローラー２６、マルチフォーマットハードウェアデコーダー２８、ディスプレイプロセッサ３０、グラフィックスプロセッサ３２及びビデオディスプレイコントローラー３４に結合される。一実施形態では、デコーダー２８と、プロセッサ３０及び３２とは、コントローラー２２に結合される場合がある。
【００１２】
システムインターコネクトは、トランスポートプロセッサ３６、セキュリティプロセッサ３８及びデュアル音声デジタルシグナルプロセッサ（ＤＳＰ）４０に結合される場合がある。デジタルシグナルプロセッサ４０は、入力ビデオ送信をデコードする役割を担うことができる。汎用入力／出力（Ｉ／Ｏ）モジュール４２は、例えば、ＷｉＦｉアダプター１８ａのような無線アダプターに結合される場合がある。実施形態によっては、このアダプターによって、無線制御デバイス２４に信号を送信できるようになる。また、システムインターコネクト２５には音声及びビデオ入力／出力デバイス４４も結合される。このデバイス４４はデコードされたビデオ出力を与えることができ、実施形態によっては、音声若しくはビデオフレーム又は音声若しくはビデオクリップを出力するために用いることができる。
【００１３】
幾つかの実施形態では、プロセッサ利用システム１４は、特定の判定基準が満たされると、マルチメディアセグメントを出力するようにプログラミングすることができる。１つのそのような判定基準は、例えば、キーボード又はタッチ画面のような入力／出力デバイスを通して入力を与えることによるユーザー選択である。また、ビデオカメラがユーザーのジェスチャーを録画することができる。それらのジェスチャーを解析して、マルチメディアセグメントを取り込むコマンドを識別することができる。そのような場合に、コマンドに基づいて、ビデオマルチメディア信号が出力される。また、例えば、音声認識を用いて視聴者からの可聴コマンドを検出することを用いて、マルチメディアセグメントの取り込みをトリガーすることができる。別のオプションは、プロセッサ利用システム１４が入力ビデオ送信内の種々の活動を検出して、マルチメディア捕捉をトリガーすることである。活動又はイベントの例は、コマーシャル開始の検出を含む。
【００１４】
図３は、制御デバイス２４の一実施形態に関するシーケンスを示す。このシーケンスはソフトウェア、ハードウェア及び／又はファームウェアにおいて実現することができる。ソフトウェア又はファームウェアに基づく実施形態では、そのシーケンスは、光学、磁気又は半導体記憶デバイスのような非一時的コンピュータ可読媒体内に記憶されるコンピュータ実行可能命令によって実現することができる。例えば、ソフトウェア又はファームウェアシーケンスは制御デバイス２４上の記憶装置５０に記憶することができる。
【００１５】
制御デバイス２４がモバイルデバイスである実施形態が表されるが、モバイル以外の実施形態も考えられる。例えば、制御デバイス２４はシステム１４内に統合される場合がある。
【００１６】
最初に、判断部５２において示されるように、判断部５２におけるチェックが、グラバー１６がアクティベートされたか否かを判断する。幾つかの実施形態では、デバイス２４の計算能力を消耗しないように、グラバー１６は必ずしも動作しているとは限らない。例えば、ユーザーは、自分の携帯電話上でアプリケーションをアクティベートし、捕捉動作を開始することができ、そのような場合に、判断部５２においてグラバー動作が検出される。
【００１７】
その後、ブロック５４において、制御デバイス２４からプロセッサ利用システム１４に、マルチメディアセグメント１６の電子的表現のマルチメディア捕捉を開始する信号を送信することができる。判断部５６において検出されるように、制御デバイス２４がマルチメディアセグメントを受信するとき、幾つかの実施形態では、表示又は表現されている製品を識別するために、制御デバイス２４はマルチメディアセグメントを解析用クラウド２８に送信することができる（ブロック５８）。当然、他の実施形態では、マルチメディアセグメントを、ネットワークを介して任意のサーバーに送信することができる。また、別の例として、マルチメディアセグメントを、画像、テキスト又は音声解析のためにヘッドエンド１１に送信することもできる。
【００１８】
音声の電子的表現が取り込まれた場合には、取り込まれた音声表現を、例えば、制御デバイス２４、システム１４又はクラウド２８においてテキストに変換することができる。その後、そのテキストを探索して、製品を識別することができる。
【００１９】
同様に、メタデータを解析して、製品を識別するテキスト探索において使用する情報を識別することができる。幾つかの実施形態では、音声、メタデータ、ビデオフレーム又はビデオクリップのうちの２つ以上をキーワードインターネット又はデータベース探索の入力として用いて、製品を識別することができる。さらに、ユーザーが、友人から製品情報を受信することを期待して、ソーシャルネットワークを介して友人に情報を転送する（push）ことができる。
【００２０】
その後、解析エンジンが、マルチメディア探索を実行して、表現された製品を識別する。この探索は、簡単なインターネット又はデータベース探索とすることができるか、又は更に絞り込んだ探索とすることができる。例えば、ブロック５８における送信は、ビデオ取込みの現在時刻と、制御デバイス２４の場所とを含むことができる。特定の時刻又は特定の場所においてどの製品が表示されているかについての情報を用いて探索を絞り込むために、この情報を用いることができる。例えば、ウェブサイト上に、種々の時刻において種々の場所で入手可能なテレビ番組を相関させるデータベースを設けることができ、このデータベースを画像探索して、取り込まれたフレームと一致する画像を見つけて、番組を識別することができる。さらに、メタデータ又は広告コンテンツプロバイダが、自らが提供するコンテンツに関連して、場所又は連絡先情報を含むことができる。
【００２１】
幾つかの実施形態では、ユーザーは注釈を追加して、取り込まれたセグメント内の対象特徴を識別することができる。一実施形態では、注釈は、制御デバイス２４上で実行されるアプリケーションによって有効にすることができる。注釈を用いて、探索を絞り込むことができる。別のオプションとして、視線検出を用いて、ビデオフレーム又はビデオクリップ内の対象製品を識別することができる。
【００２２】
製品の識別は、視覚探索ツールを用いることによって行うことができる。画像フレーム又は画像クリップが、探索データベース内の既存のフレーム又はクリップと照合される。場合によっては一連の一致を識別することができ、そのような場合に、それらの一致を制御デバイス２４に返送することができる。判断部６０におけるチェックが、探索結果が制御デバイス２４によって受信されたと判断するとき、ブロック６２において示されるように、その探索結果をユーザーに対して表示することができる。その後、制御デバイス２４は、視認された製品のような、ユーザーが望んだ情報に一致する探索結果のうちの１つのユーザー選択を受信する。その後、判断部６４に示されるように、ユーザー選択が受信されると、その際、ブロック６６において示されるように、選択された探索結果をクラウドに転送することができる。これにより、テレビによる製品識別を用いて、視聴者又は第三者に、製品についての付加情報の提供等の他のサービスを提供できるようになる。
【００２３】
次に、図４を参照すると、プロセッサ利用システム１４内でシーケンスを実施することができる。ここでもまた、そのシーケンスは、ファームウェア、ハードウェア又はソフトウェアにおいて実現することができる。ソフトウェア又はファームウェアの実施形態では、そのシーケンスは、１つ又は複数の非一時的コンピュータ可読媒体によって実施することができる。例えば、マルチメディアグラバーシーケンスは、マルチメディアグラバーデバイス１６上の記憶装置７０に記憶することができる。
【００２４】
最初に、判断部７２におけるチェックが、グラバー機構がアクティベートされたか否かを判断する。幾つかの実施形態では、ビデオコンテンツ解析を用いられる場合がある。例えば、ユーザーは、ラップトップコンピュータのような特定の製品に関するシステム画面、又はラップトップコンピュータに関する広告を要求する場合があるので、システムはビデオコンテンツ解析を用いて進行中のコンテンツを解析し、所望の製品の位置を特定することができ、その製品が表示又は表現されているマルチメディアセグメントを取り込むことができる。
【００２５】
判断部７６において判断されるように、コマンドが受信される場合、ブロック７８において示されるように、マルチメディアが捕捉され、制御デバイス２４に送信される。
【００２６】
図５を参照すると、ショッピングアプリケーションがシーケンスによって示される。そのシーケンスは、ソフトウェア、ファームウェア及び／又はハードウェアにおいて実現することができる。ソフトウェア又はファームウェアに基づく実施形態では、そのシーケンスは、１つ又は複数の非一時的コンピュータ可読媒体によって実施することができる。例えば、図１に示されるサーバー３０に関連付けられる記憶装置８０上にコンピュータ可読命令を記憶することができる。
【００２７】
クラウドを用いる実施形態が例示されるが、他の実施形態では、同じシーケンスは、任意の適切なネットワークを介して結合される任意のサーバーによって、制御デバイス２４自体によって、プロセッサ利用システム１４によって、又はヘッドエンド１１によって実施される場合がある。
【００２８】
最初に、判断部８２におけるチェックが、マルチメディアセグメントが受信されたか否かを判断する。受信された場合には、マルチメディアがビデオフレーム又はビデオクリップの電子的表現である場合、ブロック８４において示されるように、視覚探索が実行される。音声クリップの場合、音声をテキストに変換して、探索することができる。マルチメディアセグメントがメタデータである場合には、探索可能なコンテンツを得るために、メタデータを構文解析することができる。その後、ブロック８６において、探索結果が、例えば、制御デバイス２４に返送される。制御デバイス２４は、探索結果のうちのいずれが最も関連があるかについてのユーザー入力又はユーザー選択を受信することができる。システムはユーザーからの選択を待ち、判断部８８において判断されるように、選択が受信されるとき、ブロック９０において示されるように、識別された製品に基づいてタスクを実行することができる。例えば、同じ製品の他の供給元を識別するために探索を行うことができ、例えば、価格、場所及び購入可能性に基づいて、販売元比較を自動的に実施することができる。
【００２９】
そのような探索を実施することができる１つの方法は、現在の画像をデータベース内又はインターネット上の画像と照合し、その後、インターネット又はデータベースに存在するそれらの画像に関連付けられるテキストを探索することである場合がある。異なる画像間の共通項を解析して、製品名を判断することができる。このようにして、画像探索を用いて、製品名を判断することができる。同様に、マルチメディアセグメント内の音声セグメントを探索して、製品名が実際に言及されたか否かを確認し、言及された場合には、その音声をテキストに変換し、その後、テキスト内の製品情報を探索することができる。
【００３０】
さらに、ユーザーは、ユーザーが特定の画像を選択した理由に関する手がかりを与える入力情報を与えることができる。これは、例として、テキスト入力欄、選択されたメッセージに対する注釈、又は別の通信を用いて果たすことができる。
【００３１】
判断部１０２において、ユーザーに、その製品を今購入したいか否かを尋ねることができる。これは、例えば、テレビショッピングネットワークオプションを通して、又は探索において識別された販売元のうちの１つを通して、テレビ番組において示された製品を購入することを意味する場合がある。
【００３２】
ユーザーがその製品を今購入したい場合には、そのシステムは購入プロセスを支援することができる。例えば、発見的方法を用いて、ウェブ又はデータベース情報内から連絡先情報を識別することができる。この情報を用いて、ユーザーのクレジットカード情報及び住所情報を与え、オンラインフォームに書き込むことによって、購入取引を開始することができる。その後、その情報は販売元に搬送され、取引を自動的に開始することができる。代替的には、その探索において場所を特定されたインターネットウェブページのデータベース内の連絡先情報を識別することができ、ユーザーが販売元を選択するために、その情報をユーザーに与えることができる。
【００３３】
ユーザーが今購入しないと決定する場合には、ユーザーは、その製品を視認するために訪問したい場合がある特定の販売元を選択することができる。このようにして、ユーザーが特定の販売元に関するウェブページを選択する場合には、その販売元の場所又は連絡先情報をウェブページから自動的に構文解析することができる（ブロック１０４）。これは、アドレス情報のフォーマットをなす情報を認識することによって果たすことができ、その情報は、数字と、それに続くテキストとを含む場合があるか、又はその特定のフォーマットに基づいてウェブページ情報を識別することができる。同様に、電話番号又はファックス番号を同じようにして識別することもできる。場所又は連絡先情報が識別されると、ブロック１０６において示されるように、その場所が記録される。
【００３４】
ユーザーは、この時点で、又は設定中に近接ファクターを指定することができる。例えば、ユーザーは、識別された販売元の所与の距離内にいるときに識別してもらいたい場合がある。判断部１０８におけるチェックが、近接判定基準が満たされたか否かを判断する。満たされた場合には、現在の場所と記録された場所とを比較することができ（ブロック１１０）、判断部１１２において判断されるように、それらの場所が一致する場合には、ユーザーは、１１４において、指示された販売元の指定された距離内にいることを通知される場合がある。このようにして、システムは、携帯電話又は他のモバイルデバイス内のグローバルポジショニングシステムセンサを用いてユーザーの位置を絶えず監視することができ、ユーザーがその販売元の近くにいるときにユーザーに単に知らせる。
【００３５】
このようにバックグラウンドにおいて場所を監視することは、大抵の場合に、ユーザーがその製品を直ちに見に行く必要性を小さくする。代わりに、ユーザーは自分の通常の活動をそのまま継続することができ、システムはユーザーの場所を監視することになる。ユーザーが識別された販売元の非常に近くにいるとき、通知を与えることができる。
【００３６】
他の方法で同様のサービスを実施することもできる。例えば、ユーザーは店内の製品の写真を撮影することができるか、或る識別情報を与えることができるか、又はシステムが自律的にその製品を識別することができ、同じ技法を用いて、同じ製品の他の販売元の場所を特定することができる。
【００３７】
さらに、テレビ番組又は写真を通して製品が識別されない場合でも、場所指示サービスが役に立つことがある。例えば、ユーザーは単に、販売元について言及している広告を見る場合があるか、又はユーザーがいつか訪れたい商店、レストラン、博物館又は任意の他の場所について聞く場合がある。ユーザーはその場所の指示、近接判定基準を与えることができ、その後、システムは継続的にユーザーの場所を監視し、別の理由でユーザーがその場所の近くに来るときを検出する。その際、近接していることをユーザーに通知し、選択された場合には、その販売元に行く方向を与えることもできる。これにより、その販売元にわざわざ行く必要がなくなるので、時間及び費用が節約される。
【００３８】
幾つかの実施形態では、複数のユーザーが同じテレビ番組を視聴している場合がある。世帯によっては、複数のテレビが利用可能な場合がある。したがって、数多くの異なるユーザーが本明細書において記述されるサービスを同時に使用したい場合がある。このため、プロセッサ利用システム１４は、制御デバイス２４の識別子、テレビ識別子及び番組情報を識別するテーブルを保持することができる。これにより、そのような実施形態において、プロセッサ利用システム１４が単に種々のテレビに適応し、全てのテレビがプロセッサ利用システム１４の下流において信号を受信することによって、ユーザーが部屋を移動しても、本明細書において記述されるサービスを受信し続けることができるようになる。
【００３９】
幾つかの実施形態では、テーブルはプロセッサ利用システム１４に記憶することができるか、又はヘッドエンド１１にアップロードすることができるか、又は場合によっては、制御デバイス２４を通してクラウド２８にアップロードすることもできる。
【００４０】
したがって、図６を参照すると、幾つかの実施形態では、シーケンス９２を用いて、制御デバイス２４、テレビディスプレイ画面２０及び選択されたチャネルを相関させるようにテーブルを維持管理することができる。その際、複数の異なるユーザーが同じテレビを通して、又は例えば、ホームエンターテイメントネットワーク内で同じプロセッサ利用システム１４を通して全て接続される少なくとも２台以上のテレビにおいて、そのシステムを使用することができる。そのシーケンスは、ハードウェア、ソフトウェア及び／又はファームウェアとして実現することができる。ソフトウェア及びファームウェアの実施形態では、そのシーケンスは、磁気、半導体又は光学記憶装置のような１つ又は複数の非一時的コンピュータ可読媒体に記憶されるコンピュータ可読命令を用いて実現することができる。一実施形態では、記憶装置５０を用いて、それらの命令を記憶することができる。
【００４１】
最初に、ブロック９４において示されるように、システム１４は、そのシステムにコマンドを与える制御デバイスごとの識別子を受信し、記憶する。その後、ブロック９６において示されるように、システム１４を通して結合される種々のテレビを識別し、記録することができる。最後に、制御デバイス及びテレビ受信機を相関させるテーブルが設定される（ブロック１００）。これにより、同じ制御デバイスに接続される複数のテレビを途切れることなく使用できるようになり、視聴者が部屋を移動しても、本明細書において記述されるサービスを受信し続けることができるようになる。さらに、複数の視聴者が同じテレビを視聴することができ、それぞれが独立して本明細書において記述されるサービスを受信することができる。
【００４２】
本明細書を通して「一実施形態」又は「１つの実施形態」を参照することは、その実施形態に関連して記述される特定の特徴、構造又は特性が本発明に包含される少なくとも１つの実施態様に含まれることを意味する。したがって、「一実施形態」又は「１つの実施形態において」という言い回しが現れても、必ずしも同じ実施形態を参照しているとは限らない。さらに、特定の特徴、構造又は特性は、例示される特定の実施形態以外の他の適切な形態において実施することができ、全てのそのような形態を本明細書の特許請求の範囲に包含することができる。
【００４３】
本発明は限られた数の実施形態に関して記述されてきたが、当業者はそれらの実施形態から数多くの変更形態及び変形形態を理解されよう。添付の特許請求の範囲は、本発明の真の趣旨及び範囲内に入る全てのそのような変更形態及び変形形態を含むことを意図している。
【図１】
2014530390.tif 000003
【図２】
2014530390.tif 000004
【図３】
2014530390.tif 000005
【図４】
2014530390.tif 000006
【図５】
2014530390.tif 000007
【図６】
2014530390.tif 000008
【手続補正書】
【提出日】平成26年4月24日(2014.4.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
イベントの発生を検出することと、
イベントを検出するのに応答して、テレビ番組から、電子通信のデコードされた信号を自動的に取り込むことと、
前記信号を用いて探索を実行して、前記テレビ番組において表現される製品の識別を容易にすることと、
を含む、方法。
【請求項２】
ビデオフレーム若しくはビデオクリップ、音声又はメタデータの電子的表現を含む信号を取り込むことを含む、請求項１に記載の方法。
【請求項３】
前記信号をモバイルデバイスに自動的に転送することを含む、請求項１または請求項２に記載の方法。
【請求項４】
探索結果を前記モバイルデバイスに与えることを含む、請求項３に記載の方法。
【請求項５】
前記信号を遠隔サーバーに送信して、前記探索を実行することを含む、請求項３または請求項４に記載の方法。
【請求項６】
複数のモバイルデバイスを追跡することと、前記複数のモバイルデバイスのそれぞれから要求を受信することと、前記複数のモバイルデバイスのそれぞれに応答を与えることとを含む、請求項１から請求項５のいずれか１つに記載の方法。
【請求項７】
モバイルデバイスと、テレビと、モバイルデバイスからの要求とを相関させるテーブルを維持管理することを含む、請求項６に記載の方法。
【請求項８】
前記製品の販売元についての情報を自動的に与えることを含む、請求項１から請求項７のいずれか１つに記載の方法。
【請求項９】
イベントの発生を検出すること、
イベントの検出に応答して、自動的に画像を取り込むこと、および
前記画像を用いて探索を開始して、前記画像内に表現された製品の識別を容易にすること、
をコンピュータに実行させるためのプログラム。
【請求項１０】
テレビ番組からのビデオフレーム若しくはビデオクリップ、音声又はメタデータの電子的表現の形で、電子通信のデコードされた信号を取り込むことを前記コンピュータにさらに実行させる、請求項９に記載のプログラム。
【請求項１１】
前記信号をモバイルデバイスに転送することを前記コンピュータにさらに実行させる、請求項１０に記載のプログラム。
【請求項１２】
探索結果を前記モバイルデバイスに与えることを前記コンピュータにさらに実行させる、請求項１１に記載のプログラム。
【請求項１３】
前記信号を遠隔サーバーに送信して、前記探索を実行することを前記コンピュータにさらに実行させる、請求項１１に記載のプログラム。
【請求項１４】
複数のモバイルデバイスを追跡すること、前記複数のモバイルデバイスのそれぞれから要求を受信すること、前記複数のモバイルデバイスのそれぞれに応答を与えること、および異なる時刻に２つの異なるテレビを使用できるようにすることを前記コンピュータにさらに実行させる、請求項９から請求項１３のいずれか１つに記載のプログラム。
【請求項１５】
デバイス、テレビ、モバイルデバイスの要求を相関させるテーブルを維持管理することを前記コンピュータにさらに実行させる、請求項１４に記載のプログラム。
【請求項１６】
イベントに応答してテレビ番組から電子通信の信号を自動的に取り込み、キーワード探索の入力として使用するように、デコードされた前記信号を送信して、前記信号内に表現される製品を識別するプロセッサと、
前記プロセッサに結合される記憶装置と、
を備える、装置。
【請求項１７】
前記装置はモバイルデバイスである、請求項１６に記載の装置。
【請求項１８】
前記装置は携帯電話である、請求項１７に記載の装置。
【請求項１９】
前記装置はリモートコントロールである、請求項１７に記載の装置。
【請求項２０】
前記装置はテレビ受信機である、請求項１６に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
本発明は限られた数の実施形態に関して記述されてきたが、当業者はそれらの実施形態から数多くの変更形態及び変形形態を理解されよう。添付の特許請求の範囲は、本発明の真の趣旨及び範囲内に入る全てのそのような変更形態及び変形形態を含むことを意図している。
［項目１］
イベントの発生を検出することと、
イベントを検出するのに応答して、テレビ番組から、電子通信のデコードされた信号を自動的に取り込むことと、
上記信号を用いて探索を実行して、上記テレビ番組において表現される製品の識別を容易にすることと、を含む、方法。
［項目２］
ビデオフレーム若しくはビデオクリップ、音声又はメタデータの電子的表現を含む信号を取り込むことを含む、項目１に記載の方法。
［項目３］
上記信号をモバイルデバイスに自動的に転送することを含む、項目１に記載の方法。
［項目４］
探索結果を上記モバイルデバイスに与えることを含む、項目３に記載の方法。
［項目５］
上記信号を遠隔サーバーに送信して、上記探索を実行することを含む、項目３に記載の方法。
［項目６］
複数のモバイルデバイスを追跡することと、上記複数のモバイルデバイスのそれぞれから要求を受信することと、上記複数のモバイルデバイスのそれぞれに応答を与えることとを含む、項目１に記載の方法。
［項目７］
モバイルデバイスと、テレビと、モバイルデバイスからの要求とを相関させるテーブルを維持管理することを含む、項目６に記載の方法。
［項目８］
上記製品の販売元についての情報を自動的に与えることを含む、項目１に記載の方法。
［項目９］
ユーザーが１つのモバイルデバイスを使用し、異なる時刻に２つの異なるテレビにアクセスできるようにすることを含む、項目１に記載の方法。
［項目１０］
少なくとも１つの非一時的コンピュータ可読媒体であって、
コンピュータがイベントの発生を検出できるようにする命令と、
イベントの検出に応答して、上記コンピュータが自動的に画像を取り込むことができるようにする命令と、
上記コンピュータが上記画像を用いて探索を開始できるようにする命令であって、上記画像内に表現された製品の識別を容易にする命令と、を記憶する、少なくとも１つの非一時的コンピュータ可読媒体。
［項目１１］
テレビ番組からのビデオフレーム若しくはビデオクリップ、音声又はメタデータの電子的表現の形で、電子通信のデコードされた信号を取り込む命令を更に記憶する、項目１０に記載の媒体。
［項目１２］
上記信号をモバイルデバイスに転送する命令を更に記憶する、項目１０に記載の媒体。
［項目１３］
探索結果を上記モバイルデバイスに与える命令を更に記憶する、項目１２に記載の媒体。
［項目１４］
上記信号を遠隔サーバーに送信して、上記探索を実行する命令を更に記憶する、項目１２に記載の媒体。
［項目１５］
複数のモバイルデバイスを追跡する命令と、上記複数のモバイルデバイスのそれぞれから要求を受信する命令と、各モバイルデバイスに応答を与える命令であって、異なる時刻に２つの異なるテレビを使用できるようにする命令とを更に記憶する、項目１０に記載の媒体。
［項目１６］
デバイス、テレビ、モバイルデバイスの要求を相関させるテーブルを維持管理する命令を更に記憶する、項目１５に記載の媒体。
［項目１７］
音声信号の電子的表現である信号を取り込む命令と、上記取り込まれた信号をテキストに変換する命令と、キーワード探索の入力として使用するように上記テキストを送信する命令とを更に記憶する、項目１０に記載の媒体。
［項目１８］
上記製品の販売元についての情報を与える命令を更に記憶する、項目１０に記載の媒体。
［項目１９］
イベントに応答してテレビ番組から電子通信の信号を自動的に取り込み、キーワード探索の入力として使用するように、デコードされた上記信号を送信して、上記信号内に表現される製品を識別するプロセッサと、
上記プロセッサに結合される記憶装置と、を備える、装置。
［項目２０］
上記装置はモバイルデバイスである、項目１９に記載の装置。
［項目２１］
上記装置は携帯電話である、項目２０に記載の装置。
［項目２２］
上記装置はリモートコントロールである、項目２０に記載の装置。
［項目２３］
上記装置はテレビ受信機である、項目１９に記載の装置。
［項目２４］
上記装置は、テレビ受信システムに信号を送り、ビデオフレーム若しくはビデオクリップ、音声又はメタデータの電子的表現の形で、電子通信のデコードされた信号を取り込む、項目１９に記載の装置。
［項目２５］
上記装置は、テレビシステムから上記信号を受信し、上記信号を、データベース内で又はインターネットを介してキーワード探索を実行する遠隔デバイスに送信する、項目２０に記載の装置。
［項目２６］
少なくとも１つの非一時的コンピュータ可読媒体であって、
コンピュータが指定された場所を受信できるようにする命令と、
上記コンピュータがユーザーの現在の場所を監視できるようにする命令と、
上記コンピュータが、上記ユーザーが上記指定された場所から所定の距離内にいるときに上記ユーザーに知らせることができるようにする命令と、を記憶する、少なくとも１つの非一時的コンピュータ可読媒体。
［項目２７］
製品の取り込まれた電子的表現を探索する命令と、画像探索を用いて上記製品を識別する命令とを更に記憶する、項目２６に記載の媒体。
［項目２８］
取り込まれた電子テレビ信号を探索する命令して上記製品を識別する命令を更に記憶する、項目２７に記載の媒体。
［項目２９］
上記製品に関連するインターネット探索結果から製品販売元の場所を導出する命令を更に記憶する、項目２８に記載の媒体。
［項目３０］
テレビ番組からの音声を解析して上記番組を識別する命令を更に記憶する、項目２６に記載の媒体。
【国際調査報告】
2014530390.tif 000009
2014530390.tif 000010
2014530390.tif 000011