(57)【要約】  メディア・コンテンツの自動識別は、別のデバイスを介してユーザに提示されているメディア・コンテンツの静止画像またはビデオ画像を視覚的に取り込むことに、少なくとも部分的に基づいている。メディア・コンテンツはさらに、ユーザの位置を決定することと、メディア・コンテンツの音声部分、取り込みの日時、またはユーザのプロフィール／振舞いの特徴を取り込むこととによって改良され得る。メディア・コンテンツを識別することは、（１）映像ディスプレイに対応する、照度の高い長方形を区別することと、（２）表示された画像／映像内に提示されたウォーターマークを復号することと、（３）特定のタイム・スタンプまたはプログラムの一部を決定するのに十分な程度に提示を特徴づけることと、（４）そのプログラムを閲覧するためのユーザ設定の選好（たとえば、クローズ・キャプショニング、アスペクト比、言語）を決定することとを必要とし得る。このようにして識別されると、適切にフォーマットされたメディア・コンテンツが、モバイル・デバイスのユーザ・インターフェースでの継続された提示のために受信され得る。
2013535752.tif 000002
【特許請求の範囲】
【請求項１】
ビジュアル・メディア・コンテンツを識別するための方法であって、
モバイル・デバイスのカメラから画像を受け取ることと、
前記画像内に含まれた四辺形を検出することと、
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことと
を備える方法。
【請求項２】
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことは、テキスト認識を実行することをさらに備える、請求項１に記載の方法。
【請求項３】
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことは、静的なビジュアル・メディア・コンテンツの画像認識を実行することをさらに備える、請求項１に記載の方法。
【請求項４】
前記画像内に含まれた四辺形を検出することは、オブジェクトのコントラストに基づいて、前記画像内の有意の細部を識別する関心領域マップを作成することをさらに備える、請求項１に記載の方法。
【請求項５】
前記画像内に含まれた四辺形を検出することは、前記画像のビューファインダ表示の一部に対するユーザ入力を受け取ることをさらに備える、請求項１に記載の方法。
【請求項６】
前記モバイル・デバイスのカメラから画像を受け取ることは、連続する複数のフレームを受け取ることをさらに備え、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことは、動的なビジュアル・メディア・コンテンツのビデオ画像認識を実行することをさらに備える、請求項１に記載の方法。
【請求項７】
前記画像内に含まれた四辺形を検出することは、前記連続する複数のフレーム間の差を決定することによって動きマップを作成することをさらに備える、請求項６に記載の方法。
【請求項８】
コーナー検出を実行することと、
前記動きマップ内のコーナー点をプルーニングすることと
をさらに備える、請求項７に記載の方法。
【請求項９】
前記画像内に含まれた四辺形を検出することは、
関心領域マップを作成することと、
前記関心領域マップを含むように前記画像をトリミングすることと
をさらに備える、請求項１に記載の方法。
【請求項１０】
前記画像内に含まれた四辺形を検出することは、より高い照度を有する部分を検出することによって高輝度マップを作成することをさらに備える、請求項１に記載の方法。
【請求項１１】
前記画像内に含まれた四辺形を検出することは、
コーナー検出を実行することと、
コーナー点をクラスタリングすることと、
前記高輝度マップ内のコーナー点のクラスタをプルーニングすることと
をさらに備える、請求項１０に記載の方法。
【請求項１２】
前記画像内に含まれた四辺形を検出することは、前記画像の一部についての焦点深度を検出することによって深度マップを作成することをさらに備える、請求項１に記載の方法。
【請求項１３】
前記画像内に含まれた四辺形を検出することは、長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するための認識基準を満たす、コーナー点の選択された４つのクラスタの四辺形の形状の候補を検出することをさらに備える、請求項１に記載の方法。
【請求項１４】
前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別することは、前記四辺形の形状が他の四辺形の形状の候補のすべてを含むのに十分な大きさかどうかを判定することによって、別の四辺形の大部分の面積を占める任意の四辺形の形状の候補をプルーニングすることをさらに備える、請求項１３に記載の方法。
【請求項１５】
前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別することは、前記長方形のディスプレイ・デバイスの境界を認識することをさらに備える、請求項１３に記載の方法。
【請求項１６】
前記長方形のディスプレイ・デバイスの境界を認識することは、向かい合った辺における前記境界の部分について、共通の境界の太さを検出することをさらに備える、請求項１５に記載の方法。
【請求項１７】
向かい合った辺における前記境界の部分について、前記共通の境界の太さを検出することは、前記長方形のディスプレイ・デバイスの一周の寸法のおよそ１０パーセントといったパーセンテージの太さを検出することを備える、請求項１６に記載の方法。
【請求項１８】
前記長方形のディスプレイ・デバイスの境界を認識することは、共通する向かい合った辺における前記境界のかなりの部分について、共通の色を検出することをさらに備える、請求項１５に記載の方法。
【請求項１９】
共通する向かい合った辺における前記境界のかなりの部分について、前記共通の色を検出することは、複数の画素のうちの少なくとも何割かが前記共通の色を有することを検出することをさらに備える、請求項１８に記載の方法。
【請求項２０】
前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別することは、前記四辺形の形状の候補が、
凸形でないことと、
すべての内角が１１０度より大きいことと、
前記画像のかなりの部分を占める面積を有することと、
標準的な映像アスペクト比に近似するアスペクト比を有することと、
略同一の角度の２つの隣り合う角を有することと
を含む１つ以上の基準を満たすこと、を決定することをさらに備える、請求項１３に記載の方法。
【請求項２１】
選択された四辺形内の前記画像の一部に対して、ヒストグラム分析と、エッジ検出と、スケール不変特徴変換とを実行し、対応するメディア・コンテンツを識別することをさらに備える、請求項１に記載の方法。
【請求項２２】
画像処理の制約を決定することと、
前記画像処理の制約に応答して、前記四辺形内の前記画像の一部の画像処理を、前記モバイル・デバイスとリモート・サーバとの間で分散させることと
をさらに備える、請求項１に記載の方法。
【請求項２３】
前記画像処理の制約は、前記画像処理を実行するための前記モバイル・デバイスの能力を備える、請求項２２に記載の方法。
【請求項２４】
前記画像処理の制約は、少なくとも部分的に、前記モバイル・デバイスから前記リモート処理への送信チャネルを介して送信するためのデータ送信コストを備える、請求項２２に記載の方法。
【請求項２５】
前記画像処理の制約は、前記モバイル・デバイスから前記リモート処理への送信チャネルの能力を備える、請求項２２に記載の方法。
【請求項２６】
前記画像の一部の画像処理を分散させることは、
前記送信チャネルの能力が低いとの決定に応答して、画像クリップを備える画像データを送信することと、
前記送信チャネルの能力が中程度であるとの決定に応答して、部分的な画像処理の後に、前記画像クリップを備える画像データを送信することと、
前記送信チャネルの能力が高いとの決定に応答して、完全な画像処理の後、前記画像クリップを備える画像データを送信することと
をさらに備える、請求項２５に記載の方法。
【請求項２７】
前記四辺形内の前記画像の一部から得られた画像データを、リモート・サーバへと送信することと、
メディア・コンテンツのレポジトリとの前記画像データの任意のマッチについて、前記リモート・サーバからレポートを受信することと
をさらに備える、請求項１に記載の方法。
【請求項２８】
任意のマッチについて、前記リモート・サーバから前記レポートを受信することは、
マッチが識別されなかったと決定することと、
前記リモート・サーバに送信するための追加の画像データを得るために、モバイル・デバイスのカメラから画像を受け取ることと、前記画像内に含まれた四辺形を検出することと、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことと、を繰り返すことと
をさらに備える、請求項２７に記載の方法。
【請求項２９】
任意のマッチについて、前記リモート・サーバから前記レポートを受信することは、
前記レポートから得られた複数のマッチが前記モバイル・デバイスのユーザ・インターフェースで提示するのに適したサイズを有することを決定することと、
前記レポートから得られ、前記ユーザ・インターフェースで提示された、メディア・コンテンツの一覧のうちの１つについて、ユーザ選択を受け取ることと
をさらに備える、請求項２７に記載の方法。
【請求項３０】
任意のマッチについて、前記リモート・サーバから前記レポートを受信することは、
前記レポートから得られた複数のマッチが前記モバイル・デバイスのユーザ・インターフェースで提示するのに適したサイズよりも大きなサイズを有することを決定することと、
それを受けて、追加の画像処理のために前記リモート・サーバに画像クリップを送信することと
をさらに備える、請求項２７に記載の方法。
【請求項３１】
マッチしたメディア・コンテンツを、前記モバイル・デバイスによって提示するために受信することをさらに備える、請求項１に記載の方法。
【請求項３２】
前記取り込まれたビジュアル・メディア・コンテンツによって識別されたポイントから、前記マッチしたメディア・コンテンツを提示することをさらに備える、請求項３１に記載の方法。
【請求項３３】
前記マッチしたメディア・コンテンツを、前記モバイル・デバイスのユーザ・インターフェース向けに再フォーマットすることをさらに備える、請求項３１に記載の方法。
【請求項３４】
前記マッチしたメディア・コンテンツの再フォーマットを促すために、前記モバイル・デバイスのユーザ・インターフェースのための識別子を送信することをさらに備える、請求項３１に記載の方法。
【請求項３５】
前記マッチしたメディア・コンテンツを提示するために、データ管理権をネゴシエートすることをさらに備える、請求項３１に記載の方法。
【請求項３６】
マイクロフォンによって取り込まれた音声を受け取ることと、
画像データをメディア・コンテンツのレポジトリとマッチングすることを支援するためにハッシュ・ルックアップ関数を使用することと
をさらに備える、請求項１に記載の方法。
【請求項３７】
ビジュアル・メディア・コンテンツを識別するための少なくとも１つのプロセッサであって、
モバイル・デバイスのカメラから画像を受け取るための第１のモジュールと、
前記画像内に含まれた四辺形を検出するための第２のモジュールと、
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むための第３のモジュールと
を備える少なくとも１つのプロセッサ。
【請求項３８】
非一時的なコンピュータ読取可能な記憶媒体を備える、ビジュアル・メディア・コンテンツを識別するためのコンピュータ・プログラム製品であって、
前記非一時的なコンピュータ読取可能な記憶媒体は、
コンピュータに、モバイル・デバイスのカメラから画像を受け取らせるための第１のコードのセットと、
前記コンピュータに、前記画像内に含まれた四辺形を検出させるための第２のコードのセットと、
前記コンピュータに、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込ませるための第３のコードのセットと
を備える、コンピュータ・プログラム製品。
【請求項３９】
ビジュアル・メディア・コンテンツを識別するための装置であって、
モバイル・デバイスのカメラから画像を受け取るための手段と、
前記画像内に含まれた四辺形を検出するための手段と、
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むための手段と
を備える装置。
【請求項４０】
ビジュアル・メディア・コンテンツを識別するための装置であって、
画像を生成するためのモバイル・デバイスのカメラと、
前記カメラから受け取った前記画像内に含まれた四辺形を検出し、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むためのコンピューティング・プラットフォームと
を備える装置。
【請求項４１】
前記コンピューティング・プラットフォームはさらに、テキスト認識を実行することによって、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むためのものである、請求項４０に記載の装置。
【請求項４２】
前記コンピューティング・プラットフォームはさらに、静的なビジュアル・メディア・コンテンツの画像認識を実行することによって、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むためのものである、請求項４０に記載の装置。
【請求項４３】
前記コンピューティング・プラットフォームはさらに、オブジェクトのコントラストに基づいて、前記画像内の有意の細部を識別する関心領域マップを作成することによって、前記画像内に含まれた四辺形を検出するためのものである、請求項４０に記載の装置。
【請求項４４】
前記コンピューティング・プラットフォームはさらに、前記画像のビューファインダ表示の一部に対するユーザ入力を受け取ることによって、前記画像内に含まれた四辺形を検出するためのものである、請求項４０に記載の装置。
【請求項４５】
前記コンピューティング・プラットフォームはさらに、連続する複数のフレームを受け取ることによって、前記モバイル・デバイスのカメラから前記画像を受け取るためのものであり、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことは、動的なビジュアル・メディア・コンテンツのビデオ画像認識を実行することをさらに備える、請求項４０に記載の装置。
【請求項４６】
前記コンピューティング・プラットフォームはさらに、前記連続する複数のフレーム間の差を決定することによって動きマップを作成することにより、前記画像内に含まれた四辺形を検出するためのものである、請求項４５に記載の装置。
【請求項４７】
前記コンピューティング・プラットフォームはさらに、
コーナー検出を実行し、
前記動きマップ内のコーナー点をプルーニングする
ためのものである、請求項４６に記載の装置。
【請求項４８】
前記コンピューティング・プラットフォームはさらに、関心領域マップを作成することによって前記画像内に含まれた四辺形を検出し、前記関心領域マップを含むように前記画像をトリミングするためのものである、請求項４０に記載の装置。
【請求項４９】
前記コンピューティング・プラットフォームはさらに、より高い照度を有する部分を検出することによって高輝度マップを作成することにより、前記画像内に含まれた四辺形を検出するためのものである、請求項４０に記載の装置。
【請求項５０】
前記コンピューティング・プラットフォームはさらに、
コーナー検出を実行することと、
コーナー点をクラスタリングすることと、
前記高輝度マップ内のコーナー点のクラスタをプルーニングすることと
によって、前記画像内に含まれた四辺形を検出するためのものである、請求項４９に記載の装置。
【請求項５１】
前記コンピューティング・プラットフォームはさらに、前記画像の一部についての焦点深度を検出することによって深度マップを作成することにより、前記画像内に含まれた四辺形を検出するためのものである、請求項４０に記載の装置。
【請求項５２】
前記コンピューティング・プラットフォームはさらに、長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するための認識基準を満たす、コーナー点の選択された４つのクラスタの四辺形の形状の候補を検出することによって、前記画像内に含まれた四辺形を検出するためのものである、請求項４０に記載の装置。
【請求項５３】
前記コンピューティング・プラットフォームはさらに、前記四辺形の形状が他の四辺形の形状の候補のすべてを含むのに十分な大きさかどうかを判定することによって、別の四辺形の大部分の面積を占める任意の四辺形の形状の候補をプルーニングすることにより、前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するためのものである、請求項５２に記載の装置。
【請求項５４】
前記コンピューティング・プラットフォームはさらに、前記長方形のディスプレイ・デバイスの境界を認識することによって、前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するためのものである、請求項５２に記載の装置。
【請求項５５】
前記コンピューティング・プラットフォームはさらに、向かい合った辺における前記境界の部分について、共通の境界の太さを検出することによって、前記長方形のディスプレイ・デバイスの境界を認識するためのものである、請求項５４に記載の装置。
【請求項５６】
前記コンピューティング・プラットフォームはさらに、前記長方形のディスプレイ・デバイスの一周の寸法のおよそ１０パーセントといったパーセンテージの太さを検出することによって、向かい合った辺における前記境界の部分について、前記共通の境界の太さを検出するためのものである、請求項５５に記載の装置。
【請求項５７】
前記コンピューティング・プラットフォームはさらに、共通する向かい合った辺における前記境界のかなりの部分について、共通の色を検出することによって、前記長方形のディスプレイ・デバイスの境界を認識するためのものである、請求項５４に記載の装置。
【請求項５８】
前記コンピューティング・プラットフォームはさらに、複数の画素のうちの少なくとも何割かが前記共通の色を有することを検出することによって、共通する向かい合った辺における前記境界のかなりの部分について、前記共通の色を検出するためのものである、請求項５７に記載の装置。
【請求項５９】
前記コンピューティング・プラットフォームはさらに、前記四辺形の形状の候補が、
凸形でないことと、
すべての内角が１１０度より大きいことと、
前記画像のかなりの部分を占める面積を有することと、
標準的な映像アスペクト比に近似するアスペクト比を有することと、
略同一の角度の２つの隣り合う角を有することと
を含む１つ以上の基準を満たすこと、を決定することによって、前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するためのものである、請求項５２に記載の装置。
【請求項６０】
前記コンピューティング・プラットフォームはさらに、選択された四辺形内の前記画像の一部に対して、ヒストグラム分析と、エッジ検出と、スケール不変特徴変換とを実行し、対応するメディア・コンテンツを識別するためのものである、請求項４０に記載の装置。
【請求項６１】
前記コンピューティング・プラットフォームはさらに、画像処理の制約を決定し、前記画像処理の制約に応答して、前記四辺形内の前記画像の一部の画像処理を、前記モバイル・デバイスとリモート・サーバとの間で分散させるためのものである、請求項４０に記載の装置。
【請求項６２】
前記画像処理の制約は、前記画像処理を実行するための前記モバイル・デバイスの能力を備える、請求項６１に記載の装置。
【請求項６３】
前記画像処理の制約は、少なくとも部分的に、前記モバイル・デバイスから前記リモート処理への送信チャネルを介して送信するためのデータ送信コストを備える、請求項６１に記載の装置。
【請求項６４】
前記画像処理の制約は、前記モバイル・デバイスから前記リモート処理への送信チャネルの能力を備える、請求項６１に記載の装置。
【請求項６５】
送信機がさらに、
前記送信チャネルの能力が低いとの決定に応答して、画像クリップを備える画像データを送信し、
前記送信チャネルの能力が中程度であるとの決定に応答して、部分的な画像処理の後に、前記画像クリップを備える画像データを送信し、
前記送信チャネルの能力が高いとの決定に応答して、完全な画像処理の後、前記画像クリップを備える画像データを送信する
ためのものである、請求項６４に記載の装置。
【請求項６６】
前記四辺形内の前記画像の一部から得られた画像データを、リモート・サーバへと送信するための送信機と、
メディア・コンテンツのレポジトリとの前記画像データの任意のマッチについて、前記リモート・サーバからレポートを受信するための受信機と
をさらに備える、請求項４０に記載の装置。
【請求項６７】
前記コンピューティング・プラットフォームはさらに、
マッチが識別されなかったと決定することと、
前記リモート・サーバに送信するための追加の画像データを得るために、モバイル・デバイスのカメラから画像を受け取ることと、前記画像内に含まれた四辺形を検出することと、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことと、を繰り返すことと
によって、任意のマッチについて、前記リモート・サーバから前記レポートを受信する前記受信機に応答するためのものである、請求項６６に記載の装置。
【請求項６８】
前記コンピューティング・プラットフォームはさらに、
前記レポートから得られた複数のマッチが前記モバイル・デバイスのユーザ・インターフェースで提示するのに適したサイズを有することを決定することと、
前記レポートから得られ、前記ユーザ・インターフェースで提示された、メディア・コンテンツの一覧のうちの１つについて、ユーザ選択を受け取ることと
によって、任意のマッチについて、前記リモート・サーバから前記レポートを受信する前記受信機に応答するためのものである、請求項６６に記載の装置。
【請求項６９】
前記コンピューティング・プラットフォームはさらに、
前記レポートから得られた複数のマッチが前記モバイル・デバイスのユーザ・インターフェースで提示するのに適したサイズよりも大きなサイズを有することを決定することと、
それを受けて、追加の画像処理のために前記リモート・サーバに画像クリップを送信することと
によって、任意のマッチについて、前記リモート・サーバから前記レポートを受信する前記受信機に応答するためのものである、請求項６７に記載の装置。
【請求項７０】
前記受信機はさらに、マッチしたメディア・コンテンツを、前記モバイル・デバイスによって提示するために受信するためのものである、請求項６０に記載の装置。
【請求項７１】
前記コンピューティング・プラットフォームはさらに、前記取り込まれたビジュアル・メディア・コンテンツによって識別されたポイントから、前記マッチしたメディア・コンテンツを提示するためのものである、請求項７０に記載の装置。
【請求項７２】
前記コンピューティング・プラットフォームはさらに、前記マッチしたメディア・コンテンツを、前記モバイル・デバイスのユーザ・インターフェース向けに再フォーマットするためのものである、請求項７０に記載の装置。
【請求項７３】
前記送信機はさらに、前記マッチしたメディア・コンテンツの再フォーマットを促すために、前記モバイル・デバイスのユーザ・インターフェースのための識別子を送信するためのものである、請求項７０に記載の装置。
【請求項７４】
前記コンピューティング・プラットフォームはさらに、前記マッチしたメディア・コンテンツを提示するために、前記送信機および受信機を介してデータ管理権をネゴシエートするためのものである、請求項７０に記載の装置。
【請求項７５】
音声を取り込むためのマイクロフォンをさらに備え、
前記コンピュータ・プラットフォームはさらに、画像データをメディア・コンテンツのレポジトリとマッチングすることを支援するためにハッシュ・ルックアップ関数を使用するためのものである、
請求項６０に記載の装置。
【請求項７６】
モバイル通信デバイスのカメラを使用してデジタル画像を取り込むことと、
前記モバイル通信デバイスと、前記モバイル通信デバイスからリモート・ネットワークワークまでの無線インターフェースと、ネットワーク・サーバとのうちの少なくとも１つの能力の制約を決定することと、
前記デジタル画像の画像処理を、前記能力の制約に基づいて、前記モバイル通信デバイスと前記ネットワーク・サーバとの間で分散させることと、
画像認識の結果を受信することと
を備える方法。
【請求項７７】
前記能力の制約を決定することは、前記無線インターフェースのデータ送信能力を決定することをさらに備える、請求項７６に記載の方法。
【請求項７８】
前記能力の制約を決定することは、前記モバイル通信デバイスの画像処理能力を決定することをさらに備える、請求項７６に記載の方法。
【請求項７９】
前記デジタル画像の画像処理を、前記能力の制約に基づいて、前記モバイル通信デバイスと前記ネットワーク・サーバとの間で分散させることは、ローカル処理と、分担処理と、リモート処理とのうちの１つを選択することをさらに備える、請求項７６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、モバイル動作環境に関し、より詳細には、カメラ機能付きモバイル・デバイスによって取り込まれたビジュアル・メディア・コンテンツを視覚的に識別することに関する。
【背景技術】
【０００２】
数十年にわたって、デジタル画像処理の開発では、たとえば画像認識といった、ある特定の視覚能力を自動化しようとする試みがなされてきた。コンピュータ・ビジョンは、自律的なナビゲーションを可能にするために障害を認識しようとする試みを行ってきた。光学式文字認識は、画像中のスキューを検出し、文字の形状の相関をとる、といった技術に依拠する。監視システムは、セキュリティを維持するために、たとえば顔といった、生物測定学的なデータを認識しようと試みる。
【０００３】
画像処理の一例は、映像放送番組の既知のセグメントの各々のためのデジタル鍵署名を生成することであり、このデジタル鍵署名は後に、未知のセグメントのために生成されたデジタル鍵署名とマッチングされ得る。そのような技術は、特定のマーケットにおいて何のコマーシャルが放送されたかを見るための、放送広告主による自動トラッキングのために使用された。そのような処理は、放送映像信号の高忠実度バージョンをサンプリングすることができるという点で有利であった。加えて、そのようなサンプリングおよび分析を当時実行できたのは、高い処理能力を有する機器であった。したがって、画像処理は、一般的にモバイルでも消費者による使用を意図したものでもないデバイスによって実行された。
【０００４】
技術の進歩により、より小さく、よりパワフルなコンピューティング・デバイスがもたらされた。たとえば、携帯無線電話、携帯情報端末（ＰＤＡ）、ページング・デバイスといった、無線コンピューティング・デバイスを含む、さまざまな携帯パーソナル・コンピューティング・デバイスが現存するが、それらは、小型で軽量、そしてユーザによる持ち運びが容易である。より具体的には、セルラー電話やインターネット・プロトコル（ＩＰ）電話といった携帯無線電話は、無線ネットワークを介して、音声やデータ・パケットを通信することができる。さらに、そのような多くの無線電話には、他のタイプのデバイスが組み込まれている。
【０００５】
デジタル・カメラを含む、または、デジタル・カメラによって取り込まれた画像データまたは映像データを表示する、携帯パーソナル・コンピューティング・デバイスには、デジタル・シグナル・プロセッサ（ＤＳＰ）、イメージ・プロセッサ、および他の処理デバイスがしばしば使用されている。そのような処理デバイスは、映像および音声機能を提供するため、または画像データのような受信データを処理するため、または他の機能を実行するために、利用されることができる。デジタル・イメージング・テクノロジーにより、コンパクト・デバイスは、画像データを取り込むだけでなく、画像データを向上させ、送信することが可能である。
【０００６】
ユーザが、ある場所でメディア・コンテンツを消費しているが、自分のモバイル・デバイスで、あちこち動き回りながらそのデータを見たり読んだりすることを所望する、といった状況が起こり得る。ユーザは、その場所を離れた後もこのコンテンツを見たり読んだりし続けることを所望しているので、このコンテンツを、広範囲に検索せず容易に探し出すことを所望する。これは、そのメディア・コンテンツのソースへのダイレクト・アクセスがないと仮定した場合について特に言えることである。さらに、音声認識（audio recognition）とは違い、メディア・コンテンツのセグメントの自動映像認識（automated vision recognition）の実行においては、多くの複雑な事態が生じ得る。携帯パーソナル・コンピューティング・デバイスのビューファインダを通して画像セグメントまたは映像セグメントを取り込もうとすると、その画像の向きや、ビューの領域内の不要な画像によって、事態が複雑化し得る。
【発明の概要】
【０００７】
下記においては、１つ以上の態様の基本的な理解を提供するために、そのような態様の簡潔化された概要を提示する。この概要は、意図されたすべての態様の広範な概要ではなく、すべての態様のキーとなる要素または重要な要素を特定することも、任意の態様またはすべての態様の範囲を示すことも意図しない。その唯一の目的は、後に提示されるより詳細な説明への前置きとして、簡潔化された形態で、１つ以上の態様のいくつかの概念を提示することである。
【０００８】
一態様では、ビジュアル・メディア・コンテンツを識別するための方法が提供される。画像が、モバイル・デバイスのカメラから受け取られる。その画像内に含まれた四辺形が検出される。その四辺形内に含まれたビジュアル・メディア・コンテンツが、そのビジュアル・メディア・コンテンツを識別するために取り込まれる。
【０００９】
別の態様では、ビジュアル・メディア・コンテンツを識別するための少なくとも１つのプロセッサが提供される。第１のモジュールが、モバイル・デバイスのカメラから画像を受け取る。第２のモジュールが、その画像内に含まれた四辺形を検出する。第３のモジュールが、その四辺形内に含まれたビジュアル・メディア・コンテンツを、そのビジュアル・メディア・コンテンツを識別するために取り込む。
【００１０】
さらなる態様では、ビジュアル・メディア・コンテンツを識別するためのコンピュータ・プログラム製品が提供される。非一時的なコンピュータ読取可能な記憶媒体は、コードのセットを備える。第１のコードのセットは、コンピュータに、モバイル・デバイスのカメラから画像を受け取らせる。第２のコードのセットは、そのコンピュータに、その画像内に含まれた四辺形を検出させる。第３のコードのセットは、そのコンピュータに、その四辺形内に含まれたビジュアル・メディア・コンテンツを、そのビジュアル・メディア・コンテンツを識別するために取り込ませる。
【００１１】
さらなる別の態様では、ビジュアル・メディア・コンテンツを識別するための装置が提供される。モバイル・デバイスのカメラから画像を受け取るための手段が提供される。その画像内に含まれた四辺形を検出するための手段が提供される。その四辺形内に含まれたビジュアル・メディア・コンテンツを、そのビジュアル・メディア・コンテンツを識別するために取り込むための手段が提供される。
【００１２】
さらなる態様では、ビジュアル・メディア・コンテンツを識別するための装置が提供される。モバイル・デバイスのカメラが、画像を生成する。コンピューティング・プラットフォームが、カメラから受け取った画像内に含まれた四辺形を検出し、その四辺形内に含まれたビジュアル・メディア・コンテンツを、そのビジュアル・メディア・コンテンツを識別するために取り込む。
【００１３】
上述した目的および関連する目的の達成のために、１つ以上の態様は、明細書において後に十分に説明され、特許請求の範囲において特に指摘される特徴を備える。下記の説明および付属の図面は、１つ以上の態様のある特定の例示的な特徴を詳細に説明する。しかしながら、これらの特徴は、さまざまな態様の原理が用いられ得るさまざまな手法のほんの一部を示すものであり、この説明は、そのようなすべての態様およびそれらの同等物を含むことを意図する。
【図面の簡単な説明】
【００１４】
【図１】図１は、外部でディスプレイによって提示されたビジュアル・メディア・コンテンツを、ユーザによる閲覧のために識別するモバイル・デバイスの模式図である。
【図２】図２は、ビジュアル・メディア・コンテンツを識別するための方法または動作のシーケンスのフローチャートである。
【図３Ａ】図３Ａは、カメラによって映し出された、検出された外部のディスプレイ内のビジュアル・メディア・コンテンツを取り込み、識別するための方法または動作のシーケンスのフローチャートである。
【図３Ｂ】図３Ｂは、画像内の四辺形の画像／映像ソースを見つけるための方法または動作のシーケンスのフローチャートである。
【図３Ｃ】図３Ｃは、取り込まれたフレームのメディア・コンテンツを識別するための方法または動作のシーケンスのフローチャートである。
【図４】図４は、カメラ機能付き通信デバイスを使用した画像分析のための方法または動作のシーケンスの例示的なフローチャートである。
【図５】図５は、サイド・パースペクティブからのディスプレイを含む部屋の、より低い解像度の例示的な画像のグラフィック描写を示す図である。
【図６】図６は、ディスプレイを自動的に定義するための候補として検出された多数のコーナーを有する、部屋の関心領域（ＲＯＩ：Region of Interest）部分の、より低い解像度の例示的な画像のグラフィック描写を示す図である。
【図７】図７は、画像分析から得られた、クラスタリングおよびプルーニングされた画素の候補のセットのグラフィック描写を示す図である。
【図８】図８は、ビジュアル・メディア・コンテンツを識別するためのシステムの模式図である。
【図９】図９は、ビジュアル・メディア・コンテンツを識別するための手段を有する装置の模式図である。
【図１０】図１０は、ヒストグラムと、コーナー検出器と、スケール不変特徴変換（ＳＩＦＴ：Scale Invariant Feature Transform）発生器とを含むモバイル・デバイスのブロック図である。
【図１１】図１１は、干渉制御動作を実行する１つ以上のコンポーネントを含み得る通信コンポーネントの模式図である。
【図１２】図１２は、例示的なコンピューティング環境の模式図である。
【詳細な説明】
【００１５】
閲覧されているメディア・コンテンツ（たとえば、テキスト、画像、映像）が、別の手段によって識別され、送受されることが必要な場合がある。それにより、ユーザは、好都合にメディア・コンテンツを消費することができる。たとえば、ユーザは、印刷された定期刊行物に含まれた、または、コンピュータのモニタに表示された、テキスト・ベースのニュース記事や娯楽記事といったメディア・コンテンツを読み得る。同様に、メディア・コンテンツは、模式図や写真といったグラフィックであり得る。別の例として、映像メディア・コンテンツが表示されている場所に、ユーザがいる場合もある。ユーザは、閲覧中のものを後の検索に備えて素早く取り込むために、カメラ機能を簡便に使用することができる。テキスト・ベースの記事またはグラフィック記事、または映像メディア・コンテンツの全内容を素早く取り込み、後に参照するために、ユーザは、カメラ機能付きモバイル・デバイス（たとえば、スマートフォン、携帯ゲーム機器、携帯情報端末、等）を使用することができる。
【００１６】
ここで、さまざまな態様が図面に関連して説明される。以下の説明では、説明の目的で、さまざまな具体的な詳細が、１つ以上の態様の徹底した理解を提供するために述べられる。しかしながら、これらの具体的な詳細がなくても、さまざまな態様が実現され得ることは明らかであり得る。他の例では、周知の構造およびデバイスは、これらの態様の説明を容易にするためにブロック図の形態で示される。
【００１７】
はじめに図１を参照すると、モバイル・デバイス１０２として示された装置１００は、外部でディスプレイ１０６によって提示されているビジュアル・メディア・コンテンツ１０４を、ユーザ１０８による閲覧のために識別する。モバイル・デバイス１０２のカメラ１１０は、デジタル画像１１２を生成する。外部のディスプレイ１０６に対応する四辺形であって、カメラ１１０から受け取られたデジタル画像１１２内に含まれた四辺形１１６を、コンピューティング・プラットフォーム１１４が検出する。コンピューティング・プラットフォーム１１４は、四辺形１１６内に含まれたビジュアル・メディア・コンテンツ１０４を取り込むために、四辺形１１６を含む、より高い解像度の画像をカメラ１１０によって映し出すことを指示することができる。コンピューティング・プラットフォーム１１４が、またはリモート・サーバ１１８が、または両者が協働して、ビジュアル・メディア・コンテンツ１０４を分析し、メディア・コンテンツ・ファイル１２２のデータベース１２０に照らして識別することができる。そして、ビジュアル・メディア・コンテンツ１０４の識別情報１２４、またはビジュアル・メディア・コンテンツ１０４のより完全なバージョン１２６が、ユーザ・インターフェース１３０によるユーザ１０８への提示のために、無線チャネル１２８を介してモバイル・デバイス１０２へと送信されることができる。
【００１８】
図２には、ビジュアル・メディア・コンテンツを識別するための方法または動作のシーケンス２００が示されている。画像が、モバイル・デバイスのカメラから受け取られる（ブロック２０２）。その画像内に含まれた四辺形が検出される（ブロック２０４）。その四辺形内に含まれたビジュアル・メディア・コンテンツが、そのビジュアル・メディア・コンテンツを識別するために取り込まれる（ブロック２０６）。
【００１９】
例示的な使用において、ユーザが、テレビで、たとえば映画といったメディア・コンテンツを見ているが、モバイル・デバイスで残りの部分を見ることを選択した場合を考える。ユーザは、自分のモバイルフォンのカメラをテレビに向ける。モバイル・デバイスは、モバイル・デバイスのビューファインダを通した、進行中のテレビ番組を、入って来るフレームを処理することにより識別するようにトリガされる。特に、テレビが四辺形であり、ビューファインダの中央に位置し、一般的に周囲よりも明るい、といった見込みを利用して、テレビに映っている画像が背景からトリミングされる。取り込まれたコンテンツの一部は、場合によっては、機械による視覚認識のために前処理され、このシーケンスがどの映画からのものなのかを見つけるためにサーバに送信され得る。たとえば、そのようなシステムは、どの映画からのどのシーンがさらに調査されるべきかを素早く見つけるために、ハッシュ・テーブルを使用し得る。フレーム中に見出された色の局所的なヒストグラムを使用するための、ハッシュ・テーブルのキーがあるだろう。たとえば、画像の左上の四半分の１つが、５０％の青色画素、３０％の白、２０％の黒を有する場合、それは、所与の時間を経て、３０％の青、５０％の白、２０％の黒へと変化し、この折丁は、他の３つの四半分とともに、映画のデータベースからのフレームからのシーンを絞り込むために使用されるだろう。減じられたこのセットから、色ではなく周波数に基づいて、この処理が繰り返されるだろう。上の四半分が所与の時間に７００個のエッジ画素を有する場合、３００個のフレームにわたる４００個のエッジとなり、このパターンは、そのセットをさらに減じるだろう。減じられたこのクリップ・セットから、システムは、正しいフレームを絞り込むために、ＳＩＦＴまたは何らかの他の特徴に基づいた抽出方法を用い得る。映画のタイトルおよびタイムスタンプが発見されると、デバイスは、所有権サービスに接続し、映画全編を購入してダウンロードすることができるが、ユーザが現在テレビで映画を閲覧しているスポットからタイトルをストリーミングすることができる。
【００２０】
メディア・コンテンツの決定を支援するために、画像検出方法に加え、テレビから音声を取り込み、これをハッシュ・ルックアップ関数で使用するために、マイクロフォンが使用されることができる。あるいは、モバイル・デバイスは、法的な映像ウォーターマーキングを識別するために、ローカルで、またはリモート・サーバで、のいずれかで、画像処理アルゴリズムを用いることができる。映像ウォーターマーキングは、タイムスタンプと、クライアント識別子と、コンテンツ識別子とを含むことができ、圧縮および複数のデジタル・アナログ・デジタル変換の後であっても、これらのデータの抽出を可能にする。
【００２１】
別の態様では、ユーザが、自分のＰＣ、雑誌、新聞、本、等で記事を読んでいるが、自分のモバイル・デバイスでそのコンテンツにアクセスすることを選ぶ。ユーザが、コンテンツの写真を撮る。たとえば、カメラは、レンズから２フィート未満のオブジェクトにピントを合わせるためにマクロ・モードを使用し、光学式文字認識のために十分な解像度を有する。認識された英数字列はこのようにして、サーチ・エンジンに照らして検索されることができ、トップの記事のマッチが、選択のためにユーザ・インターフェースでユーザに提示される。識別されたマッチした記事は、将来参照するために、ブックマークまたはダウンロードされることができる。コンテンツが著作権で保護されている場合、および／またはオンラインで利用可能でない場合、ユーザがコンテンツの権利者かどうかを判定するために、ウォーターマーキング技術が使用されることができる。ウォーターマーキング技術は用いられていないが、コンテンツがなおも著作権で保護されている場合、ユーザは、そのコンテンツにアクセスするために、コンテンツの物理的なコピー（たとえば、本、定期刊行物）からの加入者識別子を入力することができる。
【００２２】
あるいは、記事が利用可能でない場合、システムは、同一の著者によるトピックまたは記事における同様の記事を引き出し得る。
【００２３】
１つの例示的な態様において、図３Ａ〜図３Ｃでは、カメラによって映し出された、検出された外部のディスプレイ内のビジュアル・メディア・コンテンツを取り込み、識別するための方法または動作のシーケンス３００が提供される。ユーザが、ディスプレイまたはモニタに無線モバイル・デバイスのカメラを向ける（ブロック３０２）。ユーザが、画像コンテンツを取り込むためのユーザ制御を選択する（ブロック３０４）。
【００２４】
一態様において、モバイル・デバイスは、一種類のビジュアル・メディア・コンテンツ（たとえば、テキスト、グラフィック画像、ビデオ画像）を取り込むことが可能である。別の態様では、モバイル・デバイスは、どの種類のビジュアル・メディア・コンテンツが取り込まれるべきか、または取り込まれるのかについてのインジケーションを受け取ることができる。さらなる態様として、モバイル・デバイスは、ビジュアル・メディア・コンテンツの種類を、いくつかの選択肢の中から自動的に決定することができる。これらの目的のために、モバイル・デバイスは、テキスト取り込みの意思または妥当性を決定することができる（ブロック３０６）。その場合、取り込みは、ハイ・コントラストで、典型的には黒と白の、固有の動きを有しないテキストに向けられることができる（ブロック３０８）。モバイル・デバイスはまた、画像取り込みの意思または妥当性を決定することができる（ブロック３１０）。その場合、ターゲットは、色や、多様なコントラストのものであることができるが、これもまた固有の動きを有しない（ブロック３１２）。モバイル・デバイスはまた、映像取り込みの意思／妥当性を決定することができる（ブロック３１４）。その場合、ターゲットは、固有の動きを有し得る（ブロック３１６）。
【００２５】
例示的な態様では、ブロック３１７において、色変換処理が、上述されたこれらの決定をサポートする。入力された色空間からの変換は、多くの場合、ＲＧＢから輝度−色差空間（Luminance-Chrominance space）への変換であるが、これは、システムが画像中の色の量を決定することができるので、有用であり得る。検査対象の画像中の色の量は、ＣｂおよびＣｒに基づいて決定されることができ、ＣｂおよびＣｒは、それらの範囲の中央値（たとえば、１２８）において、無彩色を示す。あるいは、またはさらに、印刷物を示す、白および黒または青といった特定の色が検出され得る。あるいは、またはさらに、無地の背景色が、検出され、画像または英数字のコンテンツに依存するためにドロップされ得る。あるいは、またはさらに、ゲイバー・フィルタ（Gabor filter）が使用され、コンテンツが、ある頻度で規則的なパターンを有しているかどうかが判定されることができ、それは、特定のフォント・サイズのテキストを示す可能性がある。
【００２６】
四辺形の画像ソースまたは映像ソースが、減じられた解像度でカメラ・プレビュー中に見つけられることができ（ブロック３１８）、これは、図３Ｂに関しさらに説明される。あるいは、さらに図３Ａを参照すると、より高い解像度の初期取り込みを利用するのに十分な処理能力が存在し得る。さらなる態様では、ユーザが、ビューファインダにタッチしてカメラ・プレビューの一部に注意を集中させることにより、支援することができる（ブロック３２０）。別の態様では、モバイル・デバイスが、認識されたソースを表示するか、または、ユーザの選択のためにソースの候補を表示する（ブロック３２２）。後者の場合、ユーザ・インターフェースが、ユーザの選択を受け取って、画像／映像ソースの決定へと進む（ブロック３２４）。必要に応じて、または可能であれば、ユーザが、カメラの焦点またはピントを合わせて促す、またはビューファインダにタッチして促す、といった支援を行うことができる（ブロック３２６）。いくつかの実現では、モバイル・デバイスは、最良の解像度設定でカメラに関心領域（ＲＯＩ）を送ることができる（ブロック３２８）。モバイル・デバイスは、この領域からフレーム（単数または複数）を取り込む（ブロック３３０）。
【００２７】
取り込まれたフレーム（単数または複数）のメディア・コンテンツが識別される（ブロック３３２）。図３Ｃに関連してさらに説明されるように、さまざまな態様において、この識別は、モバイル・デバイスによって、またはモバイル・デバイスとリモート・サーバ間の分散処理によって、または主としてリモート・サーバによって、実行されることができる。引き続き図３Ａを参照すると、モバイル・デバイスが、メディア・コンテンツをダウンロードすることができる（ブロック３３４）。
【００２８】
図３Ｂでは、画像中の四辺形の画像／映像ソースを見つけるための例示的な方法３１８が提供される（ブロック３１８）。より低いカメラ・プレビュー解像度を使用する場合、「ｎ」個のフレーム（動きがない場合、ｎ＝１）にわたる単数または複数の初期画像は、ＶＧＡ解像度であり得る（ブロック３３６）。
【００２９】
図３Ｂをさらに参照すると、ユーザ入力がタッチされた箇所に、２５５の値を有するＲＯＩマップが作成され、減衰のためにぼかされることができる（ブロック３３８）。いくつかの例では、ディスプレイまたはモニタのほうが室内の他の表面よりも高い輝度レベルを有するという傾向が、検出に利用されることができる。その目的のために、値＞ｘをとる、レッド−グリーン−バリュー（ＲＧＢ）によって定義されるような最大輝度でのしきい値処理により、「高輝度（glowing）」ＲＯＩマップが作成される（たとえば、２０％の画素の残余を達成する）（ブロック３４０）。映像の取り込みが意図されるいくつかの例では、動きを表すフレーム間の変化が存在するという事実が、検出に利用されることができる。それを受けて、「ｍ」個（たとえば、ｍ＝３）さかのぼったフレーム以降のフレーム毎の差によって、「動き」ＲＯＩマップが作成される。最大デルタが、ゆらぎの除去に役立てるために記録されることができる（ブロック３４２）。ビューファインダからの画像は、ＲＯＩマップの重みづけに基づいてトリミングされることができる（ブロック３４４）。トリミングされた画像は、高速コーナー検出器へと供給される（ブロック３４６）。しきい値画素（≒６）より近いコーナー点（ＣＰ：corner point）は、クラスタリングされることができる（ブロック３４８）。ＣＰは、完全に高輝度マップ内にあるｎ×ｎの領域中にある場合、プルーニングされることができる（ブロック３５０）。ＣＰは、ｍ×ｍの領域における動きが完全に高輝度マップ内にある場合、プルーニングされることができる（ブロック３５２）。
【００３０】
プルーニングされたＣＰから、下記のごとくの四辺形の候補が識別される（ブロック３５４）。
【００３１】
（ｉ）凸形でない（角度の和が３６０°）（ブロック３５６）
（ｉｉ）任意の内角が１１０°より大きい（ブロック３５８）
（ｉｖ）映像アスペクト比（４：３，１６：９）（ブロック３６０）
（ｖ）面積が画像の１／２５以上である（ブロック３６２）
（ｖｉ）隣り合う２つの角が等しい（ブロック３６４）
（ｖｉｉ）深度測定に基づいて関連づけられた四辺形の候補である（ブロック３６５）
このように、モニタまたはディスプレイに典型的な形状に関連づけられていることを示すグループが識別される。
【００３２】
深度測定を使用する最後の態様に関し、深度焦点能力を使用することにより、コーナーのある特定のグループが、ある特定の深度であることが決定され得る。それにより、コーナーが、コーナーのセットの候補とは無関係であるとみなされるフォアグラウンド深度またはバックグラウンド深度であることに基づいて、プルーニングされることができる。深度情報は、画像における同一深度レベルのコーナーのセットを決定するために使用されることができる。
【００３３】
深度測定の使用についてのさらなる開示は、Babak Forutanpourによる、２００８年８月５日に出願された、出願番号１２／１８５，８８７、公開番号２０１０００３３６１７Ａ１の、同時係属中の米国特許出願、「エッジ検出を使用して深度データを生成するためのシステムおよび方法（System and Method to Generate Depth Data Using Edge Detection）」に説明されており、同出願は、本願の譲受人に譲渡され、引用により本明細書に明確に組み込まれる。
【００３４】
４つのコーナーの候補が、マスター・リストに追加される（ブロック３６６）。マスター・リストにおけるコーナーのセットから形成される四辺形の形状は、ほぼ画像全体を含む、誤った大きな四辺形が、より小さな四辺形を包囲することを許容されないように、選択される。たとえば、画像の面積の５分の１よりも大きな四辺形は、他の四辺形の候補を包囲することを許容されない。例示的な態様では、別の四辺形の８０％を占める任意の四辺形がプルーニングされる（ブロック３６８）。
【００３５】
コーナーは、モニタ／ディスプレイに典型的な境界の形状および均一な色の検出に基づいて、プルーニングされることができる（ブロック３７０）。別の例では、四辺形のヒストグラムの左半分と右半分がマッチすべきである。あるいは、またはさらに、四辺形のヒストグラムの下半分と上半分がマッチすべきである。さらなる態様では、ユーザ制御、音声スピーカー、取付け構造または支持構造、等の非対称的な配置を考慮すると、一方の境界をなす辺は、その反対側の境界をなす辺と異なることが許容される。例示的な態様では、マッチングは、異なることができる合計画素の限度（たとえば、２０％）を他方の辺から差し引いた、ある辺のための柱状ヒストグラムによって、計算されることができる。あるいは、色相・彩度・明度（ＨＳＶ：Hue Saturation Value）に変換された場合、平均の色相は、低い値（たとえば、１０％以内）に制限され得る。例示的な態様では、境界（幅の１４分の１）が標準偏差から１．５離れた値によるヒストグラムを有する四辺形はいずれも、プルーニングされる。
【００３６】
例示的なこの識別により、ディスプレイまたはモニタに対応する四辺形が、画像から識別されることができる。
【００３７】
図３Ｃにおいて、取り込まれたフレーム（単数または複数）のメディア・コンテンツを識別するための例示的な方法または動作のシーケンス３３２が提供される。リモート・ネットワークと協働する能力が決定される（ブロック３７１）。たとえば、この能力は、利用可能なリソース、干渉、チャネル・フェージング、送信電力制限、加入者使用制限、等によって、制限され得る。考慮すべきこれらの事項のいくつかまたはすべてに応じて調節するために、帯域幅が、サーバへの接続を検査され得る（ブロック３７２）。デバイスの能力の制約（たとえば、中央演算処理装置（ＣＰＵ）の速度と利用可能性、デジタル・シグナル・プロセッシング・ハードウェア／ソフトウェアの構成、等）が、決定されることができる（ブロック３７４）。ユーザの選好または帯域幅を使用するためのコストがアクセスされ得る（ブロック３７６）。能力の制約はまた、ローカルで画像処理を実行するための電力消費、または可変量の画像データを送信するために必要とされる電力、のいずれかに基づいた電力の制限であり得る。能力の制限はまた、画像データを処理して送信するためのエンド・ツー・エンド時間に関連し得る。
【００３８】
いくつかの例において、能力の１つの特徴は確定的である。たとえば、能力の低いモバイル・デバイスは、追加のデジタル画像処理を実行不可能であり得るので、チャネル制限に関係なく、生の画像データのアップロードを余儀なくされる。
【００３９】
別の例では、デジタル画像処理のどの部分がローカルまたはリモートで実行され得るかに基づいて、可能なモードのセットが決定される。そして、ユーザの選好（たとえば、達成すべきコスト）やトラヒック最適化のためのシステムの選好に基づいた最適な解、またはデジタル画像処理を完了するための時間を短縮することによるユーザ経験の向上のために、選択が行われ得る。
【００４０】
たとえば、メディア・コンテンツの認識のためのデバイス対サーバの分散画像処理を決定するために、ルックアップ・テーブル（ＬＵＴ）がアクセスされ得る（ブロック３７８）。それゆえに、一態様では、ローカル処理モードが適切であるとみなされる。たとえば、極めて低速の接続が検出され、能力のあるデバイスが利用可能であると決定された場合には、このモードが選択される（ブロック３８０）。ｎ×ｎに基づいたヒストグラムに加えて、エッジ検出とスケール不変特徴変換（ＳＩＦＴ）とが実行される（ブロック３８２）。帯域幅を節約するためにこの特徴ベクトルがサーバへと送信される（ブロック３８４）。
【００４１】
別の態様では、分担処理モードが適切であるとみなされる。たとえば、媒体接続が検出され、ローカル・コンポーネントとリモート・コンポーネントとが分担処理のために利用可能であると決定された場合には、このモードが選択される（ブロック３８６）。ｎ×ｎに基づいたヒストグラムに加えて、エッジ検出が実行され、ＳＩＦＴは実行されない（ブロック３８８）。結果がサーバへと送信される（ブロック３９０）。
【００４２】
さらなる態様では、リモート処理モードが適切であるとみなされる。たとえば、ローカル・デバイスが処理を実行不可能であると決定され、高速の接続が利用可能であると決定された場合には、このモードが選択される（ブロック３９２）。処理するかわりに、取り込まれたクリップがサーバへと送信される（ブロック３９４）。
【００４３】
リモート・サーバが任意の残りの処理を完了し、そのメディア・コンテンツのカタログに照らしてマッチングを行った後、モバイル・デバイスは、メディア・コンテンツのマッチの候補のリストを受信する（ブロック３９６）。一態様では、モバイル・デバイスでそのようなマッチを提示する制約が考慮される。さらに、メディア・コンテンツを一意的に識別するために、ユーザからの支援（たとえば、カメラの追加の照準、ユーザ・インターフェースとのインタラクション、等）が必要とされ得る。これらの目的のために、マッチがなかったとの決定、および、メディア・コンテンツをさらに取り込む必要があるとの決定がなされ得る（ブロック３９７）。あるいは、またはさらに、ユーザの選択のためにユーザ・インターフェースで提示するのに適した、絞り込まれたマッチ（たとえば、３つ）が決定されることができる（ブロック３９８）。あるいは、またはさらに、多数のマッチが識別され得る。それに応じて、モバイル・デバイスは、さらなるコンテンツを取り込むことができ、または、取り込まれたコンテンツのより高い解像度のバージョンを、サーバによるそのマッチングにおける使用のために送信することができる（ブロック３９９）。
【００４４】
例示的な別の態様において、図４では、方法４００により、スマートフォンのようなカメラ機能付き通信装置またはデバイスを使用した画像分析が実行される。低解像度モードでカメラのビューファインダから入って来るフレームが、記憶されることができる（ブロック４０２）。あるいは、画像分析は、自動または手動で選択された、より高い解像度のスナップショットまたは一連のスナップショットに対して実行されることができる（ブロック４０４）。メディア・コンテンツを提示している外部のディスプレイまたはモニタ（たとえば、テレビのモニタ）に対応する、ビューファインダの画像の一部のディスプレイを抽出するアルゴリズムが、実行される（ブロック４０６）。便宜上、この領域は、電子書籍、テレビ、およびコンピュータ用の一般的なディスプレイ・タイプとして、液晶ディスプレイ（ＬＣＤ）として表されることができるが、他の技術が本願のイノベーションの態様と矛盾なく使用され得ることが理解されるべきである。
【００４５】
図５において、より低い解像度の例示的な部屋の画像５００には、サイド・パースペクティブからのディスプレイ５０２が含まれている。
【００４６】
図４をさらに参照すると、正しい部分の選択は、すべてローカルで、またはローカルとリモートとで分散されて、またはすべてリモートで、のいずれかで一連の処理を実行することを部分的に含み得る（ブロック４０８）。
【００４７】
たとえば、ハリス・コーナー検出器が、関心領域（ＲＯＩ）におけるすべてのコーナーを見つけるために実行されることができる（ブロック４１０）。見つかったコーナーの順列および組み合わせが、１セット作成されるまですべて実行されることができ（ブロック４１２）、それによって、
（１）その領域内のコンテンツは、画像全体の輝度よりも著しく高い平均輝度を有し、その比が、「ｌ」として表され（ブロック４１４）、
（２）４つのコーナーを結ぶ線（単数または複数）は、色相・彩度・明度（ＨＳＶ）空間において、均一でほぼ同一の色相である（ブロック４１６）。たとえば、モニタ／ディスプレイの境界の画素が、ほぼ同一または略同一の色であり、１ペアまたは２ペアの向かい合った辺が、ほぼ同一の幅を有することがチェックされる。例示的な１つの態様においては、境界の画素が、互いのしきい値とのＲＧＢマッチを有することが決定され得る（たとえば、２０％）。許容可能な境界の太さは、ＬＵＴに基づき得る。たとえば、四辺形の面積が画像の１０分の１である場合、境界は、画像のｘ次元の横幅の３０分の１であるべきである。したがって、６４０×４８０の画像は、幅が約２０画素の境界を有するテレビであると予測されるだろう。
【００４８】
（３）４点のパースペクティブが、目の高さにあるもののパースペクティブまたは目の高さより下にあるもののパースペクティブとマッチしない領域をプルーニングする（たとえば、天井灯をプルーニングする）（ブロック４１８）。
【００４９】
図６では、サイド・パースペクティブからのディスプレイ６０２を含む部屋のＲＯＩ部分のより低い解像度の例示的な画像６００が、メディア・コンテンツ６０６が取り込まれ得るように、ディスプレイ６０２を自動的に定義するための候補となり得る複数のコーナー６０４を検出したところである。
【００５０】
図７において、コーナー検出から得られた部屋の画素の候補のセット７００には、ディスプレイ７０６の外寄りの点７０２と内寄りの点７０４だけでなく、選択的にプルーニングされる必要のある、メディア・コンテンツ７１０内の画像の点７０８とディスプレイ７０６の外側の無関係な点７１２、を定義する点が含まれる。
【００５１】
図４をさらに参照すると、ＬＣＤディスプレイの正しいコーナーが見つると、スマートフォンは、パースペクティブがあるしきい値ｐよりも大きい場合、パースペクティブを最適に補正することができる（ブロック４２０）。
【００５２】
たとえば、しきい値ｐは、向かい合った側面の長さの比に基づくことができる。たとえば、それらの側面が互いの９０％以内であることを示す比ｐ１を考える。取り込まれたビデオ画像において結果として生じた歪みを補正せずにマッチを達成するに足るほど、マッチング・アルゴリズムがロバストである、と決定されることができる。別の例について、側面が互いの７０％から９０％の間であることを示す比ｐ２を考える。この範囲では、パースペクティブによる歪みを補正するために、補正が必要とされ得る。さらなる例について、側面が互いに比較的より不釣り合いであることを示し、補正もできず、適切な四辺形が見つかったかどうかを疑うに至る、比ｐ３を考える。ユーザが直交しないこの角度での取り込みを試みないことが想定される。垂直対水平のパースペクティブの異なるしきい値が使用され得ることが、さらに理解されるべきである。
【００５３】
一態様では、カメラの視点に直交する面からの画像の任意の回転が、補正され得る。平行な線のペア（すなわち、上／下または左／右の辺）が見つけられることができ、画像全体がデジタルで回転されるので、これらの２本の線は、画像に対し０または９０のうち、計算された角度に近いほうのいずれかの角度である。
【００５４】
長方形または正方形のｎ×ｎのグリッドにおける画像のヒストグラムが作成され、たとえば、ｎ＝３である（ブロック４２２）。
【００５５】
各領域のおける画素数が、ハード・エッジまたはソフト・エッジとして計算される（ブロック４２４）。ハード（鮮明な）エッジおよびソフト（ぼやけた）エッジについて、さまざまな定義が用いられ得る。たとえば、「ハード・エッジ」の画素は、最大ｎ画素まで隔てた隣接画素の値（たとえば、ｎ＝全方向で２）が、その画素自体の値よりも著しく大きい、または小さい値を有し、たとえば、しきい値が１２０より大きい、画素である。その値が、互いに異なる値を有する２つの隣接画素の間である場合、画素は、「ソフト・エッジ」である。画像における変化の激しさは、深度の不連続性、表面の向きの不連続性、マテリアルの特性の変化、またはシーンの照度のばらつきを示し得る。
【００５６】
ｎ２のレッド・グリーン・ブルー（ＲＧＢ）値とハード＋ソフト・エッジ値を、データ・ペイロードに結合して送信する（ブロック４２６）。サーバに対し、色情報だけでなく、ハード／ソフト画素の数をも送信することによって、サーバは、この情報を使用して、同様の特徴を有するブロックを求めて、その映画ライブラリからのフレームをスキャンすることができる。すなわち、色情報のみの送信は不十分であり得る。ブロックがどのくらいの量のレッド／グリーン／ブルーを有しているかを知るだけでは不十分であり得る。改良されたフィルタは、画像ブロック中の、より多くのＲＧＢが存在する箇所を利用することができる。たとえば、このブロックはハード・エッジの４５画素およびソフト・エッジの３９画素を有する、といったことをも送信することにより、候補のリストが絞り込まれることができる。送信または処理の制限のない理想的な状況においては、ブロック全体が送信されることができるので、サーバは、フレームごとに、２つの画像を差し引くことができる。
【００５７】
メディア・コンテンツ（たとえば、映画、テレビ、ニュース記事、ラジオ・ブロードキャスト、ポッドキャスト・プログラム、等）は、モバイル・デバイスでの継続された提示のために識別されフォーマットされる（ブロック４２８）。ユーザが消費する権利を十分に有しない場合、データ権利加入が容易にされ得る（ブロック４３０）。
【００５８】
前述したように、ユーザが、特定のメディア・コンテンツを、モバイル・デバイスを介してこのコンテンツを識別したり、このコンテンツを探し出したり、このコンテンツにアクセスしたりする、といった面倒な処理なしに、モバイル・デバイスを介して消費し続けるための簡便な手法が提供された。
【００５９】
図８を参照すると、ビジュアル・メディア・コンテンツを識別するためのシステム８００が示されている。たとえば、システム８００は、少なくとも部分的に、ユーザ機器（ＵＥ）内に存在することができる。システム８００は、コンピューティング・プラットフォーム、プロセッサ、ソフトウェア、またはそれらの組み合わせ（たとえば、ファームウェア）によって実現される機能を表す機能ブロックであり得る機能ブロックを含むものとして表されている、ということが理解されるべきである。システム８００は、協働することができる電気コンポーネントの論理グループ８０２を含む。たとえば、論理グループ８０２は、モバイル・デバイスのカメラから画像を受け取るための電気コンポーネント８０４を含むことができる。さらに、論理グループ８０２は、画像内に含まれた四辺形を検出するための電気コンポーネント８０６を含むことができる。別の例では、論理グループ８０２は、四辺形内に含まれたビジュアル・メディア・コンテンツを、そのビジュアル・メディア・コンテンツを識別するために取り込むための電気コンポーネント８０８を含むことができる。さらに、システム８００は、電気コンポーネント８０４〜８０８に関連づけられた機能を実行するための命令を保持するメモリ８２０を含むことができる。メモリ８２０の外部にあるものとして示されているが、電気コンポーネント８０４〜８０８のうちの１つ以上がメモリ８２０内に存在することができる、ということが理解されるべきである。
【００６０】
図９には、ビジュアル・メディア・コンテンツを識別するための装置９０２が示されている。モバイル・デバイスのカメラから画像を受け取るための手段９０４が提供される。その画像内に含まれた四辺形を検出するための手段９０６が提供される。その四辺形内に含まれたビジュアル・メディア・コンテンツを、そのビジュアル・メディア・コンテンツを識別するために取り込むための手段９０８が提供される。
【００６１】
図１０は、ヒストグラム、コーナー検出器、およびスケール不変特徴変換（ＳＩＦＴ）発生器１０６４を含む、特定のモバイル・デバイス１０００のブロック図である。モバイル・デバイス１０００は、携帯電子デバイスに組み込まれることができ、メモリ１０３２に結合されたデジタル・シグナル・プロセッサ（ＤＳＰ）のようなシグナル・プロセッサ１０１０を含む。ヒストグラム、コーナー検出器、およびスケール不変特徴変換（ＳＩＦＴ）発生器１０６４は、シグナル・プロセッサ１０１０に含まれる。例示的な例では、コーナー検出器およびＳＩＦＴ発生器１０６４は、図１〜７またはそれらの任意の組み合わせに係る説明のごとく動作する。
【００６２】
カメラ・インターフェース１０６８は、シグナル・プロセッサ１０１０に結合され、ビデオ・カメラ１０７０のようなカメラにも結合される。カメラ・インターフェース１０６８は、たとえば、ユーザがシャッター制御を「クリック」すること、または、自動で、またはＤＳＰ１０１０によって生成された信号に応答して、のいずれかによる他の画像取り込み入力、といった単一の画像取り込みコマンドに応答して、１つのシーンの複数の画像を得るように適合されることができる。ディスプレイ制御装置１０２６は、シグナル・プロセッサ１０１０およびディスプレイ・デバイス１０２８に結合される。コーダ／デコーダ（コーデック）１０３４もまた、シグナル・プロセッサ１０１０に結合され得る。スピーカー１０３６およびマイクロフォン１０３８が、コーデック１０３４に結合されることができる。無線インターフェース１０４０が、シグナル・プロセッサ１０１０および無線アンテナ１０４２に結合されることができる。
【００６３】
シグナル・プロセッサ１０１０は、前述したように、隣接するデータ点の間の彩度値の変化に基づいて、画像データ中のコーナーを検出するように適合される。シグナル・プロセッサ１０１０はまた、前述したように、画像データ・セットによって得られた、深度マップまたは他の形式の深度データといった、画像データ１０４６を生成するように適合される。深度焦点能力を使用することによって、コーナーのある特定のグループが、ある特定の深度であることが決定され得る。それによって、コーナーが、コーナーのセットの候補とは無関係であるとみなされるフォアグラウンド深度またはバックグラウンド深度におけるものであることに基づいて、プルーニングされることができる。例示的な態様では、高輝度ＲＯＩマップと動きＲＯＩマップの使用に加えて、オブジェクトがぼやけている場合、または鮮明である場合、カメラがレンズをスイープさせて焦点レベルを探すことができる。この情報に基づいて、エッジが存在しないか、ソフト・エッジが存在しないか、またはハード・エッジが存在しないかについての決定がなされ得る。同一の深度におけるコーナーは、同一平面上であるとみなされ得る。あるいは、カメラに対し垂直でない同一平面上の点を決定するために、コーナーについての三次元座標が、深度情報に部分的に基づいて決定され得る。
【００６４】
画像データには、例示的で非限定的な例として、ビデオ・カメラ１０７０からの映像データ、アンテナ１０４２を介した無線伝送からの画像データ、またはユニバーサル・シリアル・バス（ＵＳＢ）インターフェース（図示せず）を介して結合された外部のデバイスといった他のソースからの画像データが含まれ得る。
【００６５】
ディスプレイ制御装置１０２６は、処理された画像データを受け取って、処理された画像データをディスプレイ・デバイス１０２８に提供するように構成される。さらに、メモリ１０３２は、処理された画像データを受け取って記憶するように構成されることができ、無線インターフェース１０４０は、処理された画像データを受け取って、アンテナ１０４２を介して送信するように構成され得る。
【００６６】
特定の実施形態では、シグナル・プロセッサ１０１０、ディスプレイ制御装置１０２６、メモリ１０３２、コーデック１０３４、無線インターフェース１０４０、およびカメラ・インターフェース１０６８は、イン・パッケージ・システムまたはオン・チップ・システムの、デバイス１０２２に含まれる。特定の実施形態では、入力デバイス１０３０および電源１０４４が、オン・チップ・モバイル・システムのデバイス１０２２に結合される。さらに、特定の実施形態では、図１０に示されているように、ディスプレイ・デバイス１０２８、入力デバイス１０３０、スピーカー１０３６、マイクロフォン１０３８、無線アンテナ１０４２、ビデオ・カメラ１０７０、および電源１０４４は、オン・チップ・システムのデバイス１０２２の外部にある。しかしながら、ディスプレイ・デバイス１０２８、入力デバイス１０３０、スピーカー１０３６、マイクロフォン１０３８、無線アンテナ１０４２、ビデオ・カメラ１０７０、および電源１０４４の各々は、オン・チップ・システムのデバイス１０２２の、たとえばインターフェースまたは制御装置といったコンポーネントに結合され得る。
【００６７】
例示的な態様において、モバイル・デバイスは、メディア・コンテンツの識別および送受を実行するために、多入力多出力（ＭＩＭＯ）セルラー通信能力を利用することができる。例示的な態様において、ＭＩＭＯシステムは、データ伝送のために、複数（ＮＴ）個の送信アンテナと、複数（ＮＲ）個の受信アンテナとを用いる。ＮＴ個の送信アンテナとＮＲ個の受信アンテナとによって形成されたＭＩＭＯチャネルは、空間チャネルとも呼ばれるＮＳ個の独立チャネルに分解されることができ、ここで、ＮＳ≦ｍｉｎ｛ＮＴ，ＮＲ｝である。ＮＳ個の独立チャネルの各々は、一次元に対応する。ＭＩＭＯシステムは、複数の送信アンテナおよび受信アンテナによって作成された追加の次元が利用された場合、向上したパフォーマンス（たとえば、より高いスループット、および／またはより高い信頼性）を提供することができる。
【００６８】
ＭＩＭＯシステムは、時分割複信（「ＴＤＤ」）および周波数分割複信（「ＦＤＤ」）をサポートすることができる。ＴＤＤシステムでは、順方向リンク送信と逆方向リンク送信は同一の周波数領域におけるものなので、相反定理により、逆方向リンク・チャネルから順方向リンク・チャネルの推定が可能である。これにより、アクセス・ポイントは、複数のアンテナがアクセス・ポイントにおいて利用可能な場合に、順方向リンクにおける送信ビームフォーミング利得を抽出することが可能となる。
【００６９】
本明細書における教示は、ノード（たとえば、デバイス）であって、少なくとも１つの他のノードと通信するためにさまざまなコンポーネントを用いるノードに組み込まれることができる。図１１は、ノード間の通信を容易にするために用いられ得るいくつかの例示的なコンポーネントを示している。具体的には、図１１は、ＭＩＭＯシステム１１００の無線デバイス１１１０（たとえば、アクセス・ポイント）と無線デバイス１１５０（たとえば、アクセス端末）とを示している。デバイス１１１０において、複数のデータ・ストリームのためのトラヒック・データが、データ・ソース１１１２から送信（「ＴＸ」）データ・プロセッサ１１１４へと供給される。
【００７０】
いくつかの態様において、各データ・ストリームは、それぞれの送信アンテナによって送信される。ＴＸデータ・プロセッサ１１１４は、各データ・ストリームのためのトラヒック・データを、そのデータ・ストリームのために選択された特定の符号化方式に基づいて、フォーマット、符号化、およびインターリーブし、符号化データを供給する。
【００７１】
各データ・ストリームのための符号化データは、ＯＦＤＭ技術を使用してパイロット・データとともに多重化され得る。パイロット・データは一般的に、既知の手法で処理され、チャネル応答を推定するために受信機システムにおいて使用され得る、既知のデータ・パターンである。そして、各データ・ストリームのための多重化されたパイロット・データと符号化データは、そのデータ・ストリームのために選択された特定の変調方式（たとえば、ＢＰＳＫ、ＱＳＰＫ、Ｍ−ＰＳＫ、またはＭ−ＱＡＭ）に基づいて変調（すなわち、シンボル・マッピング）され、変調シンボルが供給される。各データ・ストリームのためのデータ・レート、符号化、および変調は、プロセッサ１１３０によって実行される命令によって決定され得る。データ・メモリ１１３２は、プロセッサ１１３０またはデバイス１１１０の他のコンポーネントによって使用される、プログラム・コードと、データと、他の情報とを記憶することができる。
【００７２】
そして、すべてのデータ・ストリームのための変調シンボルがＴＸ ＭＩＭＯプロセッサ１１２０に供給され、ＴＸ ＭＩＭＯプロセッサ１１２０はさらに、（たとえば、ＯＦＤＭ用に）変調シンボルを処理し得る。そして、ＴＸ ＭＩＭＯプロセッサ１１２０は、ＮＴ個の変調シンボル・ストリームを、送信機（ＴＭＴＲ）と受信機（ＲＣＶＲ）とを各々が有するＮＴ個のトランシーバ（「ＸＣＶＲ」）１１２２ａ〜１１２２ｔへと供給する。いくつかの態様において、ＴＸ ＭＩＭＯプロセッサ１１２０は、データ・ストリームのシンボルと、そのシンボルが送信されるアンテナに、ビームフォーミング重みを適用する。
【００７３】
各トランシーバ１１２２ａ〜１１２２ｔは、それぞれのシンボル・ストリームを受け取り、処理して、１つ以上のアナログ信号を供給し、それらのアナログ信号をさらに調整（たとえば、増幅、フィルタリング、およびアップコンバート）して、ＭＩＭＯチャネルによる送信に適した変調信号を供給する。そして、トランシーバ１１２２ａ〜１１２２ｔからのＮＴ個の変調信号は、それぞれ、ＮＴ個のアンテナ１１２４ａ〜１１２４ｔから送信される。
【００７４】
送信された変調信号が、デバイス１１５０において、ＮＲ個のアンテナ１１５２ａ〜１１５２ｒによって受信され、各アンテナ１１５２ａ〜１１５２ｒからの受信信号は、それぞれのトランシーバ（「ＸＣＶＲ」）１１５４ａ〜１１５４ｒへと供給される。各トランシーバ１１５４ａ〜１１５４ｒは、それぞれの受信信号を調整（たとえば、フィルタリング、増幅、およびダウンコンバート）し、調整された信号をデジタル化してサンプルを供給し、さらに、それらのサンプルを処理して、対応する「受信された」シンボル・ストリームを供給する。
【００７５】
そして、受信（「ＲＸ」）データ・プロセッサ１１６０が、ＮＲ個のトランシーバ１１５４ａ〜１１５４ｒから、ＮＲ個の受信シンボル・ストリームを受け取って、特定の受信機処理技術に基づいて処理し、ＮＴ個の「検出された」シンボル・ストリームを供給する。そして、ＲＸデータ・プロセッサ１１６０は、検出されたシンボル・ストリームの各々を復調し、デインターリーブし、復号して、データ・ストリームのためのトラヒック・データをリカバーする。ＲＸデータ・プロセッサ１１６０による処理は、デバイス１１１０においてＴＸ ＭＩＭＯプロセッサ１１２０およびＴＸデータ・プロセッサ１１１４によって実行されるものと相補的である。
【００７６】
プロセッサ１１７０は、どのプリコーディング・マトリクスを使用すべきかを定期的に決定する。プロセッサ１１７０は、マトリクス・インデクス部とランク値部とを含む逆方向リンク・メッセージを公式化する。データ・メモリ１１７２は、プロセッサ１１７０またはデバイス１１５０の他のコンポーネントによって使用される、プログラム・コードと、データと、他の情報とを記憶することができる。
【００７７】
その逆方向リンク・メッセージは、通信リンクおよび／または受信されたデータ・ストリームに関するさまざまなタイプの情報を含み得る。そして、その逆方向リンク・メッセージは、データ・ソース１１３６から複数のデータ・ストリームのためのトラヒック・データをも受け取るＴＸデータ・プロセッサ１１３８によって処理され、変調器１１８０によって変調され、トランシーバ１１５４ａ〜１１５４ｒによって調整され、デバイス１１１０へと返信される。
【００７８】
デバイス１１５０からの変調信号は、デバイス１１１０において、アンテナ１１２４ａ〜１１２４ｔによって受信され、トランシーバ１１２２ａ〜１１２２ｔによって調整され、復調器（「ＤＥＭＯＤ」）１１４０によって復調され、ＲＸデータ・プロセッサ１１４２によって処理され、デバイス１１５０によって送信された逆方向リンク・メッセージが抽出される。そして、プロセッサ１１３０は、ビームフォーミング重みを決定するためにどのプリコーディング・マトリクスが使用されたかを決定し、ついで、抽出されたメッセージを処理する。
【００７９】
図１１はまた、通信コンポーネントが１つ以上のコンポーネントを含み得ること、画像データ通信に干渉が存在することを示している。たとえば、干渉（「ＩＮＴＥＲ．」）制御コンポーネント１１９０が、別のデバイス（たとえば、デバイス１１５０）への／からの信号の送信／受信のために、プロセッサ１１３０および／またはデバイス１１１０の他のコンポーネントと協働し得る。同様に、干渉制御コンポーネント１１９２が、別のデバイス（たとえば、デバイス１１１０）への／からの信号の送信／受信のために、プロセッサ１１７０および／またはデバイス１１５０の他のコンポーネントと協働し得る。デバイス１１１０および１１５０の各々のために、説明されたコンポーネントのうちの２つ以上のコンポーネントの機能が単一のコンポーネントによって提供され得ることが理解されるべきである。たとえば、単一の処理コンポーネントが、干渉制御コンポーネント１１９０とプロセッサ１１３０の機能を提供することができ、単一の処理コンポーネントが、干渉制御コンポーネント１１９２とプロセッサ１１７０の機能を提供することができる。
【００８０】
図１２を参照すると、本願の特許請求の主題のさまざまな態様を実現するための例示的なコンピューティング環境１２００は、コンピュータ１２１２を含む。コンピュータ１２１２は、処理ユニット１２１４、システム・メモリ１２１６、およびシステム・バス１２１８を含む。システム・バス１２１８は、システム・メモリ１２１６を含むがこれに限定されないシステム・コンポーネントを、処理ユニット１２１４に結合する。処理ユニット１２１４は、利用可能なさまざまなプロセッサのいずれかであることができる。デュアル・マイクロプロセッサおよび他のマルチプロセッサ・アーキテクチャもまた、処理ユニット１２１４として用いられることができる。
【００８１】
システム・バス１２１８は、メモリ・バスまたはメモリ制御装置、周辺バスまたは外部バス、および／または、ローカル・バスであって、業界標準アーキテクチャ（ＩＳＡ）、マイクロ−チャネル・アーキテクチャ（ＭＳＡ）、拡張ＩＳＡ（ＥＩＳＡ）、インテリジェント・ドライブ・エレクトロニクス（ＩＤＥ）、ＶＥＳＡローカル・バス（ＶＬＢ）、周辺機器コンポーネント・インターコネクト（ＰＣＩ）、カード・バス、ユニバーサル・シリアル・バス（ＵＳＢ）、アドバンスト・グラフィックス・ポート（ＡＧＰ）、パーソナル・コンピュータ・メモリ・カード国際協会バス（ＰＣＭＣＩＡ）、ファイヤワイヤ（ＩＥＥＥ１２９４）、および小型コンピュータ・システム・インターフェース（ＳＣＳＩ）を含むが、これらに限定されない利用可能な任意のさまざまなバス・アーキテクチャを使用するローカル・バスを含む、バス・ストラクチャ（単数または複数）のいくつかのタイプのうちのいずれかであることができる。
【００８２】
システム・メモリ１２１６は、揮発性メモリ１２２０および不揮発性メモリ１２２２を含む。起動時などにコンピュータ１２１２内のエレメント間で情報を転送するための基本ルーチンを含む、基本入力／出力システム（ＢＩＯＳ）は、不揮発性メモリ１２２２に記憶される。限定ではなく例として、不揮発性メモリ１２２２は、読取専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的にプログラム可能なＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）、またはフラッシュ・メモリを含むことができる。揮発性メモリ１２２０は、外部キャッシュ・メモリとして動作するランダム・アクセス・メモリ（ＲＡＭ）を含む。限定ではなく例として、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブル・データ・レートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）、ラムバス・ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクト・ラムバス・ダイナミックＲＡＭ（ＤＲＤＲＡＭ）、ラムバス・ダイナミックＲＡＭ（ＲＤＲＡＭ）といった多くの形態のＲＡＭが、利用可能である。
【００８３】
コンピュータ１２１２はまた、リムーバブル／非リムーバブルの、揮発性／不揮発性の、コンピュータ記憶媒体を含む。図１２には、たとえば、ディスク記憶装置１２２４が示されている。ディスク記憶装置１２２４は、磁気ディスク・ドライブ、フロッピー（登録商標）ディスク・ドライブ、テープ・ドライブ、ジャズ・ドライブ、ジップ・ドライブ、ＬＳ−１００ドライブ、フラッシュ・メモリ・カード、またはメモリ・スティックのようなデバイスを含むが、これらに限定されない。さらに、ディスク記憶装置１２２４は、コンパクト・ディスクＲＯＭデバイス（ＣＤ−ＲＯＭ）、書き込み可能なＣＤドライブ（ＣＤ−Ｒドライブ）、書き換え可能なＣＤドライブ（ＣＤ−ＲＷドライブ）、またはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ−ＲＯＭ）といった、光学ディスク・ドライブを含むが、これらに限定されない、他の記憶媒体とは別個の、または他の記憶媒体と組み合わせられた、記憶媒体を含むことができる。システム・バス１２１８に対するディスク記憶デバイス１２２４の接続を容易にするために、インターフェース１２２６のようなリムーバブルまたは非リムーバブルのインターフェースが一般的に使用される。
【００８４】
図１２には、適切な動作環境１２００において示された基本的なコンピュータ・リソースとユーザとの間を媒介するものとして動作するソフトウェアが示されていることが理解されるべきである。そのようなソフトウェアには、オペレーティング・システム１２２８が含まれる。ディスク記憶装置１２２４に記憶され得るオペレーティング・システム１２２８は、コンピュータ・システム１２１２のリソースの制御と割り当ての役割を果たす。システム・アプリケーション１２３０は、システム・メモリ１２１６またはディスク記憶装置１２２４のいずれかに記憶された、プログラム・モジュール１２３２とプログラム・データ１２３４とを介した、オペレーティング・システム１２２８によるリソースの管理を利用する。特許請求の主題は、さまざまなオペレーティング・システム、またはオペレーティング・システムの組み合わせによって実現され得るということが理解されるべきである。
【００８５】
ユーザが、入力デバイス（単数または複数）１２３６を介して、コンピュータ１２１２にコマンドまたは情報を入力する。入力デバイス１２３６は、マウスのようなポインティング・デバイス、トラックボール、スタイラス、タッチ・パッド、キーボード、マイクロフォン、ジョイスティック、ゲーム・パッド、サテライト・ディッシュ、スキャナ、ＴＶチューナー・カード、デジタル・カメラ、デジタル・ビデオ・カメラ、ウェブ・カメラ、等を含むが、これらに限定されない。これらの、および他の入力デバイスは、インターフェース・ポート（単数または複数）１２３８を経由し、システム・バス１２１８を介して処理ユニット１２１４に接続される。インターフェース・ポート（単数または複数）１２３８は、たとえば、シリアル・ポート、パラレル・ポート、ゲーム・ポート、およびユニバーサル・シリアル・バス（ＵＳＢ）を含む。出力デバイス（単数または複数）１２４０は、入力デバイス（単数または複数）１２３６と同一のタイプのポートのうち、あるものを使用する。したがって、コンピュータ１２１２に入力を提供し、コンピュータ１２１２から出力デバイス１２４０に情報を出力するために、たとえば、ＵＳＢポートが使用されることができる。他の出力デバイス１２４０のなかには、専用アダプタを必要とするモニタ、スピーカー、およびプリンタのようないくつかの出力デバイス１２４０があることを示すために、出力アダプタ１２４２が提供される。出力アダプタ１２４２は、限定ではなく例として、出力デバイス１２４０とシステム・バス１２１８との間の接続手段を提供する、映像および音声カードを含む。リモート・コンピュータ（単数または複数）１２４４のような他のデバイスおよび／またはデバイスのシステムが、入力機能と出力機能の両方を提供することに注意すべきである。
【００８６】
コンピュータ１２１２は、リモート・コンピュータ（単数または複数）１２４４といった１つ以上のリモート・コンピュータへの論理接続を使用して、ネットワーク環境において動作することができる。リモート・コンピュータ（単数または複数）１２４４は、パーソナル・コンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサに基づいた機器、ピア・デバイス、または他の一般的なネットワーク・ノード、等であることができ、典型的には、コンピュータ１２１２に関して説明されたエレメントの多くを、またはすべてを含む。簡潔にするために、メモリ記憶デバイス１２４６のみが、リモート・コンピュータ（単数または複数）１２４４とともに示されている。リモート・コンピュータ（単数または複数）１２４４は、コンピュータ１２１２に、ネットワーク・インターフェース１２４８を介して論理的に接続され、そして、通信接続１２５０を介して物理的に接続される。ネットワーク・インターフェース１２４８には、ローカル・エリア・ネットワーク（ＬＡＮ）および広域ネットワーク（ＷＡＮ）といった、有線および／または無線通信ネットワークが含まれる。ＬＡＮ技術には、光ファイバー分散データ・インターフェース（ＦＤＤＩ）、銅線分散データ・インターフェース（ＣＤＤＩ）、イーサネット（登録商標）、トークン・リング、等が含まれる。ＷＡＮ技術は、ポイント・ツー・ポイント・リンクと、総合デジタル通信網（ＩＳＤＮ）やその変形例といった回路交換ネットワークと、パケット交換ネットワークと、デジタル加入者回線（ＤＳＬ）とを含むが、これらに限定されるものではない。
【００８７】
通信接続（単数または複数）１２５０は、ネットワーク・インターフェース１２４８をバス１２１８に接続するために用いられるハードウェア／ソフトウェアのことを言う。例示としての明瞭性のために、通信接続１２５０はコンピュータ１２１２の内部にあるものとして示されているが、コンピュータ１２１２の外部にあることもできる。単なる例示にすぎないが、ネットワーク・インターフェース１２４８への接続に必要なハードウェア／ソフトウェアには、通常の電話グレード・モデム、ケーブル・モデム、およびＤＳＬモデムを含むモデム、ＩＤＳＮアダプタ、およびイーサネット・カード、といった内部および外部の技術が含まれる。
【００８８】
本明細書に説明されたものの変形例、変更、および他の実現は、特許請求の範囲に記載された開示の精神および範囲から逸脱せずに、当業者によって想到されるだろう。したがって、本開示は、前述した例示的な説明によってではなく、下記の特許請求の範囲の精神および範囲によって定義されるべきである。
【００８９】
本明細書の教示が広くさまざまな形態で具現化され得ること、本明細書に開示されている任意の特定の構造または機能は単に代表的なものにすぎないことが理解されるべきである。本明細書の教示に基づき、当業者は、ここに開示された態様が、他の態様とは独立して実現され得ること、これらの態様のうちの２つ以上が、さまざまな手法において組み合わされ得ることを理解すべきである。たとえば、ここに説明された任意の数の態様を使用して、装置が実現されることができ、または方法が実現されることができる。さらに、ここに説明された態様のうちの１つ以上以外の、または、それらに追加された、他の構造または機能を使用して、装置が実現されることができ、または方法が実現されることができる。例として、本明細書において説明された方法、デバイス、システム、および装置の多くは、モバイル通信環境においてダイナミック・クエリおよびレコメンデーションを提供する文脈で説明される。当業者は、同様の手法が、他の通信環境および非通信環境に対しても同様に適用され得ることを理解すべきである。
【００９０】
本開示において使用される場合、「コンテンツ」および「オブジェクト」という用語は、デバイスで、提供され、処理され、または実行され得る、任意のタイプのアプリケーション、マルチメディア・ファイル、画像ファイル、実行ファイル、プログラム、ウェブ・ページ、スクリプト、ドキュメント、プレゼンテーション、メッセージ、データ、メタ・データ、または任意の他のタイプの媒体または情報を説明するために使用される。
【００９１】
本開示において使用される場合、「コンポーネント」、「システム」、「モジュール」等の用語は、コンピュータに関連するエンティティ、ハードウェア、ソフトウェア、実行中のソフトウェア、ファームウェア、ミドルウェア、マイクロコードのいずれか、またはそれらの任意の組み合わせを指すことを意図する。たとえば、コンポーネントは、プロセッサで実行中の処理、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、またはコンピュータであることができるが、これらに限定されるものではない。１つ以上のコンポーネントが、処理または実行スレッド内に存在することができ、１つのコンポーネントが、１つのコンピュータに局所化されることができ、または、２つ以上のコンピュータ間で分散されることができる。さらに、これらのコンポーネントは、さまざまなデータ構造が記憶された、さまざまなコンピュータ読取可能な媒体から実行されることができる。コンポーネントは、たとえば、１つ以上のデータ・パケット（たとえば、ローカル・システム、分散システムにおいて別のコンポーネントと、またはインターネットのようなネットワークにわたって他のシステムと、信号によってインタラクトする１つのコンポーネントからのデータ）を有する信号によるローカルまたはリモート処理によって、通信することができる。さらに、当業者によって理解されるように、本明細書に説明されたシステムのコンポーネントは、それらに関して説明されたさまざまな態様、目的、利点、等の達成を容易にするために、並べ替えられることができ、または追加のコンポーネントによって補完されることができるものであり、所与の図面に示されたまさにその構成に限定されるものではない。
【００９２】
さらに、ここに開示された態様に関連して説明された、さまざまな例示的な論理、論理ブロック、モジュール、および回路は、ここで説明された機能を実行するように設計された、汎用プロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、または他のプログラマブル論理デバイス、離散ゲートまたはトランジスタ論理、離散ハードウェア・コンポーネント、またはそれらの任意の適切な組み合わせを用いて、実現または実行されることができる。汎用プロセッサは、マイクロプロセッサであることができるが、その代わりに、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであることができる。プロセッサはまた、コンピューティング・デバイスの組み合わせ、たとえば、ＤＳＰと、１つのマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと結合された１つ以上のマイクロプロセッサとの組み合わせ、または任意の他の適切な構成として、実現されることもできる。さらに、少なくとも１つのプロセッサは、本明細書において説明された動作または操作のうちの１つ以上を実行するように動作可能な１つ以上のモジュールを備え得る。
【００９３】
さらに、本明細書において説明されたさまざまな態様または特徴は、標準的なプログラミングまたはエンジニアリング手法を使用した、方法、装置、または製品として実現されることができる。さらに、ここに開示された態様に関連して説明された方法またはアルゴリズムの動作または操作は、ハードウェアで直接的に、またはプロセッサによって実行されるソフトウェア・モジュールで、または両者の組み合わせで、具現化されることができる。さらに、いくつかの態様では、方法またはアルゴリズムの動作または操作は、コンピュータ・プログラム製品に組み込まれ得る機械読取可能な媒体またはコンピュータ読取可能な媒体上に、コードまたは命令の、少なくとも１つ、または任意の組み合わせ、またはセットとして、存在し得る。さらに、「製品」という用語は、本明細書において用いられる場合、任意のコンピュータ読取可能なデバイス、キャリア、または媒体からアクセス可能な、コンピュータ・プログラムを含むことが意図される。たとえば、コンピュータ読取可能な媒体は、磁気記憶デバイス（たとえば、ハード・ディスク、フロッピー・ディスク、磁気ストリップ、等）、光学ディスク（たとえば、コンパクト・ディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、等）、スマート・カード、およびフラッシュ・メモリ・デバイス（たとえば、カード、スティック、キー・ドライブ、等）を含むことができるが、これらに限定されるものではない。さらに、本明細書に説明されたさまざまな記憶媒体は、情報を記憶するための、１つ以上のデバイスまたは他の機械読取可能な媒体を表し得る。「機械読取可能な媒体」という用語は、命令またはデータを、記憶し、含み、または搬送することのできる、無線チャネルおよびさまざまな他の媒体を含むことができるが、これらに限定されるものではない。
【００９４】
さらに、本明細書において、さまざまな態様は、モバイル・デバイスに関連して説明される。モバイル・デバイスはまた、システム、加入者ユニット、加入者局、モバイル局、モバイル、モバイル・デバイス、セルラー・デバイス、マルチモード・デバイス、リモート局、リモート端末、アクセス端末、ユーザ端末、ユーザ・エージェント、ユーザ・デバイス、またはユーザ機器、等と呼ばれることができる。加入者局は、セルラー電話、コードレス電話、セッション開始プロトコル（ＳＩＰ）電話、無線ローカル・ループ（ＷＬＬ）局、携帯情報端末（ＰＤＡ）、無線接続能力を有するハンドヘルド・デバイス、または、処理デバイスとの無線通信を容易にする無線モデムまたは同様のメカニズムに接続された他の処理デバイスであることができる。
【００９５】
前述したことに加えて、「例示的」という用語は、本明細書では、例、事例、または実例としての役割を果たすという意味で用いられる。「例示的」なものとしてここに説明された任意の態様または設計は、必ずしも、他の態様または設計よりも好ましい、または利点を有するものと解釈されるべきではない。そうではなく、例示的という用語の使用は、概念を具体的に提示することを意図する。さらに、本願明細書および添付の特許請求の範囲において使用される場合、「または」という用語は、排他的な「または」ではなく、包含的な「または」を意味することを意図する。すなわち、そうでないとの記載がない限り、または文脈から明らかでない限り、「ＸはＡまたはＢを用いる」は、自然な包含的置換のいずれかを意味することを意図する。すなわち、この例では、ＸはＡを用いることができ、またはＸはＢを用いることができ、またはＸはＡとＢの両方を用いることができるので、「ＸはＡまたはＢを用いる」という表現は、上記の例のいずれかによって満たされる。さらに、「a」や「an」といった冠詞は、本願明細書および添付の特許請求の範囲において使用される場合、一般的に、そうでないとの記載がないかぎり、または、単数形を指していることが文脈から明らかでない限り、「１つ以上」を意味するものと解釈されるべきである。
【００９６】
本明細書において使用される場合、「推論する」または「推論」という用語は一般的に、イベントまたはデータによって得られた観察のセットから、システム、環境、またはユーザの状態について推理する処理、または推測する処理のことを言う。推論は、たとえば、特定の文脈または操作を識別するために用いられることができ、または状態にわたる確率分布を生成することができる。推論は、確率的であることができ、すなわち、データおよびイベントの考察に基づいた、関心対象の状態にわたる確率分布の計算である。推論は、イベントまたはデータのセットから、より高いレベルのイベントを構成するために用いられる技法を言うこともできる。そのような推論の結果、観察されたイベントのセットまたは記憶されたイベント・データから新たなイベントまたは操作の構成がもたらされ、そのような構成は、それらのイベントが時間的に緊密に近接して相互に関連していようがいまいが、また、イベントおよびデータが１つのイベントおよびデータ・ソースに由来しようと、いくつかのイベントおよびデータ・ソースに由来しようと、もたらされるものである。
【図１】
2013535752.tif 000003
【図２】
2013535752.tif 000004
【図３Ａ】
2013535752.tif 000005
【図３Ｂ】
2013535752.tif 000006
【図３Ｃ】
2013535752.tif 000007
【図４】
2013535752.tif 000008
【図５】
2013535752.tif 000009
【図６】
2013535752.tif 000010
【図７】
2013535752.tif 000011
【図８】
2013535752.tif 000012
【図９】
2013535752.tif 000013
【図１０】
2013535752.tif 000014
【図１１】
2013535752.tif 000015
【図１２】
2013535752.tif 000016
【手続補正書】
【提出日】平成25年4月5日(2013.4.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビジュアル・メディア・コンテンツを識別するための方法であって、
モバイル・デバイスのカメラから画像を受け取ることと、
前記画像内に含まれた四辺形を検出することと、ここで、前記画像内に含まれた四辺形を検出することは、前記画像のビューファインダ表示の一部に対するユーザ入力を受け取ることをさらに備える、
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことと
を備える方法。
【請求項２】
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことは、テキスト認識を実行することをさらに備える、請求項１に記載の方法。
【請求項３】
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことは、静的なビジュアル・メディア・コンテンツの画像認識を実行することをさらに備える、請求項１に記載の方法。
【請求項４】
前記画像内に含まれた四辺形を検出することは、オブジェクトのコントラストに基づいて、前記画像内の有意の細部を識別する関心領域マップを作成することをさらに備える、請求項１に記載の方法。
【請求項５】
前記モバイル・デバイスのカメラから画像を受け取ることは、連続する複数のフレームを受け取ることをさらに備え、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことは、動的なビジュアル・メディア・コンテンツのビデオ画像認識を実行することをさらに備える、請求項１に記載の方法。
【請求項６】
前記画像内に含まれた四辺形を検出することは、前記連続する複数のフレーム間の差を決定することによって動きマップを作成することをさらに備える、請求項５に記載の方法。
【請求項７】
コーナー検出を実行することと、
前記動きマップ内のコーナー点をプルーニングすることと
をさらに備える、請求項６に記載の方法。
【請求項８】
前記画像内に含まれた四辺形を検出することは、
関心領域マップを作成することと、
前記関心領域マップを含むように前記画像をトリミングすることと
をさらに備える、請求項１に記載の方法。
【請求項９】
前記画像内に含まれた四辺形を検出することは、より高い照度を有する部分を検出することによって高輝度マップを作成することをさらに備える、請求項１に記載の方法。
【請求項１０】
前記画像内に含まれた四辺形を検出することは、
コーナー検出を実行することと、
コーナー点をクラスタリングすることと、
前記高輝度マップ内のコーナー点のクラスタをプルーニングすることと
をさらに備える、請求項９に記載の方法。
【請求項１１】
前記画像内に含まれた四辺形を検出することは、前記画像の一部についての焦点深度を検出することによって深度マップを作成することをさらに備える、請求項１に記載の方法。
【請求項１２】
前記画像内に含まれた四辺形を検出することは、長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するための認識基準を満たす、コーナー点の選択された４つのクラスタの四辺形の形状の候補を検出することをさらに備える、請求項１に記載の方法。
【請求項１３】
前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別することは、前記四辺形の形状が他の四辺形の形状の候補のすべてを含むのに十分な大きさかどうかを判定することによって、別の四辺形の大部分の面積を占める任意の四辺形の形状の候補をプルーニングすることをさらに備える、請求項１２に記載の方法。
【請求項１４】
前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別することは、前記長方形のディスプレイ・デバイスの境界を認識することをさらに備える、請求項１２に記載の方法。
【請求項１５】
前記長方形のディスプレイ・デバイスの境界を認識することは、向かい合った辺における前記境界の部分について、共通の境界の太さを検出することをさらに備える、請求項１４に記載の方法。
【請求項１６】
向かい合った辺における前記境界の部分について、前記共通の境界の太さを検出することは、前記長方形のディスプレイ・デバイスの一周の寸法のおよそ１０パーセントといったパーセンテージの太さを検出することを備える、請求項１５に記載の方法。
【請求項１７】
前記長方形のディスプレイ・デバイスの境界を認識することは、共通する向かい合った辺における前記境界のかなりの部分について、共通の色を検出することをさらに備える、請求項１４に記載の方法。
【請求項１８】
共通する向かい合った辺における前記境界のかなりの部分について、前記共通の色を検出することは、複数の画素のうちの少なくとも何割かが前記共通の色を有することを検出することをさらに備える、請求項１７に記載の方法。
【請求項１９】
前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別することは、前記四辺形の形状の候補が、
凸形でないことと、
すべての内角が１１０度より大きいことと、
前記画像のかなりの部分を占める面積を有することと、
標準的な映像アスペクト比に近似するアスペクト比を有することと、
略同一の角度の２つの隣り合う角を有することと
を含む１つ以上の基準を満たすこと、を決定することをさらに備える、請求項１２に記載の方法。
【請求項２０】
選択された四辺形内の前記画像の一部に対して、ヒストグラム分析と、エッジ検出と、スケール不変特徴変換とを実行し、対応するメディア・コンテンツを識別することをさらに備える、請求項１に記載の方法。
【請求項２１】
画像処理の制約を決定することと、
前記画像処理の制約に応答して、前記四辺形内の前記画像の一部の画像処理を、前記モバイル・デバイスとリモート・サーバとの間で分散させることと
をさらに備える、請求項１に記載の方法。
【請求項２２】
前記画像処理の制約は、前記画像処理を実行するための前記モバイル・デバイスの能力を備える、請求項２１に記載の方法。
【請求項２３】
前記画像処理の制約は、少なくとも部分的に、前記モバイル・デバイスから前記リモート処理への送信チャネルを介して送信するためのデータ送信コストを備える、請求項２１に記載の方法。
【請求項２４】
前記画像処理の制約は、前記モバイル・デバイスから前記リモート処理への送信チャネルの能力を備える、請求項２１に記載の方法。
【請求項２５】
前記画像の一部の画像処理を分散させることは、
前記送信チャネルの能力が低いとの決定に応答して、画像クリップを備える画像データを送信することと、
前記送信チャネルの能力が中程度であるとの決定に応答して、部分的な画像処理の後に、前記画像クリップを備える画像データを送信することと、
前記送信チャネルの能力が高いとの決定に応答して、完全な画像処理の後、前記画像クリップを備える画像データを送信することと
をさらに備える、請求項２４に記載の方法。
【請求項２６】
前記四辺形内の前記画像の一部から得られた画像データを、リモート・サーバへと送信することと、
メディア・コンテンツのレポジトリとの前記画像データの任意のマッチについて、前記リモート・サーバからレポートを受信することと
をさらに備える、請求項１に記載の方法。
【請求項２７】
任意のマッチについて、前記リモート・サーバから前記レポートを受信することは、
マッチが識別されなかったと決定することと、
前記リモート・サーバに送信するための追加の画像データを得るために、モバイル・デバイスのカメラから画像を受け取ることと、前記画像内に含まれた四辺形を検出することと、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことと、を繰り返すことと
をさらに備える、請求項２６に記載の方法。
【請求項２８】
任意のマッチについて、前記リモート・サーバから前記レポートを受信することは、
前記レポートから得られた複数のマッチが前記モバイル・デバイスのユーザ・インターフェースで提示するのに適したサイズを有することを決定することと、
前記レポートから得られ、前記ユーザ・インターフェースで提示された、メディア・コンテンツの一覧のうちの１つについて、ユーザ選択を受け取ることと
をさらに備える、請求項２６に記載の方法。
【請求項２９】
任意のマッチについて、前記リモート・サーバから前記レポートを受信することは、
前記レポートから得られた複数のマッチが前記モバイル・デバイスのユーザ・インターフェースで提示するのに適したサイズよりも大きなサイズを有することを決定することと、
それを受けて、追加の画像処理のために前記リモート・サーバに画像クリップを送信することと
をさらに備える、請求項２６に記載の方法。
【請求項３０】
マッチしたメディア・コンテンツを、前記モバイル・デバイスによって提示するために受信することをさらに備える、請求項１に記載の方法。
【請求項３１】
前記取り込まれたビジュアル・メディア・コンテンツによって識別されたポイントから、前記マッチしたメディア・コンテンツを提示することをさらに備える、請求項３０に記載の方法。
【請求項３２】
前記マッチしたメディア・コンテンツを、前記モバイル・デバイスのユーザ・インターフェース向けに再フォーマットすることをさらに備える、請求項３０に記載の方法。
【請求項３３】
前記マッチしたメディア・コンテンツの再フォーマットを促すために、前記モバイル・デバイスのユーザ・インターフェースのための識別子を送信することをさらに備える、請求項３０に記載の方法。
【請求項３４】
前記マッチしたメディア・コンテンツを提示するために、データ管理権をネゴシエートすることをさらに備える、請求項３０に記載の方法。
【請求項３５】
マイクロフォンによって取り込まれた音声を受け取ることと、
画像データをメディア・コンテンツのレポジトリとマッチングすることを支援するためにハッシュ・ルックアップ関数を使用することと
をさらに備える、請求項１に記載の方法。
【請求項３６】
ビジュアル・メディア・コンテンツを識別するための少なくとも１つのプロセッサであって、
モバイル・デバイスのカメラから画像を受け取るための第１のモジュールと、
前記画像内に含まれた四辺形を検出するための第２のモジュールと、ここで、前記画像内に含まれた四辺形を検出するための第２のモジュールはさらに、前記画像のビューファインダ表示の一部に対するユーザ入力を受け取るためのものである、
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むための第３のモジュールと
を備える少なくとも１つのプロセッサ。
【請求項３７】
非一時的なコンピュータ読取可能な記憶媒体を備える、ビジュアル・メディア・コンテンツを識別するためのコンピュータ・プログラム製品であって、
前記非一時的なコンピュータ読取可能な記憶媒体は、
コンピュータに、モバイル・デバイスのカメラから画像を受け取らせるための第１のコードのセットと、
前記コンピュータに、前記画像内に含まれた四辺形を検出させるための第２のコードのセットと、ここで、前記画像内に含まれた四辺形を検出することは、前記画像のビューファインダ表示の一部に対するユーザ入力を受け取ることをさらに備える、
前記コンピュータに、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込ませるための第３のコードのセットと
を備える、コンピュータ・プログラム製品。
【請求項３８】
ビジュアル・メディア・コンテンツを識別するための装置であって、
モバイル・デバイスのカメラから画像を受け取るための手段と、
前記画像内に含まれた四辺形を検出するための手段と、ここで、前記画像内に含まれた四辺形を検出するための手段は、前記画像のビューファインダ表示の一部に対するユーザ入力を受け取るための手段をさらに備える、
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むための手段と
を備える装置。
【請求項３９】
ビジュアル・メディア・コンテンツを識別するための装置であって、
画像を生成するためのモバイル・デバイスのカメラと、
前記カメラから受け取った前記画像内に含まれた四辺形を検出し、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むためのコンピューティング・プラットフォームと、ここで、前記コンピューティング・プラットフォームはさらに、前記画像のビューファインダ表示の一部に対するユーザ入力を受け取ることによって、前記画像内に含まれた四辺形を検出するためのものである、
を備える装置。
【請求項４０】
前記コンピューティング・プラットフォームはさらに、テキスト認識を実行することによって、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むためのものである、請求項３９に記載の装置。
【請求項４１】
前記コンピューティング・プラットフォームはさらに、静的なビジュアル・メディア・コンテンツの画像認識を実行することによって、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むためのものである、請求項３９に記載の装置。
【請求項４２】
前記コンピューティング・プラットフォームはさらに、オブジェクトのコントラストに基づいて、前記画像内の有意の細部を識別する関心領域マップを作成することによって、前記画像内に含まれた四辺形を検出するためのものである、請求項３９に記載の装置。
【請求項４３】
前記コンピューティング・プラットフォームはさらに、連続する複数のフレームを受け取ることによって、前記モバイル・デバイスのカメラから前記画像を受け取るためのものであり、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことは、動的なビジュアル・メディア・コンテンツのビデオ画像認識を実行することをさらに備える、請求項３９に記載の装置。
【請求項４４】
前記コンピューティング・プラットフォームはさらに、前記連続する複数のフレーム間の差を決定することによって動きマップを作成することにより、前記画像内に含まれた四辺形を検出するためのものである、請求項４３に記載の装置。
【請求項４５】
前記コンピューティング・プラットフォームはさらに、
コーナー検出を実行し、
前記動きマップ内のコーナー点をプルーニングする
ためのものである、請求項４４に記載の装置。
【請求項４６】
前記コンピューティング・プラットフォームはさらに、関心領域マップを作成することによって前記画像内に含まれた四辺形を検出し、前記関心領域マップを含むように前記画像をトリミングするためのものである、請求項３９に記載の装置。
【請求項４７】
前記コンピューティング・プラットフォームはさらに、より高い照度を有する部分を検出することによって高輝度マップを作成することにより、前記画像内に含まれた四辺形を検出するためのものである、請求項３９に記載の装置。
【請求項４８】
前記コンピューティング・プラットフォームはさらに、
コーナー検出を実行することと、
コーナー点をクラスタリングすることと、
前記高輝度マップ内のコーナー点のクラスタをプルーニングすることと
によって、前記画像内に含まれた四辺形を検出するためのものである、請求項４７に記載の装置。
【請求項４９】
前記コンピューティング・プラットフォームはさらに、前記画像の一部についての焦点深度を検出することによって深度マップを作成することにより、前記画像内に含まれた四辺形を検出するためのものである、請求項３９に記載の装置。
【請求項５０】
前記コンピューティング・プラットフォームはさらに、長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するための認識基準を満たす、コーナー点の選択された４つのクラスタの四辺形の形状の候補を検出することによって、前記画像内に含まれた四辺形を検出するためのものである、請求項３９に記載の装置。
【請求項５１】
前記コンピューティング・プラットフォームはさらに、前記四辺形の形状が他の四辺形の形状の候補のすべてを含むのに十分な大きさかどうかを判定することによって、別の四辺形の大部分の面積を占める任意の四辺形の形状の候補をプルーニングすることにより、前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するためのものである、請求項５０に記載の装置。
【請求項５２】
前記コンピューティング・プラットフォームはさらに、前記長方形のディスプレイ・デバイスの境界を認識することによって、前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するためのものである、請求項５０に記載の装置。
【請求項５３】
前記コンピューティング・プラットフォームはさらに、向かい合った辺における前記境界の部分について、共通の境界の太さを検出することによって、前記長方形のディスプレイ・デバイスの境界を認識するためのものである、請求項５２に記載の装置。
【請求項５４】
前記コンピューティング・プラットフォームはさらに、前記長方形のディスプレイ・デバイスの一周の寸法のおよそ１０パーセントといったパーセンテージの太さを検出することによって、向かい合った辺における前記境界の部分について、前記共通の境界の太さを検出するためのものである、請求項５３に記載の装置。
【請求項５５】
前記コンピューティング・プラットフォームはさらに、共通する向かい合った辺における前記境界のかなりの部分について、共通の色を検出することによって、前記長方形のディスプレイ・デバイスの境界を認識するためのものである、請求項５２に記載の装置。
【請求項５６】
前記コンピューティング・プラットフォームはさらに、複数の画素のうちの少なくとも何割かが前記共通の色を有することを検出することによって、共通する向かい合った辺における前記境界のかなりの部分について、前記共通の色を検出するためのものである、請求項５５に記載の装置。
【請求項５７】
前記コンピューティング・プラットフォームはさらに、前記四辺形の形状の候補が、
凸形でないことと、
すべての内角が１１０度より大きいことと、
前記画像のかなりの部分を占める面積を有することと、
標準的な映像アスペクト比に近似するアスペクト比を有することと、
略同一の角度の２つの隣り合う角を有することと
を含む１つ以上の基準を満たすこと、を決定することによって、前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するためのものである、請求項５０に記載の装置。
【請求項５８】
前記コンピューティング・プラットフォームはさらに、選択された四辺形内の前記画像の一部に対して、ヒストグラム分析と、エッジ検出と、スケール不変特徴変換とを実行し、対応するメディア・コンテンツを識別するためのものである、請求項３９に記載の装置。
【請求項５９】
前記コンピューティング・プラットフォームはさらに、画像処理の制約を決定し、前記画像処理の制約に応答して、前記四辺形内の前記画像の一部の画像処理を、前記モバイル・デバイスとリモート・サーバとの間で分散させるためのものである、請求項３９に記載の装置。
【請求項６０】
前記画像処理の制約は、前記画像処理を実行するための前記モバイル・デバイスの能力を備える、請求項５９に記載の装置。
【請求項６１】
前記画像処理の制約は、少なくとも部分的に、前記モバイル・デバイスから前記リモート処理への送信チャネルを介して送信するためのデータ送信コストを備える、請求項５９に記載の装置。
【請求項６２】
前記画像処理の制約は、前記モバイル・デバイスから前記リモート処理への送信チャネルの能力を備える、請求項５９に記載の装置。
【請求項６３】
送信機がさらに、
前記送信チャネルの能力が低いとの決定に応答して、画像クリップを備える画像データを送信し、
前記送信チャネルの能力が中程度であるとの決定に応答して、部分的な画像処理の後に、前記画像クリップを備える画像データを送信し、
前記送信チャネルの能力が高いとの決定に応答して、完全な画像処理の後、前記画像クリップを備える画像データを送信する
ためのものである、請求項６２に記載の装置。
【請求項６４】
前記四辺形内の前記画像の一部から得られた画像データを、リモート・サーバへと送信するための送信機と
メディア・コンテンツのレポジトリとの前記画像データの任意のマッチについて、前記リモート・サーバからレポートを受信するための受信機と
をさらに備える、請求項３９に記載の装置。
【請求項６５】
前記コンピューティング・プラットフォームはさらに、
マッチが識別されなかったと決定することと
前記リモート・サーバに送信するための追加の画像データを得るために、モバイル・デバイスのカメラから画像を受け取ることと、前記画像内に含まれた四辺形を検出することと、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことと、を繰り返すことと
によって、任意のマッチについて、前記リモート・サーバから前記レポートを受信する前記受信機に応答するためのものである、請求項６４に記載の装置。
【請求項６６】
前記コンピューティング・プラットフォームはさらに、
前記レポートから得られた複数のマッチが前記モバイル・デバイスのユーザ・インターフェースで提示するのに適したサイズを有することを決定することと、
前記レポートから得られ、前記ユーザ・インターフェースで提示された、メディア・コンテンツの一覧のうちの１つについて、ユーザ選択を受け取ることと
によって、任意のマッチについて、前記リモート・サーバから前記レポートを受信する前記受信機に応答するためのものである、請求項６４に記載の装置。
【請求項６７】
前記コンピューティング・プラットフォームはさらに、
前記レポートから得られた複数のマッチが前記モバイル・デバイスのユーザ・インターフェースで提示するのに適したサイズよりも大きなサイズを有することを決定することと、
それを受けて、追加の画像処理のために前記リモート・サーバに画像クリップを送信することと
によって、任意のマッチについて、前記リモート・サーバから前記レポートを受信する前記受信機に応答するためのものである、請求項６５に記載の装置。
【請求項６８】
前記受信機はさらに、マッチしたメディア・コンテンツを、前記モバイル・デバイスによって提示するために受信するためのものである、請求項５８に記載の装置。
【請求項６９】
前記コンピューティング・プラットフォームはさらに、前記取り込まれたビジュアル・メディア・コンテンツによって識別されたポイントから、前記マッチしたメディア・コンテンツを提示するためのものである、請求項６８に記載の装置。
【請求項７０】
前記コンピューティング・プラットフォームはさらに、前記マッチしたメディア・コンテンツを、前記モバイル・デバイスのユーザ・インターフェース向けに再フォーマットするためのものである、請求項６８に記載の装置。
【請求項７１】
前記送信機はさらに、前記マッチしたメディア・コンテンツの再フォーマットを促すために、前記モバイル・デバイスのユーザ・インターフェースのための識別子を送信するためのものである、請求項６８に記載の装置。
【請求項７２】
前記コンピューティング・プラットフォームはさらに、前記マッチしたメディア・コンテンツを提示するために、前記送信機および受信機を介してデータ管理権をネゴシエートするためのものである、請求項６８に記載の装置。
【請求項７３】
音声を取り込むためのマイクロフォンをさらに備え、
前記コンピュータ・プラットフォームはさらに、画像データをメディア・コンテンツのレポジトリとマッチングすることを支援するためにハッシュ・ルックアップ関数を使用するためのものである、
請求項５８に記載の装置。
【請求項７４】
モバイル通信デバイスのカメラを使用してデジタル画像を取り込むことと、
前記モバイル通信デバイスと、前記モバイル通信デバイスからリモート・ネットワークワークまでの無線インターフェースと、ネットワーク・サーバとのうちの少なくとも１つの、１つ以上の能力の制約を決定することと、
前記デジタル画像の画像処理を、前記能力の制約に基づいて、前記モバイル通信デバイスと前記ネットワーク・サーバとの間で分散させることと、ここで、前記能力の制約は、ローカルで前記画像処理を実行するための電力消費、または可変量の画像データを送信するために必要とされる電力、のいずれかに基づいた電力の制限を含む、
画像認識の結果を受信することと
を備える方法。
【請求項７５】
前記能力の制約を決定することは、前記無線インターフェースのデータ送信能力を決定することをさらに備える、請求項７４に記載の方法。
【請求項７６】
前記能力の制約を決定することは、前記モバイル通信デバイスの画像処理能力を決定することをさらに備える、請求項７４に記載の方法。
【請求項７７】
前記デジタル画像の画像処理を、前記能力の制約に基づいて、前記モバイル通信デバイスと前記ネットワーク・サーバとの間で分散させることは、ローカル処理と、分担処理と、リモート処理とのうちの１つを選択することをさらに備える、請求項７４に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
本明細書において使用される場合、「推論する」または「推論」という用語は一般的に、イベントまたはデータによって得られた観察のセットから、システム、環境、またはユーザの状態について推理する処理、または推測する処理のことを言う。推論は、たとえば、特定の文脈または操作を識別するために用いられることができ、または状態にわたる確率分布を生成することができる。推論は、確率的であることができ、すなわち、データおよびイベントの考察に基づいた、関心対象の状態にわたる確率分布の計算である。推論は、イベントまたはデータのセットから、より高いレベルのイベントを構成するために用いられる技法を言うこともできる。そのような推論の結果、観察されたイベントのセットまたは記憶されたイベント・データから新たなイベントまたは操作の構成がもたらされ、そのような構成は、それらのイベントが時間的に緊密に近接して相互に関連していようがいまいが、また、イベントおよびデータが１つのイベントおよびデータ・ソースに由来しようと、いくつかのイベントおよびデータ・ソースに由来しようと、もたらされるものである。
なお、以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビジュアル・メディア・コンテンツを識別するための方法であって、
モバイル・デバイスのカメラから画像を受け取ることと、
前記画像内に含まれた四辺形を検出することと、
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことと
を備える方法。
［Ｃ２］
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことは、テキスト認識を実行することをさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことは、静的なビジュアル・メディア・コンテンツの画像認識を実行することをさらに備える、Ｃ１に記載の方法。
［Ｃ４］
前記画像内に含まれた四辺形を検出することは、オブジェクトのコントラストに基づいて、前記画像内の有意の細部を識別する関心領域マップを作成することをさらに備える、Ｃ１に記載の方法。
［Ｃ５］
前記画像内に含まれた四辺形を検出することは、前記画像のビューファインダ表示の一部に対するユーザ入力を受け取ることをさらに備える、Ｃ１に記載の方法。
［Ｃ６］
前記モバイル・デバイスのカメラから画像を受け取ることは、連続する複数のフレームを受け取ることをさらに備え、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことは、動的なビジュアル・メディア・コンテンツのビデオ画像認識を実行することをさらに備える、Ｃ１に記載の方法。
［Ｃ７］
前記画像内に含まれた四辺形を検出することは、前記連続する複数のフレーム間の差を決定することによって動きマップを作成することをさらに備える、Ｃ６に記載の方法。
［Ｃ８］
コーナー検出を実行することと、
前記動きマップ内のコーナー点をプルーニングすることと
をさらに備える、Ｃ７に記載の方法。
［Ｃ９］
前記画像内に含まれた四辺形を検出することは、
関心領域マップを作成することと、
前記関心領域マップを含むように前記画像をトリミングすることと
をさらに備える、Ｃ１に記載の方法。
［Ｃ１０］
前記画像内に含まれた四辺形を検出することは、より高い照度を有する部分を検出することによって高輝度マップを作成することをさらに備える、Ｃ１に記載の方法。
［Ｃ１１］
前記画像内に含まれた四辺形を検出することは、
コーナー検出を実行することと、
コーナー点をクラスタリングすることと、
前記高輝度マップ内のコーナー点のクラスタをプルーニングすることと
をさらに備える、Ｃ１０に記載の方法。
［Ｃ１２］
前記画像内に含まれた四辺形を検出することは、前記画像の一部についての焦点深度を検出することによって深度マップを作成することをさらに備える、Ｃ１に記載の方法。
［Ｃ１３］
前記画像内に含まれた四辺形を検出することは、長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するための認識基準を満たす、コーナー点の選択された４つのクラスタの四辺形の形状の候補を検出することをさらに備える、Ｃ１に記載の方法。
［Ｃ１４］
前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別することは、前記四辺形の形状が他の四辺形の形状の候補のすべてを含むのに十分な大きさかどうかを判定することによって、別の四辺形の大部分の面積を占める任意の四辺形の形状の候補をプルーニングすることをさらに備える、Ｃ１３に記載の方法。
［Ｃ１５］
前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別することは、前記長方形のディスプレイ・デバイスの境界を認識することをさらに備える、Ｃ１３に記載の方法。
［Ｃ１６］
前記長方形のディスプレイ・デバイスの境界を認識することは、向かい合った辺における前記境界の部分について、共通の境界の太さを検出することをさらに備える、Ｃ１５に記載の方法。
［Ｃ１７］
向かい合った辺における前記境界の部分について、前記共通の境界の太さを検出することは、前記長方形のディスプレイ・デバイスの一周の寸法のおよそ１０パーセントといったパーセンテージの太さを検出することを備える、Ｃ１６に記載の方法。
［Ｃ１８］
前記長方形のディスプレイ・デバイスの境界を認識することは、共通する向かい合った辺における前記境界のかなりの部分について、共通の色を検出することをさらに備える、Ｃ１５に記載の方法。
［Ｃ１９］
共通する向かい合った辺における前記境界のかなりの部分について、前記共通の色を検出することは、複数の画素のうちの少なくとも何割かが前記共通の色を有することを検出することをさらに備える、Ｃ１８に記載の方法。
［Ｃ２０］
前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別することは、前記四辺形の形状の候補が、
凸形でないことと、
すべての内角が１１０度より大きいことと、
前記画像のかなりの部分を占める面積を有することと、
標準的な映像アスペクト比に近似するアスペクト比を有することと、
略同一の角度の２つの隣り合う角を有することと
を含む１つ以上の基準を満たすこと、を決定することをさらに備える、Ｃ１３に記載の方法。
［Ｃ２１］
選択された四辺形内の前記画像の一部に対して、ヒストグラム分析と、エッジ検出と、スケール不変特徴変換とを実行し、対応するメディア・コンテンツを識別することをさらに備える、Ｃ１に記載の方法。
［Ｃ２２］
画像処理の制約を決定することと、
前記画像処理の制約に応答して、前記四辺形内の前記画像の一部の画像処理を、前記モバイル・デバイスとリモート・サーバとの間で分散させることと
をさらに備える、Ｃ１に記載の方法。
［Ｃ２３］
前記画像処理の制約は、前記画像処理を実行するための前記モバイル・デバイスの能力を備える、Ｃ２２に記載の方法。
［Ｃ２４］
前記画像処理の制約は、少なくとも部分的に、前記モバイル・デバイスから前記リモート処理への送信チャネルを介して送信するためのデータ送信コストを備える、Ｃ２２に記載の方法。
［Ｃ２５］
前記画像処理の制約は、前記モバイル・デバイスから前記リモート処理への送信チャネルの能力を備える、Ｃ２２に記載の方法。
［Ｃ２６］
前記画像の一部の画像処理を分散させることは、
前記送信チャネルの能力が低いとの決定に応答して、画像クリップを備える画像データを送信することと、
前記送信チャネルの能力が中程度であるとの決定に応答して、部分的な画像処理の後に、前記画像クリップを備える画像データを送信することと、
前記送信チャネルの能力が高いとの決定に応答して、完全な画像処理の後、前記画像クリップを備える画像データを送信することと
をさらに備える、Ｃ２５に記載の方法。
［Ｃ２７］
前記四辺形内の前記画像の一部から得られた画像データを、リモート・サーバへと送信することと、
メディア・コンテンツのレポジトリとの前記画像データの任意のマッチについて、前記リモート・サーバからレポートを受信することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ２８］
任意のマッチについて、前記リモート・サーバから前記レポートを受信することは、
マッチが識別されなかったと決定することと、
前記リモート・サーバに送信するための追加の画像データを得るために、モバイル・デバイスのカメラから画像を受け取ることと、前記画像内に含まれた四辺形を検出することと、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことと、を繰り返すことと
をさらに備える、Ｃ２７に記載の方法。
［Ｃ２９］
任意のマッチについて、前記リモート・サーバから前記レポートを受信することは、
前記レポートから得られた複数のマッチが前記モバイル・デバイスのユーザ・インターフェースで提示するのに適したサイズを有することを決定することと、
前記レポートから得られ、前記ユーザ・インターフェースで提示された、メディア・コンテンツの一覧のうちの１つについて、ユーザ選択を受け取ることと
をさらに備える、Ｃ２７に記載の方法。
［Ｃ３０］
任意のマッチについて、前記リモート・サーバから前記レポートを受信することは、
前記レポートから得られた複数のマッチが前記モバイル・デバイスのユーザ・インターフェースで提示するのに適したサイズよりも大きなサイズを有することを決定することと、
それを受けて、追加の画像処理のために前記リモート・サーバに画像クリップを送信することと
をさらに備える、Ｃ２７に記載の方法。
［Ｃ３１］
マッチしたメディア・コンテンツを、前記モバイル・デバイスによって提示するために受信することをさらに備える、Ｃ１に記載の方法。
［Ｃ３２］
前記取り込まれたビジュアル・メディア・コンテンツによって識別されたポイントから、前記マッチしたメディア・コンテンツを提示することをさらに備える、Ｃ３１に記載の方法。
［Ｃ３３］
前記マッチしたメディア・コンテンツを、前記モバイル・デバイスのユーザ・インターフェース向けに再フォーマットすることをさらに備える、Ｃ３１に記載の方法。
［Ｃ３４］
前記マッチしたメディア・コンテンツの再フォーマットを促すために、前記モバイル・デバイスのユーザ・インターフェースのための識別子を送信することをさらに備える、Ｃ３１に記載の方法。
［Ｃ３５］
前記マッチしたメディア・コンテンツを提示するために、データ管理権をネゴシエートすることをさらに備える、Ｃ３１に記載の方法。
［Ｃ３６］
マイクロフォンによって取り込まれた音声を受け取ることと、
画像データをメディア・コンテンツのレポジトリとマッチングすることを支援するためにハッシュ・ルックアップ関数を使用することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ３７］
ビジュアル・メディア・コンテンツを識別するための少なくとも１つのプロセッサであって、
モバイル・デバイスのカメラから画像を受け取るための第１のモジュールと、
前記画像内に含まれた四辺形を検出するための第２のモジュールと、
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むための第３のモジュールと
を備える少なくとも１つのプロセッサ。
［Ｃ３８］
非一時的なコンピュータ読取可能な記憶媒体を備える、ビジュアル・メディア・コンテンツを識別するためのコンピュータ・プログラム製品であって、
前記非一時的なコンピュータ読取可能な記憶媒体は、
コンピュータに、モバイル・デバイスのカメラから画像を受け取らせるための第１のコードのセットと、
前記コンピュータに、前記画像内に含まれた四辺形を検出させるための第２のコードのセットと、
前記コンピュータに、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込ませるための第３のコードのセットと
を備える、コンピュータ・プログラム製品。
［Ｃ３９］
ビジュアル・メディア・コンテンツを識別するための装置であって、
モバイル・デバイスのカメラから画像を受け取るための手段と、
前記画像内に含まれた四辺形を検出するための手段と、
前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むための手段と
を備える装置。
［Ｃ４０］
ビジュアル・メディア・コンテンツを識別するための装置であって、
画像を生成するためのモバイル・デバイスのカメラと、
前記カメラから受け取った前記画像内に含まれた四辺形を検出し、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むためのコンピューティング・プラットフォームと
を備える装置。
［Ｃ４１］
前記コンピューティング・プラットフォームはさらに、テキスト認識を実行することによって、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むためのものである、Ｃ４０に記載の装置。
［Ｃ４２］
前記コンピューティング・プラットフォームはさらに、静的なビジュアル・メディア・コンテンツの画像認識を実行することによって、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むためのものである、Ｃ４０に記載の装置。
［Ｃ４３］
前記コンピューティング・プラットフォームはさらに、オブジェクトのコントラストに基づいて、前記画像内の有意の細部を識別する関心領域マップを作成することによって、前記画像内に含まれた四辺形を検出するためのものである、Ｃ４０に記載の装置。
［Ｃ４４］
前記コンピューティング・プラットフォームはさらに、前記画像のビューファインダ表示の一部に対するユーザ入力を受け取ることによって、前記画像内に含まれた四辺形を検出するためのものである、Ｃ４０に記載の装置。
［Ｃ４５］
前記コンピューティング・プラットフォームはさらに、連続する複数のフレームを受け取ることによって、前記モバイル・デバイスのカメラから前記画像を受け取るためのものであり、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことは、動的なビジュアル・メディア・コンテンツのビデオ画像認識を実行することをさらに備える、Ｃ４０に記載の装置。
［Ｃ４６］
前記コンピューティング・プラットフォームはさらに、前記連続する複数のフレーム間の差を決定することによって動きマップを作成することにより、前記画像内に含まれた四辺形を検出するためのものである、Ｃ４５に記載の装置。
［Ｃ４７］
前記コンピューティング・プラットフォームはさらに、
コーナー検出を実行し、
前記動きマップ内のコーナー点をプルーニングする
ためのものである、Ｃ４６に記載の装置。
［Ｃ４８］
前記コンピューティング・プラットフォームはさらに、関心領域マップを作成することによって前記画像内に含まれた四辺形を検出し、前記関心領域マップを含むように前記画像をトリミングするためのものである、Ｃ４０に記載の装置。
［Ｃ４９］
前記コンピューティング・プラットフォームはさらに、より高い照度を有する部分を検出することによって高輝度マップを作成することにより、前記画像内に含まれた四辺形を検出するためのものである、Ｃ４０に記載の装置。
［Ｃ５０］
前記コンピューティング・プラットフォームはさらに、
コーナー検出を実行することと、
コーナー点をクラスタリングすることと、
前記高輝度マップ内のコーナー点のクラスタをプルーニングすることと
によって、前記画像内に含まれた四辺形を検出するためのものである、Ｃ４９に記載の装置。
［Ｃ５１］
前記コンピューティング・プラットフォームはさらに、前記画像の一部についての焦点深度を検出することによって深度マップを作成することにより、前記画像内に含まれた四辺形を検出するためのものである、Ｃ４０に記載の装置。
［Ｃ５２］
前記コンピューティング・プラットフォームはさらに、長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するための認識基準を満たす、コーナー点の選択された４つのクラスタの四辺形の形状の候補を検出することによって、前記画像内に含まれた四辺形を検出するためのものである、Ｃ４０に記載の装置。
［Ｃ５３］
前記コンピューティング・プラットフォームはさらに、前記四辺形の形状が他の四辺形の形状の候補のすべてを含むのに十分な大きさかどうかを判定することによって、別の四辺形の大部分の面積を占める任意の四辺形の形状の候補をプルーニングすることにより、前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するためのものである、Ｃ５２に記載の装置。
［Ｃ５４］
前記コンピューティング・プラットフォームはさらに、前記長方形のディスプレイ・デバイスの境界を認識することによって、前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するためのものである、Ｃ５２に記載の装置。
［Ｃ５５］
前記コンピューティング・プラットフォームはさらに、向かい合った辺における前記境界の部分について、共通の境界の太さを検出することによって、前記長方形のディスプレイ・デバイスの境界を認識するためのものである、Ｃ５４に記載の装置。
［Ｃ５６］
前記コンピューティング・プラットフォームはさらに、前記長方形のディスプレイ・デバイスの一周の寸法のおよそ１０パーセントといったパーセンテージの太さを検出することによって、向かい合った辺における前記境界の部分について、前記共通の境界の太さを検出するためのものである、Ｃ５５に記載の装置。
［Ｃ５７］
前記コンピューティング・プラットフォームはさらに、共通する向かい合った辺における前記境界のかなりの部分について、共通の色を検出することによって、前記長方形のディスプレイ・デバイスの境界を認識するためのものである、Ｃ５４に記載の装置。
［Ｃ５８］
前記コンピューティング・プラットフォームはさらに、複数の画素のうちの少なくとも何割かが前記共通の色を有することを検出することによって、共通する向かい合った辺における前記境界のかなりの部分について、前記共通の色を検出するためのものである、Ｃ５７に記載の装置。
［Ｃ５９］
前記コンピューティング・プラットフォームはさらに、前記四辺形の形状の候補が、
凸形でないことと、
すべての内角が１１０度より大きいことと、
前記画像のかなりの部分を占める面積を有することと、
標準的な映像アスペクト比に近似するアスペクト比を有することと、
略同一の角度の２つの隣り合う角を有することと
を含む１つ以上の基準を満たすこと、を決定することによって、前記長方形のディスプレイ・デバイスのパースペクティブ・ビューを識別するためのものである、Ｃ５２に記載の装置。
［Ｃ６０］
前記コンピューティング・プラットフォームはさらに、選択された四辺形内の前記画像の一部に対して、ヒストグラム分析と、エッジ検出と、スケール不変特徴変換とを実行し、対応するメディア・コンテンツを識別するためのものである、Ｃ４０に記載の装置。
［Ｃ６１］
前記コンピューティング・プラットフォームはさらに、画像処理の制約を決定し、前記画像処理の制約に応答して、前記四辺形内の前記画像の一部の画像処理を、前記モバイル・デバイスとリモート・サーバとの間で分散させるためのものである、Ｃ４０に記載の装置。
［Ｃ６２］
前記画像処理の制約は、前記画像処理を実行するための前記モバイル・デバイスの能力を備える、Ｃ６１に記載の装置。
［Ｃ６３］
前記画像処理の制約は、少なくとも部分的に、前記モバイル・デバイスから前記リモート処理への送信チャネルを介して送信するためのデータ送信コストを備える、Ｃ６１に記載の装置。
［Ｃ６４］
前記画像処理の制約は、前記モバイル・デバイスから前記リモート処理への送信チャネルの能力を備える、Ｃ６１に記載の装置。
［Ｃ６５］
送信機がさらに、
前記送信チャネルの能力が低いとの決定に応答して、画像クリップを備える画像データを送信し、
前記送信チャネルの能力が中程度であるとの決定に応答して、部分的な画像処理の後に、前記画像クリップを備える画像データを送信し、
前記送信チャネルの能力が高いとの決定に応答して、完全な画像処理の後、前記画像クリップを備える画像データを送信する
ためのものである、Ｃ６４に記載の装置。
［Ｃ６６］
前記四辺形内の前記画像の一部から得られた画像データを、リモート・サーバへと送信するための送信機と
メディア・コンテンツのレポジトリとの前記画像データの任意のマッチについて、前記リモート・サーバからレポートを受信するための受信機と
をさらに備える、Ｃ４０に記載の装置。
［Ｃ６７］
前記コンピューティング・プラットフォームはさらに、
マッチが識別されなかったと決定することと
前記リモート・サーバに送信するための追加の画像データを得るために、モバイル・デバイスのカメラから画像を受け取ることと、前記画像内に含まれた四辺形を検出することと、前記四辺形内に含まれたビジュアル・メディア・コンテンツを、前記ビジュアル・メディア・コンテンツを識別するために取り込むことと、を繰り返すことと
によって、任意のマッチについて、前記リモート・サーバから前記レポートを受信する前記受信機に応答するためのものである、Ｃ６６に記載の装置。
［Ｃ６８］
前記コンピューティング・プラットフォームはさらに、
前記レポートから得られた複数のマッチが前記モバイル・デバイスのユーザ・インターフェースで提示するのに適したサイズを有することを決定することと、
前記レポートから得られ、前記ユーザ・インターフェースで提示された、メディア・コンテンツの一覧のうちの１つについて、ユーザ選択を受け取ることと
によって、任意のマッチについて、前記リモート・サーバから前記レポートを受信する前記受信機に応答するためのものである、Ｃ６６に記載の装置。
［Ｃ６９］
前記コンピューティング・プラットフォームはさらに、
前記レポートから得られた複数のマッチが前記モバイル・デバイスのユーザ・インターフェースで提示するのに適したサイズよりも大きなサイズを有することを決定することと、
それを受けて、追加の画像処理のために前記リモート・サーバに画像クリップを送信することと
によって、任意のマッチについて、前記リモート・サーバから前記レポートを受信する前記受信機に応答するためのものである、Ｃ６７に記載の装置。
［Ｃ７０］
前記受信機はさらに、マッチしたメディア・コンテンツを、前記モバイル・デバイスによって提示するために受信するためのものである、Ｃ６０に記載の装置。
［Ｃ７１］
前記コンピューティング・プラットフォームはさらに、前記取り込まれたビジュアル・メディア・コンテンツによって識別されたポイントから、前記マッチしたメディア・コンテンツを提示するためのものである、Ｃ７０に記載の装置。
［Ｃ７２］
前記コンピューティング・プラットフォームはさらに、前記マッチしたメディア・コンテンツを、前記モバイル・デバイスのユーザ・インターフェース向けに再フォーマットするためのものである、Ｃ７０に記載の装置。
［Ｃ７３］
前記送信機はさらに、前記マッチしたメディア・コンテンツの再フォーマットを促すために、前記モバイル・デバイスのユーザ・インターフェースのための識別子を送信するためのものである、Ｃ７０に記載の装置。
［Ｃ７４］
前記コンピューティング・プラットフォームはさらに、前記マッチしたメディア・コンテンツを提示するために、前記送信機および受信機を介してデータ管理権をネゴシエートするためのものである、Ｃ７０に記載の装置。
［Ｃ７５］
音声を取り込むためのマイクロフォンをさらに備え、
前記コンピュータ・プラットフォームはさらに、画像データをメディア・コンテンツのレポジトリとマッチングすることを支援するためにハッシュ・ルックアップ関数を使用するためのものである、
Ｃ６０に記載の装置。
［Ｃ７６］
モバイル通信デバイスのカメラを使用してデジタル画像を取り込むことと、
前記モバイル通信デバイスと、前記モバイル通信デバイスからリモート・ネットワークワークまでの無線インターフェースと、ネットワーク・サーバとのうちの少なくとも１つの能力の制約を決定することと、
前記デジタル画像の画像処理を、前記能力の制約に基づいて、前記モバイル通信デバイスと前記ネットワーク・サーバとの間で分散させることと、
画像認識の結果を受信することと
を備える方法。
［Ｃ７７］
前記能力の制約を決定することは、前記無線インターフェースのデータ送信能力を決定することをさらに備える、Ｃ７６に記載の方法。
［Ｃ７８］
前記能力の制約を決定することは、前記モバイル通信デバイスの画像処理能力を決定することをさらに備える、Ｃ７６に記載の方法。
［Ｃ７９］
前記デジタル画像の画像処理を、前記能力の制約に基づいて、前記モバイル通信デバイスと前記ネットワーク・サーバとの間で分散させることは、ローカル処理と、分担処理と、リモート処理とのうちの１つを選択することをさらに備える、Ｃ７６に記載の方法。
【国際調査報告】
2013535752.tif 000017
2013535752.tif 000018
2013535752.tif 000019
2013535752.tif 000020
2013535752.tif 000021