(57)【要約】携帯電話等の携帯端末がテレビジョン又はパーソナルコンピュータ等の電子機器を離れた場所から制御するために用いられる。設定段階において、携帯端末は電子機器の画像を取り込み、画像のスケール不変特徴量を識別して格納する。例えばバーチャルキーパッドの構成のようなユーザーインターフェースの構成と通信プロトコルを格納されたデータと関連付けることができる。その後、実装段階において、電子機器のもう１つの画像が取り込まれ、ライブラリ内の格納された特徴と比較され、一致が識別される。これに応答して、関連付けられたユーザーインターフェース及び通信プロトコルが電子機器を制御するために実装される。ポーリング及び応答処理において、携帯端末は電子機器のディスプレイの写真を取り込み、電子機器によって送信された画像データを比較する。
2012529866.tif 000002
【特許請求の範囲】
【請求項１】
無線信号によって通信を行うハンドヘルド携帯端末であって、
画像センサー（９２４）と、
ユーザーインターフェース（９１８）と、
プロセッサー可読コードを格納するメモリ（９１０）と、
プロセッサー可読コードを実行する少なくとも１つのプロセッサー（９１２）とを含み、
前記少なくとも１つのプロセッサーは、画像センサーを使用して電子機器の少なくとも第１の画像を第１回目に取り込み、前記少なくとも第１の画像に基づく第１のデータを前記メモリに格納し、前記画像センサーを使用して前記電子機器の少なくとも第２の画像を前記第１回目の後の第２回目に取り込み、前記少なくとも第２の画像に基づいて第２のデータを提供し、前記第１のデータが前記第２のデータに一致するか否かを判定し、前記第１のデータが前記第２のデータと一致する場合、前記ユーザーインターフェースを前記電子機器とともに用いるように構成することを特徴とするハンドヘルド携帯端末。
【請求項２】
前記第１のデータは、前記少なくとも第１の画像のスケール不変特徴量を識別し、前記第２のデータは、前記少なくとも第２の画像のスケール不変特徴量を識別し、前記少なくとも１つのプロセッサーは、前記少なくとも第１の画像の前記スケール不変特徴量と前記少なくとも第２の画像の前記スケール不変特徴量の間の相関が既定の閾値より大きいか否かを判定することを特徴とする請求項１に記載のハンドヘルド携帯端末。
【請求項３】
前記ユーザーインターフェースを構成するために、前記少なくとも１つのプロセッサーは、前記ユーザーインターフェースの構成を前記少なくとも第１の画像に関連付ける、前記メモリ内のデータにアクセスすることを特徴とする請求項１に記載のハンドヘルド携帯端末。
【請求項４】
前記少なくとも１つのプロセッサーは、前記ユーザーインターフェースを介して前記電子機器のタイプを識別するユーザーコマンドを受け取り、当該識別された電子機器のタイプに基づいて前記ユーザーインターフェースを構成することを特徴とする請求項１に記載のハンドヘルド携帯端末。
【請求項５】
前記識別されたタイプは、テレビジョン及びパーソナルコンピュータの内の少なくとも１つであることを特徴とする請求項４に記載のハンドヘルド携帯端末。
【請求項６】
前記画像センサーは、可視光線を検出するカメラであることを特徴とする請求項１に記載のハンドヘルド携帯端末。
【請求項７】
前記ユーザーインターフェースを構成するために、前記少なくとも１つのプロセッサーは、ユーザーが前記電子機器を制御することを可能にするボタンを表示するタッチスクリーンを提供することを特徴とする請求項１に記載のハンドヘルド携帯端末。
【請求項８】
前記ユーザーインターフェースが前記電子機器とともに用いられるように構成された後に、前記少なくとも１つのプロセッサーは、前記携帯端末を起動して、前記電子機器の表示装置に表示されるべき情報を含む無線信号を前記電子機器に送信することを特徴とする請求項１に記載のハンドヘルド携帯端末。
【請求項９】
前記少なくとも１つのプロセッサーが前記携帯端末を起動して前記無線信号を送信することは、前記携帯端末に着信する電話に応答して行われ、前記表示装置に表示されるべき前記情報は、前記着信する電話に関することを特徴とする請求項８に記載のハンドヘルド携帯端末。
【請求項１０】
前記表示装置に表示されるべき前記情報は、前記ユーザーインターフェースに表示された情報をミラーリングしたものである請求項８に記載のハンドヘルド携帯端末。
【請求項１１】
少なくとも１つのセンサーを更に含み、前記少なくとも１つのセンサーは、前期携帯端末が撮影方向にあるときにそれを示し、前記少なくとも１つのプロセッサーは、前記少なくとも１つのセンサーに応じて前記携帯端末を起動して前記無線信号を送信することを特徴とする請求項８に記載のハンドヘルド携帯端末
【請求項１２】
無線信号によって通信する携帯端末を構成するためのプロセッサー実装方法であって、
画像センサー（９２４）を用いて電子機器の少なくとも第１の画像を第１回目に取り込むステップ（７１４）と、
前記少なくとも第１の画像に基づいた第１のデータを格納するステップ（７１８）と、
前記画像センサーを用いて前記電子機器の少なくとも第２の画像を前記第１回目の後の第２回目に取り込むステップ（７３２）と、
前記少なくとも第２の画像に基づいた第２のデータを提供するステップ（７３４）と、
前記第１のデータが前記第２のデータに一致するか否かを判定するステップ（７３６）と、
前記第１のデータが前記第２のデータに一致した場合、前記電子機器とともに用いるようにユーザーインターフェースを構成するステップ（７４２）と
を含むことを特徴とする方法。
【請求項１３】
前記第１のデータが前記少なくとも第１の画像のスケール不変特徴量を識別し、前記第２のデータが前記少なくとも第２の画像のスケール不変特徴量を識別し、前記識別は、前記少なくとも第１の画像の前記スケール不変特徴量と前記少なくとも第２の画像の前記スケール不変特徴量の相関が既定の閾値より大きいか否かを判定するステップを含むことを特徴とする請求項１２に記載されたプロセッサー実装方法。
【請求項１４】
ユーザーが前記電子機器を制御することを可能にするボタンを表示するタッチスクリーンを提供するように前記ユーザーインターフェースを構成することによって、前記ユーザーインターフェースを前記電子機器とともに用いるように構成することを特徴とする請求項１２に記載されたプロセッサー実装方法。
【請求項１５】
前記ユーザーインターフェースが前記電子機器とともに用いるように構成された後に、前記携帯端末を起動して、前記電子機器の表示装置に表示されるべき情報を含む無線信号を前記電子機器に送信するステップを更に含むことを特徴とする請求項１２に記載されたプロセッサー実装方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作モードを自動的に決定する携帯端末に関する。
【背景技術】
【０００２】
携帯電話等の移動通信装置は、社会上普遍的なものになっている。音声通信及びＷｅｂブラウジング等の他のデータ通信を、国際携帯通信システム（Global System for Mobile communication：ＧＳＭ）ネットワーク等の携帯電話ネットワークによって提供することができる。更に、携帯端末は通常、他のアプリケーションのための多数の内蔵コンポーネントを有している。例えば、内蔵カメラにより静止画及びビデオ画像を取り込むことが可能である。赤外線送信機を用いてパーソナルデジタルアシスタント（ＰＤＡ）、ノートパソコン、又はＰＯＳ端末との間でデータを転送することが可能である。高周波送信機及び受信機によりＷｉ−Ｆｉ（登録商標）ネットワーク等の無線ローカルエリアネットワーク（ＷＬＡＮｓ）やブルートゥ−ス（登録商標）ネットワーク等のパーソナルローカルエリアネットワーク上での無線通信が可能である。更に、近年、携帯端末がテレビジョン又はゲーム機のためのハンドヘルドリモートコントロールとして動作可能にするアプリケーションが開発されている。従って、携帯端末は、種々のモードで動作可能である。しかしながら、ユーザーには、その時点の状況を認識して適切なモードで動作するように携帯端末を構成しなければならないという負担がある。
【発明の概要】
【０００３】
携帯端末を構成するためのプロセッサー実装方法に加え、無線信号により通信を行う携帯端末が提供されており、携帯端末はその環境を視覚的に検出することにより動作モードを自動的に決定する。携帯端末は、無線信号を用いて通信を行う携帯電話、Ｗｅｂ使用スマートフォン、パーソナルデジタルアシスタント、パームトップコンピュータ、ノートパソコン、または同様の装置等のハンドヘルド携帯端末とすることができる。携帯端末は、携帯端末内のカメラを用いてテレビジョン又はパーソナルコンピュータ（ＰＣ）等の電子機器を制御するために使用することができる。特に、ユーザーは、携帯端末の設定モードを入力することができる。設定モードでは、電子機器及び周囲の領域の画像が取り込まれ、格納される。携帯端末は、画像をユーザーインターフェースの構成及び／又は電子機器を制御するための通信プロトコルと関連付ける。例えば、ユーザーインターフェースの構成は、携帯端末の画面上のソフトキーの配置とすることができる。通信プロトコルは、携帯端末が例えば電子機器上に表示される内容を選択することにより電子機器を制御するために電子機器に送信するコマンドを含むことができる。
【０００４】
一旦携帯端末の設定が行われると、後でユーザーが再び電子機器を制御しようとしたときに、携帯端末が自動的にそれ自身を構成する。カメラを起動して周囲の領域の画像を取り込み、予め格納された画像データと一致するか否かを判定するために、画像を処理することも可能である。この起動は、携帯端末が撮影方向にあることを示す物理的センサーに基づいて自動的に行うことが可能である。携帯端末が以前と同じ周囲の環境にあることを認識した場合、携帯端末は周囲の環境と関連していた電子機器を制御するようにそれ自身を自動的に構成する。また、携帯端末がポーリング及び応答処理状態にある電子機器それ自身から電子機器を制御するための情報を得ることも可能である。
【０００５】
一実施形態において、ハンドヘルド携帯端末は、画像センサーと、ユーザーインターフェース（ＵＩ）と、プロセッサー可読コードを格納するメモリと、プロセッサー可読コードを実行するプロセッサーとを含んでいる。プロセッサーは、電子機器を制御するように携帯端末を構成する。より詳しくは、プロセッサーは、画像センサーを用いて電子機器の第１の画像を一回目に取り込み、第１の画像に基づく第１のデータをメモリに格納し、画像センサーを用いて電子機器の第２の画像を２回目に取り込む。プロセッサーはまた、第２の画像に基づいた第２のデータを提供し、第１のデータが第２のデータと一致するか否かを判定し、第１のデータが第２のデータと一致する場合、ユーザーインターフェースを電子機器とともに用いるように構成する。
【０００６】
この概要は、以下の部分で更に記述される概念の１つの選択を簡略化したかたちで導入するために設けられたものである。この概要は請求項に記載された主題の主要な特徴又は必須の特徴を特定することを意図したものではなく、また請求項に記載された主題の範囲を限定するために用いられることを意図したものでもない。
【図面の簡単な説明】
【０００７】
【図１ａ】携帯端末のタッチ感知スキンを示す図である。
【図１ｂ】無線信号によって異なる電子機器と通信している携帯端末を示す図である。
【図２ａ】携帯端末により取り込まれた表示装置を有する電子機器の画像を示す図である。
【図２ｂ】携帯端末の第１の撮影方向判定基準を示す図である。
【図２ｃ】携帯端末の第２の撮影方向判定基準を示す図である。
【図２ｄ】携帯端末が撮影方向にあるときに携帯端末のポーリング処理を自動的に起動させる過程を示す図である。
【図２ｅ】複数の電子機器と付随した表示装置とを含む設定を携帯端末によって取り込んだ画像を示す図である。
【図２ｆ】電子機器から送信された画像データと携帯端末のカメラで取り込んだ画像データとの比較を示す図である。
【図３ａ】携帯電話として使用するように構成されたタッチスクリーンユーザーインターフェースを有する携帯端末を示す図である。
【図３ｂ】ＴＶリモートコントロールとして使用するように構成されたタッチスクリーンユーザーインターフェースを有する携帯端末を示す図である。
【図３ｃ】パーソナルコンピュータ（ＰＣ）リモートコントロールとして使用するように構成されたタッチスクリーンユーザーインターフェースを有する携帯端末を示す図である。
【図４ａ】携帯端末が携帯端末によって取り込まれた電子機器の画像を電子機器によって送出された画像データと比較することによってそれ自身を電子機器とともに用いるように自動的に構成する方法を示す図である。
【図４ｂ】携帯端末からの無線信号の受信に応答して電子機器の表示装置に表示された所定の画像を示す図である。
【図４ｃ】携帯端末により取り込んだ複数の電子機器の画像を電子機器により送信された画像データと比較し、複数の電子機器の中から最良の一致を選択することによって携帯端末をそれ自身を電子機器とともに使用するように自動的に構成する方法を示す図である。
【図５】携帯端末のユーザーインターフェースが電子機器とともに使用するように構成された後に、携帯端末が電子機器を制御する方法を示す図である。
【図６ａ】携帯端末が電子機器の表示装置に提供される同期画像を検出する方法を示す図である。
【図６ｂ】電子機器の表示装置に提供される同期画像を検出することによって携帯端末が自動的にそれ自身を電子機器とともに用いるように構成する方法を示す図である。
【図７ａ】異なる遠近法及び距離でとらえた設定の携帯端末により取り込まれた画像を示す図であり、かかる設定は電子機器示の表示装置を含んでいる。
【図７ｂ】携帯端末を、電子機器を含む設定の画像を取り込み、その画像を異なる遠近法及び距離で捉えた設定の予め取り込んだ画像と比較することにより自動的にそれ自身を電子機器とともに用いるように構成する方法の設定段階を示す図である。
【図７ｃ】図７ｂの方法の設定段階に続く実装段階を示す図である。
【図７ｄ】図７ｂの方法の設定相において電子機器の画像を取り込むように構成されたタッチスクリーンユーザーインターフェースを有する携帯端末を示す図である。
【図７ｅ】画像のスケール不変特徴量を決定する過程を示す図である。
【図７ｆ】スケール不変の特徴に基づいて画像を照合する処理の第１の部分を示す図である。
【図７ｇ】スケール不変の特徴に基づいて画像を照合する処理の第２の部分を示す図である。
【図８ａ】携帯端末が電子機器とともに用いるために自動的に構成された後に携帯端末のユーザーインターフェースを複製するために情報を表示している電子機器を示す図である。
【図８ｂ】携帯端末が電子機器とともに用いるために自動的に構成された後に電子機器が発信者のコンタクト情報を携帯端末に表示する方法を示す図である。
【図８ｃ】携帯端末が電子機器とともに用いるために自動的に構成された後に電子機器が携帯端末のユーザーインターフェースを複製する方法を示す図である。
【図９ａ】携帯端末のブロック図の一例を示す図である。
【図９ｂ】携帯端末ネットワークの一例を示す図である。
【図１０】テレビジョンのブロック図の一例を示す図である。
【図１１】パーソナルコンピュータ（ＰＣ）のブロック図の一例を示す図である。
【図１２】種々の実施形態を実施化するために適当なコンピュータハードウエアのブロックの一例を示す図である。
【発明を実施するための形態】
【０００８】
無線信号により通信する携帯端末が提供されており、携帯端末はかかる携帯端末を構成するためのプロセッサー実装方法に加えて、視覚的にその環境を検出することによって自動的に動作モードを決定する。従来、ユーザーには携帯端末が特定のモードで動作するように構成する負担があった。構成するための処理は、時間がかかり、困難なものであり、多くの場合ユーザーの能力を超える可能性があった。更に、携帯端末が異なるモード間で切替わる必要があるときに、繰り返して構成を変更する負担があった。例えば、ユーザーは、携帯端末をテレビジョンのリモートコントロールとして操作したいと思う可能性がある。この操作は、ユーザーが携帯端末上の一連のキーを操作し、それによって適切なテレビジョンリモートコントロールアプリケーションを開始することによって実現することができる。もし、次にユーザーが携帯端末をパーソナルコンピュータのリモートコントロールとして操作したいと思ったときには、携帯端末上の他の一連のキーを操作して適切なＰＣリモートコントロールアプリケーションを開始することが必要である。更に、どちらの場合にもユーザーがテレビジョンモード、ＰＣモード、オペレーティングシステム及びＰＣ上で動作しているアプリケーションを識別するために携帯端末上の一連のキーを押下する追加的な設定の必要が生じる可能性がある。
【０００９】
場合によっては、ＰＣがテレビジョンに画像信号を提供する等のようにテレビジョンとＰＣが接続される。携帯端末は例えば、テレビジョンのハードウエアによって実装されている音声及び色の設定を調節するためにテレビジョンをＴＶモードに設定しなければならず、さらに、例えばＰＣを制御してテレビジョン上の映画等のビデオを再生し、ｗｅｂページを表示し、又は写真編集アプリケーション内のデジタル写真を再生するメディアセンターアプリケーションを動作させるＰＣモードに設定しなければならない。このような場合に、携帯端末が異なる制御モード間で両方向に切り換えできることが必要である。携帯端末のキー又は他の制御入力を手動で広範囲に調整することが必要である。
【００１０】
従って、ユーザーが制御しようとする電子機器を携帯端末が自動的に認識し、電子機器を制御するようにユーザーインターフェースの設定を構成することによるように、それ自身をその状況のために構成する技術を提供することが好ましい。
【００１１】
本明細書で提供される技術は状況認識（Context recognition）に関している。状況認識は、多くの異なる面を有している。一般的に、携帯端末内の物理的センサーを種々のタイプの情報を判定するために用いることができる。例えば、携帯端末のユーザーインターフェース（ＵＩ）の表示が最も使用し易くなるように垂直又は水平になるように携帯端末の方向を決定することができる。他のセンサーが携帯端末の位置を判定し、その位置に合うように携帯端末の構成を変更することができる。例えば、携帯端末は、それがユーザーの家にあるか又は仕事場にあるかを判定し、その設定と機能を変化させることができる。例えば、携帯端末がユーザーの家又はリビングルーム等の家の特定の部屋にあることを位置センサー（例えば、ＧＰＳ、ＧＳＭ及び／又はＷｉ−Ｆｉ（登録商標）ネットワークセンサー）が示すとき、携帯端末はそれが取り上げられたときにテレビのリモートコントロールになるようにその機能を変更することができる。携帯端末は検出ゲーム機からの赤外線信号を検出するアクティブな赤外線センサーを有していても良く、かかるセンサーにより携帯端末を自動的に「ゲームモード」にしてテレビジョン上でビデオゲームを行うことができる。携帯端末は、電話の着信を受けて再び電話モードに切り替わるまでそのモードに留まることができる。同様に、携帯端末が戸外で持ち上げられたとき、携帯端末はその機能を変化させて電話モードに入ることができる。ユーザーはまた、例えば電話、テレビジョンリモートコントロール、及びゲーム制御装置モード等の異なるモード間で切り換えるために携帯端末の機能を手動で変化させる能力を持つ必要がある。
【００１２】
携帯端末は、携帯端末がセンサー入力に基づいてモードを変化させるようにする、意図に基づいたモード切り換えを有することが可能である。例えば、携帯端末は、着信を受けたとき鳴り出し、動きセンサーによる決定に基づいて、持ち上げられたときに自動的に鳴り止む携帯電話として動作することができる。他の例としては、着信がないときのアイドル状態時に携帯端末が持ち上げられた場合、ユーザーが電話をかけようとしていると決定し、直ちに電話をかけるモードにすることができる。別なアプローチにおいて、携帯端末は、携帯端末の周囲や他の位置にある多数の別々のセンサー等のセンサー又は携帯端末に接触する手の全体の容量性のイメージを提供することが可能な、携帯端末の両側や背面にわたるタッチ感知スキンを有している。タッチ感知スキンは、携帯端末が左手に対して右手で握られているか否かを判定する等のように、それがどのように握られているかを検出し、表示方向及び／又はそれに応じた電話をかける方法等の特性を変化させることを可能にするものである。タッチ感知スキンはまた、ユーザーが携帯端末を写真撮影の方向で保持しているか否かを判定し、本明細書で記述された対応する動作を行うためにも用いることができる。下記の図１ａを参照されたい。
【００１３】
一般的に言えば、携帯端末はユーザーが携帯端末に非機能的な相互作用的操作を行ったか、又は意図された使用の相互作用的操作を行ったかを判定することができる。非機能的な相互作用的操作とは、携帯端末に設計された機能を用いることに関係しない相互作用的操作である。その一例は、携帯端末をテーブルから持ち上げることである。これとは対象的に、意図された使用の相互作用的操作はユーザーが携帯端末の機能を用いるために相互作用的操作を行うときに生じるものである。その一例は、写真撮影のために携帯端末のカメラを用いるために、携帯端末を写真撮影のための方向で保持することである。他の例は、電話の会話をするために携帯端末を耳のところで保持することである。これらの相互作用的操作は、ユーザーによる携帯端末の握り方を例えば光センサー、近接センサー及び／又は加速度センサー等の他のセンサーを使用することに加えて、携帯端末の回りのタッチ／グリップセンサーを使用することによって解釈することによって検出することができる。例えば、携帯端末がユーザーの耳のところで保持されるとき、グリップセンサーが対応する握りを検出し、光センサーが光線の減少を検出し、近接センサーがユーザーの頭の接近を検出し、加速度センサーが対応する方向を検出することができる。従って、携帯端末は適切なセンサーを用いてそれが保持されていること、保持のされ方を検出し、携帯端末の対応する機能を識別して起動することができる。
【００１４】
また、幾何学的配置や印加された圧力等の判定基準に基づいて特定のユーザーの手の固有の特性を識別することも可能である。この情報は、どのユーザーが現在携帯端末を使用しているかを特定し、多くの可能性の中から、携帯端末をロックし又はロック解除すること、又はユーザーインターフェースを高齢のユーザーのためにユーザーインターフェース表示上でより大きな数字と記号を使用するように変更すること等の機能を実行するために用いることができる。
【００１５】
他の例としては、携帯端末が投影されたキーボードにより大きな表示を有している場合、携帯端末が手の指の位置を検出し、手の位置に対して合うようにレイアウトを移動させることによって投影されたキーボードをタイピングのために最も都合良く位置させることが可能である。
【００１６】
他の可能なアプローチは、携帯端末がポケット、引出し、財布又は他の入れ物の中に入っているかどうかをセンサーを使用して検出することである。これは温度検出及び／又は光検出によって行うことが可能である。携帯端末が入れ物の中にあると判断した場合には、携帯端末は鳴動を開始し、短時間の内に鳴動トーンを増大する変更及び／又は異なる周波数への変更を始め、ユーザーが携帯端末を取り上げるまでこれを継続することができる。また、光センサーを用いて室内又は建物外の周囲の光を検出し、携帯端末のユーザーインターフェースの表示の輝度又はコントラストの設定を変化させて最良の視認品質を与えるようにすることもできる。
【００１７】
図１ａは、携帯端末のタッチ感知スキンを示している。タッチセンサーは、抵抗性、容量性、表面波、赤外線、歪みゲージ、光学撮像、分散型イメージング技術、音響パルス認識技術によって動作することができる。例えば、米国特許出願公開公報第２００７０２２０４２７号をここに引用して明細書に組み入れるが、電子装置のための適応型スキンカバーについて既述しており、参照されたい。また、Rosenberg他による「IMPAD−An Inexpensive Multi−Touch Pressure Acquisition Device」Proceedings of the 27th international Conference on Human Factors in Computing Systems, pp.3217-3222,April 4-9, 2009」をここに引用して明細書に組み入れるので、参照されたい。他によって記述されたような携帯端末のタッチ感知スキンは、携帯装置に取り付けるように容易に縮小できる紙のように薄い柔軟性の圧力計測装置を使用している。これらの装置は、複数の指先、ペン又は鉛筆の先、及び他の物体を検出し、区別できるだけの充分高い解像度をもって変化する圧力レベルを検出することができる。一例としてのタッチ感知スキンは、原理的に５つの層を有している。第１及び第５の層は、外部電子装置とのインターフェースを与える平行ワイヤーを有する外側の層である。一例となるワイヤー１２０は、第１の層内にあり、一例となるワイヤー１２４は第５の層内にある。これらのワイヤーは、層内で互いに平行であり、層１内のワイヤーは、層５上の平行ワイヤーの方向に直交する方向に伸びている。第２の層１２１及び第４の層１２３は、隣接するワイヤー間で微小な電流が流れることを許す抵抗性の材料を含み、装置の双線形的性質を与えている。第３の（中間）層１２２は、圧縮されたときに電気抵抗が減少する材料を含み、外部の力を検出することが可能である。
【００１８】
動作中において、層１に沿った１時点の１つのワイヤーが正電圧に接続される一方、他の全てのワイヤーは接地にセットされる。次に、層５上のワイヤー各々の電圧が層５上の他のワイヤーが接地に設定されている間に１つずつ測定される。この測定は、行及び列のワイヤー間の交差点の各々について電圧測定値が得られるまで継続される。走査速度を増加させるためには奇数番号のワイヤーから同時に電圧を読取り、その後に全ての偶数番号のワイヤーから同時に電圧を読取るようにすることも可能である。この結果、走査速度がセンサーの最上層上のワイヤーの数に応じて直線的に増加することになる。
【００１９】
外部の圧力がセンサーに印加されたときには、層１から層５へ電流が流れる経路が生成される。電流は層２に沿って流れ、次に層３内の接点を通過し、続いて層４に沿って流れ、最後に層５内の電極を通過する。その結果、交点で得られる電圧は、接点の交点からの近さとその点に印加された圧力に依存する電流経路の抵抗に応じたものとなる。
【００２０】
実験によって特定の意図した使用の相互作用的操作に関連した携帯端末のタッチ感知スキンのタッチパターンを明らかにすることができる。
【００２１】
図１ｂは、無線信号によって異なる電子機器と通信する携帯端末を示している。ユーザーの家の部屋などの設定１０２において、携帯端末１００からの無線信号によって制御することが可能な多数の電子機器が存在する可能性がある。かかる電子機器の例には表示装置又は画面１０５を有するテレビジョン１０４、テレビジョン１０４と通信することが可能なゲーム機１０６、表示装置１０９を有するノートパソコン１０８、表示装置１１１を有するモニター１１０を含むＰＣ１１２が含まれる。電子機器の他の例は、テレビジョン１０４と通信するセットトップボックスである。
【００２２】
携帯端末１００は典型的に、携帯電話としての能力を含むものであるが、現在Ｗｉ−Ｆｉ、ブルートゥース、及びＩｒＤＡ（Infrared Data Association）（登録商標）等の他の通信技術もまた多くの携帯端末に内蔵されており、音声及び他のデータ通信が可能である。一般的に携帯端末は、携帯電話（Ｗｅｂ動作可能なスマートフォンを含む）、パーソナルデジタルアシスタント（ＰＤＡ）／パームトップコンピュータ、携帯メディアプレーヤ（例えば、マイクロソフトＺＵＮＥ（登録商標）、アップルＩＰＯＤ（登録商標））、ネットブックなどのノートパソコン、タブレットコンピュータ、及び他の装置を含めることができる。携帯電話としての能力は、本命所で記述された自動的な構成を実行するためには必ずしも必要とされない。
【００２３】
電子機器は、携帯端末と互換性のある対応した無線送信及び受信コンポーネントを含む。かかるコンポーネントは、電子機器に組み込まれるが又は周辺機器として接続される。テレビジョン１０４に関して、あるテレビジョンはＷｉ−Ｆｉ機能が内蔵されており、コンテンツを例えばホームネットワークを介してテレビジョンに無線でストリーミングすることができる。Ｗｉ−Ｆｉは、ＩＥＥＥ８０２.１１規格に基づいた製品を認証するためのＷｉ−Ｆｉアライアンス（登録商標）の認証であり、異なる無線装置間での相互動作を保障するものである。Ｗｉ−Ｆｉは、無線ローカルエリアネットワーク（ＷＬＡＮ）の１つのタイプである。テレビジョンによって用いられる他の無線技術にはＷｉＭＡＸ（登録商標）、Ｗｉメディア規格に基づいたウルトラワイドバンド（ＵＷＢ）、ＷＨＤＩスペシャルインタレストグループ（WHDI Special Interest Group）の無線ホームデジタルインターフェース（ＷＨＤＩ）（登録商標）、ワイヤレスＨＤ（登録商標）コンソーシアムのワイヤレスＨＤ（登録商標）、モンスターケーブルプロダクト（Monster Cable Products, Inc.）（登録商標）、及びシグマデザイン（Sigma Designs, Inc.）（登録商標）からのワイヤレスデジタルエキスプレスＨＤ等がある。これらの無線技術は、提供され得るＲＦ無線通信の例である。通常、ノートパソコン及びＰＣは、内蔵Ｗｉ−Ｆｉ能力を有しているか又はＷｉ−Ｆｉカードを受け付ける。更に、携帯端末１００、及び電子機器１０４、１０６、１０８、並びに１１２の何れかとの間の通信を提供するために赤外線信号を用いることも可能である。また、電子機器が互いに無線で通信することも可能である。
【００２４】
Ｗｉ−Ｆｉ能力を追加するテレビジョンの周辺機器の例としては、スリングメディア社（登録商標）からのスリングボックス（Slingbox（登録商標））、アップル社（登録商標）からのＡｐｐｌｅＴＶ（登録商標）、及びメディアゲートＵＳＡ社（登録商標）からのメディアゲートネットワークマルチメディアセンターが含まれる。
【００２５】
場合によっては、電子機器はお互い及び携帯端末に充分近く、複数の電子機器が携帯端末からの無線信号を受信する。他の場合には、１つの電子機器のみが携帯端末からの無線信号を受信する。更に、電子機器はお互い及び携帯端末に充分近く、カメラ又は携帯端末の他の画像センサーは画像又は複数の電子機器からの光線信号を同時に取り込む。他の場合には、一時に１つの電子機器のみがカメラ又は携帯端末の他の画像センサーによって検出される。電子機器を識別するための携帯端末によるカメラ又は他の画像センサーの使用については以下に記述する。
【００２６】
図２ａは、携帯端末により取り込まれた表示装置を有する電子機器を含む設定の画像示している。多くの携帯端末は、ＣＭＯＳマルチメガ画素画像センサーを用いて可視光線を検出し、静止画又はビデオディジタル画像を取り込んで、デジタル画像をＪＰＧ、ＧＩＦ、ＰＮＧ又は他のフォーマットで格納する内蔵カメラを有している。携帯端末のカメラによって取り込まれた１以上の画像／写真は、画像内にある電子機器を識別するために用いることができる。この使い方において、ユーザーは、携帯端末が電子機器を含む写真を撮るように狙いをつける。電子機器を認識し易くするために、電子機器は画像の中で目立っていなければならない。画像２００は、例えば電子機器１０４の正面のソファに座っているユーザーによって撮影されるかも知れない。画像２００は、テレビジョン１０４と、一例として現在道を走っている車を表示しているその表示装置１０５とを含む。画像２００はまた、電子機器が位置している設定の、テーブル２０６、花瓶２０４及び壁掛け２０２等の他の要素を含んでいる。これは１つの可能な設定の簡略化した例である。
【００２７】
携帯端末は、画像２００を取り込むために異なる方法で起動することができる。１つの方法では、既に述べたように、ユーザーは、ポーリングモードに入った後に携帯端末で狙いをつけ手動で写真を撮ることができる。電子機器が携帯端末の範囲内にあるか否かを携帯端末が判定するために、無線信号を送信するポーリング処理の一部として画像を取り込むことができる。範囲内のどの電子機器もそれ自身の無線信号でポーリング信号に応答し、その無線信号は携帯端末によって受信される。更に、電子機器からの無線信号は、電子機器のタイプを識別する識別データ及び／又は携帯端末が電子機器を制御するために使用することができるユーザーインターフェース（ＵＩ）の設定だけでなく、それらの付随した表示装置に現在表示されている画像を表す画像データを含むことができる。携帯端末は、そのカメラで取り込んだ画像を電子機器から受信したコード化された画像データと比較し、携帯端末が特定の電子機器に狙いをつけているか否かを判定する。複数の一致がある場合、どの電子機器が取り込んだ画像の中で最も中心に位置しているかなどの点に基づいて最良の一致が決定される。
【００２８】
１つの可能なアプローチにおいて、ユーザーコマンドを使用して画像を取り込み、そのコマンドは無線ポーリング信号も開始させるものである。このコマンドは、ポーリング無しにカメラを一般的に使用するためのコマンドと区別することができる。他の可能なアプローチにおいて、画像は、ユーザーによってコマンドが手で入力されることなしに取り込まれる。例えば、携帯端末は、加速度計及び／又は他の物理的センサーを使用して、例えばテーブルから持ち上げられた時及び／又は以下に記述するように携帯端末がカメラとして使用されていることを示す方向に保持されている時のように携帯端末が移動されたことを検出することができる。
【００２９】
図２ｂは、携帯端末の第１の撮影方向判定基準を示している。図２ｃは、携帯端末の第２の撮影方向判定基準を示している。１つの可能な実現方法において、携帯端末が或る一定期間、例えば数秒間、１つの方向に保持されたとき、携帯端末をカメラとして使用するために構えた方向であると解釈され、ポーリング及び画像取り込みプロセスが起動される。別の可能なアプローチにおいては、携帯端末は撮影の方向に保持される直前にある一定期間静止状態に有ったことを判定する。これは、例えば携帯端末がテーブル上に有ってソファに座っているユーザーが携帯端末を持ち上げてテレビジョン１０４を目標に構えたときに生じる可能性がある。ポーリング及び画像取り込み処理において、同様に複数の画像がビデオ内に取り込まれるようにしても良い。また、携帯端末が電話として使用されるためにユーザーの頭に対して保持されていないと結論づけるために近接センサーを使用することもできる。携帯端末の方向を決定するか、又は意図された使用の相互作用的操作を識別するために握りセンサー及び光センサー等の他のセンサーもまた使用することができる。例えば、図１ａに関連して言及したように携帯端末のタッチ感知スキンを用いることもできる。
【００３０】
典型的な携帯端末１０１は背面パネルにカメラレンズ１０１を含み、写真を撮るときに一般的なようにカメラレンズ軸が水平に構えられたときに携帯端末が実質的に垂直に保持される。この方向は携帯端末内のセンサーにより決定することができる。例えば、垂直線２０８からの携帯端末の前後傾き角度が特定の境界＋／−θ1以内にある時に第１の写真撮影判定基準が満たされ、垂直線２０８からの携帯端末の前後傾き角度が特定の境界＋／−θ2以内にある時に第２の写真撮影判定基準が満たされる。
【００３１】
図２ｄは、携帯端末が撮影方向にあるときに携帯端末のポーリング処理を自動的に起動する過程を示している。ステップ２１０において、携帯端末の動きが検出される。別な方法としては、又は追加的には、携帯端末上の容量性タッチセンサーによりユーザーが携帯端末を持ち上げて保持していることを判定することが可能である。ステップ２１２において、携帯端末が、ある期間ｔ１、例えば２秒間にわたって写真撮影方向内にあるか否かが判定される。そうである場合、ステップ２１４において携帯端末のポーリングモードが自動的に起動される。携帯端末が期間ｔ１にわたって撮影方向内にある状態でない場合には、ステップ２１６において携帯端末のポーリングモードは自動的に起動されない。ユーザーはまた、例えば携帯端末上のキーを押下することによって手動でポーリングモードを起動する選択肢を持つことも可能である。
【００３２】
図２ｅは、複数の電子機器と付随した表示装置を含む設定携帯端末により取り込んだ画像を示している。画像２０２において、テレビジョン１０４は、第２の電子機器、即ちＰＣ１１２及び表示装置１１１を有するモニター１１０を伴う。表示装置は、ＰＣ１１２内のソフトウエアにより動作しているメディアセンターアプリケーションを表示しているところが示されている。メディアセンターアプリケーションの例には、マイクロソフトコーポレーションからのウインドウズ（登録商標）メディアセンター、アップルインコーポレーティッドからのフロントロウ、リナックス（登録商標）メディアセンターエディッション、オープンソースプラットフォーム、ＸＢＭＣメディアセンターインターフェース、同じくオープンソースプラットフォームが含まれる。ＰＣ１１２は、テレビジョン１０４とは独立して動作することが可能であり、又は画像を表示するためにワイヤー又は無線でテレビジョン１０４と通信するようにしても良い。メディアセンターアプリケーションは、ＤＶＤプレーヤのあるもの、セットトップボックス、ゲーム機等のネットワークサービスを提供する他の装置によって提供することも可能である。メディアセンターアプリケーションは、ユーザーがリモートコントロール装置を使用してＧＵＩと相互作用的操作をするように数フィート離れたところから見るようにデザインされたグラフィカルユーザーインターフェース（ＧＵＩ）を有することができる。例えば、ユーザーが、写真、音楽、ＤＶＤ、ビデオ等のメディアファイルを遠くから制御することが可能である。ＰＣのリモートコントロールは、フォルダやドキュメントにアクセスするためのアプリケーションなどのメディアセンターアプリケーション以外のアプリケーションの為に使用することができることに注意されたい。
【００３３】
この使用方法において、携帯端末によって取り込まれた画像２０２は画像のほぼ中央に電子機器１１０を含みテレビジョン１０４の一部分を画像の側方に含んでいる。
【００３４】
図２ｆは、携帯端末の比較機能２１６において電子機器から送信された画像データ２１５を携帯端末のカメラで取り込まれた画像データ２００と比較する場合を示している。その結果、一致しているか一致していないかの判断が得られる。
【００３５】
図３ａは、携帯電話として使用するように構成されたタッチスクリーンユーザーインターフェースを有する携帯端末を示している。既述の如く、携帯端末１００は、異なるモードで動作するように構成することができる。１つの可能なアプローチにおいて、携帯端末は、ユーザーが指先をキーに当てることによって選択する幾つかのキーを表示するようにソフトウエアを使用して構成することが可能なユーザーインターフェースディスプレイ３００を有している。ディスプレイは、ソフトキーを表示するタッチスクリーンとすることができる。しかしながら、別な方法又は追加的には、ユーザーインターフェースは、ハードキーを用いて携帯端末及び電子機器を制御するようすることも可能である。
【００３６】
ここで、ユーザーインターフェースディスプレイ３００は電話モードにあり、携帯端末は携帯電話として動作する。ユーザーインターフェースディスプレイ３００の領域３０２は、信号強度インジケータ、時間、バッテリー強度インジケータ、「電話モード」と読めるモードインジケータ、及びウインドウ３０１を提供する。領域３０４は、例えば電話番号を入力するために用いることが可能な番号キーを提供する。これらの番号は、ウインドウ３０１に現れるようにできる。領域３０６は、電話を掛けるための通話ボタンと通話終了ボタンとを含む。ハードキー３０８には、電話モードで使用する追加の機能を割り当てることができる。電話モードは、携帯端末が想定する基本設定モードとすることができる。
【００３７】
図３ｂは、ＴＶリモートコントロールとして使用するように構成されたタッチスクリーンユーザーインターフェースを有する携帯端末を示している。ユーザーインターフェースディスプレイ３００の領域３１０は、携帯端末が「ＴＶモード」で構成されていることを示している。ｏｎ／ｏｆｆボタンも領域３１０に設けられている。領域３１２は、例えばチャンネル番号を入力するために用いられる番号キーを提供する。領域３１４は、入力を選択するかテレビジョンの画面上メニューを起動させための中央ボタン（ｏｋ／Ｍｅｎｕ）を、音量ｕｐ／ｄｏｗｎ矢印キー、チャンネルｕｐ／ｄｏｗｎ矢印キーとともに含んでいる。ハードキー３０８には、ＴＶモードで用いる追加の機能を割り当てることができる。携帯端末は、本明細書に記述された技術を使用して携帯端末がテレビジョンを指していることが検出されると自動的にＴＶモードに入ることができる。
【００３８】
図３ｃは、パーソナルコンピュータ（ＰＣ）リモートコントロールとして使用するように構成されたタッチスクリーンユーザーインターフェースを有する携帯端末を示している。ユーザーインターフェース表示３００の領域３２０は、メディアセンターアプリケーションのための場合等のように携帯端末がＰＣリモートコントロールとして動作する「ＰＣモード」で構成されていることを表す。領域３２０におけるソフトキーのコマンドは、記録（Ｒｅｃ）、再生、ポーズ、ストップを含む。領域３２２のコマンドは巻き戻し（Ｒｅｗ）、早送り（ＦＦｗｄ）、リプレイ、スキップを含む。領域３２４内のコマンドは、ＰＣが例えば前のページを表示するようにするＢａｃｋボタン、ヘルプ画面を呼び出すＩｎｆｏボタン、アプリケーション及びタスクを開始させるスタート（Ｓｔａｒｔ）ボタンを含む。領域３２４はまた、音量Ｕｐ／Ｄｏｗｎ矢印キー、チャネル又はプログラム（Ｐｇｍ）Ｕｐ／Ｄｏｗｎ矢印キーとともに、１つのエントリーを選択するための中央ボタン「Ｏｋ」を含む。ハードキー３０８は、ＰＣモードにおいて用いる追加の機能が割り当てることが可能である。携帯端末は、本明細書に記述された技術を使用して携帯端末がＰＣを指していることが検出されると携帯端末が自動的にＰＣモードに入ることができる。
【００３９】
図４ａは、携帯端末が取り込んだ電子機器の画像を電子機器により送信された画像データと比較することによって携帯端末がそれ自身を電子機器とともに用いるように自動的に構成する方法を示している。このフローチャート及び他のフローチャートに示されたステップは、図示された個別のステップ及び／又はシーケンスとして実行される必要はなく、同時に及び／又は異なるシーケンス内で実行されることが可能であることに注意されたい。ステップ４００において、既述のように、携帯端末は、ユーザーコマンド又は動き／方向センサーに応じて起動される。ステップ４０２において、携帯端末は、ＲＦ信号又は赤外線信号等の無線信号を１以上の電子機器、すなわち、付随するディスプレイを有するネットワーク動作可能な電子機器に送信する。ステップ４０４において、電子機器は、携帯端末からの無線信号を受信する。このとき、電子機器は、その表示装置に画像を表示する過程にある可能性がある。例えば、テレビジョンは、ライブの放送テレビジョン番組又はＤＶＤからの記録された映画を表示している可能性がる。ＰＣは、画像メディアセンターアプリケーション、Ｗｅｂページ等のアプリケーション、ワードプロセッサープリケーション、表計算アプリケーション等々のデスクトップアプリケーションからの静止画像又は動画を表示している可能性がある。
【００４０】
１つのアプローチにおいて、電子機器は、携帯端末からの無線信号が受信されない場合に行われるように画像を表示し続けることができる。又は、ステップ４０６において、電子機器は、携帯端末からの無線信号の受信に応答して新しい画像を表示するようすることができる。例えば、これは、図４ｂに図示されたような、幅の広いストライプパターンなどのように携帯端末のカメラで容易に検出される既定の画像とすることができる。図４ｂは、携帯端末からの無線信号の受信に応答して電子機器の表示装置に表示された既定の画像を示している。既定の画像は、既存のテレビジョン番組又は他のコンテンツを妨害することなしに携帯端末が画像を取り込むことが可能にするのに十分な一秒程の短時間表示することができる。更に、ユーザーは、既定の画像の出現によってポーリング処理が順調に開始されたことを知ることができる。ポーリング処理が順調に開始されたことをユーザーに知らせる他の方法には、電子機器が現在の画像を一時的にフリーズさせることや、画像を暗くすること等の現在の画像に他の視覚効果を与えることや、「制御要求が検出されました」等のグラフィック画面を表示することや、ビープ音などの音声フィードバックを与えること等が含まれる。ユーザーにポーリング処理が順調に開始されたことを知らせるために、携帯端末は音声又は視覚的フィードバックを与えることができる。
【００４１】
携帯端末によって提供される無線信号は本明細書で記述されたように、適切な動作を行うように電子機器を制御するためのコマンドによってエンコードすることが可能である。
【００４２】
図４ａのステップ４０８において、電子機器は、表示された画像から画像データを取得する。例えば、これは、表示装置に現在表示されている画素のフレームの画像データを取得することに関係したものとすることができる。画像データは、いかなる特定のフォーマットで提供することも可能である。画像データは、データを互換性のないフォーマットから携帯端末と互換性の或るフォーマットにコード変換することによって提供することもできる。更に、画像データは、携帯端末において行われるその後の画像相関プロセスを容易化するために画像の或る特徴を識別することなどによって処理することも可能である。１つの例は、以下に更に記述したＳＩＦＴを使用して画像を処理し、画像のスケール不変特徴量を定義するコンポーネントサブ領域記述子を取得し、画素データの代わりに記述子を格納することである。
【００４３】
ステップ４１０において、電子機器は、応答無線信号を画像データ及び制御情報とともに携帯端末に送信する。この画像データは、対応する表示画像を再生成するために使用可能なフォーマットであってもそうでなくても良い。応答無線信号は、例えば、ＲＦ又は赤外線信号として送信される。制御情報は、例えば、テレビジョンモード、ＰＣモード等のような電子機器のタイプ、又は単に電子機器がテレビジョン又はＰＣである事実、及びオペレーティングシステム並びにＰＣで現在動作しているアプリケーションを識別することができる。制御情報は、例えばコード化フォーマット又は解像度によって画像データが提供されるフォーマットを識別することもできる。制御情報はまた、電子機器を制御するために携帯端末によって使用されることができるユーザーインターフェースの構成及び通信プロトコルを識別することもできる。
【００４４】
例えば、異なるタイプの電子機器が異なるユーザーインターフェースの構成及び通信プロトコルを要求する可能性がある。ユーザーインターフェースの構成はユーザーインターフェース表示内のキーの外観（例えば、図３ｂ及び図３ｃに示されている）を含むことができる一方、通信プロトコルは電子機器を制御するためのコードワードの仕様を含むことができる。場合によっては、テレビジョンなどの１つのタイプの電子機器を制御するために共通のＵＩの外観を用いる一方、異なるテレビジョン機種及び／又は製造者については異なる通信プロトコルを用いることもできる。例えば、異なるコマンドを実現するために異なる周波数、コードワードなどを用いることができる。電子機器から受信した制御情報は、周波数及びコードワードを特定することなどによって通信プロトコルを直接的に識別すること、又は携帯端末が通信プロトコルにマッピングするために使用することが可能な識別子を特定すること等によって間接的に識別することが可能である。識別子は、例えば「通信プロトコル＃１０を使用して下さい」等と表示してもよく、その場合、携帯端末はローカル的に携帯端末において、又はリモート又はローカルサーバーから、識別子に基づいたプロトコルを実現するための必要な情報にアクセスする。制御情報はまた、例えばテレビジョン又はＰＣ等の「電子機器のタイプ」を識別し、その場合、携帯端末は例えばテレビジョンに適したユーザーインターフェース表示（例えば、図３ｂ）又はＰＣに適したユーザーインターフェース表示（例えば、図３ｃ）を実装する。
【００４５】
ステップ４１２において、携帯端末は、画像データ及び制御情報を有する応答無線信号を受信する。ステップ４１４において、携帯端末は、例えば撮影することによって携帯端末のカメラを使用して電子機器及びその表示された画像を含む画像を取り込む。取り込まれた画像は、基準画像データを提供するために用いられる。電子機器によって提供された画像データと同様に、携帯端末によって提供された画像データは、ＳＩＦＴアルゴリズムを使用してコンポーネントサブ領域記述子を得る処理等のその後の画像の相関処理を容易化するある種の処理を受けるようにしてもよい。従って、得られた画像データは、対応する取り込まれた画像を再生成するために用いられるフォーマットであってもそうでなくても良い。
【００４６】
携帯端末が画像を取り込むステップ４１４のタイミングについては、これは異なる前駆的事象によって開始することができる。例えば、画像の取り込みを、電子機器からの応答信号を待つことなく（ステップ４１２）無線信号を送信する携帯端末によって開始する（ステップ４０２）ことができる。又は、画像の取り込みは、応答信号の受信により開始することができる。
【００４７】
ステップ４１６において、携帯端末は、基準画像データを電子機器から受信された画像データと比較する。これは、種々のタイプの画像相関アルゴリズムを実行することに関係している。例えば、基準画像を電子機器からの画像に渡る連続した画素位置と比較し、各位置について相関得点を決定することができる。最高の得点を有する位置は、基準画像と一致したものを表している可能性がある。一致は確率的な計測に関連付けてもよく、異なる確率又は確実性レベルで一致が生じてもよい。許容できると判断される一致を、最小の確率に関連付けることができる。ステップ４１６の比較を、以下に更に述べるようにＳＩＦＴアルゴリズムに関連付けることができる。判断ステップ４１８において、一致していると判断される場合、ステップ４２２において、ユーザーインターフェースの構成及び／又は通信プロトコルが制御情報の識別子をＵＩ表示の構成及び／又は通信プロトコルにマッピングすることなどによる電子機器から受信した制御情報に基づいて識別される。ステップ４２４は、識別されたユーザーインターフェースの構成及び／又は通信プロトコルで携帯端末を構成することを含む。携帯端末が成功裡に電子機器と関連付けられたというユーザーへのフィードバック（例えば、ビープ音又は視覚的メッセージ）を提供することができ、ユーザーは携帯端末で電子機器に狙いをつけることを止め、携帯端末を電子機器のリモートコントロールとして使用し始めて良いことを理解できる。
【００４８】
判断ステップ４１８において、一致がない場合、ステップ４２０において携帯端末を介してユーザーにエラーメッセージを示すことができる。例えば、メッセージは、「電子機器が識別できませんでした。もう一度行って下さい」であり、この場合、ステップ４００において処理を繰り返すことができる。ユーザーは電子機器により近いところに立ってみること、光線をオンすることによって照明の条件を変えてみること、カメラのズームの特徴を設定すること、又はカメラの他の設定を調整すること、ユーザーが制御しようと思う電子機器に対してより正確にカメラの狙いをつけること等によって成功する可能性を高めることを試みることが可能である。
【００４９】
このように、ユーザーは携帯端末で電子機器を狙い、自動的に携帯端末を電子機器に関連付ける。更に、携帯端末と電子機器の表示装置の間の視線が使用されているため、携帯端末が携帯端末の近傍に存在しているけれども視線内に存在しない他の電子機器と関係付けられる可能性が回避される。携帯端末の範囲内に多くの電子機器が存在する環境において起きる可能性がある。同様に、応答している電子機器の範囲内にある他の携帯端末が応答している電子機器とともに用いるように誤って構成される可能性が避けられる。
【００５０】
図４ｃは、携帯端末が携帯端末により取り込まれた複数の電子機器の画像を電子機器により送信された画像データと比較し、複数の電子機器の間で最良一致を選択することによって自動的にそれ自身を電子機器とともに用いるように構成する方法を示している。
【００５１】
この方法は、複数の電子機器が関係していることを除いて図４ａの方法と同様である。ステップ４３０において、携帯端末が起動される。ステップ４３２において、携帯端末は、１以上の電子機器に無線信号を送信する。ステップ４３４において、複数の電子機器が無線信号を受信する。１つのアプローチにおいて、電子機器は、携帯端末から無線信号が受信されない場合に行われるように画像を表示しつづけることができる。又は、電子機器は、ステップ４３６において既定の画像を表示することができる。異なる電子機器は、異なる既定の画像を表示することもできる。例えば、テレビジョンが１つの画像を表示し、ＰＣが他の画像を表示する。又は、既定の画像は、各電子機器が異なる既定の画像を表示するように、一組の画像から各電子機器によってランダムに選択することができる。この場合において、互いに隣り合う複数の電子機器が異なる既定の画像を表示し、それらを互いに区別することを可能にすることができる。
【００５２】
ステップ４３８において、複数の電子機器は、関連する表示画像から画像データを取得する。ステップ４４０において、複数の電子機器は、画像データ及び制御情報を有する応答無線信号を携帯端末に送信する。ステップ４４２において、携帯端末は、画像データ及び制御情報を有する複数の応答無線信号を受信する。ステップ４４４において、携帯端末は、幾つかの電子機器又は全ての電子機器及びそれらの表示画像を含む画像を取り込み、基準画像データを提供する。
【００５３】
ステップ４４６において、携帯端末は、基準画像データを複数の電子機器から受信した画像データと比較する。これらの比較から、ステップ４４８において一致した電子機器が選択され、ステップ４５０において最良一致が決定される。例えば、ユーザーがカメラを制御したいと思う電子機器に最も直接的に狙いつけると仮定し、基準画像データにおいて最も中心にある電子機器の画像を選択することができる。ステップ４５２において、最良一致の電子機器から受信した制御情報に基づいてＵＩの構成及び／又は通信プロトコルが識別される。ステップ４５４は、識別されたＵＩの構成及び／又は通信プロトコルによって携帯端末を構成することを含む。
【００５４】
図５は、電子機器とともに使用するように構成された後に携帯端末が電子機器制御する方法を示している。一旦特定の電子機器を制御するために必要なＵＩの構成及び／又は通信プロトコルが識別されると、ＵＩ表示／タッチスクリーン３００は図３ｂ又は３ｃに関して先に述べたような電子機器を制御するためのバーチャルキーパッドで構成することができる。ステップ５０２において、ユーザーは、バーチャルキーパッドからコマンドを選択する。例えば、ユーザーは、テレビジョンを制御するために図３ｂのインターフェースから「チャネルｕｐ」を選択することができる。ステップ５０４において、携帯端末は、電子機器に合った通信プロトコルに従って、コマンドを識別するデータを含む無線信号を電子機器に送信する。ステップ５０６において、電子機器は、無線信号を受信してコマンドを実行する。好ましくは、ユーザーは携帯端末が電子機器のための専用のリモートコントロール装置であるかの如く電子機器を制御できる。携帯端末は、多くの電子機器を制御することが可能な万能リモートコントロールとして動作することができる。更に、電子機器の間の切り換えは、自動的に素早く達成することができる。
【００５５】
図６ａは、電子機器の表示装置上に提供される同期画像を検出している携帯端末を示している。このアプローチにおいて、電子機器が携帯端末から無線ポーリング信号を受信したとき、その表示装置に携帯端末によって検出可能な同期画像を表示するようにコマンドする。同期画像は、白色又は他の明るい閃光の短い連続などの視認可能な画像とすることができる。携帯端末は、カメラとは別のものであるか、又は光検出モードで動作しているカメラである光センサーを使用することができる。光センサーは、特定の周波数／色の特定の繰り返し周波数又は他のパターンを有する光を検出する。このアプローチは、センサーがカメラより低価格の品とすることができるため費用を低減することができ、画像の相関処理を行う必要がないため処理を減らすことが可能である。しかしながら、ビデオ取り込みモードで動作している携帯端末において動作している現存のカメラか、又はその逆に十分な期間シャッターを開いたままにしているものを使用することも同様に可能である。
【００５６】
電子機器の表示装置１０５／テレビジョン１０４において、表示装置１０５の領域６００が携帯端末によって検出される明るいフラッシュを発するために用いられる。領域６００は、表示装置の一部分のみを使用し、携帯端末からの無線信号の受信に応答して表示されない既存の表示に結合又は重畳される。携帯端末からの無線信号の受信に応答して領域６００が表示される。フラッシュが表示装置１０５全体を費やすことも可能である。更に、フラッシュ光線は、携帯端末に情報を通信するパターンに従うことも可能である。すなわち、フラッシュは、携帯端末が復号化することが可能なコードワードを表すこともできる。例えば、その情報は、「電子機器のタイプ」、例えば、テレビジョン又はＰＣの識別及び／又は携帯端末が電子機器を制御するために用いることが可能な通信プロトコルを識別することができる。
【００５７】
図６ｂは、携帯端末が電子機器の表示装置上に提供される同期画像を検出することによってそれ自身を電子機器とともに使用するように自動的に構成する方法を示している。ステップ６１０において、携帯端末が起動される。ステップ６１２において、携帯端末は、１以上の電子機器に無線信号を送信する。ステップ６１４において、電子機器は、無線信号を受信する。ステップ６１６において、電子機器は、同期画像を表示する。ステップ６１８において、携帯端末は、光センサーを用いて同期画像を検出する。ステップ６２０において、同期画像に基づいてＵＩの構成及び／又は通信プロトコルが識別される。ステップ６２２において、ＵＩの構成及び／又は通信プロトコルによって携帯端末が構成される。
【００５８】
図７ａは、異なる遠近法及び距離で撮影した設定の携帯端末により取り込まれた画像を示しており、その設定は表示装置を有する電子機器を含んでいる。このアプローチは、ポーリング及び電子機器からの返答を必要とせず、携帯端末単独で達成することができる。携帯端末１００ａは、設定段階で設定２００の画像（図２ａにおけるものと同様）を１回目に取り込む。電子機器１０４が図示されている。ユーザーは、電子機器及び製品のメニューにアクセスし、電子機器１０４、例えば一例のテレビジョンである「サムソンＦＰ−Ｔ５８９４Ｗ」のための適切なエントリーを選択することによって、電子機器を制御するための情報により手動で携帯端末を構成する。メニューは、例えばｗｅｂに基づくものとすることができる。次に、画像２００が携帯端末に格納され、制御及び構成の情報と相互参照される。
【００５９】
その後、実装段階において、ユーザーが電子機器１０４のそばにいるとき、例えばユーザーコマンド又は動き／方向センサーに基づいて、既述のように電子機器のもう１つの画像を取り込むために携帯端末が起動される。詳しく述べれば、同一の携帯端末が後に、例えば、携帯端末１００ｂにより識別された数時間、数日、又は数週間後に、二回目に電子機器の画像７００を取り込む。２つの画像は、互いに比較され、一致しているかどうかが判定される。一致している場合、携帯端末は、自動的に電子機器を制御するようにそれ自身を構成する。一致は、画像が同一の電子機器であることを表している。異なる時点で異なる画像が表示されるため、電子装置の表示装置に表示される個々の画像は重要でない。
【００６０】
そのような変化があっても種々の画像処理アルゴリズムが一致を検出できるため、画像は同一の遠近法及び距離から取り込む必要はない。例えば、第２の画像は「画像におけるスケール不変特徴量を識別するための方法及び装置並びに画像内の目標を特定するためのその使用」と題する米国特許第６、７１１、２９３号（Ｄａｖｉｄ  Ｇ．Ｌｏｗｅ、２００４年３月２３日）に記述されたスケール不変特徴量変換（ＳＩＦＴ）アルゴリズムによって処理することができ、この米国特許を引用してここに含める。ＳＩＦＴアルゴリズムが画像内の局所的な特徴を検出して記述する。更に、ＳＩＦＴ特徴量は局所的であり、特定の注目点での目標の見かけに基づいており、画像のスケール及び回転に対して不変である。従って、電子機器の異なる画像が例えば電子機器の左側と右側とから、異なる距離から撮られたとしても相関づけることができる。ＳＩＦＴ特徴量はまた、照明、ノイズの変化、視点の小さな変化に対して安定している。ＳＩＦＴ特徴量は非常に特徴的であり、比較的容易に抽出でき、組み合わせを誤る確率が少ない状態で正しく対象物を識別することができ、局所的特徴の大きなデータベースに対して容易に照合することができる。また、一組のＳＩＦＴ特徴量による対象物の記述は、部分遮蔽に対して安定している。対象物の位置及び姿勢を計算するために対象物からの僅か３つのＳＩＦＴ特徴量で充分である。更に、実時間に近い速さで認識を実行することができる。また、他の画像処理アルゴリズムを使用することも可能である。
【００６１】
携帯端末が第１の画像が取り込まれた時と同一の場所にあることを判定するために、画像処理アルゴリズムによって識別された設定内の特徴は電子機器及び／又は設定内の他の特徴に関係づけることができることに注意されたい。例えば、電子機器の形状等のその物理的な外見は、設定内の他の品物、例えば、花瓶２０４、テーブル２０６及び壁掛け２０２の外見と同様に、特徴を識別し、２つの画像が一致するか否かを判定するために用いることができる。
【００６２】
図７ｂは、電子機器を含む設定の画像を取り込み、画像を前に取り込んだ異なる遠近法及び距離からの設定の画像と比較することによって携帯端末がそれ自身を自動的に電子機器とともに使用するように構成する方法の設定段階を示している。ステップ７１０において、設定段階が開始する。ステップ７１２において、携帯端末が起動される。これは、携帯端末の方向に基づくこと及び／又は握りセンサー及び光センサー等の他のセンサーを使用することにより自動的に生じることができる。又は、図７ｄに関連して述べたように、ユーザーは、携帯端末に適切なユーザーインターフェースを提示させるコマンドを入力することができる。
【００６３】
ステップ７１４において、携帯端末は、電子機器を含む設定の第１の画像を取り込むためにそのカメラを使用する。１つの可能な実現方法においては、ステップ７１６において、第１の画像のスケール不変特徴量が判定される。追加的な詳細については、図７を参照されたい。ステップ７１８において、携帯端末は、ライブラリ内の第１の画像のスケール不変の特徴を表す第１のデータを格納する。ステップ７２０において、ユーザーは、例えば図７ｄに関連して記述したように、ＵＩ内のキーを押下することによって例えばＴＶ又はＰＣ等の「電子機器のタイプ」を選択するコマンドを与える。ステップ７２２において、携帯端末は、電子機器のタイプに基づいてユーザーインターフェースの構成及び／又は通信プロトコルを第１の画像に関係づけるデータを格納する。既に述べたように、これは、ユーザーが例えば電子機器及び型番のメニューにアクセスし、電子機器のタイプに基づいて電子機器のための適切なエントリーを選択することによって手動で携帯端末を構成することを含むことができる。場合によっては、一旦電子機器のタイプが分かれば、ユーザーが更に入力することなく適切なＵＩの構成及び／又は通信プロトコルを識別することが可能である。例えば、１つのＵＩの構成及び／又は通信プロトコルはテレビジョンのために用いることができ、他のＵＩの構成及び／又は通信プロトコルはＰＣのために用いることができる。また、電子装置を制御するための情報を更に得るために、設定段階の後に携帯端末が電子機器と通信することも可能である。
【００６４】
図７ｃは、図７ｂの方法の設定段階に続く実装段階を示している。実装段階は、ステップ７３０において開始する。ステップ７３２において、携帯端末は、電子機器を含む設定の第２の画像を取り込むためにそのカメラを使用する。１つの可能な実現方法においては、ステップ７３４において、第２の画像のスケール不変の特徴を表す第２のデータが判定される。追加的な詳細については、図７ｅを参照されたい。ステップ７３６において、携帯端末は、第２のデータが異なるテレビジョン、ＰＣ、及びそれらの設定のような１以上の電子機器の基準画像のスケール不変特徴量を含む可能性があるライブラリ内のデータと一致するか否かを判定する。追加的な詳細については、図７ｆ及び図７ｇを参照されたい。判断ステップ７３８において一致がある場合、ステップ７４２において携帯端末がライブラリ内の一致した基準画像に関連したＵＩの構成及び／又は通信プロトコルで構成される。判断ステップ７３８において一致していない場合、ステップ７３２において携帯端末を介してユーザーにエラーメッセージが表示される。メッセージは、例えば「電子機器が認識されませんでした、再度試みて下さい」とすることができ、その場合ステップ７２０において処理を繰り返すことができる。ユーザーは、例えば第１の画像が得られた場所により近いところに立ってみること、光線をオンすることによって照明の条件を変えてみること、カメラをよりしっかりと保持すること、又はカメラの他の設定を調整すること、ユーザーが制御しようと思う電子機器に対してより正確にカメラの狙いをつけること等によって成功の可能性を高めることを試みることが可能である。
【００６５】
図７ｄは、図７ｂの方法の設定段階で電子機器の画像を取り込むように構成されたタッチスクリーンユーザーインターフェースを有する携帯端末を示している。携帯端末１００は、ユーザーが電子機器の写真を撮るために選択するバーチャルキー７５０を有するユーザーインターフェース表示３００を含んでいる。領域７５２は、その結果得られる写真を表示する。バーチャルキー７５４及び７５６は、例えばテレビジョン又はＰＣ等の電子機器のタイプをそれぞれ特定するためにユーザーが選択することができる。ユーザーはまた、製造者及び機種等の電子機器のタイプを個々に特定するためにメニュー内を移動することができる。「ｎｅｘｔ」キー７５８によってユーザーが別の電子機器について設定段階を続けることができる。また、ハードキー３０８も使用することができる。
【００６６】
図７ｅは、画像のスケール不変特徴量を決定する処理を示している。この処理は、図７ｂのステップ７１６及び図７ｃのステップ７３４を実現するために用いることができる。１つの可能な実現方法において、２つの画像を比較するためにスケール不変特徴量変換（ＳＩＦＴ）アルゴリズムを用いることができる。他の画像比較アルゴリズムも同様に使用することができる。ステップ７６０は、処理のスタートである。ステップ７６２において、カメラからの画像データがアクセスされる。ステップ７６４は、画像を連続的に不鮮明化させて不鮮明な画像を生成し、初期画像から不鮮明な画像を減算することによって初期画像から差分画像を生成することを含む。連続した差分画像を生成するために連続した不鮮明化及び減算を使用することができ、連続した不鮮明化ステップにおいて用いられる初期画像は前の不鮮明化ステップにおいて生成された不鮮明な画像を含む。ステップ７６６は、差分画像における画素振幅極値を特定することを含む。これには、検討中の画像内の各画素の振幅を検討中の画像内の各画素のまわりの領域の画素の振幅と比較し、局所の最大振幅及び最小振幅画素を特定することが含まれる。検討中の画素のまわりの領域は、同一画像内の画素の領域と例えば前の画像又は続く画像又はその両方等の少なくとも１つの隣接画像内の画素の領域とに関係する。
【００６７】
ステップ７６８は、ある差分画像内の振幅極値のまわりの画素領域を画定することを含む。１つの領域が対応する極値のまわりの方向に配置された複数の位置として定義される。領域は、アプリケーションに対して望まれる解像度に応じてどのようなサイズにすることもできる。ある場合には、１６×１６画素の格子で定義される領域が適当である。ステップ７７０は、１つの画素領域をサブ領域に分割することを含む。ステップ７７２は、画像から生成された複数の差分画像内の画素振幅極値のまわりの画素領域のサブ領域の各々のために複数の構成サブ領域記述子を生成することを含む。複数の構成サブ領域記述子が携帯端末のカメラによって取り込まれた画像のスケール不変特徴量を定義する。
【００６８】
図７ｆは、スケール不変特徴量に基づいた画像照合のための処理の第１の部分を示している。ステップ７７４は、検討中の画像がライブラリ中のデータに一致するか否かを判定する処理の開始点である。７７６は、検討中の画像のスケール不変特徴量を表す例えば８組の構成サブ領域記述子のグループを取り込むことを含む。ステップ７７８は、スケール不変特徴量を表す８組の構成サブ領域記述子の、各組内の各記述子の差の最小２乗和を有する特徴量として定義される最良一致グループをライブラリから取り込むことを含む。これは、各記述子への距離を順次計算することにより見つけることができる。これは、周知のｋ−ｄツリー（ｋ−ｄ ｔｒｅｅ）アルゴリズムを適用することによっても実行することができる。
【００６９】
ステップ７８０は、ライブラリのスケール不変特徴量及び検討された画像のスケール不変特徴量を表すグループをハフ（Ｈｏｕｇｈ）変換に適用することを含む。判断ステップ７８２は、最終画像のスケール不変特徴量を表す最終グループが検討されたか否かを判定し、もしそうでなれば、ステップ７８４が検討中の次の画像のスケール不変特徴量を表す次のグループを指定することを含み、処理がステップ７７６で復帰する。判断ステップ７８２において最終のスケール不変特徴量が検討された場合、ステップ７８６がハフ変換出力を読み取って画像とライブラリの間で一致する３つ以上のスケール不変特徴量を含む可能性のある対象物を特定することを含む。実質的に、ハフ変換はライブラリ中の対象物に関連するスケール不変特徴量に基づいた可能性のある対象物のリストを、ライブラリからのスケール不変特徴量に一致する検討中の画像のスケール不変特徴量のリストとともに提供する。可能性のある対象物と一致する特徴のリストを生成した後に、リスト上の各対象物が図７ｇに示された如き処理に適用される。
【００７０】
図７ｇは、スケール不変特徴量に基づいて画像を照合するための方法の第２の部分を示している。ハフ変換は、検討中の画像内の対象物の基準成分記述子のリストとライブラリからのスケール不変特徴量の一致した基準成分記述子のリストとを提供する。これらのリストは、最小二乗適合アルゴリズムに適用されることができ、そのアルゴリズムは可能性のある対象物の内の１つを特定する複数の最良適合基準成分を特定しようと試みる。最良適合サブ領域記述子が見つかると、それから基準成分記述子が生成された画像は容易に特定可能であり、その結果として、そのよう基準成分記述子に関係した対象物の大きさ、方向、識別子を判定することができ、対象物、その方向、その大きさ及びその検討中の画像内の位置を正確に特定することができる。
【００７１】
詳述すれば、処理の第２の部分は、最小二乗データ適合アルゴリズムを対象物に関連したスケール不変特徴量を表す成分記述子のグループと、検討中の画像のスケール不変的特徴量を表す成分記述子の一致グループとに適用して一致の度合い／相関を判定する。一致の度合いが高い場合、対象物が画像内に存在することを示し、そうでなければ、更にリスト内の他の対象物が検討される。
【００７２】
ステップ７８８は、可能性のある対象物のハフ変換により生成されたスケール不変的特徴量を表す成分記述子のグループをスケール不変特徴量のライブラリ内の成分記述子のグループから取り込むことを含む。ステップ７９０は、検討中の画像からの成分記述子の一致したスケール不変特徴量グループを取り込むことを含む。ステップ７９２は、可能性のある対象物のスケール不変特徴量を表す取り込んだ成分記述子のグループと、検討中の画像のスケール不変的特徴を表す取り込んだ一致成分記述子のグループとを最小二乗データ適合アルゴリズムに適用して対象物の位置、ライブラリからのスケール不変特徴量の画像の大きさに対する対象物の大きさ、対象物の方向、及び誤差残留値もしくは相関の度合いを判定することを含む。
【００７３】
判定ステップ７９４において、誤差残留値又は相関の度合いが規定の閾値より大きい場合、対象物は検討中の画像内に示されていないと仮定され、判断ステップ７９６においてリスト内の最後の対象物が検討されたか否かが判定される。リスト内の最後の対象物が検討されている場合、処理はステップ７９７で終了する。リスト内の最後の対象物が検討されていない場合、ステップ７９８が次の対象物をアドレッシングすることを含み、プロセスはステップ７８８に復帰する。
【００７４】
判断ステップ７９４において、誤差残留値が所定のしきい値より小であると判定されると、ステップ７９５が可能性のある対象物の位置、大きさ、及び方向を示すことを含む。
【００７５】
上述の方法において、参照ライブラリに格納された画像がある対象物の存在又は非存在が対象物の他の物理的情報とともに示される。従って、１以上の電子装置についてスケール不変特徴量が特定されてライブラリに格納される設定段階が生起した後に実装段階が生起するようにすることができ、１以上の電子装置の画像が取り込まれてライブラリ内の１以上の候補と比較されるために処理されて一致が識別される。一致に基づいて、対応するＵＩの構成及び／又は通信プロトコルで携帯端末が構成される。
【００７６】
図８ａは、携帯端末が電子機器とともに用いるように自動的に構成された後に電子機器が携帯端末のユーザーインターフェースをミラーリングする情報を表示しているところを示している。一旦携帯端末１００が電子機器１０４を制御する能力を有すると、携帯端末は、電子機器の表示装置１０５によって表示されたものを制御するその電子機器のための従来のリモートコントロール装置のように動作することが可能である。他の面では、表示装置上で表示するための電子機器へのデータを通信することが可能である。例えば、表示装置１０５の全体又は部分８１０は、携帯端末１００のユーザーインターフェース表示３００に表示されたものをミラーリング（置き換え）することが可能である。表示装置１０５の残りの部分８１２は、表示装置によって提供される通常の内容を提供し続けることができる。更に、種々のトリガーによって携帯端末が電子機器に情報を表示するようにコマンドすることができる。
【００７７】
例えば、携帯端末が電話の着信を受けたとき、携帯端末は、信号強度メータ、時間表示、及びバッテリー強度インジケータを有する領域８０２を含むユーザーインターフェース表示３００をミラーリングするように表示装置を制御することができる。携帯端末は、発信者識別特徴を使用して連絡先（コンタクト）にアクセスする能力を有しても良く、発信者の電話番号が検出されて参照するために用いられ、前に格納された記録を表示する。例えば、領域８０４が発信者の名前と画像を提供し、領域８０６がユーザーにより作成されたノートを含む発信者に関する個人的情報、同様に、通話を終了するソフトキーを提供する。ハードキー３０８もまた用いることが可能である。ユーザーインターフェース表示３００上に表示された情報は、着信した電話に関する。
【００７８】
他の考えられるトリガーは、ユーザーが携帯端末相互作用的操作を行って新しい情報を表示するようにしたとき、又はカレンダーリマインダーシステム上で１つのイベントのリマインドが表示されたときのようにユーザーによる操作無しに携帯端末が新しい情報を表示したときに生じる。例えば、ユーザーが携帯端末に格納された写真を見ることが考えられ、その場合には写真もまた表示装置１０５上に表示される。
【００７９】
ユーザーインターフェース表示３００に表示されたものをミラーリングする表示装置１０５の部分８１０は、消失する前に特定期間の間残っているか、ユーザーがそれを除去するためのコマンドを入力するまで残ることができることに注意されたい。更に、ＵＩ表示３００上の情報は、表示装置１０５上では異なるフォーマットで提供することが可能であるため、表示装置１０５がＵＩ表示３００をミラーリングする必要はない。例えば、表示装置１０５の下端に連絡先のテキストでの記述を表示するようにすることができる。他の考えられる特徴において、例えば、個人的な、仕事上の、家族の、又はある個々連絡先などのあるタイプの連絡先が表示８１０をトリガーする一方、他の連絡先が表示８１０をトリガーしないようにユーザーが構成することが可能である。更に、着信電話に加えて、ＳＭＳテキストメッセージやＥメール等の他の着信メッセージがトリガーとなり得る。
【００８０】
図８ｂは、携帯端末が電子機器とともに用いられるように自動的に構成された後に、電子機器が発信者のコンタクト情報を携帯端末に表示する方法を示している。ステップ８２０において、携帯端末のユーザーインターフェース（ＵＩ）は、例えば本明細書で記述されているような技術を使用して電子機器を制御するように構成される。ステップ８２２において、着信した電話が携帯端末によって受信される。ステップ８２４において、携帯端末が発信者の電話番号を得るために発信者ｉｄ機能を用いる。ステップ８２６において、携帯端末が電話番号に基づいたコンタクト情報にアクセスする。ステップ８２８において、携帯端末がＵＩ表示上のコンタクト情報を表示する（図８ａ）。これは、電話が受信され、応答される前に起きることに注意されたい。ユーザーは、コンタクト情報に基づいて電話に応答しないことを決める可能性がある。ステップ８３０において、携帯端末は、ＵＩ表示からの画像データを含む無線信号を電子機器に送信する。電子機器と互換性がある任意のフォーマットの画像データを使用して実現することができる。ステップ８３２において、電子機器が無線信号を受信して表示装置上にＵＩ表示を提供する（図８ｂ）。
【００８１】
図８ｃは、携帯端末が電子機器とともに用いるように自動的に構成された後に電子機器が「携帯端末のユーザーインターフェース」をミラーリングする方法を示している。このアプローチは、表示３００が更新される度にＵＩデータを電子機器に送信することに関している。ステップ８４０において、携帯端末のＵＩが電子機器を制御するように構成される。ステップ８４２において、ユーザーは携帯端末に相互作用的操作を行い、ステップ８４４において、携帯端末はそのＵＩ表示を更新する。これに応答して、ステップ８４６において、携帯端末は、ＵＩ表示からの画像データとともに無線信号を電子機器に送信する。ステップ８４８において、電子機器が無線信号を受信し、ＵＩ表示装置上にＵＩ表示を提供する（図８ｂ）。
【００８２】
図９ａは、携帯端末の一例のブロック図を示している。典型的な携帯電話の電子回路の一例が示されている。回路９００は、１以上のマイクロプロセッサーを含むことが可能な制御回路９１２、及びメモリ９１０（例えば、ＲＯＭなどの非揮発性のメモリ及びＲＡＭなどの揮発性メモリ）を含み、メモリ９１０は本明細書で記述された機能を実現するために制御回路９１２の１以上のプロセッサーで実行されるプロセッサー可読コードを格納する。制御回路９１２はまた、アンテナ９０２に接続されたＲＦ送／受信回路９０６、赤外線送信機／受信機９０８、及び加速度計等の動き／方向センサー９１４と通信する。加速度計は、ユーザーがジェスチャーによってコマンドを入力することが可能になるインテリジェントユーザーインターフェースや、ＧＰＳ衛星との接続が絶たれた後に装置の移動及び方向を計算する室内ＧＰＳ機能等のアプリケーションを可能にするため、及び装置の方向を検出し、電話が回転されたときに表示の方向をポートレート方向から風景方向に自動的に変更するために携帯端末に含まれている。加速度計は例えば（マイクロメータのサイズの）小さな機械的装置である半導体チップに内蔵されたマイクロ−エレクトロメカニカルシステムによって提供することができる。加速方向のみならず、方向、振動及びショックも検出可能である。制御回路９１２は更にリンガー／バイブレーター９１６、ユーザーインターフェースキーパッド／スクリーン９１８、スピーカ９２０、マイクロフォン９２２、カメラ９２４、光センサー９２６、及び温度センサー９２８と通信する。
【００８３】
制御回路９１２は、無線信号の送信及び受信を制御する。送信モード中、制御回路９１２は、マイクロフォン９２２からの音声信号、又は他のデータ信号を送／受信回路９０６に提供する。送信／受信回路９０６は、アンテナ９０２を介して離れた局（例えば、固定局、オペレータ、他の携帯電話等）に交信のために信号を送信する。リンガー／バイブレーター９１６は、着信電話、テキストメッセージ、カレンダーリマインダー、アラームクロックリマインダー、又は他の通知をユーザーに合図するために用いられる。受信モード中、送信／受信回路９０６は、アンテナ９０２を介して遠隔局から音声又は他のデータ信号を受け取る。受信された音声信号は、他の受信データ信号もまた適切に処理されている間にスピーカに９２０提供される。
【００８４】
本明細書に記述したように、制御回路９１２は、通信のみならず、画像処理及び相関アルゴリズムを実現することができる。
【００８５】
図９ｂは、携帯端末ネットワークの一例を示している。既述のように、携帯端末は、電子機器を制御するためにそれ自身を構成するための情報を得るために１以上のサーバーにアクセスすることが可能である。携帯端末１００は、ネットワーク９５０を介して、携帯端末サーバー９５４及びデータベースサーバー９５２等のバックエンドサーバーを介した通信を行うことが可能である。携帯端末サーバー９５４は、携帯端末への通信及び携帯端末からの通信を扱う役目を担っている一方、データベースサーバー９５２は携帯端末を構成するための情報を格納することができる。例えば、携帯端末１００によって電子機器から受信した制御情報は、電子機器とともに用いるためのユーザーインターフェース設定及び通信プロトコルに関する情報を得るためにデータベースサーバー９５２に送信することができる。このデータは、携帯端末１００において択一的又は追加的に格納される。
【００８６】
図１０は、テレビジョンのブロック図の一例を示している。回路１０００は、１以上のマイクロプロセッサーを含むことが可能な制御回路１０１２と、メモリ１０１０（例えば、ＲＯＭ等の不揮発性メモリ及びＲＡＭ等の揮発性メモリ）とを含み、メモリ１０１０は制御回路１０１２の１以上のプロセッサーによって本明細書に記述された機能を実現するために実行されるプロセッサー可読コードを格納している。制御回路１０１２はまた、ＷＬＡＮ内の携帯端末又は他のコンポーネントからＲＦ信号を受信し、ＷＬＡＮ内の携帯端末又は他のコンポーネントにＲＦ信号を送信するために、アンテナ１００２に接続されたＲＦ送信／受信回路１００６と通信する。携帯端末に信号を送信し、またな携帯端末から信号を受信するために同様に赤外線送信／受信機１００８を用いることができる。ＴＶ信号源１０１４へのインターフェースによって、地上テレビジョンアンテナ、ケーブル放送システム、衛星送信機、及び光ファイバ、ツイスト銅線、もしくは同軸ケーブルを通してユーザーの家に送られるイーサネットインターネットプロトコル（ＩＰ）放送パケットを使用して、インターネット、電話、及びテレビジョンを組み合わせるバンドル型サービスであるイーサネット放送システムからのビデオコンテンツを受け取ることができる。ビデオ出力１０１６は、表示装置（例えば、図１ｂにおけるテレビジョン１０５の表示装置１０４）を含むことができる。オーディオ出力１０１８はまた、デジタルビデオレコーダ（ＤＶＲ）１０２０へのインターフェース及びＰＣ１０２２へのインターフェースも設けることができる。
【００８７】
制御回路１０１２は、本明細書で記述した通信及び画像処理を実現することが可能である。
【００８８】
図１１は、パーソナルコンピュータ（ＰＣ）のブロック図の一例を示している。回路１１００は、１以上のマイクロプロセッサーを含むことが可能な制御回路１１１２と、メモリ１１１０（例えば、ＲＯＭ等の不揮発性メモリ及びＲＡＭ等の揮発性メモリ）とを含み、メモリ１０１０は制御回路１１１２の１以上のプロセッサーによって本明細書に記述された機能を実現するために実行されるプロセッサー可読コードを格納している。制御回路１１１２はまた、ＷＬＡＮ内の携帯端末又は他のコンポーネントからＲＦ信号を受信し、ＷＬＡＮ内の携帯端末又は他のコンポーネントにＲＦ信号を送信するために、アンテナ１１０２に接続されたＲＦ送信／受信回路１１０６と通信する。携帯端末に信号を送信し、又は携帯端末から信号を受信するために同様に赤外線送信／受信機１１０８を用いることができる。ビデオ出力１１１６は、表示装置（例えば、図１ｂにモニター１１０の表示装置１１１）を含むことができる。オーディオ出力１１１８及びＴＶ１１２２へのインターフェースも設けることができる。
【００８９】
制御回路１１１２は、本明細書で記述した通信及び画像処理を実現することが可能である。
【００９０】
図１２は、種々の実施例を実現するために適当なコンピュータハードウエアのブロック図の一例を示している。コンピュータハードウエアは、例えば図４の携帯端末を表すことが可能である。種々の実施例を実現するための典型的なシステムには、汎用コンピュータ装置１２１０が含まれる。コンピュータ装置１２１０のコンポーネントは、プロセッサーユニット１２２０、システムメモリ１２３０、及びシステムメモリを含む種々のシステムコンポーネントをプロセッサーユニット１２２０に結合するシステムバス１２２１を含むことができる。システムバス１２２１は例えば、種々のバスアーキテクチャの何れかを用いたメモリバスもしくはメモリ制御装置、ペリフェラルバス、及びローカルバス等である。
【００９１】
コンピュータ装置１２１０は、種々のコンピュータ又はプロセッサーにより読取り可能な媒体を含むことが可能である。コンピュータにより読取り可能な媒体は、コンピュータ装置１２１０によってアクセス可能な入手可能などの媒体でもよく、取り外し可能及び取り外し不可能な、揮発性媒体及び不揮発性媒体の両方を含んでいる。コンピュータにより読取り可能な媒体には、コンピュータにより読取り可能なコマンド、データ構造、プログラムモジュール又は他のデータ等の情報を記憶するためのいかなる方法または技術においても実装される取り外し可能及び取り外し不可能な、揮発性媒体及び不揮発性媒体が含まれる。コンピュータ記憶媒体は、所望の情報を格納するために使用可能でコンピュータ装置１２１０によってアクセス可能なＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ−ＲＯＭ、ディジタルバーサタイルディスク（ＤＶＤ）又は他の光学ディスク記憶媒体、磁気カセット、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置、又は他の媒体を含むことができ、これらに限定されるものではない。上述の媒体何れかの組み合わせもまたコンピュータにより読取り可能な媒体の範囲に含まれる。
【００９２】
システムメモリ１２３０は、リードオンリーメモリメモリ（ＲＯＭ）１２３１及びランダムアクセスメモリ（ＲＡＭ）１２３２等の揮発性及び／又は不揮発性メモリのかたちのコンピュータ記憶媒体を含む。コンピュータ装置１２１０内の要素間で例えばスタートアップ中に情報を転送するのを助ける基本ルーチンを含むベーシック入/出力システム１２３３（ＢＩＯＳ）が一般的にＲＯＭ１２３１に格納される。ＲＡＭ１２３２は一般的にはプロセッサーユニット１２２０によって直ちにアクセス可能及び／又は現在操作中のデータ及び／又はプログラムモジュールを含む。例えば、オペレーティングシステム１２３４、アプリケーションプログラム１２３５、他のプログラムモジュール１２３６、及びプログラムデータ１２３７が提供される。
【００９３】
コンピュータ装置１２１０はまた、他の取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータ記憶媒体を含むことができる。例示のためのみに、図１２は、ソリッドステートメモリ等の取り外し不可能な、不揮発性のメモリ１２４０、取り外し可能な不揮発性のメモリカード１２５２から読取り又はそれに書き込むメモリカード（例えばＳＤカード）インターフェース／読取り装置１２５０を図示している。通常の動作環境で使用することが可能な他の取り外し可能／取り外し不可能な、揮発性／不揮発性のコンピュータ記憶媒体にはフラッシュメモリカード、デジタルバーサタイルディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭ、等が含めることができるが、それらに限定されるものではない。
【００９４】
コンピュータ記憶媒体は、コンピュータ装置１２１０のためのコンピュータにより読取り可能なコマンド、データ構造、プログラムモジュール及び他のデータを記憶する。例えば、非取り外し型の不揮発性メモリ１２４０がオペレーティングシステム１２４４、アプリケーションプログラム１２４５、他のプログラムモジュール１２４６、プログラムデータ１２４７を格納しているものとして示されている。これらのコンポーネントは、システムメモリ１２３０メモリ内のオペレーティングシステム１２３４、アプリケーションプログラム１２３５、他のプログラムモジュール１２３６、プログラムデータ１２３７と同一であっても異なっていても良い。オペレーティングシステム１２４４、アプリケーション１２４５、他のプログラムモジュール１２４６、及びデータ１２４７は、ここでは少なくともそれらは異なるコピーであること示すために異なる番号が付与されている。ユーザーはキーボード／タッチスクリーン１２６２及びマイクロフォン１２６１等の入力装置を介してコンピュータ装置１２１０にコマンド及び情報を入力することができる。他の入力装置（図示せずとしてはジョイスティック、ゲームパッド、サテライトディッシュ、スキャナ、またはその他同種のものが含まれる。これらの入力装置及び他の入力装置はしばしばシステムバスに接続されたユーザー入力インターフェース１２６０を介してプロセッサーユニット１２２０に接続されるけれども、パラレルポート、ゲームポート、又はユニバーサルシリアルバス（ＵＳＢ）等の他のインターフェース及びバス構造によって接続されるようにしても良い。ディスプレイ／モニター１２９１はまたビデオインターフェース１２９０等のインターフェースを介してシステムバス１２２１にも接続されている。カメラ／光センサー１２０２がインターフェース１２０１を介してシステムバス１２２１に接続されている。オーディオ出力１２９７等の他の周辺出力装置が出力ペリフェラルインターフェース１２９５を介して接続される。
【００９５】
コンピュータ装置１２１０は、リモートコンピュータ装置１２８０等の１以上の離れた場所にあるコンピュータ装置への論理的な接続を使用してネットワークされた環境中で動作することができる。リモートコンピュータ装置１２８０は他の携帯端末、パーソナルコンピュータ、サーバー、ルーター、ネットワークＰＣ、ピア装置、又は他の普通のネットワークノードとすることができ、通常はコンピュータ装置１２１０に上に説明した多くの又は全ての要素を含んでいる。かかるネットワークは環境オフィッス、企業全体にわたるコンピュータネットワーク、イントラネット、及びインターネット等でありふれたものである。
【００９６】
ネットワーク環境において使用される場合、コンピュータ装置１２１０は、ネットワークインターフェース又はアダプタ１２７０を介して他のネットワークに接続されるネットワークされた環境において、コンピュータ装置１２１０に対比して示されたプログラムモジュール、又はその部分は離れた場所にあるメモリ記憶装置に格納するようにしても良い。例えば、リモートアプリケーションプログラムをメモリ装置１２８１に常駐させるようにすることができる。示されたネットワーク接続は典型的なものであり、コンピュータ装置間の通信リンクを確立するための他の手段を用いることができる。
【００９７】
以上の本明細書におけるこの技術の詳細な説明は、説明と解説を目的として提示されたものである。全てを網羅することや技術を開示された形式そのものに限定することは意図されていない。以上の開示に照らして多くの変更例と変形例が可能になる。以上に記述した実施例は、この技術の原理を最も良く説明するために選択されたものであり、その実際的な応用によって他の当業者が特定の意図した使用方法に適した種々の実施例及び種々の変更においてこの技術を最も良く使用することが可能になる。技術的範囲は、添付の請求項によって画定されることが意図されている。
【図１ａ】
2012529866.tif 000003
【図１ｂ】
2012529866.tif 000004
【図２ａ】
2012529866.tif 000005
【図２ｂ】
2012529866.tif 000006
【図２ｃ】
2012529866.tif 000007
【図２ｄ】
2012529866.tif 000008
【図２ｅ】
2012529866.tif 000009
【図２ｆ】
2012529866.tif 000010
【図３ａ】
2012529866.tif 000011
【図３ｂ】
2012529866.tif 000012
【図３ｃ】
2012529866.tif 000013
【図４ａ】
2012529866.tif 000014
【図４ｂ】
2012529866.tif 000015
【図４ｃ】
2012529866.tif 000016
【図５】
2012529866.tif 000017
【図６ａ】
2012529866.tif 000018
【図６ｂ】
2012529866.tif 000019
【図７ａ】
2012529866.tif 000020
【図７ｂ】
2012529866.tif 000021
【図７ｃ】
2012529866.tif 000022
【図７ｄ】
2012529866.tif 000023
【図７ｅ】
2012529866.tif 000024
【図７ｆ】
2012529866.tif 000025
【図７ｇ】
2012529866.tif 000026
【図８ａ】
2012529866.tif 000027
【図８ｂ】
2012529866.tif 000028
【図８ｃ】
2012529866.tif 000029
【図９ａ】
2012529866.tif 000030
【図９ｂ】
2012529866.tif 000031
【図１０】
2012529866.tif 000032
【図１１】
2012529866.tif 000033
【図１２】
2012529866.tif 000034
【国際調査報告】
2012529866.tif 000035
2012529866.tif 000036