(57)【要約】  実施形態は、タッチスクリーンユーザインターフェース/ディスプレイと、ユーザの視線内の表示された画像の一部分を拡張するデジタルカメラとを具備したコンピューティングデバイスにユーザインターフェースを提供する。ユーザは、1つまたは複数の指でタッチスクリーンの一部分にタッチすること、およびユーザの目でディスプレイ上の動画を追うことによって、ユーザのモバイルデバイスを較正し得る。モバイルデバイスは、ユーザが見ている場所を追跡し得、ユーザがモバイルデバイスディスプレイを見ている場合、ユーザの視線の近傍にあるディスプレイの一部分のサイズが拡張され得る。一実施形態では、ユーザが仮想キーボードを見ている場合、ユーザの指先のサイズに応じて、ユーザの視線の近くのキーアイコンのサイズが増加され得る。
2013524390.tif 000002
【特許請求の範囲】
【請求項１】
タッチスクリーンディスプレイと、ユーザが前記タッチスクリーンディスプレイを閲覧しているときに前記ユーザの顔を画像化することができるように構成されたデジタルカメラとを具備したコンピューティングデバイス上でユーザインターフェースを形成するための方法であって、
前記デジタルカメラを用いて前記コンピューティングデバイスのユーザの目のデジタル画像を取得するステップと、
前記取得されたデジタル画像に基づいて前記ユーザの視線の位置を判断するステップと、
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられているかどうかを判断するステップと、
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられていると判断されたとき、前記ユーザが見ている場所の近くの前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するステップと
を含む、方法。
【請求項２】
前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するステップが、前記ユーザの指のサイズに関係する較正係数に基づいて前記タッチスクリーンディスプレイ上に提示された前記画像の前記一部分を拡大するステップを含む、請求項1に記載の方法。
【請求項３】
ユーザインターフェースアイコンが前記タッチスクリーンディスプレイ上の前記ユーザの視線の前記判断された位置に近いとき、前記アイコンを拡大するステップをさらに含む、請求項2に記載の方法。
【請求項４】
前記タッチスクリーンの座標への表示されたアイコンのマッピングを、前記拡大されたアイコンに一致するように調整するステップをさらに含む、請求項3に記載の方法。
【請求項５】
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられているかどうかを判断するステップは、前記ユーザの視線が前記タッチスクリーンディスプレイ上で仮想キーボード画像に向けられているかどうかを判断するステップを含み、
前記ユーザが見ている場所の近くの前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するステップが、
ユーザ指サイズ較正係数に基づいて前記ユーザが見ている場所の近くに位置する前記仮想キーボード画像内のキーアイコンを拡大するステップと、
前記タッチスクリーンの座標への表示されたキーアイコンのマッピングを、前記拡大されたキーアイコンに一致するように調整するステップと
を含む、
請求項1に記載の方法。
【請求項６】
前記タッチスクリーンディスプレイ上でタッチエリアの寸法を測定するステップと、
前記タッチエリアの前記測定された寸法に基づいて指サイズ較正係数を計算するステップと、
前記計算された指サイズ較正係数をメモリに記憶するステップと
をさらに含む、請求項1に記載の方法。
【請求項７】
前記取得されたデジタル画像に基づいて前記ユーザの視線の位置を判断するステップが、前記取得されたデジタル画像にルールを適用するステップを含み、前記方法が、
前記タッチスクリーンディスプレイ上にアイコンを表示するステップと、
前記デジタルカメラを用いて前記ユーザの前記目のデジタル画像を取得するステップと、
前記取得されたデジタル画像に前記ルールを適用することによって前記ユーザの視線の位置を判断するステップと、
前記タッチスクリーンディスプレイ上の前記表示されたアイコンの実際の位置に基づいて前記ルールを調整するステップと、
前記調整されたルールをメモリに記憶するステップと
をさらに含む、
請求項1に記載の方法。
【請求項８】
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられているかどうかを判断するステップは、前記ユーザの視線が表示されたハイパーリンクの近傍に向けられているかどうかを判断するステップを含み、
前記ユーザが見ている場所の近くの前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するステップが、
ユーザ指サイズ較正係数に基づいて前記ユーザが見ている場所の近くに位置する表示されたハイパーリンクを拡大するステップと、
前記タッチスクリーンの座標への前記表示されたハイパーリンクのマッピングを、前記拡大表示されたハイパーリンクに一致するように調整するステップと
を含む、
請求項1に記載の方法。
【請求項９】
前記コンピューティングデバイスがモバイルデバイスである、請求項1に記載の方法。
【請求項１０】
前記コンピューティングデバイスがパーソナルコンピュータである、請求項1に記載の方法。
【請求項１１】
コンピューティングデバイスであって、
プロセッサと、
前記プロセッサに結合されたメモリと、
前記プロセッサに結合され、前記コンピューティングデバイスのユーザの目を画像化することができるように構成されたデジタルカメラと、
前記プロセッサに結合されたタッチスクリーンディスプレイと
を含み、
前記プロセッサは、
前記デジタルカメラを用いて前記コンピューティングデバイスのユーザの前記目のデジタル画像を取得するステップと、
前記取得されたデジタル画像に基づいて前記ユーザの視線の位置を判断するステップと、
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられているかどうかを判断するステップと、
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられていると判断されたとき、前記ユーザが見ている場所の近くの前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するステップと
を含む動作を実行するプロセッサ実行可能命令で構成された、
コンピューティングデバイス。
【請求項１２】
前記プロセッサは、前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するステップが、前記ユーザの指のサイズに関係する較正係数に基づいて前記タッチスクリーンディスプレイ上に提示された前記画像の前記一部分を拡大するステップを含むような動作を実行するプロセッサ実行可能命令で構成された、請求項11に記載のコンピューティングデバイス。
【請求項１３】
前記プロセッサは、ユーザインターフェースアイコンが前記タッチスクリーンディスプレイ上の前記ユーザの視線の前記判断された位置に近いとき、前記アイコンを拡大するステップをさらに含む動作を実行するプロセッサ実行可能命令で構成された、請求項12に記載のコンピューティングデバイス。
【請求項１４】
前記プロセッサが、前記タッチスクリーンの座標への表示されたアイコンのマッピングを、前記拡大されたアイコンに一致するように調整するステップをさらに含む動作を実行するプロセッサ実行可能命令で構成された、請求項13に記載のコンピューティングデバイス。
【請求項１５】
前記プロセッサは、
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられているかどうかを判断するステップは、前記ユーザの視線が前記タッチスクリーンディスプレイ上で仮想キーボード画像に向けられているかどうかを判断するステップを含み、
前記ユーザが見ている場所の近くの前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するステップが、
ユーザ指サイズ較正係数に基づいて前記ユーザが見ている場所の近くに位置する前記仮想キーボード画像内のキーアイコンを拡大するステップと、
前記タッチスクリーンの座標への表示されたキーアイコンのマッピングを、前記拡大されたキーアイコンに一致するように調整するステップと
を含む
ような動作を実行するプロセッサ実行可能命令で構成された、請求項11に記載のコンピューティングデバイス。
【請求項１６】
前記プロセッサが、
前記タッチスクリーンディスプレイ上でタッチエリアの寸法を測定するステップと、
前記タッチエリアの前記測定された寸法に基づいて指サイズ較正係数を計算するステップと、
前記計算された指サイズ較正係数をメモリに記憶するステップと
をさらに含む動作を実行するプロセッサ実行可能命令で構成された、請求項11に記載のコンピューティングデバイス。
【請求項１７】
前記プロセッサは、前記取得されたデジタル画像に基づいて前記ユーザの視線の位置を判断するステップが、前記取得されたデジタル画像にルールを適用するステップを含むような動作を実行するプロセッサ実行可能命令で構成され、
前記プロセッサが、
前記タッチスクリーンディスプレイ上にアイコンを表示するステップと、
前記デジタルカメラを用いて前記ユーザの前記目のデジタル画像を取得するステップと、
前記取得されたデジタル画像に前記ルールを適用することによって前記ユーザの視線の位置を判断するステップと、
前記タッチスクリーンディスプレイ上の前記表示されたアイコンの実際の位置に基づいて前記ルールを調整するステップと、
前記調整されたルールをメモリに記憶するステップと
をさらに含む動作を実行するプロセッサ実行可能命令で構成された、
請求項11に記載のコンピューティングデバイス。
【請求項１８】
前記プロセッサは、
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられているかどうかを判断するステップは、前記ユーザの視線が表示されたハイパーリンクの近傍に向けられているかどうかを判断するステップを含み、
前記ユーザが見ている場所の近くの前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するステップが、
ユーザ指サイズ較正係数に基づいて前記ユーザが見ている場所の近くに位置する表示されたハイパーリンクを拡大するステップと、
前記タッチスクリーンの座標への前記表示されたハイパーリンクのマッピングを、前記拡大表示されたハイパーリンクに一致するように調整するステップと
を含む
ような動作を実行するプロセッサ実行可能命令で構成された、請求項11に記載のコンピューティングデバイス。
【請求項１９】
前記コンピューティングデバイスがモバイルデバイスである、請求項11に記載のコンピューティングデバイス。
【請求項２０】
前記コンピューティングデバイスがパーソナルコンピュータである、請求項11に記載のコンピューティングデバイス。
【請求項２１】
コンピューティングデバイスであって、
タッチスクリーンディスプレイと、
前記コンピューティングデバイスのユーザの目のデジタル画像を取得するための手段と、
前記取得されたデジタル画像に基づいて前記ユーザの視線の位置を判断するための手段と、
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられているかどうかを判断するための手段と、
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられていると判断されたとき、前記ユーザが見ている場所の近くの前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するための手段と
を含む、コンピューティングデバイス。
【請求項２２】
前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するための手段が、前記ユーザの指のサイズに関係する較正係数に基づいて前記タッチスクリーンディスプレイ上に提示された前記画像の前記一部分を拡大するための手段を含む、請求項21に記載のコンピューティングデバイス。
【請求項２３】
ユーザインターフェースアイコンが前記タッチスクリーンディスプレイ上の前記ユーザの視線の前記判断された位置に近いとき、前記アイコンを拡大するための手段をさらに含む、請求項22に記載のコンピューティングデバイス。
【請求項２４】
前記タッチスクリーンの座標への表示されたアイコンのマッピングを、前記拡大されたアイコンに一致するように調整するための手段をさらに含む、請求項23に記載のコンピューティングデバイス。
【請求項２５】
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられているかどうかを判断するための手段は、前記ユーザの視線が前記タッチスクリーンディスプレイ上で仮想キーボード画像に向けられているかどうかを判断するための手段を含み、
前記ユーザが見ている場所の近くの前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するための手段が、
ユーザ指サイズ較正係数に基づいて前記ユーザが見ている場所の近くに位置する前記仮想キーボード画像内のキーアイコンを拡大するための手段と、
前記タッチスクリーンの座標への表示されたキーアイコンのマッピングを、前記拡大されたキーアイコンに一致するように調整するための手段と
を含む、
請求項21に記載のコンピューティングデバイス。
【請求項２６】
前記タッチスクリーンディスプレイ上でタッチエリアの寸法を測定するための手段と、
前記タッチエリアの前記測定された寸法に基づいて指サイズ較正係数を計算するための手段と、
前記計算された指サイズ較正係数をメモリに記憶するための手段と
をさらに含む、請求項21に記載のコンピューティングデバイス。
【請求項２７】
前記取得されたデジタル画像に基づいて前記ユーザの視線の位置を判断するための手段が、前記取得されたデジタル画像にルールを適用するための手段を含み、
前記コンピューティングデバイスが、
前記タッチスクリーンディスプレイ上にアイコンを表示するための手段と、
前記デジタルカメラを用いて前記ユーザの前記目のデジタル画像を取得するための手段と、
前記取得されたデジタル画像に前記ルールを適用することによって前記ユーザの視線の位置を判断するための手段と、
前記タッチスクリーンディスプレイ上の前記表示されたアイコンの実際の位置に基づいて前記ルールを調整するための手段と、
前記調整されたルールをメモリに記憶するための手段と
をさらに含む、
請求項21に記載のコンピューティングデバイス。
【請求項２８】
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられているかどうかを判断するための手段は、前記ユーザの視線が表示されたハイパーリンクの近傍に向けられているかどうかを判断するための手段を含み、
前記ユーザが見ている場所の近くの前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するための手段が、
ユーザ指サイズ較正係数に基づいて前記ユーザが見ている場所の近くに位置する表示されたハイパーリンクを拡大するための手段と、
前記タッチスクリーンの座標への前記表示されたハイパーリンクのマッピングを、前記拡大表示されたハイパーリンクに一致するように調整するための手段と
を含む、
請求項21に記載のコンピューティングデバイス。
【請求項２９】
前記コンピューティングデバイスがモバイルデバイスである、請求項21に記載のコンピューティングデバイス。
【請求項３０】
前記コンピューティングデバイスがパーソナルコンピュータである、請求項21に記載のコンピューティングデバイス。
【請求項３１】
デジタルカメラを用いてコンピューティングデバイスのユーザの目のデジタル画像を取得するステップと、
前記取得されたデジタル画像に基づいて前記ユーザの視線の位置を判断するステップと、
前記ユーザの視線がタッチスクリーンディスプレイの一部分に向けられているかどうかを判断するステップと、
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられていると判断されたとき、前記ユーザが見ている場所の近くの前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するステップと
を含む動作をプロセッサに実行させるように構成されたプロセッサ実行可能命令を記憶したプロセッサ可読記憶媒体。
【請求項３２】
前記記憶されたプロセッサ実行可能命令は、前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するステップが、前記ユーザの指のサイズに関係する較正係数に基づいて前記タッチスクリーンディスプレイ上に提示された前記画像の前記一部分を拡大するステップを含むような動作をプロセッサに実行させるように構成された、請求項31に記載のプロセッサ可読記憶媒体。
【請求項３３】
前記記憶されたプロセッサ実行可能命令は、ユーザインターフェースアイコンが前記タッチスクリーンディスプレイ上の前記ユーザの視線の前記判断された位置に近いとき、前記アイコンを拡大するステップをさらに含む動作をプロセッサに実行させるように構成された、請求項32に記載のプロセッサ可読記憶媒体。
【請求項３４】
前記記憶されたプロセッサ実行可能命令が、前記タッチスクリーンの座標への表示されたアイコンのマッピングを、前記拡大されたアイコンに一致するように調整するステップをさらに含む動作をプロセッサに実行させるように構成された、請求項33に記載のプロセッサ可読記憶媒体。
【請求項３５】
前記記憶されたプロセッサ実行可能命令は、
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられているかどうかを判断するステップは、前記ユーザの視線が前記タッチスクリーンディスプレイ上で仮想キーボード画像に向けられているかどうかを判断するステップを含み、
前記ユーザが見ている場所の近くの前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するステップが、
ユーザ指サイズ較正係数に基づいて前記ユーザが見ている場所の近くに位置する前記仮想キーボード画像内のキーアイコンを拡大するステップと、
前記タッチスクリーンの座標への表示されたキーアイコンのマッピングを、前記拡大されたキーアイコンに一致するように調整するステップと
を含む
ような動作をプロセッサに実行させるように構成された、請求項31に記載のプロセッサ可読記憶媒体。
【請求項３６】
前記記憶されたプロセッサ実行可能命令が、
前記タッチスクリーンディスプレイ上でタッチエリアの寸法を測定するステップと、
前記タッチエリアの前記測定された寸法に基づいて指サイズ較正係数を計算するステップと、
前記計算された指サイズ較正係数をメモリに記憶するステップと
をさらに含む動作をプロセッサに実行させるように構成された、請求項31に記載のプロセッサ可読記憶媒。
【請求項３７】
前記記憶されたプロセッサ実行可能命令は、前記取得されたデジタル画像に基づいて前記ユーザの視線の位置を判断するステップが、前記取得されたデジタル画像にルールを適用するステップを含むような動作をプロセッサに実行させるように構成され、
前記記憶されたプロセッサ実行可能命令が、
前記タッチスクリーンディスプレイ上にアイコンを表示するステップと、
前記デジタルカメラを用いて前記ユーザの前記目のデジタル画像を取得するステップと、
前記取得されたデジタル画像に前記ルールを適用することによって前記ユーザの視線の位置を判断するステップと、
前記タッチスクリーンディスプレイ上の前記表示されたアイコンの実際の位置に基づいて前記ルールを調整するステップと、
前記調整されたルールをメモリに記憶するステップと
をさらに含む動作をプロセッサに実行させるように構成された、
請求項31に記載のプロセッサ可読記憶媒体。
【請求項３８】
前記記憶されたプロセッサ実行可能命令は、
前記ユーザの視線が前記タッチスクリーンディスプレイの一部分に向けられているかどうかを判断するステップは、前記ユーザの視線が表示されたハイパーリンクの近傍に向けられているかどうかを判断するステップを含み、
前記ユーザが見ている場所の近くの前記タッチスクリーンディスプレイ上に提示された画像の一部分を拡大するステップが、
ユーザ指サイズ較正係数に基づいて前記ユーザが見ている場所の近くに位置する表示されたハイパーリンクを拡大するステップと、
前記タッチスクリーンの座標への前記表示されたハイパーリンクのマッピングを、前記拡大表示されたハイパーリンクに一致するように調整するステップと
を含む
ような動作をプロセッサに実行させるように構成された、請求項31に記載のプロセッサ可読記憶媒体。
【請求項３９】
前記記憶されたプロセッサ実行可能命令が、モバイルデバイスのプロセッサによって実行されるように構成された、請求項31に記載のプロセッサ可読記憶媒体。
【請求項４０】
前記記憶されたプロセッサ実行可能命令が、パーソナルコンピュータのプロセッサによって実行されるように構成された、請求項31に記載のプロセッサ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、一般にコンピューティングデバイスユーザインターフェースに関し、より詳細には、タッチスクリーンを具備したモバイルデバイスに好適なユーザインターフェースに関する。
【背景技術】
【０００２】
タッチスクリーンディスプレイを具備したモバイルコンピューティングデバイスは新世代のパーソナル電子デバイスを可能にした。タッチスクリーンディスプレイは、グラフィカルディスプレイとフレキシブルユーザインターフェースの両方を与え、したがって、より大きいディスプレイのほうを優先してデバイスから物理キーおよびボタンをなくすことを可能にする。そのようなモバイルデバイスは、一般に、ディスプレイ上に提示されたアイコンにタッチすることによってユーザがコマンドを入力することを可能にするグラフィカルユーザインターフェースシステムを含む。一般的な形態のユーザインターフェースは、従来の物理キーボードまたはキーパッドの様態で配置されたいくつかの小さいキーアイコンをもつ仮想キーボードまたはキーパッドを提示する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
仮想キーボードユーザインターフェースは直観的で有用であるが、典型的なモバイルデバイスにおけるタッチスクリーンディスプレイのサイズが制限されるため、仮想キーボードキーアイコンのサイズを制限する必要があり、ユーザがタイプミスすることなしに正確にタッチすることが困難になる。
【課題を解決するための手段】
【０００４】
様々な実施形態は、デジタルカメラを用いてユーザの視線を追跡することによって、ディスプレイ画像の一部分のサイズを局所的に増加させることによってユーザの指のサイズを補正することができるタッチスクリーンディスプレイをもつコンピューティングデバイス上での使用に好適なユーザインターフェースを可能にする。一実施形態では、モバイルデバイスは、タッチスクリーンディスプレイと、ユーザがタッチスクリーンディスプレイを閲覧している間にユーザの顔を画像化することができるように配置されたデジタルカメラとを含む。デジタル画像中のユーザの目を追跡することによって、モバイルデバイスは、ユーザが見ている場所を判断するように構成され得、ユーザの視線がタッチスクリーンディスプレイ上のある位置に向けられている場合、ユーザが見ている場所の近傍にある表示された画像の一部分のサイズが増加され得る。表示された画像が仮想キーボードまたはキーパッドを含むとき、ユーザの指先の寸法に応じて、ユーザの視線の近傍にあるキーアイコンのサイズが増加され得る。一実施形態では、モバイルデバイスは、トレーニングルーチン中にユーザの指のサイズおよび目に対して較正され得る。実施形態は仮想キーボードユーザインターフェースディスプレイにとって特に有用であり得るが、アイトラッキング局所拡大機能(eye-tracking localized magnification functionality)は、他のアプリケーション、ならびに大きいタッチスクリーンディスプレイをもつコンピューティングデバイスを含む他の形態のコンピューティングデバイスにとっても有用であり得る。
【０００５】
本明細書に組み込まれ、本明細書の一部をなす添付の図面は、本発明の例示的な実施形態を示し、上記の概略的な説明および下記の発明を実施するための形態とともに、本発明の特徴を説明するのに役立つ。
【図面の簡単な説明】
【０００６】
【図１】タッチスクリーンディスプレイ上のメッセージングアプリケーションの従来のユーザインターフェースを示すモバイルデバイスの正面図である。
【図２】メッセージングアプリケーションの一実施形態のユーザインターフェースを示すモバイルデバイスの正面図である。
【図３】一実施形態のユーザインターフェースの動作を示すモバイルデバイスの正面図である。
【図４】一実施形態のユーザインターフェースの動作を示すモバイルデバイスの正面図である。
【図５】一実施形態のユーザインターフェースの較正動作を示すモバイルデバイスの正面図である。
【図６】一実施形態のユーザインターフェースの較正動作を示すモバイルデバイスの正面図である。
【図７】一実施形態のユーザインターフェースを実装するための例示的な方法のプロセスフロー図である。
【図８】一実施形態のユーザインターフェースを較正するための一実施形態の方法のプロセスフロー図である。
【図９】別の実施形態のユーザインターフェースを実装するための一実施形態の方法のプロセスフロー図である。
【図１０】一実施形態において使用するのに好適なモバイルデバイスの構成要素ブロック図である。
【発明を実施するための形態】
【０００７】
様々な実施形態について添付の図面を参照しながら詳細に説明する。可能な場合はいつでも、同じまたは同様の部分を指すために図面全体にわたって同じ参照番号を使用する。特定の例および実装形態になされる言及は、説明のためのものであり、本発明の範囲または特許請求の範囲を限定するものではない。
【０００８】
「コンピューティングデバイス」および「モバイルデバイス」という用語は、本明細書では、セルラー電話、個人情報端末(PDA)、パームトップコンピュータ、ワイヤレス電子メール受信機(たとえば、Blackberry(登録商標)およびTreo(登録商標)デバイス)、マルチメディアインターネット対応セルラー電話(たとえば、Blackberry Storm(登録商標))、Global Positioning System(GPS)受信機、ワイヤレスゲームコントローラ、パーソナルコンピュータ、およびプログラマブルプロセッサと、タッチスクリーンユーザインターフェース/ディスプレイと、ユーザがディスプレイを見ることができるときにユーザの目を画像化することができるようにデバイス上に配置されたデジタルカメラとを含む同様のパーソナル電子デバイスのうちのいずれか1つまたはすべてを指すために互換的に使用する。様々な実施形態は、セルラー電話など、小さいディスプレイを有するモバイルデバイスにおいて特に有用であり、実施形態は、タッチスクリーンディスプレイを採用する任意のコンピューティングデバイスにおいても有用であり得る。したがって、以下の実施形態の説明における「モバイルデバイス」への言及は、例示のためにすぎず、タッチスクリーンディスプレイを採用する他の形態のコンピューティングデバイスを除外するものでも、特許請求の範囲を限定するものでもない。
【０００９】
タッチスクリーンユーザインターフェース/ディスプレイを具備したコンピューティングデバイスは、ユーザ入力およびマテリアルのグラフィカル表現に関して大きいフレキシビリティを与える。ただし、そのようなユーザインターフェースはそれらの制限がないとは限らない。たとえば、従来のキーボードが典型的なモバイルデバイスタッチスクリーンディスプレイ上の仮想キーボードまたはキーパッドとして表されたとき、キーアイコンは、ディスプレイの幅および高さ内に収まるのに十分小さいサイズで表示されなければならない。指によってタッチされる表面エリアは、一般に2つ以上のキーアイコンを包含するので、そのような小さいキーアイコンは、指で正確に押すことが極めて困難であり得る。これを図1に示し、図1は、仮想キーボード4が表示されるタッチスクリーン2をもつモバイルデバイス1を示す。図1に示すような典型的な仮想キーボードレイアウトでは、単一のキー(たとえば、「H」キー)を押そうと試みるユーザの指5は、図示のような「G」、「H」、「V」および「B」のキーなど、周囲のキーアイコンにもタッチする。したがって、そのような仮想キーボードおよびキーパッド上のタイピングエラーは、一般的であり、ユーザにフラストレーションを起こさせ得る。
【００１０】
様々な実施形態は、ユーザの視線に応答して、表示された画像またはアイコンの選択的拡張を付与することによって、小さいモバイルデバイスディスプレイに関するこの問題のソリューションを提供する。一実施形態では、ユーザは、ユーザのコンピューティングデバイスをユーザ自身の指のサイズに対して較正し、また、ユーザの目の撮影された画像に基づいてユーザの視線の位置を認識するようにデバイスをトレーニングし得る。ユーザがタッチスクリーン上の見ている場所を判断し、ユーザが見ている場所の近くの仮想キーボードの部分を指サイズ較正係数に基づく量だけ拡張することによって、モバイルデバイスは、タッチスクリーンディスプレイの実装面積内に収まるが、ユーザの指に対して十分大きいキーアイコンを形成する、ユーザインターフェースキーボードまたはキーパッドを形成することができる。さらなる実施形態では、ユーザの視線内のディスプレイの一部分を拡張する方法は、表示されたマップ、写真、テキスト、および他の視覚材料など、他のアプリケーションに適用され得る。また、局所画像拡張機能(localized image enhancement functionality)は、画像全体を拡大する必要なしに、ユーザがディスプレイ上の特定の位置を正確に押すことを可能にすることができるので、様々な実施形態は、大きいタッチスクリーンディスプレイをもつものでも、タッチスクリーンディスプレイを含む任意のコンピューティングデバイス上で実装され得る。
【００１１】
図2に、タッチスクリーン2をもつモバイルデバイス1上で動作する一実施形態を示す。この実施形態では、ユーザの目は、ユーザがタッチスクリーン2と対話している間にモバイルデバイス1がユーザの顔を画像化することができるようにモバイルデバイス1上に配置されたデジタルカメラ3によって画像化される。ユーザが見ている場所に基づいて、モバイルデバイス1は、ユーザの指5に適合するように仮想キーパッド仮想キーボード4のキーアイコンのサイズを増加させる。図示のように、文字「H」の仮想キーを押そうと試みているユーザは、ユーザの指先と同じ大きさのアイコンを提示される。このようにして、間違ったキーを押す可能性、またはタッチスクリーンインターフェースを、複数のキーアイコンを包含するタッチイベントと混同する可能性が低減される。
【００１２】
この実施形態を図3および図4にさらに示し、図3および図4は、タッチスクリーンディスプレイ2上のユーザの視線6の位置を判断するために、デジタルカメラ3がユーザの目5をどのように画像化するかを示す。これは、ユーザの目、より詳細には、ユーザの瞳孔の位置を特定するために画像認識ソフトウェアを使用することによって達成され得る。ユーザの視線の位置を判断することは、デバイスタッチスクリーンディスプレイに対するユーザの顔の配向および位置ならびに画像内のユーザの瞳孔の位置を考慮に入れ得る画像解析ルールをユーザの目の画像に適用すること、およびユーザが見ている場所を推定するために三角法計算を適用することによって達成され得る。モバイルデバイスが、デジタルカメラ3によって取得された画像からユーザの視線6の位置を判断すると、ユーザの視線6の中心に近い仮想キーパッド4のキーアイコンのサイズが拡張される。したがって、ユーザの視線6が、図3に示したように仮想キーボード4の左側から、図4に示したように仮想キーボード4の右側にシフトすると、ユーザの視線6の中心内の仮想キーパッド4のアイコンは、ユーザの指の較正係数に基づいてより大きくなる。図3および図4は、仮想キーボード4が、モバイルデバイスタッチスクリーン2の制限されたスペース内に収まり、また同時に、ユーザの指に適応するのに十分大きいキーアイコンを形成することを、実施形態がどのように可能にするかを示す。
【００１３】
図2〜図4は、ユーザの視線に応答して拡張される仮想キーボード4を示すが、実施形態は、電話キーパッド、計算器キーパッドまたはゲーム固有キーパッドなど、任意の仮想キーパッドにも適用され得る。したがって、仮想キーボード4の画像は、実施形態の範囲に対する限定としてではなく、単に例として与えたものである。
【００１４】
モバイルデバイス1をユーザの指のサイズに対して較正するために、モバイルデバイスは、使用の前にそれらのデバイスをユーザの指に対して初期化または較正するようにユーザに要求し得る。図5に、較正プロセスにおいてタッチスクリーン2上に提示され得る例示的なユーザインターフェースディスプレイを示す。そのような較正プロセスでは、ユーザは、通常、テクスティング中に使用される1つまたは複数の指でスクリーン上の仮想キー8にタッチするように促され得る。この実施形態では、モバイルデバイス1がユーザの指先によって接触されたタッチスクリーン2の表面エリアの寸法を判断することができるように、ユーザは、表示されたキーアイコンにタッチするだけでよい。測定された寸法を使用して、デバイスプロセッサは、図2〜図4に示したようにキーアイコンをサイズ変更する際に使用するためにメモリに記憶され得る適切なユーザ指サイズ較正係数を計算することができる。
【００１５】
モバイルデバイス1がユーザが見ている場所を正確に判断することができるように、モバイルデバイス1をユーザの目に対して較正するために、モバイルデバイス1は、トレーニングルーチン中にユーザの目を追跡するようにユーザのデバイスをトレーニングするようにユーザに要求し得る。図6に、そのようなトレーニングルーチン中にタッチスクリーン2上に提示され得る単純なユーザインターフェースディスプレイを示す。たとえば、ミツバチ9の画像など、タッチスクリーン2上の移動アイコンがタッチスクリーンディスプレイ2上で動き回る際、ユーザは、その移動アイコンを追うように促され得る。各瞬間に、モバイルデバイス1は、ユーザの目の画像をディスプレイ2上の特定の位置に相関させる方法を学習するために、デジタルカメラ3から取得されたユーザの目の画像をディスプレイ2上の移動アイコン9の位置と比較する。デバイスプロセッサは、画像がタッチスクリーン上のどこにあるのかを知っているので、プロセッサは、判断された位置と実際の位置とを整合させるために、差分または補正係数を計算し、または場合によっては画像解析ルールを調整することができる。そのような較正/学習プロセスは、よく知られている機械学習技法と、よく知られている画像認識技法とを使用することなどによって、視線の焦点を判断するためにユーザの顔画像を解析するためのルールのセットを展開するために使用され得る。
【００１６】
図5および図6に示した較正およびトレーニングプロセスは、統計的に平均化された指サイズ較正およびアイトラッキングルールを形成するために、複数回繰り返され得る。さらに、アイトラッキングトレーニングは、所定の時間期間の間継続し得るか、または表示された画像の実際の位置とユーザが見ている判断された位置との間の誤差が最大しきい値を下回って低減されるまで継続し得る。
【００１７】
一実施形態によるコンピューティングデバイス上で実装され得る例示的な方法10を図7に示す。方法10では、ステップ12において、タッチスクリーン上に仮想キーパッドが表示されたとき、アイトラッキング/ディスプレイ拡張機能をアクティブにする。ステップ14において、アイトラッキング/ディスプレイ拡張機能をアクティブにすることの一部として、コンピューティングデバイス内のプロセッサがメモリから較正値とアイトラッキングルールとにアクセスする。ステップ16において、プロセッサは、デジタルカメラ3をアクティブにし、ユーザの顔および目を画像化することを開始する。ステップ18において、プロセッサは、ユーザの視線の位置を判断するためにユーザの顔の画像を解析する。上述のように、これは、ユーザの瞳孔の位置および配向を特定するために画像認識ソフトウェアを使用することによって達成され得る。ユーザの視線の位置を判断することは、メモリから取得された画像解析ルールをユーザの目の画像に適用することによって達成され得る。そのような画像解析ルールは、図8を参照しながら以下で説明するように、ユーザトレーニングルーチン中に判断または調整され得る。
【００１８】
判断ステップ20において、ユーザの視線の方向または位置が判断されると、プロセッサは、ユーザがキーパッドを見ているかどうかを判断するために、その位置を表示された仮想キーパッドの位置と比較する。ユーザが現在仮想キーボードを見ていないとプロセッサが判断した場合(すなわち、判断ステップ20=「いいえ」)、プロセッサは、ステップ18に戻ることによってデジタルカメラからユーザの目の画像を取得し、解析することを続ける。ユーザが現在仮想キーボードを見ているとプロセッサが判断した場合(すなわち、判断ステップ20=「はい」)、ステップ22において、プロセッサは指サイズ較正係数を使用して、ユーザの視線の中心の近くのキーアイコンを拡張する。次いで、プロセッサは、ステップ18に戻ることによってデジタルカメラからの画像を受信し、解析することを続ける。このプロセスは、仮想キーボードがタッチスクリーンディスプレイ上に表示される限り、またはユーザによって他の方法で機能が終了されるまで、継続し得る。
【００１９】
ユーザが見ている場所の近傍内の仮想キーのサイズを拡大することに加えて、プロセッサはまた、タッチスクリーンディスプレイへのタッチをユーザ入力と認識するために、各キーアイコンにマッピングされたディスプレイ座標を、アイコンのサイズに一致するように調整し得る。グラフィカルユーザインターフェース機能は、特定のアイコンがユーザによってタッチされているときにデバイスプロセッサが認識することができるように、表示された画像中のユーザインターフェースアイコン(たとえば、キーアイコン)の位置をタッチスクリーンインターフェース上の座標位置または境界にマッピングする。したがって、ステップ22において、プロセッサはまた、ディスプレイ座標へのキーアイコンのマッピングを、ディスプレイ上に提示されたアイコンの寸法に一致するように調整する。一実施形態では、キーボードアイコンのサイズ変更は、2つのステップにおいて達成され得る。最初に、プロセッサは、ユーザの視線の位置および指較正係数に基づいて各キーアイコンの新たなサイズを判断し得る。次いで、第2のステップにおいて、プロセッサは、タッチスクリーンセンサ座標へのアイコンのマッピングを、様々なキーアイコンの調整された寸法に一致するように調整し得る。
【００２０】
図8に、ユーザの指のサイズおよび視線に対してデバイスをトレーニングし、較正するために、コンピューティングデバイス上に実装され得る例示的な方法30を示す。方法30は較正動作とトレーニング動作の両方を一緒に示すが、指サイズ較正およびアイトラッキングトレーニングは別々にも達成され得る。方法30では、ステップ32において、コンピューティングデバイス内のプロセッサが、ユーザメニュー選択に応答して、またはより大きいデバイス初期化ルーチンの一部としてなど、較正/トレーニングアプリケーションをアクティブにする。ステップ34において、プロセッサは、図5に示したようにタッチスクリーン上の特定のスポットにタッチするようにユーザに促すディスプレイを生成する。ステップ36において、プロセッサは、タッチスクリーンディスプレイから信号または座標情報を受信し、ユーザの指によって接触されたエリアのサイズおよび形状を測定する。ステップ38において、プロセッサは、接触エリアの測定されたサイズおよび形状を使用して、メモリに記憶され得る指サイズ較正係数を計算する。この較正係数は、ユーザの指に好適であるアイコンサイズを判断するためにアイコンの寸法に適用され得る寸法の値(たとえば、面積、直径または半径)または拡大率(たとえば、割合または数値)であり得る。
【００２１】
ステップ40において、プロセッサは、デジタルカメラをアクティブにし、ユーザの顔および目を画像化する。ステップ42において、プロセッサは、画像内のユーザの顔を特定するために取得された画像を解析し、ユーザの目を認識し、画像エリア内のユーザの顔の寸法の測定値を取得する。この情報は、コンピューティングデバイスがユーザの顔から様々な距離に保持されるときにユーザの目を認識し、追跡することができる画像認識ルールを生成または調整するために使用され得る。コンピューティングデバイスとユーザの顔との間の距離は、機能がアクティブにされるたびに、またユーザがコンピューティングデバイスと対話している間に変動する可能性がある。したがって、較正の一部は、コンピューティングデバイスプロセッサが異なる撮像距離を補正することができるように、測定値を取得することを伴い得る。さらに、トレーニングプロセスは、顔とカメラとの間の異なる距離において繰り返されて、プロセッサが、そのような分離距離の差を補正することができる認識ルールを生成することが可能になり得る。
【００２２】
ステップ44において、プロセッサは、ディスプレイ上の移動カートゥーンまたはアイコンを追うようにユーザに促すメッセージを表示する。ステップ46において、プロセッサは、ディスプレイ上でカートゥーンまたはアイコンをある増分距離だけ移動させ、ステップ48において、プロセッサは、ユーザの視線の位置を判断するためにユーザの顔の画像を取得し、解析する。ステップ46において、(たとえば、コーナーおよび中心の各々に順次)連続的に、増分的に、または大きいステップでカートゥーンまたはアイコンを移動させる。アイトラッキングトレーニングが初めて達成されたときに、ステップ48において、視線判断動作は、コンピューティングデバイス上の視線の位置にユーザの目の画像を変換するためのデフォルトルールを採用する。ステップ50において、コンピューティングデバイスは、判断された位置がディスプレイ上の実際のカートゥーンまたはアイコンの位置に一致するように視線判断画像解析ルールを調整する。このアイトラッキングルール較正プロセスは、判断された位置がディスプレイ上のカートゥーンまたはアイコンの実際の位置に一致するように、ユーザの視線の位置を判断するためにステップ48において使用されるルールの単純な線形調整または変換を伴う。判断ステップ52において、プロセッサは、トレーニングプロセスが完了したかどうかを判断する。プロセッサは、所定の時間量の間、所定の数の位置を通って、または一貫して最大しきい値(すなわち、許容誤差)内にある視線の判断された位置とカートゥーンまたはアイコンの実際の位置との間の差までディスプレイ上のカートゥーンまたはアイコンを移動させることによってトレーニングルーチンを継続し得る。プロセッサはトレーニングが完了しないと判断する限り(すなわち、判断ステップ52=「いいえ」)、プロセッサは、ステップ46において、ディスプレイ上のカートゥーンまたはアイコンを移動させ、ステップ48において、ユーザの視線の位置を判断し、ステップ50において、視線アイコン判断ルールを較正することを続ける。プロセッサがトレーニングが完了したと判断すると(すなわち、判断ステップ52=「はい」)、ステップ54において、プロセッサは、較正設定およびアイトラッキング画像解析ルールをメモリに記憶する。
【００２３】
様々な実施形態はまた、選択的視覚拡張から恩恵を受け得る視覚表示を提示する他のタイプのアプリケーションに適用され得る。たとえば、アイトラッキング局所拡大機能は、ユーザがより大きいマップ表示のコンテキスト内でローカルマップ詳細を見ることができるように、マップまたはナビゲーションプログラムにおいて有用であり得る。仮想キーパッドと同様に、タッチスクリーンインターフェースにタッチすることによってユーザがさらなる情報の特定の位置を選択することを可能にするマップまたはナビゲーションアプリケーションは、指サイズ較正係数に依存する量だけマップを局所的に拡大し得る。このようにして、マップまたはナビゲーションアプリケーションは、特定の位置への指タッチを介してユーザ入力を受信することができ、ユーザの指先のサイズが不注意に間違った位置を選択する可能性が低減される。
【００２４】
様々な実施形態の別の実際的なアプリケーションは、アイトラッキング局所拡大機能を使用して、ハイパーリンクと、インターネットウェブリンクと、タッチスクリーンディスプレイ上に表示された他の「クリックできる」テキストとを拡張することであろう。たいていのモバイルデバイス上のタッチスクリーンディスプレイはサイズが小さいので、表示されたウェブページアイコンおよびテキストのサイズは、一般にたいていのユーザの指先よりも小さい。したがって、アイコンまたはハイパーテキストの形態のハイパーリンクを「クリックする」ためにディスプレイスクリーンにタッチすることは困難であり得る。様々な実施形態は、ハイパーリンクアイコンまたはテキストが、ユーザが不正確なハイパーリンクに不注意にタッチすることなしに正確に所望のハイパーリンクにタッチすることができるのに十分大きいように、ユーザが見ているハイパーリンクを含むウェブページおよびドキュメントを局所的に拡大することができる。
【００２５】
図9に、コンピューティングデバイス上でそのような機能を実装するための例示的な方法60を示す。ステップ62において、コンピューティングデバイスプロセッサは、マップまたは他のアプリケーションのアクティブ化に応答して視覚トラッキングおよび拡張機能をアクティブにする。ステップ64において、アイトラッキング/ディスプレイ拡張機能をアクティブにすることの一部として、コンピューティングデバイス内のプロセッサがメモリ中で較正値とアイトラッキングルールとにアクセスする。ステップ66において、プロセッサは、デジタルカメラをアクティブにし、ユーザの顔および目を画像化することを開始する。ステップ68において、プロセッサは、ユーザの視線の位置を判断するためにユーザの顔の画像を解析する。この解析を達成するために、プロセッサは、図8を参照しながら上記で説明したように、ユーザトレーニングルーチン中に判断された画像解析ルールを適用し得る。判断ステップ70において、ユーザの視線の位置が判断されると、プロセッサは、ユーザがコンピューティングデバイスディスプレイを見ているかどうかを判断するために、その位置をタッチスクリーンディスプレイの位置と比較する。ユーザが現在ディスプレイを見ていないとプロセッサが判断した場合(すなわち、判断ステップ70=「いいえ」)、プロセッサは、ステップ68に戻ることによってデジタルカメラからの画像を取得し、解析することを続ける。ユーザが現在ディスプレイを見ているとプロセッサが判断した場合(すなわち、判断ステップ70=「はい」)、ステップ72において、プロセッサは、ユーザの視線の中心の近くのキーボード画像の一部分を拡張する。次いで、プロセッサは、ステップ68に戻ることによってデジタルカメラからの画像を取得し、解析することを続ける。このプロセスは、特定のアプリケーションがアクティブにされるか、または特定のタイプの画像がタッチスクリーンディスプレイ上に表示される限り、あるいはユーザによって機能が終了されるまで、継続し得る。
【００２６】
様々な実施形態での使用に好適な典型的なモバイルデバイス1は、図10に示す構成要素を共通に有する。たとえば、モバイル受信機デバイス1は、内部メモリ102と、タッチスクリーンディスプレイ103と、ユーザがディスプレイ103を見ている間にユーザの目を画像化することができるように配置されたデジタルカメラ3とに結合されたプロセッサ101を含み得る。さらに、モバイルデバイス1は、プロセッサ101に結合されたワイヤレスデータリンクおよび/またはセルラー電話トランシーバ105に接続される、電磁放射を送信および受信するためのアンテナ104を有し得る。モバイルデバイスは、一般に、ユーザ入力を受信するためのメニュー選択ボタンまたはロッカースイッチ107をも含む。図10はモバイルコンピューティングデバイスを示しているが、パーソナルコンピュータとラップトップコンピュータとを含む他の形態のコンピューティングデバイスも、一般に、内部メモリ102と、タッチスクリーンディスプレイ103と、ユーザがディスプレイ103を見ている間にユーザの目を画像化することができるように配置されたデジタルカメラ3とに結合されたプロセッサ101を含む。さらに、デジタルカメラ3は、図10に示したようにコンピューティングデバイスに組み込まれ得るか、あるいはケーブル(図示せず)またはワイヤレスデータリンク(図示せず)などによってプロセッサ101に電子的に結合された別個のデバイスとして構成され得る。したがって、図10は、特定の図示のフォームファクタにおいて特許請求の範囲をモバイルコンピューティングデバイスに限定するものではない。
【００２７】
プロセッサ101は、本明細書で説明した様々な実施形態の機能を含む、様々な機能を実行するようにソフトウェア命令(アプリケーション)によって構成され得る任意のプログラマブルマイクロプロセッサ、マイクロコンピュータあるいは1つまたは複数の多重プロセッサチップであり得る。モバイルデバイスによっては、1つのプロセッサをワイヤレス通信機能専用とし、1つのプロセッサを他のアプリケーションの実行専用とするなど、複数のプロセッサ101を設け得る。一般に、ソフトウェアアプリケーションは、アクセスされ、プロセッサ101にロードされる前に内部メモリ102に記憶され得る。いくつかのモバイルデバイスでは、プロセッサ101は、アプリケーションソフトウェア命令を記憶するのに十分な内部メモリを含み得る。一部のモバイルデバイスでは、セキュアなメモリは、プロセッサ101に結合された別個のメモリチップ中にあり得る。多くのモバイルデバイス1では、内部メモリ102は、揮発性メモリ、またはフラッシュメモリなどの不揮発性メモリ、あるいは両方の混合であり得る。本明細書では、メモリへの一般的言及は、内部メモリ102と、モバイルデバイスに接続されるリムーバブルメモリと、プロセッサ101自体の内のメモリとを含む、プロセッサ101によってアクセス可能なすべてのメモリを指す。
【００２８】
上記の方法の説明およびプロセスフロー図は、単に説明のための例として提供したものであり、様々な実施形態のステップを提示された順序で実行しなければならないことを要求または暗示するものではない。当業者なら諒解するように、上記の実施形態におけるステップの順序は、どんな順序でも実行され得る。「その後」、「次いで」、「次に」などの単語は、ステップの順序を限定するものではなく、これらの単語は、単に、読者に方法の説明を案内するために使用される。さらに、たとえば、冠詞「a」、「an」または「the」を使用する単数形の請求項要素への言及は、その要素を単数形に限定するものと解釈すべきではない。
【００２９】
本明細書で開示した実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップを、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈すべきではない。
【００３０】
本明細書で開示した実施形態に関して説明した様々な例示的な論理、論理ブロック、モジュール、および回路を実装するために使用されるハードウェアは、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタロジック、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。代替的に、いくつかのステップまたは方法は、所与の機能に固有の回路によって実行され得る。
【００３１】
1つまたは複数の例示的な実施形態では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。本明細書で開示した方法またはアルゴリズムのステップは、コンピュータ可読媒体上に常駐し得る、実行されるプロセッサ実行可能なソフトウェアモジュールで実施され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を含み得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー（登録商標）ディスク(disk)、およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。さらに、方法またはアルゴリズムの動作は、コン
ピュータプログラム製品に組み込まれ得る、機械可読媒体および/またはコンピュータ可読媒体上のコードおよび/または命令の1つまたは任意の組合せ、あるいはそのセットとして常駐し得る。
【００３２】
開示した実施形態の上記の説明は、当業者が本発明を製作または使用できるように提供したものである。これらの実施形態に対する様々な変更は、当業者には容易に明らかとなり、本明細書で定義された一般的な原理は、本発明の趣旨または範囲から逸脱することなく他の実施形態に適用され得る。したがって、本発明は、本明細書で示した実施形態に限定されるものではなく、以下の特許請求の範囲ならびに本明細書で開示した原理および新規の特徴に合致する最も広い範囲を与えられるべきである。
【符号の説明】
【００３３】
1  モバイルデバイス
2  タッチスクリーン
3  デジタルカメラ
4  仮想キーボード
4  仮想キーパッド仮想キーボード
4  仮想キーパッド
5  ユーザの指
6  ユーザの視線
8  仮想キー
9  移動アイコン
101  プロセッサ
102  内部メモリ
103  タッチスクリーンディスプレイ
104  アンテナ
105  ワイヤレスデータリンクおよび/またはセルラー電話トランシーバ
107  メニュー選択ボタンまたはロッカースイッチ
【図１】
2013524390.tif 000003
【図２】
2013524390.tif 000004
【図３】
2013524390.tif 000005
【図４】
2013524390.tif 000006
【図５】
2013524390.tif 000007
【図６】
2013524390.tif 000008
【図７】
2013524390.tif 000009
【図８】
2013524390.tif 000010
【図９】
2013524390.tif 000011
【図１０】
2013524390.tif 000012
【国際調査報告】
2013524390.tif 000013
2013524390.tif 000014
2013524390.tif 000015