(57)【要約】【課題】複数種類の入力操作が可能な、優れた情報入力装置及び情報入力方法、並びにコンピューター・プログラムを提供する。【解決手段】情報処理装置１００は、３次元カメラなどからなる対象物センサー１０１を装備し、対象物を同定するとともに、対象物の距離並びに位置を検出する。そして、情報処理装置１００は、ユーザーの距離に応じて最適なインタラクションを実現するための入力方法を自動で選択する。また、情報処理装置１００は、選択した入力方法で操作を行なうためのユーザー・インターフェース要素を、大画面上でユーザーの距離並びに位置に応じた適切な位置で表示する。【選択図】  図１
2015090547.tif 000002
【特許請求の範囲】
【請求項１】
情報を表示する画面を有する表示部と、
前記画面に対する対象物の距離及び位置を検出する検出部と、
前記対象物の距離に応じたユーザー・インターフェースを提供するユーザー・インターフェース提供部と、
対象物の距離及び位置に応じて前記画面にユーザー・インターフェース要素を表示させるユーザー・インターフェース要素表示部と、
を具備する情報入力装置。
【請求項２】
前記検出部は、対象物が第１の距離Ｔ１（但し、Ｔ１＞０）以内の近距離、第１の距離Ｔ１から第２の距離Ｔ２（但し、Ｔ２＞Ｔ１）の間となる中間距離、第２の距離を超える遠距離のいずれにいるかを判定し、
前記ユーザー・インターフェース提供部は、近距離の対象物に対し近距離用のユーザー・インターフェースを提供し、中間距離の対象物に対し中間距離用のユーザー・インターフェースを提供し、遠距離の対象物に対し遠距離用のユーザー・インターフェースを提供する、
請求項１に記載の情報入力装置。
【請求項３】
前記ユーザー・インターフェース提供部は、前記近距離用のユーザー・インターフェースとして、前記画面対するタッチ操作を行なうユーザー・インターフェースを提供する、
請求項２に記載の情報入力装置。
【請求項４】
前記ユーザー・インターフェース提供部は、前記中間距離用のユーザー・インターフェースとして、ジェスチャー入力するユーザー・インターフェースを提供する、
請求項２に記載の情報入力装置。
【請求項５】
前記ユーザー・インターフェース提供部は、前記遠距離用のユーザー・インターフェースとして、リモコンを利用したユーザー・インターフェースを提供する、
請求項２に記載の情報入力装置。
【請求項６】
前記ユーザー・インターフェース要素表示部は、遠距離と判定された対象物に対して、ユーザー・インターフェース要素の中心座標を前記画面の所定位置に固定して表示させる、
請求項２に記載の情報入力装置。
【請求項７】
前記ユーザー・インターフェース要素表示部は、中間距離と判定された対象物に対して、ユーザー・インターフェース要素の中心座標を対象物の位置に対応する前記画面上の位置に移動して表示させる、
請求項２に記載の情報入力装置。
【請求項８】
前記ユーザー・インターフェース要素表示部は、近距離と判定された対象物に対して、ユーザー・インターフェース要素の中心座標を前記画面の所定位置に固定して表示させる、
請求項２に記載の情報入力装置。
【請求項９】
前記ユーザー・インターフェース要素表示部は、近距離と判定された対象物に対して、より詳細なユーザー・インターフェース要素を表示させる、
請求項２に記載の情報入力装置。
【請求項１０】
前記検出部は、中間距離にいる対象物の状態を解析し、
前記ユーザー・インターフェース要素表示部は、対象物の状態に応じたユーザー・インターフェース要素を表示させる、
請求項２に記載の情報入力装置。
【請求項１１】
前記検出部は、対象物としてのユーザーの人数と各ユーザーの位置を検出し、
前記ユーザー・インターフェース要素表示部は、検出されたユーザー毎のユーザー・インターフェース要素を各ユーザーの位置に追従して表示させる、
請求項１０に記載の情報入力装置。
【請求項１２】
前記検出部は、検出した対象物の情報を保持し、対象物を検出できなくても一定時間だけは保持した情報を前記ユーザー・インターフェース提供部及び前記ユーザー・インターフェース要素表示部に出力する、
請求項１に記載の情報入力装置。
【請求項１３】
前記ユーザー・インターフェース提供部及び前記ユーザー・インターフェース要素表示部は、今まで前記検出部から出力されていた対象物の情報が停止されると、対応するユーザー・インターフェースの提供とユーザー・インターフェース要素の表示をそれぞれ停止する、
請求項１２に記載の情報入力装置。
【請求項１４】
情報を表示する画面に対する対象物の距離及び位置を検出する検出ステップと、
前記対象物の距離に応じたユーザー・インターフェースを提供するユーザー・インターフェース提供ステップと、
対象物の距離及び位置に応じて前記画面にユーザー・インターフェース要素を表示させるユーザー・インターフェース要素表示ステップと、
を有する情報入力方法。
【請求項１５】
情報を表示する画面を有する表示部、
前記画面に対する対象物の距離及び位置を検出する検出部、
前記対象物の距離に応じたユーザー・インターフェースを提供するユーザー・インターフェース提供部、
対象物の距離及び位置に応じて前記画面にユーザー・インターフェース要素を表示させるユーザー・インターフェース要素表示部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、複数種類の入力操作が可能な情報入力装置及び情報入力方法、並びにコンピューター・プログラムに関する。
【背景技術】
【０００２】
パーソナル・コンピューターのような情報処理装置のユーザー・インターフェースは、キーボードやマウスが一般的であるが、最近ではタッチパネルが用いられることが多くなってきている。スマートフォンやタブレット、電子書籍などの多機能携帯端末においてもタッチパネルが採り入れられている。また、カメラなどの距離画像センサーを用いてユーザーのジェスチャーを入力する情報機器も増えてきている。       他方、テレビ受信機やエアコン、ＣＥ（Ｃｏｎｓｕｍｅｒ  Ｅｌｅｃｔｒｏｎｉｃｓ）機器などでは、リモコン操作が広く利用されている。
【０００３】
例えば、３次元ジェスチャー入力とディスプレイ面へのタッチ入力が可能なユーザー・インターフェース装置について提案がなされている（例えば、特許文献１を参照のこと）。このユーザー・インターフェース装置は、対象物（指やスタイラスなど）との距離に基づいて対象物がジェスチャー入力領域内又は接触入力領域内のいずれに位置するかを判断する。そして、ジェスチャー入力領域内であれば、対象物の形状や動作に基づいて、ポインティング操作又はジェスチャー入力として処理する。また、接触入力領域内であれば、対象物がポイントする位置に対するポインティング操作として処理を行なう。また、ユーザー・インターフェース装置は、ポインティング操作が行なわれるときには、透明ディスプレイにメニュー部品などのユーザー・インターフェース要素を表示する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本明細書で開示する技術の目的は、複数種類の入力操作が可能な、優れた情報入力装置及び情報入力方法、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
情報を表示する画面を有する表示部と、
前記画面に対する対象物の距離及び位置を検出する検出部と、
前記対象物の距離に応じたユーザー・インターフェースを提供するユーザー・インターフェース提供部と、
対象物の距離及び位置に応じて前記画面にユーザー・インターフェース要素を表示させるユーザー・インターフェース要素表示部と、
を具備する情報入力装置である。
【０００６】
本願の請求項２に記載の技術によれば、請求項１に記載の情報入力装置の前記検出部は、対象物が第１の距離Ｔ１（但し、Ｔ１＞０）以内の近距離、第１の距離Ｔ１から第２の距離Ｔ２（但し、Ｔ２＞Ｔ１）の間となる中間距離、第２の距離を超える遠距離のいずれにいるかを判定し、前記ユーザー・インターフェース提供部は、近距離の対象物に対し近距離用のユーザー・インターフェースを提供し、中間距離の対象物に対し中間距離用のユーザー・インターフェースを提供し、遠距離の対象物に対し遠距離用のユーザー・インターフェースを提供するように構成されている。
【０００７】
本願の請求項３に記載の技術によれば、請求項２に記載の情報入力装置の前記ユーザー・インターフェース提供部は、前記近距離用のユーザー・インターフェースとして、前記画面対するタッチ操作を行なうユーザー・インターフェースを提供するように構成されている。
【０００８】
本願の請求項４に記載の技術によれば、請求項２に記載の情報入力装置の前記ユーザー・インターフェース提供部は、前記中間距離用のユーザー・インターフェースとして、ジェスチャー入力するユーザー・インターフェースを提供するように構成されている。
【０００９】
本願の請求項５に記載の技術によれば、請求項２に記載の情報入力装置の前記ユーザー・インターフェース提供部は、前記遠距離用のユーザー・インターフェースとして、リモコンを利用したユーザー・インターフェースを提供するように構成されている。
【００１０】
本願の請求項６に記載の技術によれば、請求項２に記載の情報入力装置の前記ユーザー・インターフェース要素表示部は、遠距離と判定された対象物に対して、ユーザー・インターフェース要素の中心座標を前記画面の所定位置に固定して表示させるように構成されている。
【００１１】
本願の請求項７に記載の技術によれば、請求項２に記載の情報入力装置の前記ユーザー・インターフェース要素表示部は、中間距離と判定された対象物に対して、ユーザー・インターフェース要素の中心座標を対象物の位置に対応する前記画面上の位置に移動して表示させるように構成されている。
【００１２】
本願の請求項８に記載の技術によれば、請求項２に記載の情報入力装置の前記ユーザー・インターフェース要素表示部は、近距離と判定された対象物に対して、ユーザー・インターフェース要素の中心座標を前記画面の所定位置に固定して表示させるように構成されている。
【００１３】
本願の請求項９に記載の技術によれば、請求項２に記載の情報入力装置の前記ユーザー・インターフェース要素表示部は、近距離と判定された対象物に対して、より詳細なユーザー・インターフェース要素を表示させるように構成されている。
【００１４】
本願の請求項１０に記載の技術によれば、請求項２に記載の情報入力装置の前記検出部は、中間距離にいる対象物の状態を解析し、前記ユーザー・インターフェース要素表示部は、対象物の状態に応じたユーザー・インターフェース要素を表示させるように構成されている。
【００１５】
本願の請求項１１に記載の技術によれば、請求項１０に記載の情報入力装置の前記検出部は、対象物としてのユーザーの人数と各ユーザーの位置を検出し、前記ユーザー・インターフェース要素表示部は、検出されたユーザー毎のユーザー・インターフェース要素を各ユーザーの位置に追従して表示させるように構成されている。
【００１６】
本願の請求項１２に記載の技術によれば、請求項１に記載の情報入力装置の前記検出部は、検出した対象物の情報を保持し、対象物を検出できなくても一定の保持時間だけは保持した情報を前記ユーザー・インターフェース提供部及び前記ユーザー・インターフェース要素表示部に出力するように構成されている。
【００１７】
本願の請求項１３に記載の技術によれば、請求項１２に記載の情報入力装置の前記ユーザー・インターフェース提供部及び前記ユーザー・インターフェース要素表示部は、今まで前記検出部から出力されていた対象物の情報が停止されると、対応するユーザー・インターフェースの提供とユーザー・インターフェース要素の表示をそれぞれ停止するように構成されている。
【００１８】
また、本願の請求項１４に記載の技術は、
情報を表示する画面に対する対象物の距離及び位置を検出する検出ステップと、
前記対象物の距離に応じたユーザー・インターフェースを提供するユーザー・インターフェース提供ステップと、
対象物の距離及び位置に応じて前記画面にユーザー・インターフェース要素を表示させるユーザー・インターフェース要素表示ステップと、
を有する情報入力方法である。
【００１９】
また、本願の請求項１５に記載の技術は、
情報を表示する画面を有する表示部、
前記画面に対する対象物の距離及び位置を検出する検出部、
前記対象物の距離に応じたユーザー・インターフェースを提供するユーザー・インターフェース提供部、
対象物の距離及び位置に応じて前記画面にユーザー・インターフェース要素を表示させるユーザー・インターフェース要素表示部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。
【００２０】
本願の請求項１５に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１５に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る情報入力装置と同様の作用効果を得ることができる。
【発明の効果】
【００２１】
本明細書で開示する技術によれば、複数種類の入力操作が可能な、優れた情報入力装置及び情報入力方法、並びにコンピューター・プログラムを提供することができる。
【００２２】
本明細書で開示する技術に係る情報入力装置は、入力操作を行なうユーザーの距離に応じて適切な入力方法を提供するとともに、ユーザーの距離及び位置に応じてユーザー・インターフェース要素の表示方法を切り替えて、ユーザー・インターフェースを最適化することができる。
【００２３】
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
【００２４】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２５】
【図１】図１は、本明細書で開示する技術を適用したシステムの構成例を示した図である。
【図２】図２は、情報処理装置１００の内部構成を示した図である。
【図３】図３は、情報処理装置１００がユーザー・インターフェースを自動選択するとともに、ユーザー・インターフェース要素を最適化するための機能的構成を模式的に示した図である。
【図４】図４は、情報処理装置１００の前方を上から眺めた様子を示した図である。
【図５】図５は、遠距離にいるユーザー１０４のためにユーザー・インターフェース要素５００を最適化して大画面に表示した様子を示した図である。
【図６】図６は、中間距離にいるユーザー１０３のためにユーザー・インターフェース要素６００を最適化して大画面に表示した様子を示した図である。
【図７】図７は、情報処理装置１００がより大画面を持つ場合において、中間距離にいるユーザー１０３のためにユーザー・インターフェース要素７００を最適化して大画面に表示した様子を示した図である
【図８】図８は、中間距離にいるユーザー１０３の動きにユーザー・インターフェース要素８００を追従させない画面表示例を示した図である。
【図９】図９は、中間距離にいるユーザー１０３の動きにユーザー・インターフェース要素９００を追従させない画面表示例を示した図である。
【図１０】図１０は、ユーザー・インターフェース要素表示部３０３が近距離にいるユーザー１０２のためにユーザー・インターフェース要素６００を最適化して大画面に表示した様子を示した図である。
【図１１】図１１は、近距離にいるユーザー１０２が大画面をタッチする様子を示した図である。
【図１２】図１２は、ユーザー・インターフェース要素表示部３０３が中間距離にいる複数のユーザーのためにユーザー・インターフェース要素を最適化して大画面に表示した様子を示した図である。
【図１３】図１３は、情報処理装置１００がより大画面を持つ場合において、ユーザー・インターフェース要素表示部３０３が中間距離にいる複数のユーザーのためにユーザー・インターフェース要素を最適化して大画面に表示した様子を示した図である。
【図１４】図１４は、中間距離にいる複数ユーザー１２０１、１２０２の動きにユーザー・インターフェース要素１４００を追従させない画面表示例を示した図である。
【図１５】図１５は、中間距離にいる複数ユーザー１２０１、１２０２の動きにユーザー・インターフェース要素１４００を追従させない画面表示例を示した図である。
【図１６】図１６は、情報処理装置１００がユーザー・インターフェースを自動選択するとともに、ユーザー・インターフェース要素を最適化するための処理手順を示したフローチャートである。
【図１７】図１７は、検出部３０１が対象物の検出結果を出力する処理手順を示したフローチャートである。
【図１８】図１８は、ユーザー・インターフェース提供部３０２並びにユーザー・インターフェース要素表示部３０３が対象物に対してユーザー・インターフェースを提供するための処理手順を示したフローチャートである。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００２７】
Ａ．システム構成
図１には、本明細書で開示する技術を適用したシステムの構成例を示している。図示のシステムは、情報処理装置１００と、これに対して操作を行なおうとするユーザーなどの対象物からなる。情報処理装置１００は、正面に大画面を有している。図１では、大画面が横置きとなるように設置した使用形態を示している。
【００２８】
情報処理装置１００は、３次元カメラなどからなる対象物センサー１０１を装備しており、対象物（入力操作を試みるユーザーなど）を同定するとともに、対象物の距離並びに位置を検出することができる。そして、情報処理装置１００は、ユーザーの距離に応じて最適な入力操作を実現するための入力方法を自動で選択するようになっている。また、情報処理装置１００は、選択した入力方法で操作を行なうためのユーザー・インターフェース要素を、大画面上でユーザーの距離並びに位置に応じた適切な位置で表示するようになっている。
【００２９】
本実施形態では、ユーザーが情報処理装置１００の正面の大画面からの距離Ｔ１（但し、Ｔ１＞０）までの近距離で操作する場合と、大画面からの距離がＴ１からＴ２（但し、Ｔ２＞Ｔ１）までの中間距離で操作する場合と、大画面からの距離がＴ２を超える遠距離で操作する場合の３通りの操作方法を想定している。
【００３０】
そして、情報処理装置１００は、近距離、中間距離、並びに遠距離にいるユーザー１０２〜１０４の各々に対して、最適な入力操作を実現できる入力方法を提供する。
【００３１】
例えば、情報処理装置１００は、近距離にいるユーザー１０２に対しては、大画面に配設したタッチパネルに対するタッチ操作を行なう近距離用のユーザー・インターフェースを提供する。なお、ユーザー１０２のタッチ操作を、タッチパネル２２３で検出するのではなく、対象物センサー１０１で検出するようにしてもよい。
【００３２】
また、情報処理装置１００は、中間距離にいるユーザー１０３に対しては、対象物センサー１０１がユーザー１０３の動きを解析して、ジェスチャー入力を行なう中間距離用のユーザー・インターフェースを提供する。近距離にいるユーザー１０２に対してもジェスチャー入力のユーザー・インターフェースを提供してもよいが、対象物センサー１０１に近過ぎて、ユーザー１０２の手足の動きが検出範囲からはみ出て、ジェスチャーを読み取れないことも考えられる。
【００３３】
また、遠距離にいるユーザー１０４は、対象物センサー１０１の撮影画像ではジェスチャーの判定が難しくなる。そこで、情報処理装置１００は、ユーザー１０４に対しては、リモコン１０５を利用した遠距離用のユーザー・インターフェースを提供する。あるいは、リモコン１０５に代えて（若しくは、リモコン１０５と併せて）、大まかなジェスチャー入力を行なう遠距離用のユーザー・インターフェースを提供するようにしてもよい。近距離にいるユーザー１０２や中間距離にいるユーザー１０３に対してもリモコン１０５を利用したユーザー・インターフェースを提供してもよいが、タッチやジェスチャーが可能であるにも拘らず、リモコン１０５を持ち歩かなければならず、煩わしい。
【００３４】
また、情報処理装置１００は、近距離、中間距離、並びに遠距離にいるユーザー１０２〜１０４の各々に対して、提供するユーザー・インターフェースを用いた入力操作が行ない易くなるように、大画面上でのユーザー・インターフェース要素の表示方法の切り換えを行なう。ユーザー・インターフェース要素は、アイコンやメニュー、ボタン、アプリケーションのウィンドウ、スライダーなど、ユーザーがタッチやポインティングにより操作を行なう対象となる表示物である。本実施形態では、ユーザーの距離や位置に応じてユーザー・インターフェース要素の表示位置や大きさを制御するようなっているが、その詳細については後述する。
【００３５】
なお、本明細書では、近距離、中間距離、遠距離という３段階でユーザー・インターフェースの切り替えを行なう実施形態を中心に説明するが、距離を４段階以上に細分化してユーザー・インターフェースの切り替えを行なう実施形態も想定し得る。
【００３６】
図２には、大画面を有する情報処理装置１００の内部構成を示している。図示の情報処理装置１００は、制御部２１０に対して、表示部２２０や音声処理部２３０、通信部２４０、記憶部２５０、カメラ部２６０、センサー部２７０などが接続されることにより構成されている。
【００３７】
制御部２１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２１３などにより構成される。ＲＯＭ２１２内には、ＣＰＵ２１１が実行するプログラム・コードや当該情報端末２００に必須の情報などが格納されている。
【００３８】
ＣＰＵ２１１は、ＲＯＭ２１２や記憶部２４０からＲＡＭ２１３にプログラム・コードをロードして実行する。ＣＰＵ２１１が実行するプログラムには、Ｗｉｎｄｏｗｓ（登録商標）や、Ａｎｄｒｏｉｄ、ｉＯＳなどのオペレーティング・システムや、オペレーティング・システムが提供する実行環境下で動作する各種アプリケーション・プログラムを挙げることができる。
【００３９】
表示部２２０は、液晶素子や有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子などからなる表示パネル２２１と、この表示パネル２２２の上面に貼設された透明なタッチパネル２２３を備えている。表示パネル２２１は、表示インターフェース２２２を介して制御部２１０に接続され、制御部２１０で生成された画像情報を表示出力する。また、タッチパネル２２３は、タッチ・インターフェース２２４を介して制御部２１０に接続され、ユーザーが表示パネル２２１上を指先やスタイラスで操作した座標情報を制御部２１０に出力する。制御部２１０側では、入力された座標情報に基づいて、タップや長押し、フリック、スワイプなどのユーザー操作を検出して、ユーザー操作に対応する処理を起動する。
【００４０】
音声処理部２３０は、スピーカーなどの音声出力部２３１と、マイクロフォンなどの音声入力部２３２と、入出力される音声信号を符号化復号処理する音声コーデック（ＣＯＤＥＣ）２３３を備えている。また、音声処理部２３０は、音声信号をヘッドフォン（図示しない）に出力するための出力端子２３４をさらに備えていてもよい。
【００４１】
通信部２４０は、制御部２１０で実行するアプリケーションと外部装置間での情報の通信処理を行なう。ここで言う外部装置として、インターネット上に存在するサーバーなどを挙げることができる。通信部２３０は、使用する通信媒体に応じて、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの物理層並びにＭＡＣ（Ｍｅｄｉａ  Ａｃｃｅｓｓ  Ｃｏｎｔｒｏｌ）層モジュールを装備し、送受信される通信信号の変復調処理や符号化復号処理を行なう。
【００４２】
本実施形態では、通信部２３０は、アクセスポイントや他の端末局と無線通信を行なう他、無線信号を通信媒体としたリモート・コントローラー（図示しない）からのリモコン・コマンドを受信するものとする。あるいは、無線信号ではなく赤外線信号でリモコン・コマンドを送信するリモコンのために、通信部２３０は赤外線受光部を備えていてもよい。
【００４３】
記憶部２５０は、例えばＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）やＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）などの大容量の記憶装置からなる。例えば、通信部２４０を介してダウンロードしたアプリケーション・プログラムやコンテンツ、カメラ部２６０で撮影した静止画や動画などの画像データなどは、記憶部２５０に格納される。
【００４４】
カメラ部２６０は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などレンズ（図示しない）を介して取り込まれた光を光電変換するイメージ・センサー２６１と、イメージ・センサー２６１の検出信号のノイズ除去やディジタル化を行なって画像データを生成するＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）処理部２６２を備え、生成した画像データをカメラ・インターフェース２６３から制御部２１０に出力する。
【００４５】
センサー部２７０は、当該情報処理装置１００の位置情報を取得するためのＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｏｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）センサーや、当該情報処理装置１００本体の姿勢や作用する力を検出するためのジャイロ・センサー、加速度センサーなどを含んでいる。
【００４６】
また、図１に示した対象物センサー１０１は、センサー部２７０に含まれる。対象物センサー１０１は、対象物（入力操作を試みるユーザーなど）を同定するとともに、対象物の距離並びに位置を検出する。あるいは、カメラ部２６０が対象物センサー１０１を兼ねていてもよい。例えば、離間して配置した２つのイメージ・センサーでカメラ部２６０を構成することにより、視差情報を利用して対象物の３次元情報を得ることができる。また、１つのイメージ・センサーでカメラ部２６０を構成する場合には、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）画像認識を用いて、カメラを移動させながら撮影を行ない、時間的に前後する複数のフレーム画像を用いて視差情報を算出し（例えば、特許文献２を参照のこと）、算出した視差情報から対象物の３次元情報を取得することもできる。また、カメラ部２６０による撮影画像を画像認識して、対象物（例えば、ユーザーの顔、手、身体、指、任意の物体）を特定する。
【００４７】
Ｂ．ユーザー・インターフェースの最適化
情報処理装置１００は、対象物センサー１０１からの検出情報（例えば、カメラ部２６０による撮影画像）に基づいて対象物（入力操作を試みるユーザーなど）を同定するとともに、対象物の距離並びに位置を検出する。そして、情報処理装置１００は、ユーザーの距離に応じて最適な入力操作を実現するためのユーザー・インターフェースを選択する。また、情報処理装置１００は、選択したユーザー・インターフェースを介した操作を行なうためのユーザー・インターフェース要素を、ユーザーの距離並びに位置に応じて最適化する。
【００４８】
図３には、情報処理装置１００がユーザー・インターフェースを自動選択するとともに、ユーザー・インターフェース要素を最適化するための機能的構成を模式的に示している。この機能を実現するために、情報処理装置１００は、検出部３０１と、ユーザー・インターフェース提供部３０２と、ユーザー・インターフェース要素表示部３０３と、操作認識部３０４を備えている。これらの機能モジュール３０１〜３０３は例えば制御部２１０のＣＰＵ２１１が所定のプログラムを実行することで実現される。
【００４９】
検出部３０１は、カメラ部２６０による撮影画像など、対象物センサー１０１からの検出情報に基づいて、ユーザーなどの対象物を同定するとともに、大画面から対象物まで距離並びに位置を検出する。
【００５０】
ユーザー・インターフェース提供部３０２は、検出部３０１で検出した対象物の距離に基づいて、対象物において最適な入力操作を実現するためのユーザー・インターフェースを自動選択する。
【００５１】
ユーザー・インターフェース要素表示部３０３は、選択されたユーザー・インターフェースを用いて入力操作を行なうためのユーザー・インターフェース要素を、対象物の距離並びに位置に応じて最適化する。ユーザー・インターフェース要素は、例えばアイコンやボタン、メニュー部品、ユーザーが使用するアプリケーション・ウィンドウなどである。ユーザー・インターフェース要素表示部３０３は、対象物としてのユーザーが現在の位置からユーザー・インターフェース要素を操作し易くなるように、表示部２２０の画面上の最適な場所に、最適な大きさで表示する。
【００５２】
操作認識部３０４は、ユーザー・インターフェース提供部３０２が提供するユーザー・インターフェースを介して表示部２２０の画面に対して行なわれた操作（例えば、メニューをタッチしたなど）を認識する。認識結果は、ユーザーからの入力情報として、例えばＣＰＵ２１１で実行中のアプリケーションに渡される。アプリケーションは、入力情報に対応した処理を実行する。
【００５３】
図４には、情報処理装置１００の前方を上から眺めた様子を示している。図１に示したように、情報処理端末１００の正面には、表示部２２０の大画面を配設されている。ユーザーが操作する上で、この大画面の前方距離Ｔ１（但し、Ｔ１＞０）までの範囲を「近距離」、Ｔ１からＴ２（但し、Ｔ２＞Ｔ１）（但し、Ｔ２＞Ｔ１）までの範囲を「中間距離」、Ｔ２を超える範囲を「遠距離」と定義する。
【００５４】
検出部３０１は、対象物センサー１０１の検出情報から対象物を同定するとともに対象物までの距離並びに位置を検出する。例えば、検出部３０１は、カメラ部２６０の撮影画像を画像認識して、ユーザーなどの対象物を同定するとともに、撮影画像から得られる視差情報に基づいて３次元情報を算出して、対象物が近距離、中間距離、遠距離のいずれの領域にいるかを判定する。また、検出部３０１は、中間距離にいる対象物の位置を検出する。勿論、近距離や遠距離にいる対象物の位置を検出してもよい。なお、今まで存在していた対象物が対象物センサー１０１の検出可能範囲（例えば、カメラ部２６０の画角）から外れて消失してしまうことも想定される。対象物の消失は、ユーザーが作業を終了して立ち去る場合と、一時的に検出可能範囲から外れただけで作業を継続している場合がある。前者の場合、対応するユーザー・インターフェースの提供やユーザー・インターフェース要素の表示を終了することが好ましいが、後者の場合、すぐにユーザー・インターフェースの提供やユーザー・インターフェース要素の表示がなくなると作業が中断するため不都合である。そこで、検出部１０１は、一度検出した対象物の情報を保持し、対象物を検出できなくても一定の保持時間だけは保持した情報をユーザー・インターフェース提供部３０２及びユーザー・インターフェース要素表示部３０３に出力して、ユーザーの操作環境を一定の保持時間は保つようにする。
【００５５】
ユーザー・インターフェース提供部３０２は、検出部３０１で検出した対象物の距離に基づいて、対象物において最適な入力操作を実現するためのユーザー・インターフェースを自動選択する。
【００５６】
本実施形態では、ユーザー・インターフェース提供部３０２は、近距離にいるユーザー１０２に対しては、大画面に配設したタッチパネルに対するタッチ操作を行なう近距離用のユーザー・インターフェースを提供する。また、ユーザー・インターフェース提供部３０２は、近距離にいるユーザー１０３に対しては、ジェスチャー入力を行なう中間距離用のユーザー・インターフェースを提供する。また、ユーザー・インターフェース提供部３０２は、遠距離にいるユーザー１０４に対しては、リモコン１０５を利用した遠距離用のユーザー・インターフェースを提供する。なお、ユーザー・インターフェース提供部３０２は、今まで検出部３０１から出力されていた対象物の情報が停止されると、対応するユーザー・インターフェースの提供を停止するようにする。
【００５７】
ユーザー・インターフェース要素表示部３０３は、選択されたユーザー・インターフェースを用いて入力操作を行なうためのユーザー・インターフェース要素を、対象物の距離並びに位置に応じて最適化する。また、ユーザー・インターフェース要素表示部３０３は、今まで検出部３０１から出力されていた対象物の情報が停止されると、対応するユーザー・インターフェース要素の表示を画面から消すようにする。
【００５８】
図５には、ユーザー・インターフェース要素表示部３０３が遠距離にいるユーザー１０４のためにユーザー・インターフェース要素５００を最適化して大画面に表示した様子を示している。遠距離にいるユーザー１０４からは、大画面全体を俯瞰することができる。そこで、図示の例では、ユーザー・インターフェース要素表示部３０３は、アイコンやメニュー部品、アプリケーション・ウィンドウなどからなるユーザー・インターフェース要素５００の中心座標５０１を大画面の中心に固定するとともに、大画面全体を利用してユーザー・インターフェース要素５００の各部品を大きく表示して、ユーザーが大まかなジェスチャーやリモコン操作を行ない易くしている。若しくは、ユーザー・インターフェース要素表示部３０３は、アンビエント・モードのように、積極的にユーザー・インターフェース要素を表示しないようにしてもよい。
【００５９】
また、図６には、ユーザー・インターフェース要素表示部３０３が中間距離にいるユーザー１０３のためにユーザー・インターフェース要素６００を最適化して大画面に表示した様子を示している。図示の例では、ユーザー１０３は、中間距離の範囲内で左から右に移動しているものとする。ユーザー・インターフェース要素表示部３０３は、ユーザー１０３の左右位置や身長（顔の高さ）、状況に応じて、ユーザー・インターフェース要素６００の最適な中心座標６０１を判断し、ユーザー・インターフェース要素６００の表示位置をユーザー１０３の動きに追従させる。ユーザー１０３は、移動した場所毎にユーザー・インターフェース要素６００を眺めながらジェスチャー操作（ズームやフリックなど）、さらにはポインティング（指、目線、棒による）を行なうことができる。また、ユーザー・インターフェース要素表示部３０３は、ユーザーの位置に応じてユーザー・インターフェース要素６００の左右位置を移動させるだけでなく、ユーザーの身長に合わせてユーザー・インターフェース要素の高さを変更して、ユーザーの目の前に表示できるようにする。
【００６０】
図７には、情報処理装置１００がより大画面を持つ場合において、図６と同様に中間距離にいるユーザー１０３のためにユーザー・インターフェース要素７００を最適化する様子を示している。ユーザー１０３が中間距離の範囲内で左から右に移動すると、ユーザー・インターフェース要素表示部３０３は、ユーザー１０３の左右位置や状況に応じて、ユーザー・インターフェース要素７００の表示位置をユーザー１０３の動きに追従させる。また、ユーザー・インターフェース要素表示部３０３は、ユーザーの位置に応じてユーザー・インターフェース要素７００の中心座標７０１を左右に移動させるだけでなく、ユーザーの身長に合わせて中心座標７０１の高さを変更して、ユーザーの目の前に表示できるようにする。
【００６１】
図８並びに図９には、図６並びに図７との対比で、中間距離にいるユーザー１０３の動きにユーザー・インターフェース要素８００、９００を追従させない画面表示例を示している。中間距離でユーザー１０３が操作をしたいと考える場所に移動しても、ユーザー・インターフェース要素８００、９００が変わらないので、図６並びに図７に示した例とは異なり、ユーザー１０３の方がユーザー・インターフェース要素８００、９００の表示位置に合わせて自分が立つ場所を変えたり、しゃがみ込んだり背伸びして目の位置をユーザー・インターフェース要素８００、９００に合わせなければならず、不便である。
【００６２】
また、図１０には、ユーザー・インターフェース要素表示部３０３が近距離にいるユーザー１０２のためにユーザー・インターフェース要素１０００を最適化して大画面に表示した様子を示している。近距離にいるユーザー１０２は、大画面に直接タッチ操作して、メニュー選択などの決定や詳細処理を行なうことができる。その前段階として、中間距離や遠距離の場合よりもさらに詳細な情報を表示するユーザー・インターフェース要素１０００にするとともに、ユーザー・インターフェース要素１０００の中心座標１００１をユーザー１０２の現在位置に合わせて最適化する。また、近距離にいるユーザー１０２は、ユーザー・インターフェース要素に直接触ってよく見ようと心理的に考えていると思われる。図６に示したようにユーザー・インターフェース要素の表示位置が移動すると、ユーザーには鬱陶しく感じられる。そこで、ユーザー・インターフェース要素表示部３０３は、近距離でのユーザー・インターフェース要素１０００の中心座標１００１すなわち表示位置を固定にする。そして、ユーザー１０２が大画面上でメニュー部品などをタッチ（すなわち、距離＝０）になると（図１１を参照のこと）、対応する決定や詳細処理が実行される。なお、ユーザー１０２のタッチ操作を、タッチパネル２２３で検出するのではなく、対象物センサー１０１で検出するようにしてもよい。
【００６３】
また、図１２には、図６の変形例として、ユーザー・インターフェース要素表示部３０３が中間距離にいる複数のユーザーのためにユーザー・インターフェース要素を最適化して大画面に表示した様子を示している。図示の例では、２人のユーザー１２０１、１２０２がそれぞれ中間距離の範囲で大画面に対して操作を行なっている。ユーザー・インターフェース要素表示部３０３は、ユーザー１２０１の左右位置や状況に応じて、ユーザー・インターフェース要素１２１０の最適な中心座標１２１１を判断し、ユーザー・インターフェース要素１２１０の表示位置をユーザー１２０１の動きに追従させる。また、ユーザー・インターフェース要素表示部３０３は、ユーザー１２０２の左右位置や状況に応じて、ユーザー・インターフェース要素１２２０の最適な中心座標１２２１を判断し、ユーザー・インターフェース要素１２２０の表示位置をユーザー１２０２の動きに追従させる。各ユーザー１２０１、１２０２は、移動した場所毎にユーザー・インターフェース要素１２１０、１２２０をそれぞれ眺めながらジェスチャー操作を行なうことができる。
【００６４】
また、図１３には、図７の変形例として、情報処理装置１００がより大画面を持つ場合において、ユーザー・インターフェース要素表示部３０３が中間距離にいる複数のユーザーのためにユーザー・インターフェース要素を最適化して大画面に表示した様子を示している。図示の例では、２人のユーザー１３０１、１３０２がそれぞれ中間距離の範囲で大画面に対して操作を行なっている。ユーザー・インターフェース要素表示部３０３は、ユーザー１３０１の左右位置や身長、状況に応じて、ユーザー・インターフェース要素１３１０の最適な中心座標１３１１を判断し、ユーザー・インターフェース要素１３１０の表示位置をユーザー１３０１の動きに追従させる。また、ユーザー・インターフェース要素表示部３０３は、ユーザー１３０２の左右位置や身長、状況に応じて、ユーザー・インターフェース要素１３２０の最適な中心座標１３２１を判断し、ユーザー・インターフェース要素１３２０の表示位置をユーザー１３０２の動きに追従させる。各ユーザー１３０１、１３０２は、移動した場所毎にユーザー・インターフェース要素１３１０、１３２０をそれぞれ眺めながらジェスチャー操作を行なうことができる。
【００６５】
図１４並びに図１５には、図１２並びに図１３との対比で、中間距離にいるユーザー１０３の動きにユーザー・インターフェース要素１４００、１５００を追従させない画面表示例を示している。中間距離でユーザー１２０１、１２０２、１３０１、１３０２が操作をしたいと考える場所に移動しても、ユーザー・インターフェース要素の中心座標１４０１、１５０１が変わらないので、図１２並びに図１２に示した例とは異なり、ユーザー１２０１、１２０２、１３０１、１３０２の方がユーザー・インターフェース要素１４００、１５００の表示位置に合わせて場所を変えなければならず、不便である。
【００６６】
図１６には、情報処理装置１００がユーザー・インターフェースを自動選択するとともに、ユーザー・インターフェース要素を最適化するための処理手順をフローチャートの形式で示している。
【００６７】
検出部３０１は、対象部センサー１０１の検出情報から対象物を検出する（ステップＳ１６０１）。例えば、カメラ部２６０による撮影画像を画像解析して、ユーザーの顔、手、身体、指、任意の物体などの対象物を検出する。
【００６８】
次いで、検出部３０１は、検出した対象物の状態を解析し、対象物の数や位置、分布など対象物の状態を解析する（ステップＳ１６０２）。
【００６９】
次いで、検出した対象物の距離を判定する。対象物の距離がＴ２を超える遠距離にいる場合には（ステップＳ１６０３のＮｏ）、ユーザー・インターフェース提供部３０２は、リモコン１０５を利用した遠距離用のユーザー・インターフェースを提供する（ステップＳ１６０４）。また、遠距離にいるユーザーは、大画面全体を俯瞰することができる。そこで、ユーザー・インターフェース要素表示部３０３は、ユーザー・インターフェース要素の中心座標を大画面の中心に固定する。若しくは、ユーザー・インターフェース要素表示部３０３は、アンビエント・モードのように、積極的にユーザー・インターフェース要素を表示しないようにしてもよい。
【００７０】
そして、操作認識部３０４は、リモコン１０５を利用した遠距離用のユーザー・インターフェースを介して大画面に対して行なわれた操作を認識する（ステップＳ１６０５）。
【００７１】
また、対象物の距離がＴ１とＴ２の間の中間距離にいるときには（ステップＳ１６０３のＮｏ及びステップＳ１６０７のＹｅｓ）、ユーザー・インターフェース要素表示部３０３は、ステップＳ１６０２で解析した結果（すなわち、ユーザー数、ユーザーの位置、分布）に基づいて、最適なユーザー・インターフェース要素の配置を計算する（ステップＳ１６０８）。例えば、ユーザーの位置や身長に合わせて、ユーザー・インターフェース要素がユーザーの目の前で表示されるように配置したり、ユーザー・インターフェース要素の大きさを変更したりする。大画面の場合、ユーザーが画面左端に立ったときに画面右端にユーザー・インターフェース要素が表示されると、目視し難く操作もし難くなるので、このような最適化が必要である。
【００７２】
また、ユーザー・インターフェース提供部３０２は、ジェスチャー入力を行なう中間距離用のユーザー・インターフェースを提供する（ステップＳ１６０９）。そして、ユーザー・インターフェース要素表示部３０３は、ステップＳ１６０８の解析結果に基づいて、大画面上にユーザー・インターフェース要素を表示する。また、ユーザー・インターフェース要素表示部３０３は、ユーザーの位置に応じてユーザー・インターフェース要素の左右位置を移動させる。
【００７３】
そして、操作認識部３０４は、ジェスチャーを利用した中間距離用のユーザー・インターフェースを介して大画面に対して行なわれた操作を認識する（ステップＳ１６１０）。ここでの操作として、ジェスチャー操作（ズームやフリックなど）、さらにはポインティング（指、目線、棒による）を想定している。
【００７４】
また、対象物の距離がＴ１未満の近距離にいるときには（ステップＳ１６０７のＮｏ）、ユーザー・インターフェース要素表示部３０３は、ユーザー・インターフェース提供部３０２は、大画面に配設したタッチパネルに対するタッチ操作を行なう近距離用のユーザー・インターフェースを提供する（ステップＳ１６１１）。また、近距離のユーザーはユーザー・インターフェース要素を直接触ってよく見ようと心理的に考えるが、ユーザー・インターフェース要素が動くと鬱陶しく感じられる。そこで、ユーザー・インターフェース要素表示部３０３は、ユーザー・インターフェース要素の中心座標を固定する。
【００７５】
そして、操作認識部３０４は、タッチを利用した近距離用のユーザー・インターフェースを介して大画面に対して行なわれた操作を認識する（ステップＳ１６１２）。
【００７６】
操作認識部３０４による遠距離操作、中間距離操作、並びに近距離操作の認識結果（ステップＳ１６０５、Ｓ１６１０、Ｓ１６１２）は、例えばＣＰＵ２１１で実行中のアプリケーションに渡され、操作に対応した処理が実施される（ステップＳ１６０６）。
【００７７】
図１７及び図１８には、情報処理装置１００がユーザー・インターフェースを自動選択するとともに、ユーザー・インターフェース要素を最適化するための他の処理手順をフローチャートの形式で示している。図１６に示した処理手順では、今まで存在していた対象物が消失した場合を考慮していないが、図１７及び図１８に示す処理手順では、この点を考慮している点で相違する。
【００７８】
図１７には、検出部３０１が対象物の検出結果を出力する処理手順をフローチャートの形式で示している。上述したように、検出部３０１は、一度検出した対象物の情報を保持し、対象物を検出できなくても一定の保持時間だけは保持した情報をユーザー・インターフェース提供部３０２及びユーザー・インターフェース要素表示部３０３に出力する。
【００７９】
検出部３０１は、対象部センサー１０１の検出情報に基づいて、対象物の検出を試みる（ステップＳ１７０１）。
【００８０】
ここで、対象物の存在が確認されたときには（ステップＳ１７０２のＹｅｓ）、検出部３０１は、検出した対象物の状態を解析し、対象物の数や位置、分布など対象物の状態を解析する（ステップＳ１７０３）。そして、検出部３０１は、解析した対象物の状態を保持するとともに（ステップＳ１７０４）、タイマーＣを起動する（ステップＳ１７０５）。なお、検出部３０１は、対象物のトラッキングを行なうようにしてもよい。すなわち、検出部３０１は、検出した対象物が既に状態を保持しているものと同じであれば、ステップＳ１７０４では保持している状態を更新し、ステップＳ１７０５では更新する度にタイマーＣをリセットして、状態の保持時間を延長する。例えば、ユーザーは、画面上で自分のユーザー・インターフェース要素をタッチすることで保持時間を延長することができる。
【００８１】
そして、検出部３０１は、検出した対象物の状態をユーザー・インターフェース提供部３０２並びにユーザー・インターフェース要素表示部３０３に出力する（ステップＳ１７０６）。ユーザー・インターフェース提供部３０２並びにユーザー・インターフェース要素表示部３０３では、ユーザー・インターフェースの提供処理が実施される（ステップＳ１７０７）。
【００８２】
また、検出部３０１は、対象物を検出できない場合には（ステップＳ１７０２のＮｏ）、タイマーＣが所定値以下かどうかをチェックする（ステップＳ１７０８）。そして、タイマーＣが所定値以下、すなわち、保持時間が経過する前は（ステップＳ１７０８のＹｅｓ）、検出部３０１は、保持している対象物の状態をユーザー・インターフェース提供部３０２並びにユーザー・インターフェース要素表示部３０３に出力する（ステップＳ１７０６）。そして、ユーザー・インターフェース提供部３０２並びにユーザー・インターフェース要素表示部３０３では、検出できなかったがまだ保持されている対象物に対するユーザー・インターフェースの提供処理が実施される（ステップＳ１７０７）。
【００８３】
図１８には、ステップＳ１７０７でユーザー・インターフェース提供部３０２並びにユーザー・インターフェース要素表示部３０３が対象物に対してユーザー・インターフェースを提供するための処理手順をフローチャートの形式で示している。
【００８４】
まず、検出部３０１から対象物の状態の入力があったかどうかをチェックする（ステップＳ１８０１）。
【００８５】
検出部３０１から対象物の状態の入力があった場合には（ステップＳ１８０１のＹｅｓ）、検出した対象物の距離を判定する。
【００８６】
対象物の距離がＴ２を超える遠距離にいる場合には（ステップＳ１８０２のＮｏ）、ユーザー・インターフェース提供部３０２は、リモコン１０５を利用した遠距離用のユーザー・インターフェースを提供する（ステップＳ１８０３）。また、遠距離にいるユーザーは、大画面全体を俯瞰することができる。そこで、ユーザー・インターフェース要素表示部３０３は、ユーザー・インターフェース要素の中心座標を大画面の中心に固定する。若しくは、ユーザー・インターフェース要素表示部３０３は、アンビエント・モードのように、積極的にユーザー・インターフェース要素を表示しないようにしてもよい。
【００８７】
そして、操作認識部３０４は、リモコン１０５を利用した遠距離用のユーザー・インターフェースを介して大画面に対して行なわれた操作を認識する（ステップＳ１８０４）。
【００８８】
また、対象物の距離がＴ１とＴ２の間の中間距離にいるときには（ステップＳ１８０２のＮｏ及びステップＳ１８０６のＹｅｓ）、ユーザー・インターフェース要素表示部３０３は、検出部３０１から入力された情報（すなわち、ユーザー数、ユーザーの位置、分布）に基づいて、最適なユーザー・インターフェース要素の配置を計算する（ステップＳ１８０７）。例えば、ユーザーの位置や身長に合わせて、ユーザー・インターフェース要素がユーザーの目の前で表示されるように配置したり、ユーザー・インターフェース要素の大きさを変更したりする。大画面の場合、ユーザーが画面左端に立ったときに画面右端にユーザー・インターフェース要素が表示されると、目視し難く操作もし難くなるので、このような最適化が必要である。
【００８９】
また、ユーザー・インターフェース提供部３０２は、ジェスチャー入力を行なう中間距離用のユーザー・インターフェースを提供する（ステップＳ１８０８）。そして、ユーザー・インターフェース要素表示部３０３は、検出部３０１から入力した情報に基づいて、大画面上にユーザー・インターフェース要素を表示する。また、ユーザー・インターフェース要素表示部３０３は、ユーザーの位置に応じてユーザー・インターフェース要素の左右位置を移動させる。
【００９０】
そして、操作認識部３０４は、ジェスチャーを利用した中間距離用のユーザー・インターフェースを介して大画面に対して行なわれた操作を認識する（ステップＳ１８０９）。ここでの操作として、ジェスチャー操作（ズームやフリックなど）、さらにはポインティング（指、目線、棒による）を想定している。
【００９１】
また、対象物の距離がＴ１未満の近距離にいるときには（ステップＳ１８０６のＮｏ）、ユーザー・インターフェース要素表示部３０３は、ユーザー・インターフェース提供部３０２は、大画面に配設したタッチパネルに対するタッチ操作を行なう近距離用のユーザー・インターフェースを提供する（ステップＳ１８１０）。また、近距離のユーザーはユーザー・インターフェース要素を直接触ってよく見ようと心理的に考えるが、ユーザー・インターフェース要素が動くと鬱陶しく感じられる。そこで、ユーザー・インターフェース要素表示部３０３は、ユーザー・インターフェース要素の中心座標を固定する。
【００９２】
そして、操作認識部３０４は、タッチを利用した近距離用のユーザー・インターフェースを介して大画面に対して行なわれた操作を認識する（ステップＳ１８１１）。
【００９３】
操作認識部３０４による遠距離操作、中間距離操作、並びに近距離操作の認識結果（ステップＳ１８０４、Ｓ１８０９、Ｓ１８１１）は、例えばＣＰＵ２１１で実行中のアプリケーションに渡され、操作に対応した処理が実施される（ステップＳ１８０５）。
【００９４】
一方、検出部３０１から対象物の状態の入力がなかった場合には（ステップＳ１８０１のＮｏ）、ユーザー・インターフェースの提供を停止する（ステップＳ１８１２）。今まで状態の入力があった対象物がいなくなった場合には、ユーザー・インターフェース提供部３０２は、対応するユーザー・インターフェースの提供を停止するようにする。また、ユーザー・インターフェース要素表示部３０３は、対応するユーザー・インターフェース要素の表示を画面から消すようにする。
【００９５】
このように、本明細書で開示する技術を適用した情報処理装置１００は、入力操作を行なうユーザーの距離に応じて適切なユーザー・インターフェースを提供するとともに、ユーザーの距離及び位置に応じてユーザー・インターフェース要素の表示方法を切り替えて、ユーザー・インターフェースを最適化することができる。
【先行技術文献】
【特許文献】
【００９６】
【特許文献１】特開２０１２−３６９０号公報
【特許文献２】特開２００８−３０４２６８号公報
【産業上の利用可能性】
【００９７】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００９８】
本明細書では、本明細書で開示する技術を情報処理装置に適用した実施形態を中心に説明してきたが、画面の大小に関わらず、複数のユーザー・インターフェースを備えたさまざまな情報処理装置に、本明細書で開示する技術を適用することができる。
【００９９】
また、本明細書では、ユーザーの居場所を、画面からの距離に応じて近距離、中間距離、遠距離の３つに区分し、各々の場所に応じたユーザー・インターフェースを提供するとともにユーザー・インターフェース要素の表示方法を切り替える実施形態について説明してきたが、本明細書で開示する技術の要旨は必ずしもこれに限定されるものではない。例えば、ユーザーの居場所を４以上に区分してユーザー・インターフェースの提供とユーザー・インターフェース要素の表示方法を制御するようにしてもよい。また、距離以外の基準でユーザーを区分して、ユーザー・インターフェースの提供とユーザー・インターフェース要素の表示方法を制御するようにしてもよい。
【０１００】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１０１】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）情報を表示する画面を有する表示部と、
前記画面に対する対象物の距離及び位置を検出する検出部と、
前記対象物の距離に応じたユーザー・インターフェースを提供するユーザー・インターフェース提供部と、
対象物の距離及び位置に応じて前記画面にユーザー・インターフェース要素を表示させるユーザー・インターフェース要素表示部と、
を具備する情報入力装置。
（２）前記検出部は、対象物が第１の距離Ｔ１（但し、Ｔ１＞０）以内の近距離、第１の距離Ｔ１から第２の距離Ｔ２（但し、Ｔ２＞Ｔ１）の間となる中間距離、第２の距離を超える遠距離のいずれにいるかを判定し、
前記ユーザー・インターフェース提供部は、近距離の対象物に対し近距離用のユーザー・インターフェースを提供し、中間距離の対象物に対し中間距離用のユーザー・インターフェースを提供し、遠距離の対象物に対し遠距離用のユーザー・インターフェースを提供する、
上記（１）に記載の情報入力装置。
（３）前記ユーザー・インターフェース提供部は、前記近距離用のユーザー・インターフェースとして、前記画面対するタッチ操作を行なうユーザー・インターフェースを提供する、
上記（２）に記載の情報入力装置。
（４）前記ユーザー・インターフェース提供部は、前記中間距離用のユーザー・インターフェースとして、ジェスチャー入力するユーザー・インターフェースを提供する、
上記（２）に記載の情報入力装置。
（５）前記ユーザー・インターフェース提供部は、前記遠距離用のユーザー・インターフェースとして、リモコンを利用したユーザー・インターフェースを提供する、
上記（２）に記載の情報入力装置。
（６）前記ユーザー・インターフェース要素表示部は、遠距離と判定された対象物に対して、ユーザー・インターフェース要素の中心座標を前記画面の所定位置に固定して表示させる、
上記（２）に記載の情報入力装置。
（７）前記ユーザー・インターフェース要素表示部は、中間距離と判定された対象物に対して、ユーザー・インターフェース要素の中心座標を対象物の位置に対応する前記画面上の位置に移動して表示させる、
上記（２）に記載の情報入力装置。
（８）前記ユーザー・インターフェース要素表示部は、近距離と判定された対象物に対して、ユーザー・インターフェース要素の中心座標を前記画面の所定位置に固定して表示させる、
上記（２）に記載の情報入力装置。
（９）前記ユーザー・インターフェース要素表示部は、近距離と判定された対象物に対して、より詳細なユーザー・インターフェース要素を表示させる、
上記（２）に記載の情報入力装置。
（１０）前記検出部は、中間距離にいる対象物の状態を解析し、
前記ユーザー・インターフェース要素表示部は、対象物の状態に応じたユーザー・インターフェース要素を表示させる、
上記（２）に記載の情報入力装置。
（１１）前記検出部は、対象物としてのユーザーの人数と各ユーザーの位置を検出し、
前記ユーザー・インターフェース要素表示部は、検出されたユーザー毎のユーザー・インターフェース要素を各ユーザーの位置に追従して表示させる、
上記（１０）に記載の情報入力装置。
（１２）前記検出部は、検出した対象物の情報を保持し、対象物を検出できなくても一定時間だけは保持した情報を前記ユーザー・インターフェース提供部及び前記ユーザー・インターフェース要素表示部に出力する、
上記（１）に記載の情報入力装置。
（１３）前記ユーザー・インターフェース提供部及び前記ユーザー・インターフェース要素表示部は、今まで前記検出部から出力されていた対象物の情報が停止されると、対応するユーザー・インターフェースの提供とユーザー・インターフェース要素の表示をそれぞれ停止する、
上記（１２）に記載の情報入力装置。
（１４）情報を表示する画面に対する対象物の距離及び位置を検出する検出ステップと、
前記対象物の距離に応じたユーザー・インターフェースを提供するユーザー・インターフェース提供ステップと、
対象物の距離及び位置に応じて前記画面にユーザー・インターフェース要素を表示させるユーザー・インターフェース要素表示ステップと、
を有する情報入力方法。
（１５）情報を表示する画面を有する表示部、
前記画面に対する対象物の距離及び位置を検出する検出部、
前記対象物の距離に応じたユーザー・インターフェースを提供するユーザー・インターフェース提供部、
対象物の距離及び位置に応じて前記画面にユーザー・インターフェース要素を表示させるユーザー・インターフェース要素表示部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
【符号の説明】
【０１０２】
１００…情報処理装置
２１０…制御部、２１１…ＣＰＵ、２１２…ＲＯＭ、２１３…ＲＡＭ
２２０…表示部、２２１…表示パネル、２２２…表示インターフェース
２２３…タッチパネル、２２４…タッチ・インターフェース
２３０…音声処理部、２３１…音声出力部、２３２…音声入力部
２３４…出力端子
２４０…通信部、２５０…記憶部、２６０…カメラ部
２６１…イメージ・センサー、２６２…ＡＦＥ処理部
２６３…カメラ・インターフェース、２７０…センサー部
３０１…検出部、３０２…ユーザー・インターフェース提供部
３０３…ユーザー・インターフェース要素表示部、３０４…操作認識部
【図２】
2015090547.tif 000003
【図３】
2015090547.tif 000004
【図１６】
2015090547.tif 000005
【図１７】
2015090547.tif 000006
【図１８】
2015090547.tif 000007
【図１】
2015090547.tif 000008
【図４】
2015090547.tif 000009
【図５】
2015090547.tif 000010
【図６】
2015090547.tif 000011
【図７】
2015090547.tif 000012
【図８】
2015090547.tif 000013
【図９】
2015090547.tif 000014
【図１０】
2015090547.tif 000015
【図１１】
2015090547.tif 000016
【図１２】
2015090547.tif 000017
【図１３】
2015090547.tif 000018
【図１４】
2015090547.tif 000019
【図１５】
2015090547.tif 000020