(57)【要約】【課題】携帯端末の向きおよびユーザの姿勢に依存することなく、同じ操作で同じ入力情報を作成する。【解決手段】携帯端末（２０）は、撮影部（２４）による撮影画像におけるユーザの顔画像に対し顔認識を行って、自端末に対する顔の正中線の傾きを検知する顔傾き検知部（３２）と、モーションセンサ（２３）の検出結果から、自端末の動きを検知する端末動き検知部（３１）と、検知した自端末の動きを、検知した傾きを用いて、顔の正中線に対する自端末の動きに回転変換する回転変換部（３４）と、回転変換された動きに基づく操作データを作成する操作データ作成部（３５）と、を備える。【選択図】図１
2016018448.tif 000002
【特許請求の範囲】
【請求項１】
ユーザからの入力を受け付け、該入力に基づく入力情報を情報処理装置に送信する入力装置であって、
撮影を行う撮影部と、
前記撮影による撮影画像に含まれる前記ユーザの顔画像に対し顔認識を行って、自装置に対する前記顔の基準線の傾きである顔傾きを検知する顔傾き検知手段と、
ユーザによる自装置の操作の動きである操作動きを検知する操作動き検知手段と、
該操作動き検知手段が検知した操作動きを、前記顔傾き検知手段が検知した顔傾きを用いて、前記顔の基準線に対する操作動きに回転変換する回転変換手段と、
該回転変換手段が回転変換した操作動きに基づく前記入力情報を作成する入力情報作成手段と、を備えることを特徴とする入力装置。
【請求項２】
前記顔の基準線は前記顔の正中線であることを特徴とする請求項１に記載の入力装置。
【請求項３】
複数の前記撮影部を異なる位置に備えることを特徴とする請求項１または２に記載の入力装置。
【請求項４】
自装置の動きを検出するモーションセンサをさらに備えており、
前記操作動き検知手段は、前記モーションセンサが検出した自装置の動きを、前記操作動きとして検知することを特徴とする請求項１から３までの何れか１項に記載の入力装置。
【請求項５】
前記モーションセンサは、自装置の加速度を検出する加速度センサを備えており、
前記加速度センサの検出結果から、鉛直線に対する自装置の傾きである装置傾きを検知する装置傾き検知手段をさらに備えており、
前記顔傾き検知手段が前記顔認識を行うことができなかった場合、前記回転変換手段は、前記操作動き検知手段が検知した操作動きを、前記装置傾き検知手段が検知した装置傾きを用いて、前記鉛直線に対する操作動きに回転変換することを特徴とする請求項４に記載の入力装置。
【請求項６】
前記顔傾き検知手段は、
前記撮影画像に含まれる前記顔以外の被写体の画像に対し画像認識を行って、自装置に対する前記被写体の基準線の傾きである被写体傾きを検知しており、
前記顔認識を行うことができなかった場合、今回検知した前記被写体傾きと、以前に前記顔認識を行うことができた場合に検知した前記顔傾きおよび前記被写体傾きとから、今回の前記顔傾きを推定することを特徴とする請求項１から４までの何れか１項に記載の入力装置。
【請求項７】
複数の前記顔画像の情報を前記顔傾きに対応付けた対応情報を記憶する記憶部をさらに備えており、
前記顔傾き検知手段は、前記対応情報を参照して、前記ユーザの顔画像に類似する顔画像に対応する前記顔傾きを取得することを特徴とする請求項１から６までの何れか１項に記載の入力装置。
【請求項８】
ユーザからの入力を受け付ける入力装置と、該入力に基づく入力情報を前記入力装置から受信する情報処理装置とを備える入力システムであって、
鉛直線に対する前記ユーザの顔の基準線の傾きである顔傾きを検知する顔傾き検知手段と、
前記鉛直線に対する前記入力装置の傾きである装置傾きを検知する装置傾き検知手段と、
ユーザによる前記入力装置の操作動きを検知する操作動き検知手段と、
該操作動き検知手段が検知した操作動きを、前記顔傾き検知手段および前記装置傾き検知手段がそれぞれ検知した顔傾きおよび装置傾きを用いて、前記顔の基準線に対する操作動きに回転変換する回転変換手段と、を備え、
前記情報処理装置は、前記回転変換手段が回転変換した操作動きを、自装置の基準線に対する操作動きとして、該操作動きに基づき処理を行うことを特徴とする入力システム。
【請求項９】
ユーザからの入力を受け付け、該入力に基づく入力情報を情報処理装置に送信する入力装置の制御方法であって、
撮影部による撮影画像に含まれる前記ユーザの顔画像に対し顔認識を行って、自装置に対する前記顔の基準線の傾きである顔傾きを検知する顔傾き検知ステップと、
ユーザによる自装置の操作の動きである操作動きを検知する操作動き検知ステップと、
該操作動き検知ステップにて検知された操作動きを、前記顔傾き検知ステップにて検知された顔傾きを用いて、前記顔の基準線に対する操作動きに回転変換する回転変換ステップと、
該回転変換ステップにて回転変換された操作動きに基づく前記入力情報を作成する入力情報作成ステップと、を含むことを特徴とする入力装置の制御方法。
【請求項１０】
請求項１から７までの何れか１項に記載の入力装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザからの入力を受け付け、該入力に基づく入力情報を情報処理装置に送信する入力装置およびその制御方法、制御プログラム、並びに入力システムに関する。
【背景技術】
【０００２】
従来のテレビジョン（ＴＶ）受信機、ゲーム機などの外部装置を操作するリモートコントローラ（リモコン）には、英数字のボタン、矢印ボタンなどの各種ボタンが基台に設けられている。該各種ボタンをユーザが操作することにより、上記ＴＶ受信機、上記ゲーム機に接続されたディスプレイなどの表示装置の表示が制御される。
【０００３】
近年、加速度センサなどのモーションセンサを備えたリモコン（以下「モーション型リモコン」と称する。）が市販されている。例えば、特許文献１に記載のゲームシステムでは、コントローラに加速度センサが設けられ、該加速度センサにより上記コントローラの傾きが検知され、検知された傾きにより、表示装置の画面上のオブジェクトを回転させている。このように、モーション型リモコンを利用することにより、直感的な操作が可能となり、表示装置の表示制御が容易となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−０７５２１３号公報（２００７年０３月２９日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザが上記モーション型リモコンの把持形態を変更すれば、該リモコンの向きが変化して、上記モーションセンサの検出値が変化する場合がある。この場合、上記ユーザが上記リモコンを同じように操作しても、該リモコンの把持形態が異なれば、表示装置における表示制御（操作結果）が異なることになる。そこで、従来は、上記リモコンの把持形態を予め規定していた。
【０００６】
また、ユーザは、両目により空間を認識する。従って、上記ユーザの顔の基準線の例としては、上記両目の間を通る顔の正中線、両目の配列方向を示す直線（以下、「目のアライメント」と称する。）、目のアライメントに略平行な直線である、両耳の配列方向を示す直線（以下、「耳のアライメント」と称する。）が挙げられる。ここで、顔の正中線とは、顔を左右に等分する縦の線をいう。
【０００７】
一方、表示装置は、通常、画面における隣接する２辺の一方が鉛直線に沿い、他方が水平線に沿うように配置される。従って、上記表示装置の基準線の例としては、鉛直線および水平線が挙げられる。上記ユーザの基準線に対する操作が、上記画面の基準線に対する操作結果となる。
【０００８】
このとき、ユーザが姿勢を変更すれば、ユーザの基準線（例えば顔の正中線）が変化して、画面の基準線（例えば鉛直線）から傾斜する場合がある。この場合、ユーザが予想する画面の操作結果が、実際の画面の操作結果から傾斜することになる。そこで、従来は、上記ユーザの姿勢を予め規定していた。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力装置の向きおよびユーザの姿勢に依存することなく、同じ操作で同じ入力情報を作成できる入力装置などを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の一態様に係る入力装置は、ユーザからの入力を受け付け、該入力に基づく入力情報を情報処理装置に送信する入力装置であって、上記の課題を解決するために、撮影を行う撮影部と、前記撮影による撮影画像に含まれる前記ユーザの顔画像に対し顔認識を行って、自装置に対する前記顔の基準線の傾きである顔傾きを検知する顔傾き検知手段と、ユーザによる自装置の操作の動きである操作動きを検知する操作動き検知手段と、該操作動き検知手段が検知した操作動きを、前記顔傾き検知手段が検知した顔傾きを用いて、前記顔の基準線に対する操作動きに回転変換する回転変換手段と、該回転変換手段が回転変換した操作動きに基づく前記入力情報を作成する入力情報作成手段と、を備えることを特徴としている。
【００１１】
また、本発明の別の態様に係る表示システムは、ユーザからの入力を受け付ける入力装置と、該入力に基づく入力情報を前記入力装置から受信する情報処理装置とを備える入力システムであって、上記課題を解決するために、鉛直線に対する前記ユーザの顔の基準線の傾きである顔傾きを検知する顔傾き検知手段と、前記加速度センサの検出結果から前記鉛直線に対する前記入力装置の傾きである装置傾きを検知する装置傾き検知手段と、ユーザによる前記入力装置の操作動きを検知する操作動き検知手段と、該操作動き検知手段が検知した操作動きを、前記顔傾き検知手段および前記装置傾き検知手段がそれぞれ検知した顔傾きおよび装置傾きを用いて、前記顔の基準線に対する操作動きに回転変換する回転変換手段と、を備え、前記情報処理装置は、前記回転変換手段が回転変換した操作動きを、自装置の基準線に対する操作動きとして、該操作動きに基づき処理を行うことを特徴としている。
【００１２】
また、本発明の別の態様に係る入力装置の制御方法は、ユーザからの入力を受け付け、該入力に基づく入力情報を情報処理装置に送信する入力装置の制御方法であって、上記課題を解決するために、撮影部による撮影画像に含まれる前記ユーザの顔画像に対し顔認識を行って、自装置に対する前記顔の基準線の傾きである顔傾きを検知する顔傾き検知ステップと、ユーザによる自装置の操作の動きである操作動きを検知する操作動き検知ステップと、該操作動き検知ステップにて検知された操作動きを、前記顔傾き検知ステップにて検知された顔傾きを用いて、前記顔の基準線に対する操作動きに回転変換する回転変換ステップと、該回転変換ステップにて回転変換された操作動きに基づく前記入力情報を作成する入力情報作成ステップと、を含むことを特徴としている。
【発明の効果】
【００１３】
本発明の一態様によれば、入力装置の向きおよびユーザの姿勢に依存することなく、同じ操作で同じ入力情報を作成できるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る入力システムの概略構成を示すブロック図である。
【図２】上記入力システムの概要を示す図である。
【図３】上記入力システムにおける表示装置、携帯端末、およびユーザのローカル座標系を示す図である。
【図４】上記携帯端末における処理の流れを示すフローチャートである。
【図５】本発明の別の実施形態に係る入力システムにおける携帯端末の概要を示す斜視図である。
【図６】本発明のさらに別の実施形態に係る入力システムの概略構成を示すブロック図である。
【図７】本発明の他の実施形態に係る入力システムの概略構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について詳細に説明する。なお、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付記し、適宜その説明を省略する。
【００１６】
〔実施形態１〕
まず、本発明の一実施形態について図１〜図４を参照して説明する。
【００１７】
（入力システムの概要）
図２は、本実施形態に係る入力システムの概要を示す図である。図示のように、本実施形態の入力システム１は、表示装置（情報処理装置）１０と携帯端末（入力装置）２０とを備える構成である。なお、以下では、個々の携帯端末を示す場合には、携帯端末２０a、携帯端末２０b、などと記載し、携帯端末を総称する場合には携帯端末２０と記載する。また、個々のユーザを示す場合には、ユーザＵａ、ユーザＵｂ、などと記載し、ユーザを総称する場合にはユーザＵと記載する。なお、その他も同様である。
【００１８】
表示装置１０は、放送局、インターネット、録画装置などの外部装置からコンテンツを受信し、受信したコンテンツを画面１１に表示するものである。表示装置１０の例としては、ＴＶ受信機が挙げられる。
【００１９】
携帯端末２０は、ユーザＵが携帯可能な通信端末である。携帯端末２０の例としては、携帯電話機、スマートフォン、タブレット型端末、ＰＤＡ（Personal Digital Assistant）、ノート型ＰＣ（Personal Computer）、ＰＨＳ（Personal Handyphone System）端末などが挙げられる。本実施形態では、携帯端末２０は、ユーザＵの操作に基づき、表示装置１０を遠隔操作するリモコンとして機能する。
【００２０】
図３は、図２に示される表示装置１０（画面１１）、携帯端末２０、およびユーザＵのローカル座標系を示している。図３の（ａ）に示すように、表示装置１０のローカル座標系では、水平方向をｘd軸に、垂直方向（鉛直方向の逆向き）をｙd軸に、前後方向をｚd軸にそれぞれとっている。また、同図の（ｂ）に示すように、携帯端末２０のローカル座標系では、短手方向をｘt軸に、長手方向をｙt軸に、前後方向をｚt軸にそれぞれとっている。そして、同図の（ｃ）に示すように、ユーザＵのローカル座標系では、目のアライメントの方向をｘf軸に、正中線ＭＬの方向をｙf軸に、前後方向をｚf軸にそれぞれとっている。なお、本実施形態では、説明の便宜上、ｚd軸、ｚt軸、およびｚf軸は方向が同じとする。
【００２１】
本実施形態では、携帯端末２０は、携帯端末２０の３軸方向（ｘt、ｙt、ｚt）の加速度を検出する加速度センサ３０（図１を参照）を備えている。携帯端末２０は、加速度センサ３０を用いて、携帯端末２０に働く重力の方向（鉛直方向）と、携帯端末２０の３軸方向の移動量（動き、移動ベクトル）とを検知する。そして、携帯端末２０は、検知した鉛直方向を用いて、表示装置１０の垂直方向（ｙd軸）に対する携帯端末２０の長手方向（ｙt軸）の傾き（以下「端末傾き」と称する。）θ1を検知する。
【００２２】
また、携帯端末２０には、図３に示すように、撮影を行って、撮影画像を作成する撮影部２４（図１・図３を参照）が、表示部２６の画面の側に設けられている。また、携帯端末２０は、作成した撮影画像に対し顔認識を行って、撮影画像に含まれるユーザＵの顔の正中線ＭＬを検知する。なお、上記顔認識の処理には公知のものを利用できるので、その説明を省略する。
【００２３】
また、携帯端末２０は、検知した正中線ＭＬを用いて、携帯端末２０の長手方向（ｙt軸）に対するユーザＵの正中線ＭＬの方向（ｙf軸）の傾き（以下、「顔傾き」と称する。）θ2を検知する。なお、携帯端末２０は、検知した正中線ＭＬおよび上記鉛直方向を用いて、表示装置１０の垂直方向（ｙd軸）に対するユーザＵの正中線ＭＬの方向（ｙf軸）の傾きθ2’を検知してもよい。
【００２４】
ここで、或る直線に対する別の直線の傾きθの算出方法について説明する。上記或る直線の傾きを示す単位ベクトルをベクトルａ＝（ａ１，ａ２）とし、上記別の直線の傾きを示す単位ベクトルをベクトルｂ＝（ｂ１，ｂ２）とすると、上記傾きθ（０≦θ≦１８０°）は次式（１）で求めることができる。
【００２５】
【数１】
2016018448.tif 000003
次に、携帯端末２０は、検知した自装置の移動ベクトルｍを、検知した顔傾きθ2を用いて、正中線ＭＬに対する自装置の移動ベクトルに回転変換する。これにより、回転変換された移動ベクトルは、携帯端末２０の傾きに依存しなくなる。また、当該動きは、上記顔の正中線ＭＬに対する携帯端末２０の動きであるので、ユーザの姿勢に依存しない。
【００２６】
そして、携帯端末２０は、回転変換した、正中線ＭＬに対する自装置の移動ベクトルを、表示装置１０の垂直方向（ｙd軸）に対する移動ベクトルとし、該移動ベクトルに従って表示装置１０の画面１１上のオブジェクトＡを移動するように指示する。これにより、ユーザＵにとって同じ動きで、同じ指示を行うことができる。なお、オブジェクトＡの例としては、カーソル、アバターなどが挙げられる。
【００２７】
なお、携帯端末２０は、作成した撮影画像からユーザＵの顔の画像を認識できなかった場合、或いは、検知した顔傾きθ2＝０である場合には、検知した自装置の移動ベクトルｍを、検知した装置傾きθ1を用いて、表示装置１０の垂直方向（ｙd軸）に対する移動ベクトルに回転変換する。そして、携帯端末２０は、回転変換した、表示装置１０の垂直方向（ｙd軸）に対する自装置の移動ベクトルに従って表示装置１０の画面１１上のオブジェクトＡを移動するように指示する。これにより、携帯端末２０の傾きに依存しない指示を行うことができる。
【００２８】
本実施形態による動作例について説明する。図２にて移動ベクトルｍで示されるように、ユーザＵは、携帯端末２０を正中線ＭＬに平行な方向に移動操作していると仮定する。
【００２９】
左側のユーザＵaは、直立した状態であり、携帯端末２０ａを表示装置１０の垂直方向（ｙd軸）に把持している。この場合、携帯端末２０ａの長手方向（ｙt軸）とユーザＵaの正中線（ｙf軸）とが、表示装置１０の垂直方向（ｙd軸）と一致している。すなわち、端末傾きθ1＝０°であり、顔傾きθ2＝０°である。
【００３０】
従って、上記の回転変換は不要であるので、携帯端末２０ａは、検知した自装置の移動ベクトルｍに従って表示装置１０の画面１１上のオブジェクトＡを移動するように指示する。これにより、表示装置１０の画面１１上のオブジェクトＡは、垂直方向（ｙd軸）に平行な方向に移動する。
【００３１】
一方、中央のユーザＵbは、斜め横になった状態であり、携帯端末２０ｂを表示装置１０の垂直方向（ｙd軸）から４５°傾けた状態で把持している。さらに、携帯端末２０ｂは、ユーザＵbの顔から離間しているため、作成した撮影画像にはユーザＵbの顔の画像が含まれていないとする。この場合、端末傾きθ1＝４５°であり、顔傾きθ2は検知されない。
【００３２】
従って、携帯端末２０ｂは、検知した自装置の移動ベクトルｍを、端末傾きθ1＝４５°だけ回転させて、表示装置１０の垂直方向（ｙd軸）に対する移動ベクトルに変換し、変換した移動ベクトルに従って表示装置１０の画面１１上のオブジェクトＡを移動するように指示する。これにより、表示装置１０の画面１１上のオブジェクトＡは、垂直方向（ｙd軸）に平行な方向に移動する。
【００３３】
一方、右側のユーザＵcは、横になった状態であり、顔が表示装置１０の垂直方向（ｙd軸）から３０°傾いており、かつ、携帯端末２０ｃを表示装置１０の垂直方向（ｙd軸）から４５°傾けて把持している。ユーザＵcの顔平面と携帯端末２０ｃの画面平面が平行であると仮定すると、端末傾きθ1＝４５°であり、顔傾きθ2＝４５°−３０°＝１５°となる。
【００３４】
従って、携帯端末２０ｃは、検知した自装置の移動ベクトルｍを、顔傾きθ2＝１５°だけ回転させて、ユーザＵcの正中線（ｙf軸）に対する移動ベクトルに変換する。変換された移動ベクトルは、上記仮定のように、正中線（ｙf軸）に平行な方向となる。次に、携帯端末２０は、変換した移動ベクトルを、表示装置１０垂直方向（ｙd軸）に対する移動ベクトルとし、該移動ベクトルに従って表示装置１０の画面１１上のオブジェクトＡを移動するように指示する。当該移動ベクトルは、表示装置１０垂直方向（ｙd軸）に平行な方向であるので、表示装置１０の画面１１上のオブジェクトＡは、垂直方向（ｙd軸）に平行な方向に移動する。
【００３５】
（入力システムの詳細）
図１は、入力システム１の概略構成を示すブロック図である。図示のように、表示装置１０は、コンテンツ受信部１２、コンテンツ解析部１３、通信部１４、表示制御部１５、および表示部１６を備える構成である。
【００３６】
外部装置からの１または複数のコンテンツは、コンテンツ受信部１２にて受信され、コンテンツ解析部１３にて解析され、該解析結果に基づき、表示部１６に表示するように表示制御部１５にて制御される。また、携帯端末２０からの操作データは、通信部１４にて受信され、受信された操作データに基づき、上記コンテンツの位置を変更した上で当該コンテンツを表示部１６に表示するように表示制御部１５にて制御される。このように、本実施形態における表示装置１０は、公知のものと同様である。
【００３７】
一方、携帯端末２０は、制御部２１、記憶部２２、モーションセンサ２３、撮影部２４、入力部２５、表示部２６、および通信部２７を備える構成である。
【００３８】
制御部２１は、携帯端末２０内の各種構成を統括的に制御するものであり、ＣＰＵ（Central Processing Unit）などのプロセッサを備える構成である。記憶部２２は、各種のデータおよびプログラムを記憶するものであり、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリなどの記憶素子を備える構成である。なお、制御部２１の詳細については後述する。
【００３９】
モーションセンサ２３は、携帯端末２０の動きを検出するものである。モーションセンサ２３は、検出データを制御部２１に送信する。本実施形態では、モーションセンサ２３は、上述の加速度センサ３０を備えている。なお、モーションセンサ２３は、携帯端末２０の３軸方向の角速度を検出するジャイロセンサを備えてもよいし、地磁気を検出する地磁気センサを備えてもよい。上記ジャイロセンサにより、携帯端末２０の３軸方向の回転量（回転ベクトル）を検出することができ、上記地磁気センサにより、携帯端末２０の方位を検出することができる。
【００４０】
撮影部２４は、上述のように、被写体の撮影を行って、静止画および動画といった撮影画像を作成するものであり、例えば、レンズなどの光学系と、外部から上記光学系を介しての光を電気信号に変換する撮像素子とを備えている。該撮像素子の例としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）イメージセンサなどが挙げられる。撮影部２４は、作成した撮影画像のデータを制御部２１に送信する。なお、上記撮影画像は、カラー画像でもよいし、白黒画像でもよいし、赤外線画像でもよい。また、撮影部２４は、ユーザの顔に自動的に焦点が合うように、オートフォーカス機構を有することが望ましい。
【００４１】
入力部２５は、携帯端末２０の表面に設けられた操作ボタンなどの入力デバイスをユーザが操作することにより、入力データを作成して制御部２１に送信するものである。入力デバイスの例としては、ボタンスイッチの他にタッチパネルなどが挙げられる。
【００４２】
表示部２６は、制御部２１から画像データを受信し、受信した画像データに基づいて表示画面に画像を表示するものである。具体的には、表示部２６は、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）ディスプレイ、電子ペーパなどの表示素子と、受信した画像データに基づいて表示素子を駆動するドライバ回路とを備える構成である。
【００４３】
通信部２７は、制御部２１から受信したデータを無線送信に適した形式に変換し、変換した無線信号を、アンテナ（図示せず）を介して外部に送信すると共に、外部から上記アンテナを介して受信した無線信号を元の形式に変換し、変換したデータを制御部２１に送信するものである。具体的には、通信部２７では、データの変復調処理、ＲＦ処理などが行われる。
【００４４】
本実施形態では、通信部２７は、無線ＬＡＮ、ブルートゥース（登録商標）などにより、表示装置１０と近距離無線通信を行うものであるが、これに限定されるものではない。例えば、通信部２７は、携帯電話回線およびインターネットを介して表示装置１０と無線通信を行ってもよいし、赤外線を利用して表示装置１０と無線通信を行ってもよい。また、通信部２７は、ケーブルなどを利用して表示装置１０と有線通信を行ってもよい。
【００４５】
次に、携帯端末２０における制御部２１および記憶部２２の詳細について説明する。図１に示すように、制御部２１は、端末傾き検知部（装置傾き検知手段）３１、顔傾き検知部（顔傾き検知手段）３２、動き検知部（操作動き検知手段）３３、回転変換部（回転変換手段）３４、および操作データ作成部（入力情報作成手段）３５を備える構成である。
【００４６】
端末傾き検知部３１は、加速度センサ３０からの検出データに基づいて、上述の端末傾きθ1を検知するものである。端末傾き検知部３１は、検知した端末傾きθ1を回転変換部３４に送信する。
【００４７】
顔傾き検知部３２は、撮影部２４からの撮影画像のデータを用いて、顔認識を行い、上述の顔傾きθ2を検知するものである。顔傾き検知部３２は、検知した顔傾きθ2を回転変換部３４に送信する。このとき、上記顔認識ができなかった場合、顔傾き検知部３２は、その旨を回転変換部３４に通知する。
【００４８】
動き検知部３３は、モーションセンサ２３からの検出データに基づいて、自端末の動きを、ユーザによる自端末の操作の動きとして検知するものである。動き検知部３３は、検知した動きを示す動きベクトルを回転変換部３４に送信する。
【００４９】
回転変換部３４は、動き検知部３３からの動きベクトルを、上述の条件に基づき、端末傾き検知部３１からの端末傾きθ1、または、顔傾き検知部３２からの顔傾きθ2を用いて回転変換するものである。回転変換部３４は、回転変換された動きベクトルを操作データ作成部３５に送信する。
【００５０】
操作データ作成部３５は、回転変換部３４からの動きベクトルを含む操作データを作成するものである。操作データ作成部３５は、作成した操作データを、通信部２７を介して表示装置１０に送信する。これにより、表示装置１０では、上記操作データに基づいて表示が制御される。
【００５１】
（携帯端末の処理）
次に、上記構成の携帯端末２０における処理（制御方法）について説明する。図４は、該処理の流れを示すフローチャートである。図示のように、まず、顔傾き検知部３２は、撮影部２４からの撮影画像のデータを用いて顔認識を行い（Ｓ１０）、ユーザＵの顔を認識できた場合には（Ｓ１１にてＹＥＳ）、上記撮影画像から顔傾きθ2を検知する（Ｓ１２、顔傾き検知ステップ）。
【００５２】
このとき、ユーザＵの顔を認識できなかった場合（Ｓ１１にてＮＯ）、或いは、顔傾きθ2＝０である場合には（Ｓ１３にてＹＥＳ）、端末傾き検知部３１は、加速度センサ３０からの検出データに基づいて、端末傾きθ1を検知する（Ｓ１４）。次に、動き検知部３３は、モーションセンサ２３からの検出データに基づいて、自端末の動きベクトルｍを検知する（Ｓ１５、操作動き検知ステップ）。
【００５３】
次に、回転変換部３４は、動き検知部３３が検知した動きベクトルｍを、端末傾き検知部３１が検知した端末傾きθ1を用いて回転変換する（Ｓ１６、回転変換ステップ）。そして、操作データ作成部３５は、回転変換部３４が回転変換した動きベクトルを含む操作データを作成して、表示装置１０に送信する（Ｓ１７、入力情報作成ステップ）。その後、処理動作を終了する。
【００５４】
一方、顔傾きθ2＝０ではない場合には（Ｓ１３にてＮＯ）、動き検知部３３は、モーションセンサ２３からの検出データに基づいて、自端末の動きベクトルｍを検知する（Ｓ１８、操作動き検知ステップ）。次に、回転変換部３４は、動き検知部３３が検知した動きベクトルｍを、顔傾き検知部３２が検知した顔傾きθ2を用いて回転変換し（Ｓ１９、回転変換ステップ）、そして、回転変換部３４は、回転変換した動きベクトルを、垂直方向の動きベクトルとして、操作データ作成部３５は、当該動きベクトルを含む操作データを作成して、表示装置１０に送信する（Ｓ２０、入力情報作成ステップ）。その後、処理動作を終了する。
【００５５】
（付記事項）
本実施形態では、携帯端末２０から表示装置１０にデータを送信しているが、表示装置１０から携帯端末２０にデータを送信する必要は無い。従って、携帯端末２０の通信部２７は、データを送信する送信部のみでもよく、表示装置１０の通信部１４は、データを受信する受信部のみでもよい。
【００５６】
また、端末傾き検知部３１が検知した端末傾きθ1と、顔傾き検知部３２が検知した顔傾きθ2とを記憶部２２に記憶しておき、記憶された端末傾きθ1および顔傾きθ2を回転変換部３４が利用してもよい。
【００５７】
また、撮影部２４は、表示部２６の画面の反対側に設けられていてもよい。この場合、撮影部２４が設けられている側、すなわち、表示部２６の画面の反対側がユーザと対向するように、ユーザは、携帯端末２０を把持すればよい。このとき、表示部２６の画面におけるタッチパネルの操作は、親指以外の指で行えばよい。
【００５８】
また、本実施形態では、ユーザの顔の正中線ＭＬ（図３の（ｃ）のｙf軸）を、上記顔の基準線とし、表示装置１０の垂直方向（図３の（ａ）のｙd軸）が示す直線、すなわち鉛直線を表示装置１０の基準線としているが、これに限定されない。例えば、上記顔の基準線として、目のアライメント（同図の（ｃ）のｘf軸）を使用してもよいし、目のアライメントに略平行な耳のアライメントを使用してもよい。この場合、表示装置１０の基準線は、表示装置１０の水平方向（図３の（ａ）のｘd軸）が示す直線、すなわち水平線となる。
【００５９】
しかしながら、上記鉛直線の方向は、重力の方向であり、一意に決まるが、上記水平線の方向は、重力に垂直な方向であり、一意には決まらない。従って、上記顔の基準線としては、上記目のアライメントおよび上記耳のアライメントよりも、上記顔の正中線ＭＬの方が好ましい。この場合、ユーザにとって同じ動きで、同じ指示を確実に行うことができる。
【００６０】
（変形例１）
また、ユーザＵの顔の向きを種々に変更して撮影を行い、作成した撮影画像に含まれる顔画像の特徴データを、顔傾きθ2に対応付けて、記憶部２２予め記憶しておいてもよい。この特徴データを利用することにより、顔傾きθ2を迅速に導出することができる。
【００６１】
（変形例２）
また、携帯端末２０をユーザＵの顔に近づけると、撮影画像における顔画像が大きくなる一方、携帯端末２０をユーザＵの顔から遠ざけると、撮影画像における顔画像が小さくなる。そこで、上記顔画像の大きさに応じて、画面１１上のオブジェクトＡを拡縮して表示するように操作してもよい。これにより、携帯端末２０をユーザＵに近づけたり遠ざけたりすることにより、画面１１上のオブジェクトＡの大きさを操作することができる。
【００６２】
（変形例３）
また、ユーザＵにとっては、携帯端末２０を同じように動かしても、携帯端末２０とユーザＵの顔との距離が近い場合には、携帯端末２０が大きく動いて見える一方、当該距離が遠い場合には、携帯端末２０が小さく動いて見える。そこで、上記顔画像の大きさに比例して、動き検知部３３から回転変換部３４に送信される動きベクトルの長さの倍率を変更してもよい。すなわち、携帯端末２０とユーザＵの顔との距離が近い場合、上記顔画像が大きいので、上記動きベクトルを長くする一方、当該距離が遠い場合、上記顔画像が小さいので、上記動きベクトルを短くする。
【００６３】
これにより、携帯端末２０を同じように動かしても、携帯端末２０とユーザＵの顔との距離が近い場合には、オブジェクトＡが大きく動く一方、当該距離が遠い場合には、オブジェクトＡが小さく動くことになる。従って、ユーザＵが見た携帯端末２０の動きに対応するように、オブジェクトＡを動かすことができるので、ユーザＵはオブジェクトＡを直感的に遠隔操作することができる。
【００６４】
なお、本変形例の場合、上記顔画像の大きさに比例して上記動きベクトルの長さの倍率を連続的に変更しているが、離散的に変更してもよい。例えば、上記顔画像の大きさが所定値以下の場合には、上記倍率を低くする一方、上記顔画像の大きさが所定値よりも大きいの場合には、上記倍率を高くする。このように、上記倍率を２段階に変化させてもよい。また、上記所定値を複数個設定することにより、上記倍率を多段階に変化させてもよい。
【００６５】
（変形例４）
また、上記実施形態では、動き検知部３３は、モーションセンサ２３を用いて検知した携帯端末２０自体の動きを、ユーザによる携帯端末２０の操作の動きとしているが、これに限定されるものではない。例えば、入力部２５におけるタッチパネルを用いて検知したユーザのフリップ操作（フリック操作）のように、入力部２５におけるユーザの操作の動きを、ユーザによる携帯端末２０の操作の動きとしてもよい。この場合、動き検知部３３は、モーションセンサ２３を利用する必要がなくなる。
【００６６】
（変形例５）
ところで、ユーザは、通常、少なくとも１分間程度は姿勢を維持すると考えられる。上記姿勢が維持されると、上記ユーザの顔と、該顔の付近または周囲に位置する物体との幾何学的位置関係が維持されるので、当該顔の正中線と当該物体の基準線との幾何学的位置関係も維持されると考えられる。また、上記撮影画像には、上記顔の画像以外にも、上記物体の画像が含まれている可能性が高いと考えられる。すなわち、上記顔以外にも、上記物体が被写体となる可能性が高いと考えられる。
【００６７】
なお、ユーザの顔の付近または周囲に位置する物体の例としては、家具、壁に貼付された壁紙、上記ユーザが着ている服などが挙げられる。上記家具の基準線の例としては、鉛直線、水平線などが挙げられ、上記壁紙の基準線の例としては、当該壁紙の模様の方向を示す直線などが挙げられ、かつ、上記服の基準線の例としては、当該服の模様の方向を示す直線などが挙げられる。
【００６８】
そこで、上記撮影画像からユーザＵの顔を認識できなかった場合（図４のＳ１１にてＮＯ）、加速度センサ３０からの検出データに基づいて、端末傾きθ1を検知する代わりに（Ｓ１４）、下記のように、顔傾きθ2を推定してもよい。
【００６９】
すなわち、上記撮影画像からユーザＵの顔を認識できた場合には（Ｓ１１にてＹＥＳ）、当該撮影画像から顔傾きθ2を検知すると共に（Ｓ１２）、上記撮影画像に含まれる上記顔以外の被写体の画像に対し画像認識を行って、自装置に対する上記被写体の基準線の傾きである被写体傾きを検知する。そして、上記撮影画像からユーザＵの顔を認識できなかった場合（Ｓ１１にてＮＯ）、上記被写体傾きを検知し、検知した被写体傾きと、以前にユーザＵの顔を認識できた場合に検知した顔傾きθ2および被写体傾きとを用いて、現在の顔傾きθ2を推定する。なお、顔傾きθ2を推定するために利用される被写体（上記物体）は、１つでもよいし、複数でもよい。
【００７０】
ところで、近似の携帯端末２０では、表示部２６の画面の側に撮影部２４（インカメラ）が設けられると共に、その反対側に撮影部２４（アウトカメラ）が設けられているものが多い。このような携帯端末２０では、インカメラにてユーザＵの顔が撮影されると、アウトカメラでユーザＵの周囲が撮影される。そこで、インカメラをユーザＵの顔の認識に利用する一方、アウトカメラを上記顔以外の物体の認識に利用してもよい。このように、撮影部２４が複数個設けられている場合、顔の認識に利用される撮影部２４と、上記顔以外の物体の認識に利用される撮影部２４とは、同じでもよいし、異なってもよい。
【００７１】
〔実施形態２〕
本発明の別の実施形態について、図５を参照して説明する。図５は、本実施形態に係る入力システム１における携帯端末２０の概要を示す斜視図である。
【００７２】
図５に示すように、本実施形態の携帯端末２０は、図３の（ｂ）に示す携帯端末２０に比べて、撮影部２４が複数個設けられている点が異なり、その他の構成は同様である。複数の撮影部２４がそれぞれ作成した複数の撮影画像を利用することにより、顔傾き検知部３２は、ユーザＵの顔の３次元データを作成することができる。従って、ユーザＵの顔の正中線ＭＬを検出する精度を向上することができ、顔傾きθ2を検知する精度を向上することができる。
【００７３】
〔実施形態３〕
本発明のさらに別の実施形態について、図６を参照して説明する。図６は、本実施形態に係る入力システム１の概略構成を示すブロック図である。図６に示すように、本実施形態の入力システム１は、図１に示す入力システム１に比べて、表示装置１０にて、ユーザの顔の撮影を行い、撮影画像に基づいて顔傾きを検知し、回転変換を行う点が異なる。
【００７４】
具体的には、本実施形態の入力システム１は、図１に示す入力システム１に比べて、携帯端末２０の撮影部２４、顔傾き検知部３２、回転変換部３４、および操作データ作成部３５に代えて、撮影部４０、顔傾き検知部４１、回転変換部４２、およびオブジェクト操作部４３が表示装置１０にそれぞれ設けられている点が異なり、その他の構成は同様である。このため、端末傾き検知部３１が検知した端末傾きθ1と、動き検知部３３が検知した動きベクトルとは、通信部２７を介して、表示装置１０に送信される。なお、撮影部４０および回転変換部４２は、図１に示す撮影部２４および回転変換部３４と同様であるので、その説明を省略する。
【００７５】
本実施形態の顔傾き検知部４１は、図１に示す顔傾き検知部３２に比べて、表示装置１０の垂直方向（ｙd軸）に対するユーザＵの正中線ＭＬの方向（ｙf軸）の顔傾きθ2’を検知することになる。そこで、顔傾き検知部４１は、端末傾き検知部３１からの端末傾きθ1を用いて、顔傾きθ2’を、携帯端末２０の長手方向（ｙt軸）に対するユーザＵの正中線ＭＬの方向（ｙf軸）の顔傾きθ2に変換する。
【００７６】
オブジェクト操作部４３は、回転変換部４２からの動きベクトルに基づいて、画面１１上のオブジェクトＡを操作するように表示部１６を制御するものである。
【００７７】
このように、顔傾きの検知および回転変換は、表示装置１０にて行うこともできる。
【００７８】
〔実施形態４〕
本発明の他の実施形態について、図７を参照して説明する。図７は、本実施形態に係る入力システム１の概略構成を示すブロック図である。図７に示すように、本実施形態の入力システム１は、図１に示す入力システム１に比べて、メガネ型端末５０が新たに設けられている点と、携帯端末２０にて顔傾き検知部３２に代えて、顔傾き変換部５１が設けられている点とが異なり、その他の構成は同様である。
【００７９】
メガネ型端末５０は、ユーザＵの顔に装着されるものであり、携帯端末２０と同様の機能を有している。このため、メガネ型端末５０は、鉛直方向に対する自装置の傾きを検知することができる。この傾きは、鉛直方向に対するユーザＵの顔の傾きに該当し、表示装置１０の垂直方向（ｙd軸）に対するユーザＵの正中線ＭＬの方向（ｙf軸）の顔傾きθ2’に変換することができる。従って、メガネ型端末５０は、上記顔傾きθ2’を携帯端末２０に送信する。
【００８０】
顔傾き変換部５１は、端末傾き検知部３１からの端末傾きθ1を用いて、メガネ型端末５０からの顔傾きθ2’を、携帯端末２０の長手方向（ｙt軸）に対するユーザＵの正中線ＭＬの方向（ｙf軸）の顔傾きθ2に変換するものである。顔傾き変換部５１は、変換した顔傾きθ2を回転変換部３４に送信する。
【００８１】
本実施形態の場合、撮影部２４および顔認識処理が不要となる。
【００８２】
〔ソフトウェアによる実現例〕
表示装置１０および携帯端末２０の制御ブロック（特に表示制御部１５および制御部２１）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【００８３】
後者の場合、表示装置１０および携帯端末２０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００８４】
（付記事項）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【００８５】
例えば、上記実施形態では、携帯端末２０が、ユーザからの操作（入力）を受け付けているが、任意の入力装置に適用可能である。また、携帯端末２０が表示装置１０に指示しているが、該指示を処理する任意の情報処理装置に適用可能である。
【００８６】
〔まとめ〕
本発明の態様１に係る入力装置（携帯端末２０）は、ユーザからの入力を受け付け、該入力に基づく入力情報を情報処理装置（表示装置１０）に送信する入力装置であって、撮影を行う撮影部（２４）と、前記撮影による撮影画像に含まれる前記ユーザの顔画像に対し顔認識を行って、自装置に対する前記顔の基準線の傾きである顔傾きを検知する顔傾き検知手段（顔傾き検知部３２）と、ユーザによる自装置の操作の動きである操作動きを検知する操作動き検知手段（動き検知部３３）と、該操作動き検知手段が検知した操作動きを、前記顔傾き検知手段が検知した顔傾きを用いて、前記顔の基準線に対する操作動きに回転変換する回転変換手段（回転変換部３４）と、該回転変換手段が回転変換した操作動きに基づく前記入力情報を作成する入力情報作成手段（操作データ作成部３５）と、を備えている。
【００８７】
上記の構成によれば、撮影部が撮影した撮影画像に含まれるユーザの顔画像に対し顔認識を行って、自装置に対する顔の基準線の傾きである顔傾きが検知される。次に、ユーザによる自装置の操作の動きである操作動きが検知され、検知された操作動きが、上記顔傾きを用いて、上記顔の基準線に対する操作動きに回転変換される。これにより、回転変換された操作動きは、入力装置の傾きに依存しなくなる。また、当該操作動きは、上記顔の基準線に対する動きであるので、ユーザの姿勢に依存しない。
【００８８】
そして、回転変換された、上記顔の基準線に対する操作動きに基づく入力情報を作成して情報処理装置に送信する。これにより、ユーザにとって同じ動きで、同じ入力情報を作成することができる。
【００８９】
なお、上記顔の基準線としては、上記顔の正中線、上記顔における目のアライメント、上記顔における耳のアライメント、などが挙げられる。また、上記顔の基準線に対する操作動きを、装置の基準線（鉛直線、水平線など）に対する動きとして入力情報を作成することが好ましい。この場合、例えば、ユーザの顔の正中線に対する動きを、表示装置の画面に表示された物体の鉛直線に対する動きとして反映することができ、また、ユーザの目のアライメントに対する動きを、上記物体の水平線に対する動きとして反映することができる。その結果、ユーザの直感的な遠隔操作が可能となる。
【００９０】
また、上記操作動きには、移動および回転が含まれる。また、上記操作動きは、自装置に設けたモーションセンサ（２３）が検出した自装置自体の動きでもよいし、自装置に設けたタッチパネル上での動きでもよい。
【００９１】
ところで、ユーザが直立すると、上記顔の正中線の方向は、鉛直線の方向となる一方、上記目のアライメントおよび上記耳のアライメントの方向は、水平線の方向となる。このことから、上記顔の正中線は、鉛直線に対応する基準線である一方、上記目のアライメントおよび上記耳のアライメントは、水平線に対応する基準線であると言える。そして、上記鉛直線の方向は、重力の方向であり、一意に決まるが、上記水平線の方向は、重力に垂直な方向であり、一意には決まらない。
【００９２】
そこで、本発明の態様２に係る入力装置は、上記態様１において、前記顔の基準線は前記顔の正中線であることが好ましい。上記の構成によれば、同じ操作で同じ入力情報を確実に作成することができる。
【００９３】
本発明の態様３に係る入力装置は、上記態様１または２において、複数の前記撮影部を異なる位置に備えてもよい。上記の構成によれば、複数の上記撮影部がそれぞれ作成した複数の撮影画像を利用することにより、上記顔傾き検知手段は、上記ユーザの顔の３次元データを作成することができる。従って、上記ユーザの顔の基準線を検出する精度を向上することができ、上記顔傾きを検知する精度を向上することができる。
【００９４】
本発明の態様４に係る入力装置は、上記態様１から３において、自装置の動きを検出するモーションセンサをさらに備えており、前記操作動き検知手段は、前記モーションセンサが検出した自装置の動きを、前記操作動きとして検知してもよい。
【００９５】
本発明の態様５に係る入力装置は、上記態様４において、前記モーションセンサは、自装置の加速度を検出する加速度センサ（３０）を備えており、前記加速度センサの検出結果から、鉛直線に対する自装置の傾きである装置傾きを検知する装置傾き検知手段（端末傾き検知部３１）をさらに備えており、前記顔傾き検知手段が前記顔認識を行うことができなかった場合、前記回転変換手段は、前記操作動き検知手段が検知した操作動きを、前記装置傾き検知手段が検知した装置傾きを用いて、前記鉛直線に対する操作動きに回転変換してもよい。上記の構成によれば、入力装置の傾きに依存しない入力情報を作成することができる。
【００９６】
本発明の態様６に係る入力装置は、上記態様１から４において、前記顔傾き検知手段は、前記撮影画像に含まれる前記顔以外の被写体の画像に対し画像認識を行って、自装置に対する前記被写体の基準線の傾きである被写体傾きを検知しており、前記顔認識を行うことができなかった場合、今回検知した前記被写体傾きと、以前に前記顔認識を行うことができた場合に検知した前記顔傾きおよび前記被写体傾きとから、今回の前記顔傾きを推定してもよい。
【００９７】
ここで、上記ユーザの顔以外の被写体の例としては、家具、壁に貼付された壁紙、上記ユーザが着ている服などが挙げられる。上記家具の基準線の例としては、鉛直線、水平線などが挙げられる。また、上記壁紙の基準線の例としては、当該壁紙の模様の方向を示す直線などが挙げられる。そして、上記服の基準線の例としては、当該服の模様の方向を示す直線などが挙げられる。
【００９８】
通常、ユーザは、少なくとも１分間程度は姿勢を維持すると考えられる。上記姿勢が維持されると、上記ユーザの顔と上記被写体との幾何学的位置関係が維持されるので、当該ユーザの顔の基準線と当該被写体の基準線との幾何学的位置関係も維持されると考えられる。
【００９９】
従って、上記の構成によれば、上記顔傾きを検知した時に上記被写体傾きを検知しておけば、上記顔認識を行うことができないことにより上記顔傾きを検知できない場合でも、上記被写体傾きを検知し、検知した被写体傾きと、以前に検知した顔傾きおよび被写体傾きと用いて、現在の顔傾きを推定することができる。なお、該顔傾きを推定するために利用される上記被写体は、１つでもよいし、複数でもよい。
【０１００】
本発明の態様７に係る入力装置は、上記態様１から６において、複数の前記顔画像の情報を前記顔傾きに対応付けた対応情報を記憶する記憶部（２２）をさらに備えており、前記顔傾き検知手段は、前記対応情報を参照して、前記ユーザの顔画像に類似する顔画像に対応する前記顔傾きを取得してもよい。
【０１０１】
上記の構成によれば、上記顔画像に対し顔認識を行って上記顔の基準線を特定する処理を省略できるので、上記顔傾きを迅速に取得することができる。なお、記憶部に記憶される顔画像は、同じユーザのものであってもよいし、平均的な人間のものであってもよい。また、上記態様３の場合、複数の上記撮影部を利用することにより、上記対応情報を迅速に作成することができる。
【０１０２】
本発明の態様８に係る入力システム（表示システム１）は、ユーザからの入力を受け付ける入力装置と、該入力に基づく入力情報を前記入力装置から受信する情報処理装置とを備える入力システムであって、鉛直線に対する前記ユーザの顔の基準線の傾きである顔傾きを検知する顔傾き検知手段（顔傾き検知部４１、メガネ型端末５０）と、前記鉛直線に対する前記入力装置の傾きである装置傾きを検知する装置傾き検知手段と、ユーザによる前記入力装置の操作動きを検知する操作動き検知手段と、該操作動き検知手段が検知した操作動きを、前記顔傾き検知手段および前記装置傾き検知手段がそれぞれ検知した顔傾きおよび装置傾きを用いて、前記顔の基準線に対する操作動きに回転変換する回転変換手段（回転変換部４２）と、を備え、前記情報処理装置は、前記回転変換手段が回転変換した操作動きを、自装置の基準線に対する操作動きとして、該操作動きに基づき処理を行っている。
【０１０３】
上記の構成によれば、鉛直線に対するユーザの顔の基準線の傾きを検知する。この検知を行うには、情報処理装置、表示装置など、鉛直線を基準線とする装置に設けられた撮影部からの撮影画像を利用すればよい。或いは、上記ユーザの顔に装着され、加速度センサを備えた携帯型装置であれば、上記検知を行うことができる。
【０１０４】
また、鉛直線に対する入力装置の傾きである装置傾きが検知される。この検知を行うには、上記入力装置に設けられた加速度センサの検出結果を利用すればよい。或いは、上記情報処理装置に設けられた撮影部が撮影した、上記入力装置を含む撮影画像を利用すればよい。
【０１０５】
次に、検知された操作動きが、上記顔傾きおよび上記装置傾きを用いて、上記顔の基準線に対する操作動きに回転変換される。これにより、回転変換された操作動きは、入力装置の傾きに依存しなくなる。また、当該操作動きは、上記顔の基準線に対する動きであるので、ユーザの姿勢に依存しない。
【０１０６】
そして、回転変換された、上記顔の基準線に対する操作動きを、基準線に対する動きとして、情報処理装置が当該動きに基づき処理を行う。これにより、ユーザにとって同じ動きで、情報処理装置に対し同じ指示を行うことができる。
【０１０７】
なお、上記各手段は、上記入力装置が備えてもよいし、上記情報処理装置が備えてもよい。上記入力装置が備える場合、上記情報処理装置は、新たな機能を追加する必要がないので、既存のものを利用することができる。さらに、上記各手段は、上記表示システムに含まれる、上記入力装置および上記情報処理装置以外の装置が備えていてもよい。
【０１０８】
本発明の態様９に係る入力装置の制御方法は、ユーザからの入力を受け付け、該入力に基づく入力情報を情報処理装置に送信する入力装置の制御方法であって、撮影部による撮影画像に含まれる前記ユーザの顔画像に対し顔認識を行って、自装置に対する前記顔の基準線の傾きである顔傾きを検知する顔傾き検知ステップ（Ｓ１２）と、ユーザによる自装置の操作の動きである操作動きを検知する操作動き検知ステップ（Ｓ１５・Ｓ１８）と、該操作動き検知ステップにて検知された操作動きを、前記顔傾き検知ステップにて検知された顔傾きを用いて、前記顔の基準線に対する操作動きに回転変換する回転変換ステップ（Ｓ１６・Ｓ１９）と、該回転変換ステップにて回転変換された操作動きに基づく前記入力情報を作成する入力情報作成ステップ（Ｓ１７・Ｓ２０）と、を含んでいる。この場合、上記態様１と同様の効果を奏する。
【０１０９】
本発明の各態様に係る入力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記入力装置が備える各手段として動作させることにより上記入力装置をコンピュータにて実現させる入力装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【産業上の利用可能性】
【０１１０】
本発明は、撮影画像から顔傾きが検知され、該顔傾きを用いて、ユーザによる自装置の操作の動きである操作動きが、上記顔の基準線に対する操作動きに回転変換され、回転変換された操作動きに基づく入力情報が作成されることにより、入力装置の向きおよびユーザの姿勢に依存することなく、同じ操作で同じ入力情報を作成できるので、任意の入力装置に適用することができる。
【符号の説明】
【０１１１】
１  入力システム
１０  表示装置（情報処理装置）
１１  画面
１２  コンテンツ受信部
１３  コンテンツ解析部
１４  通信部
１５  表示制御部
１６  表示部
２０  携帯端末（入力装置）
２１  制御部
２２  記憶部
２３  モーションセンサ
２４  撮影部
２５  入力部
２６  表示部
２７  通信部
３０  加速度センサ
３１  端末傾き検知部（装置傾き検知手段）
３２  顔傾き検知部（顔傾き検知手段）
３３  動き検知部（操作動き検知手段）
３４  回転変換部（回転変換手段）
３５  操作データ作成部（入力情報作成手段）
４０  撮影部
４１  顔傾き検知部
４２  回転変換部
４３  オブジェクト操作部
５０  メガネ型端末
５１  顔傾き変換部
【図１】
2016018448.tif 000004
【図２】
2016018448.tif 000005
【図３】
2016018448.tif 000006
【図４】
2016018448.tif 000007
【図５】
2016018448.tif 000008
【図６】
2016018448.tif 000009
【図７】
2016018448.tif 000010