(57)【要約】【課題】手認識処理の認識精度を向上させる。【解決手段】光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理が行われる。本技術は、手を認識する場合に適用することができる。【選択図】図６
2019219904.tif 000002
【特許請求の範囲】
【請求項１】
光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行う手認識処理部
としてコンピュータを機能させるためのプログラム。
【請求項２】
前記手認識処理部は、重力加速度の方向に対する前記携帯端末の向きに応じて、左手用の手認識処理、又は、右手用の手認識処理を行う
請求項１に記載のプログラム。
【請求項３】
前記手認識処理部は、
前記携帯端末の向きが右部を重力加速度の方向に向けている向きになっている場合、右手用の手認識処理を行い、
前記携帯端末の向きが左部を重力加速度の方向に向けている向きになっている場合、左手用の手認識処理を行う
請求項２に記載のプログラム。
【請求項４】
前記左手用の手認識処理は、左手用の辞書を用いる手認識処理であり、
前記右手用の手認識処理は、右手用の辞書を用いる手認識処理である
請求項１に記載のプログラム。
【請求項５】
前記光センサは、
所定の姿勢の前記携帯端末で所定の被写体をセンシングして得られる被写体画像と、
前記所定の姿勢と線対称の姿勢の前記携帯端末で前記所定の被写体と線対称の被写体をセンシングして得られる被写体画像と
が線対称にならない非線対称構成に構成される
請求項４に記載のプログラム。
【請求項６】
前記左手用の手認識処理は、前記画像、及び、前記画像を左右反転した反転画像のうちの一方を対象とする手認識処理であり、
前記右手用の手認識処理は、前記画像、及び、前記反転画像のうちの他方を対象とする手認識処理である
請求項１に記載のプログラム。
【請求項７】
前記光センサは、
所定の姿勢の前記携帯端末で所定の被写体をセンシングして得られる被写体画像と、
前記所定の姿勢と線対称の姿勢の前記携帯端末で前記所定の被写体と線対称の被写体をセンシングして得られる被写体画像と
が線対称になる線対称構成に構成される
請求項６に記載のプログラム。
【請求項８】
前記光センサの構成に応じて、
左手用の手認識処理として、左手用の辞書を用いる手認識処理を行い、右手用の手認識処理として、右手用の辞書を用いる手認識処理を行う辞書選択方式の手認識処理を行うか、又は、
左手用の手認識処理として、前記画像、及び、前記画像を左右反転した反転画像のうちの一方を対象とする手認識処理を行い、右手用の手認識処理として、前記画像、及び、前記反転画像のうちの他方を対象とする手認識処理を行う反転方式の手認識処理を行う
請求項１に記載のプログラム。
【請求項９】
光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行う手認識処理部
を備える認識装置。
【請求項１０】
光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行う
ステップを含む認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、プログラム、認識装置、及び、認識方法に関し、特に、例えば、手認識処理の認識精度を向上させることができるようにするプログラム、認識装置、及び、認識方法に関する。
【背景技術】
【０００２】
例えば、スマートフォンでは、内蔵する加速度センサを用いて得られるスマートフォンの姿勢に応じて、表示部の表示が回転される（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2014-137646号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、スマートフォン等の携帯端末のアプリケーションのうちの、ユーザの手に各種の機能を割り当てるアプリケーションでは、手の状態に応じた機能を発動させるために、ユーザの手を認識する必要がある。したがって、ユーザの手を認識する手認識処理の認識精度を向上させることが要請される。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、手認識処理の認識精度を向上させることができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の認識装置又はプログラムは、光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行う手認識処理部を備える認識装置、又は、そのような認識装置としてコンピュータを機能させるためのプログラムである。
【０００７】
本技術の認識方法は、光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行うステップを含む認識方法である。
【０００８】
本技術のプログラム、認識装置、及び、認識方法においては、光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理が行われる。
【０００９】
なお、認識装置は、独立した装置であっても良いし、１つの装置を構成する内部ブロック（半導体チップやモジュール等）であっても良い。
【００１０】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１１】
本技術によれば、手認識処理の認識精度を向上させることができる。
【００１２】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１３】
【図１】ユーザの手に各種の機能を割り当てるスマートフォンのアプリケーションの一例を説明する図である。
【図２】手認識処理で認識する手の形状の例を示す図である。
【図３】左右手判定の判定方法の例を説明する図である。
【図４】左右手判定の第１及び第２の判定方法で、左右手判定が誤りやすい場合の例を説明する図である。
【図５】本技術を適用したスマートフォンの方向の定義を説明する図である。
【図６】本技術を適用したスマートフォンの左右手判定を説明する図である。
【図７】本技術を適用したスマートフォンで行われる左手用の手認識処理及び右手用の手認識処理の例を説明する図である。
【図８】線対称構成の光センサを説明する図である。
【図９】非線対称構成の光センサを説明する図である。
【図１０】本技術を適用したスマートフォンの一実施の形態のハードウェア構成例を示すブロック図である。
【図１１】スマートフォン１０の姿勢の検出の検出方法の例を説明する図である。
【図１２】スマートフォン１０の第１の機能的構成例を示すブロック図である。
【図１３】スマートフォン１０の第１の機能的構成例の処理の例を説明するフローチャートである。
【図１４】スマートフォン１０の第２の機能的構成例を示すブロック図である。
【図１５】スマートフォン１０の第２の機能的構成例の処理の例を説明するフローチャートである。
【図１６】スマートフォン１０の第３の機能的構成例を示すブロック図である。
【図１７】スマートフォン１０の第３の機能的構成例の処理の例を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
＜ユーザの手に各種の機能を割り当てるスマートフォンのアプリケーションの一例＞
【００１５】
図１は、ユーザの手に各種の機能を割り当てるスマートフォンのアプリケーションの一例を説明する図である。
【００１６】
図１において、スマートフォンのアプリケーション（プログラム）は、手にピストル等の機能を割り当てたAR(Augmented Reality)シューティングゲームである。
【００１７】
ユーザは、シューティングゲームとしてのアプリケーションをプレイする場合、スマートフォンの表示部を手前側に向け、長手方向を横向きにするように、左右の手のうちの一方である、例えば、左手で持つ。そして、ユーザは、左右の手のうちの他方である右手を、スマートフォンの表示部の裏面側に伸ばし、その右手を、ピストル等に見立てて、シューティングゲームをプレイする。
【００１８】
アプリケーションは、スマートフォンの表示部の裏面側に設けられた、光を受光する光センサとしてのカメラ（イメージセンサ）で、ユーザの手を含む現実世界を撮影し、表示部に表示する。さらに、アプリケーションは、敵となるキャラクタ（図１では、UFO(Unidentified Flying Object)を模したキャラクタ）を表示する。
【００１９】
アプリケーションは、カメラで撮影されたユーザの手が、ピストル形状である場合、そのピストル形状の手の親指の動きに同期して、ピストル形状の手の人差し指の先から、ビームを発射する（ようなCG(Computer Graphics)を表示する）。また、アプリケーションは、カメラで撮影されたユーザの手が、パー形状である場合、敵からの攻撃を防御する。
【００２０】
以上のようなシューティングゲームとしてのアプリケーションでは、スマートフォンのカメラで撮影されたユーザの手（の形状）を認識する手認識処理を行う必要がある。
【００２１】
＜手認識処理の概要＞
【００２２】
図２は、手認識処理で認識する手の形状の例を示す図である。
【００２３】
ユーザが、図１で説明したシューティングゲームとしてのアプリケーションをプレイする場合、ユーザが、左利きであるか、又は、右利きであるか等によって、スマートフォンを持つ手が、右手になる場合と左手になる場合とがある。ユーザが左手でスマートフォンを持つ場合、カメラで撮影される手は、右手になり、ユーザが右手でスマートフォンを持つ場合、カメラで撮影される手は、左手になる。したがって、アプリケーションでは、左利きのユーザ及び右利きのユーザに対応するため、左手と右手とのいずれをも認識する必要がある。
【００２４】
手認識処理で用いる（認識用の）辞書として、１つの辞書を用いる場合、その１つの辞書によって、左手及び右手それぞれの様々な形状を認識しようとすると、図２に示すように、手の形状のバリエーションが多いために、認識精度を、必要な精度にすることが難しい。
【００２５】
さらに、グー形状等は、左右のいずれの手であるかを判定しにくく、左右のいずれの手であるかの判定を誤ると、親指と小指とを逆に扱うことになり、手の形状を正しく認識することができない。
【００２６】
そこで、まず、カメラで撮影された手が、左手及び右手のうちのいずれであるかを判定する左右手判定を行い、左手であると判定された場合には、左手用の辞書を用いて手認識処理を行い、右手であると判定された場合には、右手用の辞書を用いて手認識処理を行う方法がある。
【００２７】
以上のように、左右手判定を行う場合には、左手用の辞書では、左手の形状だけをカバーし、右手用の辞書では、右手の形状だけをカバーすれば良いので、手認識処理の認識性能を向上させるとともに、手認識処理に要する時間を短くすることができる。
【００２８】
図３は、左右手判定の判定方法の例を説明する図である。
【００２９】
図３のＡは、左右手判定の第１の判定方法を示している。
【００３０】
ユーザが、スマートフォンの表示部を手前側にして、左手及び右手のうちの一方の手でスマートフォンを持ち、他方の手を、表示部の裏面側のカメラで撮影する場合、左手は、表示部の表示画面の左側から入り、右手は、表示部の表示画面の右側から入るような画像が撮影される。
【００３１】
そこで、手が、表示部の表示画面の左側又は右側から入ってくる場合には、それぞれ、その手が左手又は右手であると判定することができる。
【００３２】
図３のＢは、左右手判定の第２の判定方法を示している。
【００３３】
スマートフォンの表示部の裏面側に、光センサとしてのカメラ（イメージセンサ）が設けられており、その光センサとしてのカメラのセンシングにより得られる画像が、例えば、RGB(Red, Green, Blue)の各値を画素値とするRGB画像である場合、そのRGB画像に映る手から、手相や爪のテクスチャによって、手の裏表（手のひら又は手の甲）を判定することができる。そして、RGB画像に映る手の親指の位置を特定することで、手の裏表の判定結果と、親指の位置とから、RGB画像に映る手が、左手及び右手のうちのいずれであるかを判定することができる。
【００３４】
また、スマートフォンの表示部の裏面側に、光センサとしての測距センサが設けられており、したがって、光センサとしての測距センサのセンシングにより得られる画像が、距離を画素値とする距離画像である場合、その距離画像に映る手において、中央部分が凹んでいるか、又は、出っ張っているかによって、手の裏表を判定することができる。あるいは、距離画像に映る手の指が、手前側に曲がっているか、又は、奥側に曲がっているかによって、手の裏表を判定することができる。そして、距離画像に映る手の親指の位置を特定することで、手の裏表の判定結果と、親指の位置とから、距離画像に映る手が、左手及び右手のうちのいずれであるかを判定することができる。
【００３５】
図４は、左右手判定の第１及び第２の判定方法で、左右手判定が誤りやすい場合の例を説明する図である。
【００３６】
左右手判定の第１及び第２の判定方法では、図４に示すように、スマートフォンの表示部の表示画面の中央付近から、グー形状の手が入ってきた場合、左右手判定が誤りやすい。
【００３７】
さらに、左右手判定の第１及び第２の判定方法は、光センサのセンシングにより得られる画像の画像処理を行うので、画像に含まれるノイズ等により画像処理が適切に行われないことに起因して、左右手判定を誤ることがある。
【００３８】
＜本技術を適用したスマートフォンの左右手判定＞
【００３９】
以下、本技術を適用したスマートフォンの左右手判定について説明するが、その前に、スマートフォンの方向を定義する。
【００４０】
図５は、本技術を適用したスマートフォンの方向の定義を説明する図である。
【００４１】
本技術では、スマートフォンの表示部のいわゆる自動回転機能がオフである場合に表示部に表示される画像と同様に、スマートフォンの方向を定義する。したがって、スマートフォンのホームボタン（、又は、ナビゲーションボタン若しくはナビゲーションバー）が設けられた部分が、スマートフォンの下部である。そして、スマートフォンの下部を下側に向け、表示部を手前側に向けた姿勢（以下、デフォルト姿勢ともいう）のスマートフォンの上側、左側、及び、右側を、それぞれ、スマートフォンの上部、左部、及び、右部とする。
【００４２】
また、デフォルト姿勢のスマートフォンの右方向をX軸とし、上方向をY軸とし、手前方向（表示部（の表示画面）に垂直な方向）をZ軸とする、スマートフォンについてローカルな3次元座標系を、スマートフォン座標系ということとする。
【００４３】
図６は、本技術を適用したスマートフォンの左右手判定を説明する図である。
【００４４】
図１で説明したように、スマートフォンの表示部を手前側に向け、長手方向を横向きにして、ユーザが、スマートフォンを片手で持つ場合、ユーザは、図６に示すように、スマートフォンの下部を持つ。
【００４５】
図６のＡは、ユーザが左手でスマートフォンを持った状態を示している。図６のＢは、ユーザが右手でスマートフォンを持った状態を示している。
【００４６】
なお、ユーザが、スマートフォンを片手で持つ場合に、スマートフォンの下部ではなく、上部を持つことも、可能性としてはある。
【００４７】
しかしながら、スマートフォンの表示部の裏面側の上部には、光センサとしてのカメラ（以下、裏面カメラともいう）等が設けられている。したがって、図１で説明したシューティングゲームをプレイする場合に、ユーザが、左右の手のうちの一方の手でスマートフォンの上部を持つと、その持った手が、裏面カメラの撮影を妨げる。
【００４８】
以上から、スマートフォンの表示部を手前側に向け、長手方向を横向きにして、ユーザが、スマートフォンを片手で持つ場合、ユーザは、必然的に、スマートフォンの下部を持つ。
【００４９】
ここで、スマートフォンの表示部を手前側に向け、長手方向を横向きにしたスマートフォンの状態を、ポートレイト状態ともいう。
【００５０】
ユーザが、ポートレート状態のスマートフォンを片手で持つ場合、スマートフォンは、左部又は右部が下側に向いた姿勢になる。
【００５１】
すなわち、ユーザが、ポートレート状態のスマートフォンを左手で持つ場合、スマートフォンは、図６のＡに示すように、右部が下側に向いた姿勢になる。また、ユーザが、ポートレート状態のスマートフォンを右手で持つ場合、スマートフォンは、図６のＢに示すように、左部が下側に向いた姿勢になる。
【００５２】
そして、ユーザが、ポートレート状態のスマートフォンを左手で持つ場合、裏面カメラで撮影される手は、右手であり、ユーザが、ポートレート状態のスマートフォンを右手で持つ場合、裏面カメラで撮影される手は、左手である。
【００５３】
したがって、スマートフォンの姿勢に応じて、裏面カメラで撮影される手が、左右の手のいずれであるかの左右手判定を行うことができる。
【００５４】
すなわち、スマートフォンが、右部が下側に向いた姿勢である場合、裏面カメラで撮影される手は右手であると判定することができる。また、スマートフォンが、左部が下側に向いた姿勢である場合、裏面カメラで撮影される手は左手であると判定することができる。
【００５５】
以上のような、スマートフォンの姿勢に応じた左右手判定では、画像処理を行わないので、左右手判定を、短時間で行うことができる。さらに、ユーザが、ポートレート状態のスマートフォンの下部を片手で持つという条件が満たされる限り、左右手判定を誤ることはない。
【００５６】
スマートフォンの姿勢は、例えば、重力加速度を利用して検出することができる。
【００５７】
ここで、スマートフォンは、一般に、加速度センサを内蔵し、その加速度センサによって、重力加速度を検出（センシング）することができる。
【００５８】
スマートフォンの姿勢としては、重力加速度の方向に対するスマートフォンの向きを検出することができる。すなわち、例えば、スマートフォンの姿勢としては、スマートフォンの向きが右部を重力加速度の方向に向けている向きになっているか、又は、左部を重力加速度の方向に向けている向きになっているかを検出することができる。
【００５９】
スマートフォンの向きが右部を重力加速度の方向に向けている向きになっている場合には、図６のＡに示したように、スマートフォンが、右部が下側に向いた姿勢になっており、裏面カメラで撮影される手が右手であると判定することができる。
【００６０】
スマートフォンの向きが左部を重力加速度の方向に向けている向きになっている場合には、図６のＢに示したように、スマートフォンが、左部が下側に向いた姿勢になっており、裏面カメラで撮影される手が左手であると判定することができる。
【００６１】
本技術のスマートフォンでは、スマートフォンの姿勢に応じて、スマートフォンの表示部の裏面側に設けられた裏面カメラ等の光センサのセンシングにより得られる画像（以下、センシング画像ともいう）に映る手が左右の手のいずれであるかの左右手判定が行われる。そして、左右手判定の判定結果に応じて、センシング画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理が行われる。すなわち、左右手判定において、センシング画像に映る手が左手であると判定された場合には、左手用の手認識処理が行われる。また、左右手判定において、センシング画像に映る手が右手であると判定された場合には、右手用の手認識処理が行われる。
【００６２】
上述したように、スマートフォンの姿勢に応じた左右手判定は、短時間で行うことができ、さらに、ユーザが、ポートレート状態のスマートフォンの下部を片手で持つという条件が満たされる限り、左右手判定を誤ることはない。
【００６３】
したがって、そのような左右手判定の判定結果に応じて行われる手認識処理によれば、左右手判定を含む手認識処理を、短時間で行うとともに、認識精度を向上させることができる。その結果、快適なUI(User Interface)を実現することができる。
【００６４】
なお、ここでは、説明を分かりやすくするために、スマートフォンの姿勢に応じて、左右手判定を行い、その左右手判定の判定結果に応じて、左手用の手認識処理、又は、右手用の手認識処理を行うこととしたが、実装上は、左右手判定を明示的に行う必要はない。すなわち、実装上は、スマートフォンが、右部が下側に向いた姿勢になっている場合には、センシング画像に映る手は右手であるので、右手用の手認識処理を行い、スマートフォンが、左部が下側に向いた姿勢になっている場合には、センシング画像に映る手は左手であるので、左手用の手認識処理を行えばよい。
【００６５】
以上のように、本技術のスマートフォンでは、スマートフォンの姿勢に応じて、スマートフォンの表示部の裏面側に設けられた裏面カメラ等の光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行うことができる。
【００６６】
＜左手用の手認識処理及び右手用の手認識処理＞
【００６７】
図７は、本技術を適用したスマートフォンで行われる左手用の手認識処理及び右手用の手認識処理の例を説明する図である。
【００６８】
本技術を適用したスマートフォンでは、そのスマートフォンの表示部の裏面側に設けられた光センサの構成に応じて、反転方式の手認識処理、又は、辞書選択方式の手認識処理を行うことができる。
【００６９】
反転方式の手認識処理において、左手用の手認識処理は、センシング画像、及び、センシング画像を左右反転した反転画像のうちの一方を対象とする手認識処理であり、右手用の手認識処理は、センシング画像、及び、反転画像のうちの他方を対象とする手認識処理である。
【００７０】
すなわち、反転方式の手認識処理では、右手用の手認識処理として、片手用の辞書である、例えば、右手用の辞書を用い、センシング画像を対象とする手認識処理が行われる。また、左手用の手認識処理として、右手用の手認識処理で用いられる片手用の辞書（ここでは、右手用の辞書）を用い、センシング画像を左右反転した反転画像を対象とする手認識処理が行われる。
【００７１】
なお、反転方式の手認識処理では、片手用の辞書として、右手用の辞書に代えて、左手用の辞書を用いることができる。片手用の辞書として、左手用の辞書を用いる場合、右手用の手認識処理として、左手用の辞書を用い、センシング画像を左右反転した反転画像を対象とする手認識処理が行われ、左手用の手認識処理として、左手用の辞書を用い、センシング画像を対象とする手認識処理が行われる。
【００７２】
辞書選択方式の手認識処理では、左手用の手認識処理は、左手用の辞書を用いる手認識処理であり、右手用の手認識処理は、右手用の辞書を用いる手認識処理である。
【００７３】
スマートフォンの表示部の裏面側に設けられた光センサの構成としては、線対称構成と、非線対称構成とがある。
【００７４】
線対称構成とは、所定の姿勢のスマートフォンで所定の被写体をセンシングして得られるセンシング画像としての被写体画像と、所定の姿勢と（垂直方向（重力加速度の方向）に対して）線対称の姿勢のスマートフォンで所定の被写体と（垂直方向に対して）線対称の被写体をセンシングして得られるセンシング画像としての被写体画像とが線対称になるような光センサの構成である。
【００７５】
非線対称構成とは、所定の姿勢のスマートフォンで所定の被写体をセンシングして得られるセンシング画像としての被写体画像と、所定の姿勢と線対称の姿勢のスマートフォンで所定の被写体と線対称の被写体をセンシングして得られるセンシング画像としての被写体画像とが線対称にならないような光センサの構成である。
【００７６】
ここで、スマートフォンの所定の姿勢とは、例えば、図６に示したような、スマートフォンの右部又は左部を下側に向けた姿勢を採用することができる。スマートフォンの所定の姿勢として、例えば、スマートフォンの右部を下側に向けた姿勢を採用することとすると、所定の姿勢と線対称の姿勢とは、スマートフォンの左部を下側に向けた姿勢である。
【００７７】
また、所定の被写体としては、例えば、左手又は右手を採用することができる。所定の被写体としては、例えば、右手を採用する場合、所定の被写体と線対称の被写体とは、左手である。
【００７８】
本技術を適用したスマートフォンでは、そのスマートフォンの表示部の裏面側に設けられた光センサの構成が、線対称構成である場合、反転方式の手認識処理を行うことができる。また、光センサの構成が、非線対称構成である場合、辞書選択方式の手認識処理を行うことができる。
【００７９】
ここで、反転方式及び辞書選択方式の手認識処理については、スマートフォンの光センサの構成に応じて、反転方式及び辞書選択方式のうちの一方の手認識処理だけを実装することができる。また、スマートフォンには、反転方式及び辞書選択方式の両方の手認識処理を実装し、光センサの構成に応じて、反転方式及び辞書選択方式のうちの一方の手認識処理を選択的に行うことができる。なお、スマートフォンでは、光センサの構成によらず、反転方式や辞書選択方式等の所定の方式の手認識処理を採用することができる。
【００８０】
図８は、線対称構成の光センサを説明する図である。
【００８１】
図８では、スマートフォンの表示部の裏面側に設けられた光センサとして、測距センサが採用されている。測距センサは、発光部及び受光部を有する。発光部は、光を発することにより、被写体に光を照射し、受光部は、被写体で反射された光を受光する。
【００８２】
図８では、デフォルト姿勢のスマートフォンにおいて、表示部の裏面側の上部の中央に、受光部と発光部とが、垂直方向に並ぶように設けられている。
【００８３】
ユーザが、以上のように構成される光センサとしての測距センサを有するスマートフォンの下部を左手で持って、右部を下側に向けた姿勢（以下、左手持ち姿勢ともいう）のスマートフォンの光センサとしての測距センサで、所定の被写体としての右手がセンシングされる場合、発光部は、受光部の左側に位置するので、センシングにより得られるセンシング画像（ここでは、距離画像）では、所定の被写体としての右手の右側に、影（オクルージョン）が生じ得る。
【００８４】
一方、上述の姿勢と線対称の姿勢のスマートフォン、すなわち、ユーザが、スマートフォンの下部を右手で持って、左部を下側に向けた姿勢（以下、右手持ち姿勢ともいう）のスマートフォンの光センサとしての測距センサで、所定の被写体としての右手と（垂直方向（線）に対して）線対称の被写体（以下、線対称被写体ともいう）としての左手がセンシングされる場合、発光部は、受光部の右側に位置するので、センシングにより得られるセンシング画像では、線対称被写体としての左手の左側に、影が生じ得る。
【００８５】
したがって、左手持ち姿勢のスマートフォンで、所定の被写体としての右手をセンシングした場合に得られるセンシング画像と、右手持ち姿勢のスマートフォンで、線対称被写体としての左手をセンシングした場合に得られるセンシング画像とが、影を含めて線対称になる。
【００８６】
以上のように、左手持ち姿勢のスマートフォンで、所定の被写体としての右手がセンシングされる場合に得られるセンシング画像と、右手持ち姿勢のスマートフォンで、線対称被写体としての左手がセンシングされる場合に得られるセンシング画像とが、影を含めて線対称になる光センサの構成が、線対称構成である。
【００８７】
線対称構成の光センサによれば、左手持ち姿勢のスマートフォンで、所定の被写体としての右手がセンシングされる場合に得られるセンシング画像と、右手持ち姿勢のスマートフォンで、線対称被写体としての左手がセンシングされる場合に得られるセンシング画像とが、影を含めて線対称になるので、反転方式の手認識処理を採用することができる。
【００８８】
すなわち、例えば、右手用の手認識処理として、右手用の辞書を用い、センシング画像を対象とする手認識処理を行い、左手用の手認識処理として、右手用の手認識処理で用いられる右手用の辞書を用い、センシング画像を左右反転した反転画像を対象とする手認識処理を行うことにより、片手用の辞書（ここでは、右手用の辞書）だけを用いて、手認識を、高精度に行うことができる。
【００８９】
なお、線対称構成の光センサとしては、上述のように、デフォルト姿勢のスマートフォンにおいて、表示部の裏面側の上部の中央に、受光部と発光部とが、垂直方向に並ぶように設けられた測距センサの他、例えば、RGBの各値を画素値とするRGB画像を撮影するモノラル（単眼）のモノラルRGBカメラ等がある。
【００９０】
図９は、非線対称構成の光センサを説明する図である。
【００９１】
図９では、スマートフォンの表示部の裏面側に設けられた光センサとして、図８と同様に、発光部及び受光部を有する測距センサが採用されている。
【００９２】
但し、図９では、デフォルト姿勢のスマートフォンにおいて、表示部の裏面側の上部の中央に、受光部が設けられ、受光部の右側に、発光部が設けられている。
【００９３】
ユーザが、以上のように構成される光センサとしての測距センサを有するスマートフォンを左手持ち姿勢にして、そのスマートフォンの光センサとしての測距センサで、所定の被写体としての右手がセンシングされる場合、発光部は、受光部の下側に位置するので、センシングにより得られるセンシング画像（距離画像）では、所定の被写体としての右手の上側に、影が生じ得る。
【００９４】
一方、上述の姿勢と線対称の姿勢のスマートフォン、すなわち、ユーザが、スマートフォンを、右手持ち姿勢にして、そのスマートフォンの光センサとしての測距センサで、線対称被写体としての左手がセンシングされる場合、発光部は、受光部の上側に位置するので、センシングにより得られるセンシング画像では、線対称被写体としての左手の下側に、影が生じ得る。
【００９５】
すなわち、左手持ち姿勢のスマートフォンで、所定の被写体としての右手がセンシングされる場合に得られるセンシング画像と、右手持ち姿勢のスマートフォンで、線対称被写体としての左手がセンシングされる場合に得られるセンシング画像とでは、影が線対称にならない。したがって、左手持ち姿勢のスマートフォンで、所定の被写体としての右手がセンシングされる場合に得られるセンシング画像と、右手持ち姿勢のスマートフォンで、線対称被写体としての左手がセンシングされる場合に得られるセンシング画像とは、線対称にならず、非線対称になる。
【００９６】
以上のように、左手持ち姿勢のスマートフォンで、所定の被写体としての右手がセンシングされる場合に得られるセンシング画像と、右手持ち姿勢のスマートフォンで、線対称被写体としての左手がセンシングされる場合に得られるセンシング画像とが、影を含めて非線対称になる光センサの構成が、非線対称構成である。
【００９７】
非線対称構成の光センサによれば、左手持ち姿勢のスマートフォンで、所定の被写体としての右手がセンシングされる場合に得られるセンシング画像と、右手持ち姿勢のスマートフォンで、線対称被写体としての左手がセンシングされる場合に得られるセンシング画像とが、影を含めて非線対称になるので、辞書選択方式の手認識処理を採用することができる。
【００９８】
すなわち、例えば、右手用の手認識処理として、右手用の辞書を用い、センシング画像を対象とする手認識処理を行い、左手用の手認識処理として、左手用の辞書を用い、センシング画像を対象とする手認識処理を行うことにより、手認識を、高精度に行うことができる。
【００９９】
なお、非線対称構成の光センサとしては、デフォルト姿勢のスマートフォンにおいて、表示部の裏面側の上部の中央に、受光部と発光部とが、垂直方向に並ぶように設けられていない測距センサとしてのTOF(Time Of Flight)センサや、ストラクチャドライトカメラ、（パターンド）ステレオ方式のステレオカメラ等がある。
【０１００】
＜本技術を適用したスマートフォンの一実施の形態のハードウェア構成例＞
【０１０１】
図１０は、本技術を適用したスマートフォンの一実施の形態のハードウェア構成例を示すブロック図である。
【０１０２】
図１において、スマートフォン１０は、CPU(Central Processing Unit)１１，ROM(Read Only Memory)１２，RAM(Random Access Memory)１３、センサ部１４、入出力インタフェース１５、表示部１６、タッチ入力部１７、通信部１８、及び、ホームボタン１９等を有する。
【０１０３】
CPU１１ないし入出力インタフェース１５は、バスを介して相互に接続されている。表示部１６ないしホームボタン１９は、入出力インタフェース１５に接続されている。
【０１０４】
CPU１１は、ROM１２やRAM１３に記憶されたプログラムを実行することにより、各種の処理を行う。ROM１２及びRAM１３は、CPU１１が実行するプログラムや、CPU１１の動作上必要なデータを記憶する。
【０１０５】
センサ部１４は、加速度センサや、各種の光センサ、その他の必要なセンサを含み、所定の物理量をセンシングする。光センサとしては、例えば、RGB画像を撮影するモノラルRGBカメラや、白黒（グレスケール）の画像を撮影するモノラルグレイカメラ、距離を画素値とする距離画像を得る測距センサ等がある。測距センサとしては、TOFセンサや、ストラクチャドライトカメラ、（パターンド）ステレオカメラ等がある。光センサは、表示部１６側や、表示部１６の裏面側に設けることができる。なお、ここでは、光センサは、少なくとも、表示部１６の裏面側に設けられており、表示部１６の裏面側に設けられた光センサのセンシングにより得られるセンシング画像を用いて手認識処理が行われることとする。
【０１０６】
入出力インタフェース１５は、表示部１６ないしホームボタン１９その他のデバイスのインタフェースとして機能する。
【０１０７】
表示部１６は、画像を表示する。タッチ入力部１７は、ユーザのタッチ操作（タップやフリップ等）を受け付ける。表示部１６及びタッチ入力部１７は、タッチパネル等によって一体的に構成することができる。
【０１０８】
通信部１８は、無線LAN(Local Area Network)等の所定の通信方式の通信を行う。
【０１０９】
ホームボタン１９は、スマートフォン１０の下部に設けられた物理的な又は仮想的なボタンである。
【０１１０】
以上のように構成されるスマートフォン１０では、CPU１１（コンピュータ）が、ROM１２やRAM１３にあらかじめインストールされたプログラムや、通信部１８によってダウンロードされ、ROM１２やRAM１３にインストールされたプログラムを実行することにより、各種の処理を行う。これにより、スマートフォンは、例えば、手認識を行う認識装置や、図１で説明したシューティングゲームのゲーム機等として機能する。
【０１１１】
すなわち、スマートフォン１０に、手認識を行うプログラム、及び、シューティングゲームを行うプログラムがインストールされている場合、スマートフォン１０は、実質的に、後述する機能的な構成となって、手認識を行う認識装置、及び、シューティングゲームのゲーム機として機能する。
【０１１２】
なお、コンピュータとしてのCPU１１がプログラムに従って行う処理は、必ずしも、後述するフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１１３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１１４】
＜スマートフォン１０の姿勢の検出＞
【０１１５】
図１１は、スマートフォン１０の姿勢の検出の検出方法の例を説明する図である。
【０１１６】
スマートフォン１０では、重力加速度の方向に対するスマートフォンの向きを、スマートフォン１０の姿勢として検出することができる。例えば、スマートフォン１０では、スマートフォン１０の向きが右部を重力加速度の方向に向けている向きになっているスマートフォンの姿勢が、左手持ち姿勢として検出される。また、スマートフォン１０の向きが左部を重力加速度の方向に向けている向きになっているかスマートフォンの姿勢が、右手持ち姿勢として検出される。
【０１１７】
スマートフォン１０では、加速度センサのセンシングの結果から、重力加速度の方向の単位ベクトル（以下、重力加速度方向ベクトルともいう）Gが求められる。そして、その重力加速度方向ベクトルGの、スマートフォン座標系のX成分(X軸方向の成分）Gxに応じて、左手持ち姿勢及び右手持ち姿勢を検出することができる。
【０１１８】
図１１のＡは、左手持ち姿勢の検出を説明する図である。
【０１１９】
例えば、スマートフォン座標系のX軸の＋方向が、重力加速度の方向を基準として、Y軸回りに±45度の範囲にあり、かつ、Z軸回りに±45度の範囲にある場合、スマートフォンの姿勢は、左手持ち姿勢であるとみなすことができる。
【０１２０】
この場合、重力加速度方向ベクトルGのX成分Gxが、式1／（√2）＜Gxを満たす場合、スマートフォンの姿勢が、左手持ち姿勢であると検出することができる。
【０１２１】
図１１のＢは、右手持ち姿勢の検出を説明する図である。
【０１２２】
例えば、スマートフォン座標系のX軸の−方向が、重力加速度の方向を基準として、Y軸回りに±45度の範囲にあり、かつ、Z軸回りに±45度の範囲にある場合に、スマートフォンの姿勢が、右手持ち姿勢であるとみなすことができる。
【０１２３】
この場合、重力加速度方向ベクトルGのX成分Gxが、式Gx＜−1／（√2）を満たす場合に、スマートフォンの姿勢が、右手持ち姿勢であると検出することができる。
【０１２４】
＜スマートフォン１０の第１の機能的構成例＞
【０１２５】
図１２は、スマートフォン１０の第１の機能的構成例を示すブロック図である。
【０１２６】
図１２のスマートフォン１０では、センサ部１４が有する光センサの構成が、線対称構成になっており、そのため、図７で説明した反転方式の手認識処理が実装されている。
【０１２７】
すなわち、図１２において、スマートフォン１０は、センサ部１４、左右手判定部３１、画像反転部３２、手認識処理部３３、及び、ゲーム処理部３４を有する。
【０１２８】
左右手判定部３１には、センサ部１４の加速度センサから、その加速度センサのセンシングの結果として、重力加速度の方向を表す重力加速度情報が供給される。
【０１２９】
左右手判定部３１は、センサ部１４の加速度センサからの重力加速度情報を用いて、スマートフォン１０の姿勢の検出を行う。左右手判定部３１では、スマートフォン１０の姿勢が検出されることにより、実質的に、センサ部１４の光センサのセンシングにより得られるセンシング画像に映る手が左右の手のうちのいずれであるかを判定する左右手判定が行われる。
【０１３０】
すなわち、左右手判定部３１は、重力加速度情報を用いて、図１１で説明したように、スマートフォン１０の姿勢が、左手持ち姿勢であること、又は、右手持ち姿勢であること（さらには、その他の姿勢であること）を検出する。
【０１３１】
スマートフォン１０の姿勢が左手持ち姿勢であることが検出された場合、左右手判定では、センシング画像に映る手が右手であると判定することができる。スマートフォン１０の姿勢が右手持ち姿勢であることが検出された場合、左右手判定では、センシング画像に映る手が左手であると判定することができる。
【０１３２】
左右手判定部３１は、左右手判定の結果である左右手判定結果（スマートフォン１０の姿勢の検出の結果ともいうことができる）を、画像反転部３２に供給する。
【０１３３】
画像反転部３２には、左右手判定部３１から左右手判定結果が供給される他、センサ部１４の光センサから、その光センサのセンシングにより得られるセンシング画像が供給される。
【０１３４】
画像反転部３２は、左右手判定部３１からの左右手判定結果に応じて、センサ部１４からのセンシング画像をそのままとするか、又は、左右反転し、手認識処理の対象とする対象画像に設定して、手認識処理部３３に供給する。
【０１３５】
手認識処理部３３は、画像反転部３２から供給される対象画像を対象として、手認識処理を行う。
【０１３６】
手認識処理部３３は、手位置検出部４１、手形状認識部４２、及び、記憶部４３を有する。
【０１３７】
手位置検出部４１は、記憶部４３に記憶された辞書を用い、画像反転部３２からの対象画像を対象として、その対象画像から、手が映る手領域を検出する。さらに、手位置検出部４１は、手領域の位置を、手の位置である手位置として検出し、手領域の画像とともに、手形状認識部４２に供給する。
【０１３８】
手形状認識部４２は、記憶部４３に記憶された辞書を用い、手位置検出部４１からの手領域の画像から、手の形状である手形状を認識し、手位置とともに、手認識処理の認識結果として、ゲーム処理部３４に供給する。
【０１３９】
記憶部４３は、手位置検出部４１及び手形状認識部４２で用いられる辞書として、手（の標準パターン等）の辞書を記憶している。
【０１４０】
なお、記憶部４３は、左手用の辞書、及び、右手用の辞書のうちの一方の辞書だけを記憶している。
【０１４１】
記憶部４３が、左手用の辞書だけを記憶している場合、センシング画像に映る手が左手であることを、左右手判定結果が表しているときには、画像反転部３２は、センシング画像をそのまま対象画像に設定する。また、センシング画像に映る手が右手であることを、左右手判定結果が表しているときには、画像反転部３２は、センシング画像を左右反転し、その左右反転により得られる反転画像を対象画像に設定する。
【０１４２】
一方、記憶部４３が、右手用の辞書だけを記憶している場合、センシング画像に映る手が右手であることを、左右手判定結果が表しているときには、画像反転部３２は、センシング画像をそのまま対象画像に設定する。また、センシング画像に映る手が左手であることを、左右手判定結果が表しているときには、画像反転部３２は、センシング画像を左右反転し、その左右反転により得られる反転画像を対象画像に設定する。
【０１４３】
なお、ここでは、記憶部４３は、左手用の辞書、及び、右手用の辞書のうちの、例えば、右手用の辞書だけを記憶していることとする。したがって、センシング画像に映る手が右手であることを、左右手判定結果が表しているときには、画像反転部３２は、センシング画像をそのまま対象画像に設定する。また、センシング画像に映る手が左手であることを、左右手判定結果が表しているときには、画像反転部３２は、センシング画像を左右反転し、その左右反転により得られる反転画像を対象画像に設定する。
【０１４４】
ゲーム処理部３４は、スマートフォン１０を、例えば、図１で説明したシューティングゲームとして機能させるブロックであり、例えば、手認識処理部３３（の手形状認識部４２）からの認識結果に応じて、表示部１６に表示されたユーザの手の人差し指の先から、ビームを発射する（ようなCGを表示する）等の処理を行う。
【０１４５】
図１３は、図１２のスマートフォン１０の処理の例を説明するフローチャートである。
【０１４６】
ステップＳ１１において、左右手判定部３１は、センサ部１４の加速度センサからの重力加速度情報を用いて、スマートフォン１０の姿勢の検出を行い、処理は、ステップＳ１２に進む。
【０１４７】
ステップＳ１２では、左右手判定部３１は、スマートフォン１０の姿勢の検出結果から、センサ部１４の光センサのセンシングにより得られるセンシング画像に映る手が左右の手のうちのいずれであるかを判定する左右手判定を行う。
【０１４８】
ステップＳ１２の左右手判定において、センシング画像に映る手が左手であると判定された場合、左右手判定部３１は、その旨の左右手判定結果を、画像反転部３２に供給し、処理は、ステップＳ１３に進む。
【０１４９】
ステップＳ１３では、左右手判定部３１から、センシング画像に映る手が左手である旨の左右手判定結果が供給された画像反転部３２は、センサ部１４の光センサから供給されるセンシング画像を左右反転し、その左右反転により得られる反転画像を、対象画像に設定する。そして、画像反転部３２は、対象画像を、手認識処理部３３に供給し、処理は、ステップＳ１３からステップＳ１４に進む。
【０１５０】
ステップＳ１４では、手認識処理部３３は、画像反転部３２から供給される対象画像を対象として、手認識処理を行い、処理は終了する。
【０１５１】
すなわち、手認識処理部３３において、手位置検出部４１は、記憶部４３に記憶された右手用の辞書を用い、画像反転部３２からの対象画像である反転画像を対象として、その対象画像から、手が映る手領域の画像及び手位置を検出し、手形状認識部４２に供給する。
【０１５２】
手形状認識部４２は、記憶部４３に記憶された辞書を用い、手位置検出部４１からの手領域の画像から、手形状を認識し、手位置とともに、手認識処理の認識結果として、ゲーム処理部３４に供給する。
【０１５３】
一方、ステップＳ１２の左右手判定において、センシング画像に映る手が右手であると判定された場合、左右手判定部３１は、その旨の左右手判定結果を、画像反転部３２に供給する。
【０１５４】
左右手判定部３１から、センシング画像に映る手が右手である旨の左右手判定結果が供給された画像反転部３２は、センサ部１４の光センサから供給されるセンシング画像そのものを、対象画像に設定する。そして、画像反転部３２は、対象画像を、手認識処理部３３に供給し、処理は、ステップＳ１２からステップＳ１４に進む。
【０１５５】
ステップＳ１４では、上述したように、手認識処理部３３は、画像反転部３２から供給される対象画像を対象として、手認識処理を行い、処理は終了する。
【０１５６】
なお、いまの場合、対象画像は、センシング画像そのものであるので、手認識処理部３３では、記憶部４３に記憶された右手用の辞書を用い、画像反転部３２からの対象画像であるセンシング画像そのものを対象として、手認識処理が行われる。
【０１５７】
＜スマートフォン１０の第２の機能的構成例＞
【０１５８】
図１４は、スマートフォン１０の第２の機能的構成例を示すブロック図である。
【０１５９】
なお、図中、図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１６０】
図１４のスマートフォン１０では、センサ部１４が有する光センサの構成が、非線対称構成になっており、そのため、図７で説明した辞書選択方式の手認識処理が実装されている。
【０１６１】
すなわち、図１４において、スマートフォン１０は、センサ部１４、左右手判定部３１、ゲーム処理部３４、辞書選択部５１、及び、手認識処理部５２を有する。
【０１６２】
したがって、図１４のスマートフォン１０は、センサ部１４、左右手判定部３１、及び、ゲーム処理部３４を有する点で、図１２の場合と共通する。但し、図１４のスマートフォン１０は、画像反転部３２が設けられていない点、辞書選択部５１が新たに設けられている点、手認識処理部３３に代えて手認識処理部５２が設けられている点で、図１２の場合と相違する。
【０１６３】
辞書選択部５１には、左右手判定部３１から左右手判定結果が供給される。辞書選択部５１は、左右手判定部３１からの左右手判定結果に応じて、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの一方の辞書を、手認識処理に用いる認識用辞書として選択する。
【０１６４】
手認識処理部５２は、センサ部１４の光センサから供給されるセンシング画像そのものを対象画像として、手認識処理を行う。
【０１６５】
手認識処理部５２は、手位置検出部４１、手形状認識部４２、及び、記憶部６１を有する。
【０１６６】
したがって、手認識処理部５２は、手位置検出部４１及び手形状認識部４２を有する点で、図１２の手認識処理部３３と共通する。但し、手認識処理部５２は、記憶部４３に代えて記憶部６１が設けられている点で、手認識処理部３３と相違する。
【０１６７】
記憶部６１は、手位置検出部４１及び手形状認識部４２で用いられる手の辞書として、左手用の辞書、及び、右手用の辞書の両方を記憶している。記憶部６１は、左手用の辞書、及び、右手用の辞書のうちの、辞書選択部５１が認識用辞書として選択した辞書を、手位置検出部４１及び手形状認識部４２に供給する。したがって、手位置検出部４１及び手形状認識部４２では、左手用の辞書、及び、右手用の辞書のうちの、辞書選択部５１が認識用辞書として選択した辞書を用いて、処理が行われる。
【０１６８】
図１５は、図１４のスマートフォン１０の処理の例を説明するフローチャートである。
【０１６９】
ステップＳ２１及びＳ２２では、図１３のステップＳ１１及びＳ１２の場合とそれぞれ同様の処理が行われる。
【０１７０】
そして、ステップＳ２２の左右手判定において、センシング画像に映る手が右手であると判定された場合、左右手判定部３１は、その旨の左右手判定結果を、辞書選択部５１に供給し、処理は、ステップＳ２３に進む。
【０１７１】
ステップＳ２３では、左右手判定部３１から、センシング画像に映る手が右手である旨の左右手判定結果が供給された辞書選択部５１は、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの右手用の辞書を、手認識処理に用いる認識用辞書として選択し、処理は、ステップＳ２５に進む。
【０１７２】
ステップＳ２５では、手認識処理部５２（の手位置検出部４１及び手形状認識部４２）は、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの、認識用辞書として選択された右手用の辞書を用い、センサ部１４の光センサから供給されるセンシング画像を対象として、手認識処理部３３と同様の手認識処理を行い、処理は終了する。
【０１７３】
一方、ステップＳ２２の左右手判定において、センシング画像に映る手が左手であると判定された場合、左右手判定部３１は、その旨の左右手判定結果を、辞書選択部５１に供給し、処理は、ステップＳ２４に進む。
【０１７４】
ステップＳ２４では、左右手判定部３１から、センシング画像に映る手が左手である旨の左右手判定結果が供給された辞書選択部５１は、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの左手用の辞書を、手認識処理に用いる認識用辞書として選択し、処理は、ステップＳ２５に進む。
【０１７５】
この場合、ステップＳ２５では、手認識処理部５２は、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの、認識用辞書として選択された左手用の辞書を用い、センサ部１４の光センサから供給されるセンシング画像を対象として、手認識処理を行い、処理は終了する。
【０１７６】
＜スマートフォン１０の第３の機能的構成例＞
【０１７７】
図１６は、スマートフォン１０の第３の機能的構成例を示すブロック図である。
【０１７８】
なお、図中、図１２又は図１４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１７９】
図１６のスマートフォン１０では、センサ部１４の光センサの構成に応じて、反転方式又は辞書選択方式の手認識処理を選択的に行うことができるように、反転方式及び辞書選択方式の両方の手認識処理が実装されている。
【０１８０】
すなわち、図１６において、スマートフォン１０は、センサ部１４、左右手判定部３１、画像反転部３２、ゲーム処理部３４、辞書選択部５１、手認識処理部５２、及び、構成判定部７１を有する。
【０１８１】
したがって、図１６のスマートフォン１０は、センサ部１４、左右手判定部３１、ゲーム処理部３４、辞書選択部５１、及び、手認識処理部５２を有する点で、図１４の場合と共通する。但し、図１６のスマートフォン１０は、図１２の画像反転部３２が新たに設けられているとともに、構成判定部７１が新たに設けられている点で、図１４の場合と相違する。
【０１８２】
構成判定部７１は、センサ部１４の光センサの構成が、線対称構成であるか、又は、非線対称構成であるかを判定する構成判定を行い、その構成判定の判定結果（以下、構成判定結果ともいう）と、左右手判定部３１から供給される左右手判定結果とに応じて、画像反転部３２及び辞書選択部５１を制御する。
【０１８３】
すなわち、センシング画像に映る手が右手である旨を、左右手判定結果が表す場合、構成判定結果にかかわらず、構成判定部７１は、右手用の辞書を選択するように、辞書選択部５１を制御する。さらに、構成判定部７１は、センシング画像そのものを対象画像に設定するように、画像反転部３２を制御する。
【０１８４】
また、センシング画像に映る手が左手である旨を、左右手判定結果が表す場合において、光センサの構成が線対称構成である旨を、構成判定結果が表すときには、構成判定部７１は、センシング画像を左右反転した反転画像を対象画像に設定するように、画像反転部３２を制御する。さらに、構成判定部７１は、右手用の辞書を選択するように、辞書選択部５１を制御する。
【０１８５】
センシング画像に映る手が左手である旨を、左右手判定結果が表す場合において、光センサの構成が非線対称構成である旨を、構成判定結果が表すときには、構成判定部７１は、左手用の辞書を選択するように、辞書選択部５１を制御する。さらに、構成判定部７１は、センシング画像そのものを対象画像に設定するように、画像反転部３２を制御する。
【０１８６】
図１７は、図１６のスマートフォン１０の処理の例を説明するフローチャートである。
【０１８７】
ステップＳ３１及びＳ３２では、図１３のステップＳ１１及びＳ１２の場合とそれぞれ同様の処理が行われる。
【０１８８】
そして、ステップＳ３２の左右手判定において、センシング画像に映る手が右手であると判定された場合、左右手判定部３１は、その旨の左右手判定結果を、構成判定部７１に供給する。左右手判定部３１から、センシング画像に映る手が右手である旨の左右手判定結果が供給された構成判定部７１は、センシング画像そのものを対象画像に設定するように、画像反転部３２を制御する。画像反転部３２は、構成判定部７１の制御に従い、センサ部１４の光センサから供給されるセンシング画像そのものを、対象画像に設定する。そして、画像反転部３２は、対象画像を、手認識処理部５２に供給し、処理は、ステップＳ３２からステップＳ３３に進む。
【０１８９】
ステップＳ３３では、左右手判定部３１から、センシング画像に映る手が右手である旨の左右手判定結果が供給された構成判定部７１は、右手用の辞書を選択するように、辞書選択部５１を制御する。辞書選択部５１は、構成判定部７１の制御に従い、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの右手用の辞書を、手認識処理に用いる認識用辞書として選択し、処理は、ステップＳ３３からステップＳ３４に進む。
【０１９０】
ステップＳ３４では、手認識処理部５２は、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの、認識用辞書として選択された右手用の辞書を用い、画像反転部３２から対象画像として供給されるセンシング画像を対象として、手認識処理を行い、処理は終了する。
【０１９１】
一方、ステップＳ３２の左右手判定において、センシング画像に映る手が左手であると判定された場合、左右手判定部３１は、その旨の左右手判定結果を、構成判定部７１に供給し、処理は、ステップＳ３５に進む。
【０１９２】
ステップＳ３５では、左右手判定部３１から、センシング画像に映る手が左手である旨の左右手判定結果が供給された構成判定部７１は、センサ部１４の光センサの構成が、線対称構成であるか、又は、非線対称構成であるかを判定する構成判定を行う。
【０１９３】
ステップＳ３５の構成判定において、光センサの構成が線対称構成であると判定された場合、処理は、ステップＳ３６に進み、構成判定部７１は、センシング画像を左右反転するように、画像反転部３２を制御する。画像反転部３２は、構成判定部７１の制御に従い、センサ部１４の光センサから供給されるセンシング画像を左右反転し、その左右反転により得られる反転画像を、対象画像に設定する。そして、画像反転部３２は、対象画像を、手認識処理部５２に供給し、処理は、ステップＳ３６からステップＳ３３に進む。
【０１９４】
ステップＳ３３では、上述したように、構成判定部７１は、右手用の辞書を選択するように、辞書選択部５１を制御する。辞書選択部５１は、構成判定部７１の制御に従い、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの右手用の辞書を、手認識処理に用いる認識用辞書として選択し、処理は、ステップＳ３３からステップＳ３４に進む。
【０１９５】
ステップＳ３４では、手認識処理部５２は、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの、認識用辞書として選択された右手用の辞書を用い、画像反転部３２から対象画像として供給される反転画像を対象として、手認識処理を行い、処理は終了する。
【０１９６】
また、ステップＳ３５の構成判定において、光センサの構成が非線対称構成であると判定された場合、構成判定部７１は、センシング画像そのものを対象画像に設定するように、画像反転部３２を制御する。画像反転部３２は、構成判定部７１の制御に従い、センサ部１４の光センサから供給されるセンシング画像そのものを、対象画像に設定する。そして、画像反転部３２は、対象画像を、手認識処理部５２に供給し、処理は、ステップＳ３５からステップＳ３７に進む。
【０１９７】
ステップＳ３７では、構成判定部７１は、左手用の辞書を選択するように、辞書選択部５１を制御する。辞書選択部５１は、構成判定部７１の制御に従い、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの左手用の辞書を、手認識処理に用いる認識用辞書として選択し、処理は、ステップＳ３７からステップＳ３４に進む。
【０１９８】
ステップＳ３７では、手認識処理部５２は、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの、認識用辞書として選択された左手用の辞書を用い、画像反転部３２から対象画像として供給されるセンシング画像を対象として、手認識処理を行い、処理は終了する。
【０１９９】
以上のように、図１６のスマートフォン１０では、センサ部１４の光センサの構成に応じて、反転方式又は辞書選択方式の手認識処理が選択的に行われる。
【０２００】
すなわち、光センサの構成が線対称構成である場合には、右手用の手認識処理として、片手用の辞書である、例えば、右手用の辞書を用い、センシング画像を対象とする手認識処理が行われる。また、左手用の手認識処理として、右手用の手認識処理で用いられる片手用の辞書（ここでは、右手用の辞書）を用い、センシング画像を左右反転した反転画像を対象とする手認識処理が行われる。
【０２０１】
一方、光センサの構成が非線対称構成である場合には、右手用の手認識処理として、右手用の辞書を用い、センシング画像を対象とする手認識処理が行われる。また、左手用の手認識処理として、左手用の辞書を用い、センシング画像を対象とする手認識処理が行われる。
【０２０２】
したがって、光センサの構成に応じて、適正な方式の手認識処理を行うことができる。
【０２０３】
なお、本技術は、スマートフォンの他、タブレットや、ゲーム専用機、その他の携帯端末に適用することができる。
【０２０４】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０５】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２０６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０８】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２０９】
なお、本技術は、以下の構成をとることができる。
【０２１０】
＜１＞
光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行う手認識処理部
としてコンピュータを機能させるためのプログラム。
＜２＞
前記手認識処理部は、重力加速度の方向に対する前記携帯端末の向きに応じて、左手用の手認識処理、又は、右手用の手認識処理を行う
＜１＞に記載のプログラム。
＜３＞
前記手認識処理部は、
前記携帯端末の向きが右部を重力加速度の方向に向けている向きになっている場合、右手用の手認識処理を行い、
前記携帯端末の向きが左部を重力加速度の方向に向けている向きになっている場合、左手用の手認識処理を行う
＜２＞に記載のプログラム。
＜４＞
前記左手用の手認識処理は、左手用の辞書を用いる手認識処理であり、
前記右手用の手認識処理は、右手用の辞書を用いる手認識処理である
＜１＞ないし＜３＞のいずれかに記載のプログラム。
＜５＞
前記光センサは、
所定の姿勢の前記携帯端末で所定の被写体をセンシングして得られる被写体画像と、
前記所定の姿勢と線対称の姿勢の前記携帯端末で前記所定の被写体と線対称の被写体をセンシングして得られる被写体画像と
が線対称にならない非線対称構成に構成される
＜４＞に記載のプログラム。
＜６＞
前記左手用の手認識処理は、前記画像、及び、前記画像を左右反転した反転画像のうちの一方を対象とする手認識処理であり、
前記右手用の手認識処理は、前記画像、及び、前記反転画像のうちの他方を対象とする手認識処理である
＜１＞ないし＜３＞のいずれかに記載のプログラム。
＜７＞
前記光センサは、
所定の姿勢の前記携帯端末で所定の被写体をセンシングして得られる被写体画像と、
前記所定の姿勢と線対称の姿勢の前記携帯端末で前記所定の被写体と線対称の被写体をセンシングして得られる被写体画像と
が線対称になる線対称構成に構成される
＜６＞に記載のプログラム。
＜８＞
前記光センサの構成に応じて、
左手用の手認識処理として、左手用の辞書を用いる手認識処理を行い、右手用の手認識処理として、右手用の辞書を用いる手認識処理を行う辞書選択方式の手認識処理を行うか、又は、
左手用の手認識処理として、前記画像、及び、前記画像を左右反転した反転画像のうちの一方を対象とする手認識処理を行い、右手用の手認識処理として、前記画像、及び、前記反転画像のうちの他方を対象とする手認識処理を行う反転方式の手認識処理を行う
＜１＞ないし＜３＞のいずれかに記載のプログラム。
＜９＞
光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行う手認識処理部
を備える認識装置。
＜１０＞
光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行う
ステップを含む認識方法。
【符号の説明】
【０２１１】
１０  スマートフォン，  １１  CPU，  １２  ROM，  １３  RAM，  １４  センサ部，  １５  入出力インタフェース，  １６  表示部，  １７  タッチ入力部，  １８  通信部，  １９  ホームボタン，  ３１  左右手判定部，  ３２  画像反転部，  ３３  手認識処理部，  ３４  ゲーム処理部，  ４１  手位置検出部，  ４２  手形状認識部，  ４３  記憶部，  ５１  辞書選択部，  ５２  手認識処理部，  ６１  記憶部，  ７１  構成判定部
【図１】
2019219904.tif 000003
【図２】
2019219904.tif 000004
【図３】
2019219904.tif 000005
【図４】
2019219904.tif 000006
【図５】
2019219904.tif 000007
【図６】
2019219904.tif 000008
【図７】
2019219904.tif 000009
【図８】
2019219904.tif 000010
【図９】
2019219904.tif 000011
【図１０】
2019219904.tif 000012
【図１１】
2019219904.tif 000013
【図１２】
2019219904.tif 000014
【図１３】
2019219904.tif 000015
【図１４】
2019219904.tif 000016
【図１５】
2019219904.tif 000017
【図１６】
2019219904.tif 000018
【図１７】
2019219904.tif 000019