(57)【要約】  画面（１０１ａ）の近傍に位置する使用者が行なうジェスチャ操作に基づいて表示装置（１０１）を制御するジェスチャ認識装置（２００）であって、画面（１０１ａ）の近傍が撮像された画像を取得する画像取得部（２０１）と、画面（１０１ａ）又は画像取得部（２０１）からみた使用者の方向を示す位置情報に基づいて、ジェスチャ操作として認識すべき動きの方向である操作方向を決定する方向決定部（２０４）と、取得された画像を用いて、使用者の体の一部又は全部の動きであって決定された操作方向の動きをジェスチャ操作として認識するジェスチャ認識部（２０５）と、認識されたジェスチャ操作に基づいて表示装置（１０１）を制御する表示制御部（２０６）とを備える。
2011148607.tif 000002
【特許請求の範囲】
【請求項１】
画面の近傍に位置する使用者が行なうジェスチャ操作に基づいて表示装置を制御するジェスチャ認識装置であって、
前記画面の近傍が撮像された画像を取得する画像取得部と、
前記画面又は前記画像取得部からみた前記使用者の方向を示す位置情報に基づいて、ジェスチャ操作として認識すべき動きの方向である操作方向を決定する方向決定部と、
前記画像取得部によって取得された画像を用いて、前記使用者の体の一部又は全部の動きであって前記方向決定部によって決定された操作方向の動きをジェスチャ操作として認識するジェスチャ認識部と、
前記ジェスチャ認識部によって認識されたジェスチャ操作に基づいて前記表示装置を制御する表示制御部とを備える
ジェスチャ認識装置。
【請求項２】
前記画像は、カメラによって撮像され、
前記ジェスチャ認識装置は、さらに、前記画面の法線方向又は前記カメラの光軸方向に対する、前記画面又は前記カメラからみた前記使用者の方向の乖離度合いを示す乖離度を前記位置情報として取得する位置取得部を備え、
前記方向決定部は、前記乖離度が閾値を超えるか否かに基づいて、横方向又は縦方向を前記操作方向として決定する
請求項１に記載のジェスチャ認識装置。
【請求項３】
前記乖離度は、水平面上における乖離度合いを示す横方向乖離度を含み、
前記方向決定部は、前記横方向乖離度が閾値を超える場合に、縦方向を前記操作方向として決定する
請求項２に記載のジェスチャ認識装置。
【請求項４】
前記乖離度は、水平面と直交し、かつ前記画面又は前記カメラの撮像面と直交する垂直面上における乖離度合いを示す縦方向乖離度を含み、
前記方向決定部は、前記縦方向乖離度が閾値を超える場合に、横方向を前記操作方向として決定する
請求項２又は３に記載のジェスチャ認識装置。
【請求項５】
前記方向決定部は、ジェスチャ操作の認識精度に応じて、前記閾値を決定する
請求項２〜４のいずれか１項に記載のジェスチャ認識装置。
【請求項６】
前記カメラは、魚眼レンズを含む光学系を備え、
前記位置取得部は、前記画像取得部によって取得された画像に含まれる使用者の像を識別し、識別した使用者の像の位置と画像の中心位置との距離に基づいて、前記位置情報を取得する
請求項２〜５のいずれか１項に記載のジェスチャ認識装置。
【請求項７】
前記表示制御部は、前記ジェスチャ認識部によってジェスチャ操作が認識された場合、前記画面に表示されているオブジェクトを前記操作方向に移動させる
請求項１〜６のいずれか１項に記載のジェスチャ認識装置。
【請求項８】
前記表示制御部は、前記画面に複数のオブジェクトがスクロール表示される場合に、前記操作方向に前記複数のオブジェクトをスクロールさせる
請求項１〜６のいずれか１項に記載のジェスチャ認識装置。
【請求項９】
前記表示制御部は、前記表示装置に前記位置情報を表示させる
請求項１〜８のいずれか１項に記載のジェスチャ認識装置。
【請求項１０】
請求項１〜９のいずれか１項に記載のジェスチャ認識装置を備える表示装置。
【請求項１１】
画面の近傍に位置する使用者が行なうジェスチャ操作に基づいて表示装置を制御するジェスチャ認識方法であって、
前記画面の近傍が撮像された画像を取得する画像取得ステップと、
前記画面又は前記画像の撮像位置からみた前記使用者の方向を示す位置情報に基づいて、ジェスチャ操作として認識すべき動きの方向である操作方向を決定する方向決定ステップと、
前記画像取得ステップにおいて取得された画像を用いて、前記使用者の体の一部又は全部の動きであって前記方向決定ステップにおいて決定された操作方向の動きをジェスチャ操作として認識するジェスチャ認識ステップと、
前記ジェスチャ認識ステップにおいて認識されたジェスチャ操作に基づいて前記表示装置を制御する表示制御ステップとを含む
ジェスチャ認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の体の全体あるいは一部の動きをジェスチャ操作として認識して表示装置を制御するジェスチャ認識装置に関するものである。
【背景技術】
【０００２】
従来のジェスチャ認識装置は、カメラによって撮像された使用者の動き（以下、適宜「ジェスチャ操作」という）を輪郭抽出、物体抽出、形状変化識別、及び位置検出によって認識し、その認識結果に基づいて、機器の制御を行なっている（例えば、特許文献１参照）。図９は、特許文献１に記載された従来のジェスチャ認識装置の機能構成を示すブロック図である。【０００３】
図９において、画面４０１には、各種情報、あるいはジェスチャ操作結果を反映するグラフィカルユーザインタフェース（ＧＵＩ：Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）が表示されている。カメラ４０２は、使用者のジェスチャ操作を撮像する。フレームメモリ４１１には、カメラ４０２によって使用者が撮像された画像が順次格納される。動作認識部４１２は、フレームメモリ４１１から定期的に画像を読み出し、読み出した画像において二次元の輪郭抽出、物体抽出、形状変化識別、及び位置検出を行うことにより、ジェスチャ操作を認識する。表示制御部４１３とアイコン生成部４１４とは、動作認識部４１２によるジェスチャ操作の認識結果を反映したＧＵＩを作成し、画面４０１に表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−４４４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、使用者がジェスチャ操作を行なう位置によっては、操作性が低下するという問題がある。【０００６】
具体的には、例えば、使用者が画面の正面から大きく離れた位置にいる場合、使用者は、画面を斜めの角度から見ることになるため、特定方向（例えば、横方向など）のジェスチャ操作に違和感を覚えることがある。その結果、その特定方向のジェスチャ操作による操作性が低下する。【０００７】
また例えば、使用者がカメラの正面から大きく離れた位置にいる場合、ジェスチャ操作の方向によっては、撮像された画像からは動きを検出することができず、ジェスチャ操作の認識精度が低下するときがある。その結果、その方向のジェスチャ操作による操作性が低下する。【０００８】
そこで、本発明は、上記従来の課題を解決するものであって、ジェスチャ操作によって表示装置を操作する場合に、使用者の位置に関わらず高い操作性を実現することができるジェスチャ認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一態様に係るジェスチャ認識装置は、画面の近傍に位置する使用者が行なうジェスチャ操作に基づいて表示装置を制御するジェスチャ認識装置であって、前記画面の近傍が撮像された画像を取得する画像取得部と、前記画面又は前記画像取得部からみた前記使用者の方向を示す位置情報に基づいて、ジェスチャ操作として認識すべき動きの方向である操作方向を決定する方向決定部と、前記画像取得部によって取得された画像を用いて、前記使用者の体の一部又は全部の動きであって前記方向決定部によって決定された操作方向の動きをジェスチャ操作として認識するジェスチャ認識部と、前記ジェスチャ認識部によって認識されたジェスチャ操作に基づいて前記表示装置を制御する表示制御部とを備える。【００１０】
この構成により、画面又は画像取得部からみた使用者の方向に基づいて操作方向を決定することができるので、使用者の位置に関わらず高い操作性を実現することができる。【００１１】
また、前記画像は、カメラによって撮像され、前記ジェスチャ認識装置は、さらに、前記画面の法線方向又は前記カメラの光軸方向に対する、前記画面又は前記カメラからみた前記使用者の方向の乖離度合いを示す乖離度を前記位置情報として取得する位置取得部を備え、前記方向決定部は、前記乖離度が閾値を超えるか否かに基づいて、横方向又は縦方向を前記操作方向として決定することが好ましい。【００１２】
この構成により、乖離度が閾値を超えるか否かに基づいて、横方向又は縦方向を操作方向として決定することができるので、画面又はカメラの正面から離れた位置にいる使用者に対して適切な操作方向を決定することができ、操作性を向上させることができる。【００１３】
また、前記乖離度は、水平面上における乖離度合いを示す横方向乖離度を含み、前記方向決定部は、前記横方向乖離度が閾値を超える場合に、縦方向を前記操作方向として決定することが好ましい。【００１４】
この構成により、横方向乖離度が閾値を超える場合に縦方向を操作方向として決定することができるので、横方向に離れた位置から斜めに画面を見る使用者が違和感なくジェスチャ操作を行なうことができる。さらに、カメラの正面から横方向に離れた場合に、ジェスチャ操作の認識精度が低下する横方向ではなく、縦方向を操作方向として決定できるので、操作性を向上させることができる。【００１５】
また、前記乖離度は、水平面と直交し、かつ前記画面又は前記カメラの撮像面と直交する垂直面上における乖離度合いを示す縦方向乖離度を含み、前記方向決定部は、前記縦方向乖離度が閾値を超える場合に、横方向を前記操作方向として決定することが好ましい。【００１６】
この構成により、縦方向乖離度が閾値を超える場合に横方向を操作方向として決定することができるので、縦方向に離れた位置から斜めに画面を見る使用者が違和感なくジェスチャ操作を行なうことができる。さらに、カメラの正面から縦方向に離れた場合に、ジェスチャ操作の認識精度が低下する縦方向ではなく、横方向を操作方向として決定できるので、操作性を向上させることができる。【００１７】
また、前記方向決定部は、ジェスチャ操作の認識精度に応じて、前記閾値を決定することが好ましい。【００１８】
この構成により、使用者の操作性を向上させることが可能となる。例えば、縦方向よりも横方向のほうが操作性が高い場合、認識可能な限り横方向が操作方向と決定されるように閾値を決定することが可能となり、使用者の操作性を向上させることが可能となる。【００１９】
また、前記カメラは、魚眼レンズを含む光学系を備え、前記位置取得部は、前記画像取得部によって取得された画像に含まれる使用者の像を識別し、識別した使用者の像の位置と画像の中心位置との距離に基づいて、前記位置情報を取得することが好ましい。【００２０】
この構成により、ジェスチャ操作を認識するための画像とカメラ又は画面からみた使用者の方向を取得するための画像とを共通化することができる。つまり、位置情報を取得するためにカメラ又は位置センサを新たに設置する必要がないので、構成を簡素化できる。【００２１】
また、前記表示制御部は、前記ジェスチャ認識部によってジェスチャ操作が認識された場合、前記画面に表示されているオブジェクトを前記操作方向に移動させることが好ましい。【００２２】
この構成により、ジェスチャ操作の操作方向と画面に表示されるオブジェクトの移動方向とが一致するので、さらに、使用者の操作性を向上させることができる。【００２３】
また、前記表示制御部は、前記画面に複数のオブジェクトがスクロール表示される場合に、前記操作方向に前記複数のオブジェクトをスクロールさせることが好ましい。【００２４】
この構成により、複数のオブジェクトがスクロール表示される場合に、スクロール操作の操作性を向上させることができる。なお、スクロール表示とは、画面に収まりきらないオブジェクトをスライドさせて表示することをいう。また、オブジェクトとは、画面に表示される表示要素又はその集合である。【００２５】
また、前記表示制御部は、前記表示装置に前記位置情報を表示させることが好ましい。【００２６】
この構成により、位置情報が表示されるので、使用者は、操作方向が切り替わるタイミングを予測することができ、操作方向の変化に対する唐突感を抑制することが可能となる。【００２７】
また、本発明の一態様に係る表示装置は、上記ジェスチャ認識装置を備える。【００２８】
また、本発明の一態様に係るジェスチャ認識方法は、画面の近傍に位置する使用者が行なうジェスチャ操作に基づいて表示装置を制御するジェスチャ認識方法であって、前記画面の近傍が撮像された画像を取得する画像取得ステップと、前記画面又は前記画像の撮像位置からみた前記使用者の方向を示す位置情報に基づいて、ジェスチャ操作として認識すべき動きの方向である操作方向を決定する方向決定ステップと、前記画像取得ステップにおいて取得された画像を用いて、前記使用者の体の一部又は全部の動きであって前記方向決定ステップにおいて決定された操作方向の動きをジェスチャ操作として認識するジェスチャ認識ステップと、前記ジェスチャ認識ステップにおいて認識されたジェスチャ操作に基づいて前記表示装置を制御する表示制御ステップとを含む。【００２９】
これにより、上記ジェスチャ認識装置と同様の効果を奏することができる。
【発明の効果】
【００３０】
本発明の一態様に係るジェスチャ認識装置によれば、画面又はカメラからみた使用者の方向に基づいて操作方向を決定することができるので、使用者の位置に関わらず高い操作性を実現することができる。
【図面の簡単な説明】
【００３１】
【図１】図１は、本発明の実施の形態におけるジェスチャ認識システムの構成を示す外観図である。
【図２】図２は、本発明の実施の形態におけるジェスチャ認識装置の機能構成を示すブロック図である。
【図３】図３は、本発明の実施の形態におけるジェスチャ認識装置の動作を示すフローチャートである。
【図４】図４は、本発明の実施の形態におけるジェスチャ認識装置の動作を説明するための図である。
【図５Ａ】図５Ａは、本発明の実施の形態における画面に表示されるＧＵＩを説明するための図である。
【図５Ｂ】図５Ｂは、本発明の実施の形態における画面に表示されるＧＵＩを説明するための図である。
【図６】図６は、本発明の実施の形態における方向決定処理の他の一例を説明するための図である。
【図７】図７は、ジェスチャ操作を行なう使用者の位置とカメラ認識軸との関係を示す図である。
【図８】図８は、本発明の実施の形態の変形例２における位置情報の表示例を示す図である。
【図９】図９は、従来のジェスチャ認識装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３３】
（実施の形態）
図１は、本発明の実施の形態におけるジェスチャ認識システムの構成を示す外観図である。また、図２は、本発明の実施の形態におけるジェスチャ認識装置の機能構成を示すブロック図である。
【００３４】
ジェスチャ認識システム１００は、表示装置１０１と、カメラ１０２と、ジェスチャ認識装置２００とを備える。
【００３５】
表示装置１０１は、例えば、プラズマディスプレイ又は液晶ディスプレイであり、画面１０１ａに画像を表示する。つまり、表示装置１０１は、ＧＵＩ、ピクチャ、又は映像等を映し出す装置である。
【００３６】
カメラ１０２は、光学系及び撮像素子などを備え、画面１０１ａに設置される。本実施の形態では、カメラ１０２は、水平面上において、光学系の光軸方向と、画面１０１ａの法線方向とが一致するように設置される。
【００３７】
また、カメラ１０２は、魚眼レンズを含む光学系を備える。カメラ１０２は、魚眼レンズを用いて、画面１０１ａの近傍に位置する使用者３００を撮像する。魚眼レンズを用いて撮像された画像では、画像の中心からの距離が、カメラ１０２からみた方向と光軸方向との間の角度と比例する。
【００３８】
ジェスチャ認識装置２００は、画面１０１ａの近傍に位置する使用者３００のジェスチャ操作に基づいて表示装置１０１を制御する。具体的には、ジェスチャ認識装置２００は、図２に示すように、画像取得部２０１と、フレームメモリ２０２と、位置取得部２０３と、方向決定部２０４と、ジェスチャ認識部２０５と、表示制御部２０６とを備える。
【００３９】
画像取得部２０１は、カメラ１０２によって生成された画像を示す画像情報を取得する。具体的には、例えば、画像取得部２０１は、カメラ１０２によって定期的に画像が生成されるたびに、カメラ１０２から画像情報を取得する。そして、画像取得部２０１は、取得した画像情報をフレームメモリ２０２に格納する。
【００４０】
フレームメモリ２０２は、画像取得部２０１によって定期的に取得される画像情報を、次の画像情報が取得されるまで保持する。
【００４１】
位置取得部２０３は、画面１０１ａ又はカメラ１０２からみた使用者３００の方向を示す位置情報を取得する。本実施の形態では、位置取得部２０３は、以下のように位置情報を取得する。
【００４２】
まず、位置取得部２０３は、画像取得部２０１によって取得された画像に含まれる使用者３００の像を識別する。具体的には、位置取得部２０３は、例えば、予め保持されたテンプレート画像と比較することにより、使用者３００の像を識別する。そして、位置取得部２０３は、識別した使用者３００の像の位置と画像の中心位置との距離に基づいて位置情報を取得する。
【００４３】
ここで、画面１０１ａからみた使用者３００の方向とは、画面１０１ａの代表位置と使用者３００がいる位置とを結ぶ直線の方向である。画面１０１ａの代表位置とは、画面１０１ａの中心位置あるいは重心位置などである。
【００４４】
また、カメラ１０２からみた使用者３００の方向とは、カメラ１０２の代表位置と使用者３００がいる位置とを結ぶ直線の方向である。カメラ１０２の代表位置とは、カメラ１０２の光学中心の位置あるいは撮像中心の位置などである。
【００４５】
本実施の形態では、画面１０１ａ又はカメラ１０２の正面に対する、画面１０１ａ又はカメラ１０２からみた使用者３００の方向の乖離度合いを示す乖離度が位置情報に相当する。ここで、画面１０１ａ及びカメラ１０２の正面に対する、画面１０１ａ又はカメラ１０２からみた使用者３００の方向の乖離度合いとは、画面１０１ａの法線方向又はカメラ１０２の光軸方向に対する画面１０１ａ又はカメラ１０２からみた使用者３００の方向の乖離度合いを示す。
【００４６】
方向決定部２０４は、位置取得部２０３によって取得された位置情報に基づいて、ジェスチャ操作として認識すべき動きの方向である操作方向を決定する。具体的には、方向決定部２０４は、乖離度が閾値を超えるか否かに基づいて、横方向又は縦方向を操作方向として決定する。
【００４７】
ここで、横方向とは、画面１０１ａの左右方向である。また、縦方向とは、画面１０１ａの上下方向である。
【００４８】
本実施の形態では、方向決定部２０４は、横方向乖離度が閾値を超える場合に、縦方向を操作方向として決定する。一方、方向決定部２０４は、横方向乖離度が閾値を超えない場合に、横方向を操作方向として決定する。
【００４９】
ここで、横方向乖離度とは、乖離度の一つであり、水平面上における、画面１０１ａ又はカメラ１０２の正面に対する、画面１０１ａ又はカメラ１０２からみた使用者の方向の乖離度合いを示す。つまり、横方向乖離度とは、画面１０１ａの法線方向又はカメラ１０２の光軸方向に対する、画面１０１ａ又はカメラ１０２からみた使用者の方向の、水平面上における乖離度合いを示す。本実施の形態では、横方向乖離度は、画面１０１ａ又はカメラ１０２からみた使用者の方向と画面１０１ａの法線方向又はカメラ１０２の光軸方向とが水平面上において成す角度である。
【００５０】
ジェスチャ認識部２０５は、画像取得部２０１によって取得された画像情報を用いて、使用者３００の体の一部又は全部の動きであって方向決定部２０４によって決定された操作方向の動きをジェスチャ操作として認識する。例えば、ジェスチャ認識部２０５は、使用者３００の手のひらの操作方向の動きをジェスチャ操作として認識する。ジェスチャ認識部２０５は、認識対象識別部２０５ａと、操作量計測部２０５ｂとを有する。
【００５１】
認識対象識別部２０５ａは、フレームメモリ２０２に保持される画像情報を読み出す。そして、認識対象識別部２０５ａは、読み出した画像情報が示す画像に対して輪郭抽出、物体抽出、及び位置検出等を行なうことにより、ジェスチャ操作として認識すべき部位（体の全部、あるいは体の一部、あるいは手に持った物体等）（以下、単に「ジェスチャ認識部位」という）の位置を検出する。
【００５２】
操作量計測部２０５ｂは、認識対象識別部２０５ａからジェスチャ認識部位の位置を取得する。そして、操作量計測部２０５ｂは、直前の画像において認識されたジェスチャ認識部位の位置との差分から、方向決定部２０４によって決定された操作方向におけるジェスチャ操作量を計測する。さらに、操作量計測部２０５ｂは、ジェスチャ操作量からＧＵＩに反映させるスクロール量を演算する。
【００５３】
表示制御部２０６は、ジェスチャ認識部２０５によって認識されたジェスチャ操作に基づいて表示装置１０１を制御する。本実施の形態では、表示制御部２０６は、操作量計測部２０５ｂからスクロール量を取得する。そして、表示制御部２０６は、動作中のアプリケーションからの情報その他の情報と総合し、ＧＵＩの情報を作成する。さらに、表示制御部２０６は、作成したＧＵＩの情報を制御信号として表示装置１０１に送信する。
【００５４】
次に、以上のように構成されたジェスチャ認識装置における各種動作について、図３〜図５Ｂを参照しながら説明する。なお、本実施の形態では、水平面上において、画面１０１ａからみた方向とカメラ１０２からみた方向とが一致するので、以下において、カメラ１０２からみた方向を中心に説明する。
【００５５】
図３は、本発明の実施の形態におけるジェスチャ認識装置の動作を示すフローチャートである。また、図４は、本発明の実施の形態におけるジェスチャ認識装置の動作を説明するための図である。また、図５Ａ及び図５Ｂは、本発明の実施の形態における画面に表示されるＧＵＩを説明するための図である。
【００５６】
まず、画像取得部２０１は、カメラ１０２から画像情報を取得する（Ｓ３０１）。取得した画像情報は、フレームメモリ２０２に格納される。
【００５７】
続いて、位置取得部２０３は、フレームメモリ２０２から画像情報を読み出し、読み出した画像情報が示す画像から使用者３００の像を識別する（Ｓ３０２）。
【００５８】
また、位置取得部２０３は、識別した使用者３００の像の画像上の位置に基づいて、水平面上におけるカメラ１０２の正面からの角度を横方向乖離度として計測する（Ｓ３０３）。この計測の方法には、カメラ１０２によって撮像された画像が魚眼レンズを用いて撮像された画像（以下、「魚眼画像」という）であることを利用する。魚眼画像の場合、画像の中心点と計測対象の間の距離がカメラ１０２の正面からの角度に比例する。そこで、位置取得部２０３は、魚眼レンズの特性から割り出される比例定数を用いて、カメラ１０２の正面からの角度を計測できる。
【００５９】
その後、方向決定部２０４は、得られた角度が予め設定された閾値を超えるか否かを判定する（Ｓ３０４）。つまり、図４に示すように、方向決定部２０４は、位置取得部２０３によって計測された角度が、カメラ１０２の正面からの角度θｔｈ（閾値）を超えるか否かを判定する。
【００６０】
ここで、カメラ正面からの角度が閾値を超えない場合（Ｓ３０４のＮｏ）、方向決定部２０４は、操作モードを横モードと決定する（Ｓ３０５）。ここで、横モードとは、横方向の操作方向を示す。具体的には、横モードとは、画面上に表示するスクロールアプリケーション（写真閲覧アプリケーションなど）の操作を横方向のジェスチャ操作で行なうモードである。また、横モードでは、ジェスチャ操作の操作方向に合わせて画面１０１ａに表示されるＧＵＩも横方向操作を前提としたＧＵＩとなる。
【００６１】
つまり、方向決定部２０４は、横方向乖離度が閾値を超えない場合に、横方向を操作方向と決定する。例えば、図４に示す使用者３０１の場合、方向決定部２０４は、使用者３０１の横方向乖離度である角度θ１が角度θｔｈ（閾値）を超えていないので、操作方向を横方向と決定する。
【００６２】
続いて、操作量計測部２０５ｂは、横方向のジェスチャ操作の操作量を計測する（Ｓ３０６）。さらに、操作量計測部２０５ｂは、得られた操作量から横方向のスクロール量を計算する（Ｓ３０７）。
【００６３】
一方、カメラ正面からの角度が閾値を超える場合（Ｓ３０４のＹｅｓ）、方向決定部２０４は、操作モードを縦モードと決定する（Ｓ３０８）。ここで、縦モードとは、縦方向の操作方向を示す。具体的には、縦モードとは、画面上に表示するスクロールアプリケーション（写真閲覧アプリケーションなど）の操作を縦方向のジェスチャ操作で行なうモードである。また、縦モードでは、ジェスチャ操作の操作方向に合わせて、画面１０１ａに表示されるＧＵＩも縦方向操作を前提としたＧＵＩとなる。
【００６４】
つまり、方向決定部２０４は、横方向乖離度が閾値を超える場合に、縦方向を操作方向と決定する。例えば、図４に示す使用者３０２の場合、方向決定部２０４は、使用者３０２の横方向乖離度である角度θ２が角度θｔｈ（閾値）を超えているので、操作方向を縦方向と決定する。
【００６５】
続いて、操作量計測部２０５ｂは、縦方向のジェスチャ操作の操作量を計測する（Ｓ３０９）。さらに、操作量計測部２０５ｂは、得られた操作量から縦方向のスクロール量を計算する（Ｓ３１０）。
【００６６】
最後に、表示制御部２０６は、ステップＳ３０５又はステップＳ３０８において決定された横／縦モードと、ステップＳ３０７又はステップＳ３１０において計算されたスクロール量とを反映したＧＵＩを生成し、表示装置１０１に表示させる（Ｓ３１１）。
【００６７】
例えば、操作モードが横モードと決定された場合、表示制御部２０６は、図５Ａに示すように、表示装置１０１に、複数のオブジェクト１０３を横方向にスクロールさせるＧＵＩを表示させる。さらに、表示制御部２０６は、計算されたスクロール量だけ横方向のスクロールバーのノブ１０４を移動させるとともに、ノブ１０４のスクロール位置に応じたオブジェクト１０３を画面１０１ａに表示させる。つまり、表示制御部２０６は、スクロール量に応じて、複数のオブジェクト１０３を横方向にスクロールさせる。
【００６８】
また例えば、操作モードが縦モードと決定された場合、表示制御部２０６は、図５Ｂに示すように、表示装置１０１に、複数のオブジェクト１０３を縦方向にスクロールするＧＵＩを表示させる。さらに、表示制御部２０６は、計算されたスクロール量だけ縦方向のスクロールバーのノブ１０４を移動させるとともに、ノブ１０４のスクロール位置に応じたオブジェクト１０３を画面１０１ａに表示させる。つまり、表示制御部２０６は、スクロール量に応じて、複数のオブジェクト１０３を縦方向にスクロールさせる。
【００６９】
このように、ジェスチャ認識装置２００は、以上の処理を１サイクルとして、カメラ１０２のフレームレートに同期しながらサイクルを繰り返すことで、画面１０１ａ又はカメラ１０２からみた使用者の方向に基づいて操作方向を決定することができる。したがって、ジェスチャ認識装置２００は、使用者の位置に関わらず高い操作性を実現することができる。
【００７０】
具体的には、ジェスチャ認識装置２００は、乖離度が閾値を超えるか否かに基づいて、横方向又は縦方向を操作方向として決定することができるので、画面１０１ａ又はカメラ１０２の正面から離れた位置にいる使用者に対して適切な操作方向を決定することができ、操作性を向上させることができる。
【００７１】
また、ジェスチャ認識装置２００は、横方向乖離度が閾値を超える場合に縦方向を操作方向として決定することができるので、横方向に離れた位置から斜めに画面を見る使用者が違和感なくジェスチャ操作を行なうことができる。さらに、ジェスチャ認識装置２００は、カメラ１０２の正面から横方向に離れた場合に、ジェスチャ操作の認識精度が低下する横方向ではなく、縦方向を操作方向として決定できるので、操作性を向上させることができる。
【００７２】
また、ジェスチャ認識装置２００は、魚眼レンズを用いて撮像された画像を取得することにより、ジェスチャ操作を認識するための画像とカメラ又は画面からみた使用者の方向を取得するための画像とを共通化することができる。つまり、ジェスチャ認識システム１００は、位置情報を取得するためにカメラ又は位置センサを新たに設置する必要がないので、構成を簡素化できる。
【００７３】
また、ジェスチャ認識装置２００は、ジェスチャ操作の操作方向とスクロール方向とが一致するので、ジェスチャ操作によってスクロール操作を行なう際の操作性を向上させることができる。
【００７４】
なお、上記実施の形態において、方向決定部２０４は、横方向乖離度に基づいて操作方向を決定していたが、縦方向乖離度に基づいて操作方向を決定してもよい。つまり、方向決定部２０４は、縦方向乖離度が閾値を超える場合に、横方向を操作方向として決定してもよい。これにより、ジェスチャ認識装置２００は、縦方向乖離度が閾値を超える場合に横方向を操作方向として決定することができるので、縦方向に離れた位置から斜めに画面１０１ａを見る使用者が違和感なくジェスチャ操作を行なうことができる。さらに、ジェスチャ認識装置２００は、カメラ１０２の正面から縦方向に離れた場合に、ジェスチャ操作の認識精度が低下する縦方向ではなく、横方向を操作方向として決定できるので、操作性を向上させることができる。
【００７５】
ここで、縦方向乖離度とは、乖離度の一つであり、水平面と直交し、かつ画面１０１ａ又はカメラ１０２の撮像面と直交する垂直面上における、画面１０１ａ又はカメラ１０２の正面に対する、画面１０１ａ又はカメラ１０２からみた使用者の方向の乖離度合いを示す。つまり、縦方向乖離度とは、画面１０１ａの法線方向又はカメラ１０２の光軸方向に対する、画面１０１ａ又はカメラ１０２からみた使用者の方向の、垂直面上における乖離度合いを示す。例えば、縦方向乖離度は、画面１０１ａ又はカメラ１０２からみた使用者の方向と画面１０１ａの法線方向又はカメラ１０２の光軸方向とが垂直面上において成す角度である。
【００７６】
さらに、方向決定部２０４は、図６に示すように、横方向乖離度と縦方向乖離度との両方に基づいて操作方向を決定してもよい。図６は、本発明の実施の形態における方向決定処理の他の一例を説明するための図である。
【００７７】
すなわち、方向決定部２０４は、横方向乖離度が閾値を超える場合に、縦方向を操作方向として決定し、縦方向乖離度が閾値を超える場合に、横方向を操作方向として決定する。なお、方向決定部２０４は、横方向乖離度及び縦方向乖離度の両方が閾値を超えない場合には、横方向及び縦方向のどちらを操作方向と決定してもよい。このような場合、方向決定部２０４は、例えば、画面１０１ａの形状などに基づいて、操作方向を決定すればよい。例えば、画面１０１ａの形状が縦方向よりも横方向に大きい場合、方向決定部２０４は、横方向を操作方向として決定すればよい。
【００７８】
（変形例１）
次に、上記実施の形態の変形例１について説明する。
【００７９】
本変形例におけるカメラ１０２は、より多彩なジェスチャ操作の認識を可能とする三次元カメラである点が、上記実施の形態におけるカメラ１０２と異なる。
【００８０】
三次元カメラは、通常のカメラで撮像する二次元画像に加えて奥行き方向の情報を取得できる。奥行き方向の情報の取得方法には、様々な方法があるが、本変形例における三次元カメラは、どのような方法によって奥行き方向の情報を取得しても構わない。例えば、三次元カメラは、内蔵した発光ダイオードから赤外線を発し、撮影対象で反射して戻ってきた赤外線の往復時間あるいは位相のずれから奥行き方向の距離を算出し、算出した距離を画像の濃淡で表現する。
【００８１】
以下に、ジェスチャ認識システムにおいて三次元カメラが利用される場合の課題について説明する。
【００８２】
三次元カメラを利用する場合、ジェスチャ認識部２０５は、三次元空間でのジェスチャ操作を認識する必要がある。しかしながら、画面に対して平行な方向の動きをジェスチャ操作として検出を行なう場合、処理負荷が小さく、かつ操作量の認識精度が高い検出方法がないという問題がある。
【００８３】
この理由は以下の通りである。図７は、ジェスチャ操作を行なう使用者の位置とカメラ認識軸との関係を示す図であり、画面、カメラ及び使用者を上方から見た図である。画面１０１ａに取り付けられたカメラ１０２（三次元カメラ）によって撮像された画像を用いてジェスチャ操作の認識を行なう場合、ジェスチャ認識装置２００は、カメラ１０２から使用者３０３、３０４までの距離を測定する方向をそれぞれｚ軸と設定する。そのため、カメラ１０２の正面から外れた場所にいる使用者３０４に対しては、ｚ軸と直交するｘ軸が図７のように画面１０１ａと交差する方向に設定される。
【００８４】
まず、画面１０１ａに平行な横方向のジェスチャ操作を従来技術のように動作認識する場合、ジェスチャ認識装置２００は、三次元画像を扱うために３軸（ｘ軸、ｙ軸、ｚ軸）の全ての動きに分解し処理するが、この場合、二次元画像の処理に比べて処理負荷が増大してしまうという課題がある。
【００８５】
この課題に対処するため、横方向操作しか必要としない場面（写真閲覧アプリなど）では、ｘ軸方向でのみジェスチャ操作を認識する方法が考えられる。しかしこの方法は、カメラ１０２の正面から外れた場所にいる使用者３０４のような例では、画面１０１ａに対して平行な操作をｘ軸方向の移動成分として認識できる量（カメラにおける画素数）が小さく、使用者３０３と比べてスクロール量が小さくなってしまう。これに対して使用者３０３のカメラ認識軸と使用者３０４のカメラ認識軸の傾きから補正を行い、使用者３０３と同じスクロール量での操作を可能とすることもできる。しかし、この場合は同じ操作に対しての使用者３０４に対するカメラ画素数が小さく、認識が離散的になってしまい、例えば細かい操作に対して思い通りの動きをしないなど、認識精度が低下してしまう。
【００８６】
これに対し、本変形例におけるジェスチャ認識装置２００は、上記実施の形態と同様に、横方向乖離度が閾値を超える使用者３０４の場合、縦方向を操作方向と決定するので、ジェスチャ操作の認識精度の低下を抑制することができる。さらに、縦方向を操作方向と決定した場合、ジェスチャ認識装置２００は、ｙ軸方向のみでジェスチャ操作を認識することができるので、処理負荷の増大も抑制することができる。
【００８７】
（変形例２）
次に、上記実施の形態の変形例２について説明する。本変形例における表示制御部２０６は、表示装置１０１に位置情報を表示させる。
【００８８】
図８は、本発明の実施の形態の変形例２における位置情報の表示例を示す図である。
【００８９】
位置情報１０５は、画面１０１ａ又はカメラ１０２からみた使用者の方向を示す。図８では、ハッチングされていない領域は、操作方向が横方向であることを示す。また、ハッチングされている領域は、操作方向が縦方向であることを示す。
【００９０】
図８において、使用者は、操作方向が横方向となる位置から（図８の（ａ））、操作方向が縦方向となる位置に移動している（図８の（ｂ））。
【００９１】
このように、位置情報が表示されることにより、使用者は、操作方向が切り替わるタイミングを予測することができ、操作方向の変化に対する唐突感を抑制することが可能となる。
【００９２】
なお、図８の（ａ）から（ｂ）のようにＧＵＩが切り替えられる場合には、表示制御部２０６は、アニメーションにより徐々にＧＵＩが切り替わるように制御することが好ましい。これにより、ＧＵＩの切り替えに対する唐突感を抑制することも可能となる。
【００９３】
以上、本発明の一態様に係るジェスチャ認識装置２００について、実施の形態及び変形例に基づいて説明したが、本発明は、これらの実施の形態及び変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは実施の形態及び変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【００９４】
例えば、上記実施の形態及びその変形例において、カメラ１０２は、魚眼レンズを備えていたが、必ずしも魚眼レンズを備える必要はない。カメラ１０２が魚眼レンズを備えない場合であっても、位置取得部２０３は、画像上における使用者の像の位置に基づいて、カメラ１０２からみた使用者の方向を取得することができる。例えば、位置取得部２０３は、画像の中心からの使用者の像の距離の横方向成分を横方向乖離度として取得する。
【００９５】
また、位置取得部２０３は、必ずしも、カメラ１０２によって撮像された画像から位置情報を取得する必要はない。例えば、位置取得部２０３は、使用者に取り付けられた位置センサ、床面に設置されたシート圧力センサ、又は天井に設置されたカメラなどから位置情報を取得してもよい。
【００９６】
また、上記実施の形態及びその変形例において、カメラ１０２は、水平面上において、カメラ１０２が備える光学系の光軸方向と、画面１０１ａの法線方向とが一致するように設置されていたが、必ずしもこのようにカメラ１０２は設置される必要はない。また、カメラ１０２は、設置場所として画面１０１ａに取り付けられているが、これに限定するものではなく、画面１０１ａと独立した設置形態も考えられる。カメラ１０２が備える光学系の光軸方向と、画面１０１ａの法線方向とが一致しない場合であっても、ジェスチャ認識装置２００は、画面１０１ａ及びカメラ１０２の一方からみた使用者の方向に基づいて操作方向を決定することにより、使用者の操作性を高めることができる。
【００９７】
また、上記実施の形態及びその変形例において、ジェスチャ認識装置２００は、フレームメモリ２０２を備えていたが、必ずしもフレームメモリ２０２を備える必要はない。
【００９８】
また、上記実施の形態及びその変形例において、ジェスチャ認識装置２００は、縦方向又は横方向を操作方向と決定していたが、操作方向は、必ずしもこれらの方向に限定されるわけではない。例えば、ジェスチャ認識装置２００は、縦方向乖離度及び横方向乖離度の両方が閾値を超える場合には、斜め方向を操作方向と決定してもよい。
【００９９】
また、上記実施の形態及びその変形例において、表示制御部２０６は、複数のオブジェクトをスクロール表示させていたが、必ずしも、表示制御部２０６は、複数のオブジェクトをスクロール表示させる必要はない。例えば、画面１０１ａにすべてを表示することができない１つの大きなオブジェクトをスクロール表示させてもよい。
【０１００】
また、表示制御部２０６は、必ずしもスクロール表示する必要はなく、単にオブジェクトを操作方向に移動させてもよい。例えば、表示制御部２０６は、現在の音量を示すオブジェクトを操作方向に移動させてもよい。この場合、表示制御部２０６は、移動後のオブジェクトの位置に応じて音の大きさを変化させる。またこの場合、ジェスチャ認識部２０５は、スクロール量を計測する必要はなく、単にジェスチャ操作を認識するだけでもよい。
【０１０１】
また、表示制御部２０６は、必ずしもオブジェクトを画面１０１ａに表示させる必要はない。例えば、表示制御部２０６は、表示装置１０１の音量又は画質（明るさ又はコントラストなど）を変更させるだけでもよい。つまり、表示制御部２０６は、ジェスチャ操作に基づいて表示装置１０１を制御すればよい。
【０１０２】
なお、上記実施の形態において、方向決定部２０４は、ジェスチャ操作の認識精度に応じて、乖離度の閾値を決定することが好ましい。つまり、方向決定部２０４は、ジェスチャ操作の認識精度に応じて閾値が動的に変化するように、乖離度の閾値を決定することが好ましい。具体的には、方向決定部２０４は、例えば、ジェスチャ操作の認識精度が高いほど乖離度の閾値が大きくなるように、乖離度の閾値を決定することが好ましい。
【０１０３】
ジェスチャ操作の認識精度は画像に依存する。例えば、２次元カメラによって撮影された画像を用いてジェスチャ操作が認識される場合には、ジェスチャ操作の認識精度は、画像の明るさ、又は操作者の操作部位の色と背景の色との差などに依存する。つまり、方向決定部２０４は、画像の明るさ、又は操作者の操作部位の色と背景の色との差に応じて乖離度の閾値を決定すればよい。
【０１０４】
また、距離画像センサを用いてジェスチャが認識される場合には、ジェスチャ操作の認識精度は、測距時のノイズ量に依存する。このノイズ量は、測距に使う光の波長における環境光量に依存する。またノイズ量は、背景にも依存する。例えば、背景がすりガラスの場合には、ノイズ量は多くなる。つまり、方向決定部２０４は、測距時のノイズ量に応じて、乖離度の閾値を決定すればよい。
【０１０５】
このように、ジェスチャ操作の認識精度に応じて乖離度の閾値が決定されることにより、使用者の操作性を向上させることが可能となる。例えば、縦方向よりも横方向のほうが操作性が高い場合、認識可能な限り横方向が操作方向と決定されるように閾値を決定することが可能となり、使用者の操作性を向上させることが可能となる。
【０１０６】
また、上記実施の形態におけるジェスチャ認識装置２００が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、ジェスチャ認識装置２００は、画像取得部２０１と、方向決定部２０４と、ジェスチャ認識部２０５と、表示制御部２０６とを有するシステムＬＳＩから構成されてもよい。
【０１０７】
システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１０８】
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１０９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【０１１０】
また、本発明は、上記実施の形態におけるジェスチャ認識装置２００を備える表示装置として実現されてもよい。また、本発明は、上記実施の形態における、ジェスチャ認識装置２００と、表示装置１０１と、カメラ１０２とを備えるジェスチャ認識システムとして実現されてもよい。これらの場合、表示装置１０１は、画面１０１ａに画像を投影するプロジェクタなどであってもよい。つまり、表示装置１０１は、必ずしも画面１０１ａを備える必要はない。
【０１１１】
また、本発明は、このような特徴的な処理部を備えるジェスチャ認識装置として実現することができるだけでなく、ジェスチャ認識装置に含まれる特徴的な処理部をステップとするジェスチャ認識方法として実現することもできる。また、ジェスチャ認識方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【産業上の利用可能性】
【０１１２】
本発明の一態様に係るジェスチャ認識装置は、使用者の体の全体あるいは一部の動きを認識して表示装置を操作する技術として有用である。
【符号の説明】
【０１１３】
１００  ジェスチャ認識システム
１０１  表示装置
１０１ａ  画面
１０２  カメラ
２００  ジェスチャ認識装置
２０１  画像取得部
２０２  フレームメモリ
２０３  位置取得部
２０４  方向決定部
２０５  ジェスチャ認識部
２０５ａ  認識対象識別部
２０５ｂ  操作量計測部
２０６  表示制御部
３００、３０１、３０２、３０３、３０４  使用者
【図１】
2011148607.tif 000003
【図２】
2011148607.tif 000004
【図３】
2011148607.tif 000005
【図４】
2011148607.tif 000006
【図５Ａ】
2011148607.tif 000007
【図５Ｂ】
2011148607.tif 000008
【図６】
2011148607.tif 000009
【図７】
2011148607.tif 000010
【図８】
2011148607.tif 000011
【図９】
2011148607.tif 000012
【手続補正書】
【提出日】平成23年10月31日(2011.10.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画面の近傍に位置する使用者が行なうジェスチャ操作に基づいて表示装置を制御するジェスチャ認識装置であって、
前記画面の近傍が撮像された画像を取得する画像取得部と、
前記画面又は前記画像取得部からみた前記使用者の存在方向を示す位置情報に基づいて、前記位置情報が示す存在方向においてジェスチャ操作の認識精度が低下しにくい動きの方向を操作方向と決定する方向決定部と、
前記画像取得部によって取得された画像を用いて、前記使用者の体の一部又は全部の動きであって前記方向決定部によって決定された操作方向の動きをジェスチャ操作として認識するジェスチャ認識部と、
前記ジェスチャ認識部によって認識されたジェスチャ操作に基づいて前記表示装置を制御する表示制御部とを備える
ジェスチャ認識装置。
【請求項２】
前記画像は、カメラによって撮像され、
前記ジェスチャ認識装置は、さらに、前記画面の法線方向又は前記カメラの光軸方向に対する、前記画面又は前記カメラからみた前記使用者の存在方向の乖離度合いを示す乖離度を前記位置情報として取得する位置取得部を備え、
前記方向決定部は、前記乖離度が閾値を超えるか否かに基づいて、横方向又は縦方向を前記操作方向として決定する
請求項１に記載のジェスチャ認識装置。
【請求項３】
前記乖離度は、水平面上における乖離度合いを示す横方向乖離度を含み、
前記方向決定部は、前記横方向乖離度が閾値を超える場合に、縦方向を前記操作方向として決定する
請求項２に記載のジェスチャ認識装置。
【請求項４】
前記乖離度は、水平面と直交し、かつ前記画面又は前記カメラの撮像面と直交する垂直面上における乖離度合いを示す縦方向乖離度を含み、
前記方向決定部は、前記縦方向乖離度が閾値を超える場合に、横方向を前記操作方向として決定する
請求項２又は３に記載のジェスチャ認識装置。
【請求項５】
前記方向決定部は、ジェスチャ操作の認識精度に応じて、前記閾値を決定する
請求項２〜４のいずれか１項に記載のジェスチャ認識装置。
【請求項６】
前記カメラは、魚眼レンズを含む光学系を備え、
前記位置取得部は、前記画像取得部によって取得された画像に含まれる使用者の像を識別し、識別した使用者の像の位置と画像の中心位置との距離に基づいて、前記位置情報を取得する
請求項２〜５のいずれか１項に記載のジェスチャ認識装置。
【請求項７】
前記表示制御部は、前記ジェスチャ認識部によってジェスチャ操作が認識された場合、前記画面に表示されているオブジェクトを前記操作方向に移動させる
請求項１〜６のいずれか１項に記載のジェスチャ認識装置。
【請求項８】
前記表示制御部は、前記画面に複数のオブジェクトがスクロール表示される場合に、前記操作方向に前記複数のオブジェクトをスクロールさせる
請求項１〜６のいずれか１項に記載のジェスチャ認識装置。
【請求項９】
前記表示制御部は、前記表示装置に前記位置情報を表示させる
請求項１〜８のいずれか１項に記載のジェスチャ認識装置。
【請求項１０】
請求項１〜９のいずれか１項に記載のジェスチャ認識装置を備える表示装置。
【請求項１１】
画面の近傍に位置する使用者が行なうジェスチャ操作に基づいて表示装置を制御するジェスチャ認識方法であって、
前記画面の近傍が撮像された画像を取得する画像取得ステップと、
前記画面又は前記画像の撮像位置からみた前記使用者の存在方向を示す位置情報に基づいて、前記位置情報が示す存在方向においてジェスチャ操作の認識精度が低下しにくい動きの方向を操作方向と決定する方向決定ステップと、
前記画像取得ステップにおいて取得された画像を用いて、前記使用者の体の一部又は全部の動きであって前記方向決定ステップにおいて決定された操作方向の動きをジェスチャ操作として認識するジェスチャ認識ステップと、
前記ジェスチャ認識ステップにおいて認識されたジェスチャ操作に基づいて前記表示装置を制御する表示制御ステップとを含む
ジェスチャ認識方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記目的を達成するために、本発明の一態様に係るジェスチャ認識装置は、画面の近傍に位置する使用者が行なうジェスチャ操作に基づいて表示装置を制御するジェスチャ認識装置であって、前記画面の近傍が撮像された画像を取得する画像取得部と、前記画面又は前記画像取得部からみた前記使用者の存在方向を示す位置情報に基づいて、前記位置情報が示す存在方向においてジェスチャ操作の認識精度が低下しにくい動きの方向を操作方向と決定する方向決定部と、前記画像取得部によって取得された画像を用いて、前記使用者の体の一部又は全部の動きであって前記方向決定部によって決定された操作方向の動きをジェスチャ操作として認識するジェスチャ認識部と、前記ジェスチャ認識部によって認識されたジェスチャ操作に基づいて前記表示装置を制御する表示制御部とを備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、前記画像は、カメラによって撮像され、前記ジェスチャ認識装置は、さらに、前記画面の法線方向又は前記カメラの光軸方向に対する、前記画面又は前記カメラからみた前記使用者の存在方向の乖離度合いを示す乖離度を前記位置情報として取得する位置取得部を備え、前記方向決定部は、前記乖離度が閾値を超えるか否かに基づいて、横方向又は縦方向を前記操作方向として決定することが好ましい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
また、本発明の一態様に係るジェスチャ認識方法は、画面の近傍に位置する使用者が行なうジェスチャ操作に基づいて表示装置を制御するジェスチャ認識方法であって、前記画面の近傍が撮像された画像を取得する画像取得ステップと、前記画面又は前記画像の撮像位置からみた前記使用者の存在方向を示す位置情報に基づいて、前記位置情報が示す存在方向においてジェスチャ操作の認識精度が低下しにくい動きの方向を操作方向と決定する方向決定ステップと、前記画像取得ステップにおいて取得された画像を用いて、前記使用者の体の一部又は全部の動きであって前記方向決定ステップにおいて決定された操作方向の動きをジェスチャ操作として認識するジェスチャ認識ステップと、前記ジェスチャ認識ステップにおいて認識されたジェスチャ操作に基づいて前記表示装置を制御する表示制御ステップとを含む。
【国際調査報告】
2011148607.tif 000013
2011148607.tif 000014