(57)【要約】【課題】イメージセンサによって取得された対象者の画像に基づいて該対象者の足の位置を認識するにあたり、その認識精度の低下を効率的に防止可能な認識装置及びそれを利用した拡張現実情報提供システムを提供することを課題とする。【解決手段】対象者の画像を取得するイメージセンサと、イメージセンサによって取得された画像が入力される制御部とを備え、制御部は、対象者の画像に基づいて該対象者の足の位置を認識する認識手段を有し、該認識手段は、少なくとも前記対象者の足が認識できない又は認識し難い場合、前記対象者の体幹を認識し、該体幹に基づいて対象者の足の位置を推定する。【選択図】図２
2019215625.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサによって取得された対象者の画像に基づいて該対象者の足の位置を認識する認識装置であって、
対象者の画像を取得するイメージセンサと、
前記イメージセンサによって取得された画像が入力される制御部とを備え、
前記制御部は、前記対象者の画像に基づいて前記対象者の足の位置を認識する認識手段を有し、
前記認識手段は、少なくとも前記対象者の足が認識できない又は認識し難い場合、前記対象者の体幹を認識し、該体幹に基づいて前記対象者の足の位置を推定するように構成された
ことを特徴とする認識装置。
【請求項２】
前記認識手段は、前記対象者の体幹の傾きに基づいて前記対象者の足の位置を推定するように構成された
請求項１に記載の認識装置。
【請求項３】
請求項１又は２の何れかに記載の認識装置と、
前記対象者となるプレイヤーが視認可能な位置に配置された画像表示装置とを備え、
前記制御部は、前記イメージセンサによって撮影されたプレイヤーと、該プレイヤーの足によって操作可能な仮想の操作対象物とを、拡張現実画像として、前記画像表示装置に表示する拡張現実表示手段を有する
ことを特徴とする拡張現実情報提供システム。
【請求項４】
前記制御部は、前記操作対象物を前記プレイヤーが前記拡張現実画像内で操作できる操作可能モードと、操作できない操作不可モードとの切替を行う切替手段を有する
請求項３に記載の拡張現実情報提供システム。
【請求項５】
前記切替手段は、前記拡張現実画像において、前記プレイヤーが自身の足を前記操作対象物の表示範囲又はその近傍に位置させて予め定めた所定時間経過したことを、操作不可モードから操作可能モードへの切替の条件の１つとする
請求項４に記載の拡張現実情報提供システム。
【請求項６】
前記切替手段は、前記拡張現実画像において、前記プレイヤーが自身の足を前記操作対象物の表示範囲又はその近傍に位置させた際に、該プレイヤーの足以外の予め定めた所定の対象部位が予め定めた所定量以上に変位していないことを、操作不可モードから操作可能モードへの切替の条件の１つとする
請求項４又は５の何れかに記載の拡張現実情報提供システム。
【請求項７】
前記イメージセンサを、前記プレイヤーの周囲で移動させるアクチュエータ付きの移動機構を備え、
前記制御部は、前記移動機構によって前記イメージセンサを移動させ、前記プレイヤーの画像を取得する位置を制御する画像取得位置制御手段を有する
請求項３乃至６の何れかに記載の拡張現実情報提供システム。
【請求項８】
前記イメージセンサを、前記プレイヤーの周囲に複数備え、
前記制御部は、前記拡張現実画像に利用するイメージセンサを選択し、前記プレイヤーの画像を取得する位置を制御する画像取得位置制御手段を有する
請求項３乃至７の何れかに記載の拡張現実情報提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサによって取得された対象者の画像に基づいて該対象者の足の位置を認識する認識装置及びそれを利用した拡張現実情報提供システムに関する。
【背景技術】
【０００２】
対象者の画像を取得するイメージセンサと、前記イメージセンサによって取得された画像が入力される制御部とを備え、前記制御部は、前記対象者の画像に基づいて対象者（プレイヤー）の足の位置を認識する認識手段を有する認識装置が公知になっている（例えば、特許文献１を参照）。
【０００３】
しかし、上記文献の認識装置は、前記イメージセンサによって対象者の全体又は略全体を撮影した場合、その体幹をメインで撮影することになるため、足の認識精度が低下する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−２１７２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、イメージセンサによって取得された対象者の画像に基づいて該対象者の足の位置を認識するにあたり、その認識精度の低下を効率的に防止可能な認識装置及びそれを利用した拡張現実情報提供システムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の認識装置は、イメージセンサによって取得された対象者の画像に基づいて該対象者の足の位置を認識する認識装置であって、対象者の画像を取得するイメージセンサと、前記イメージセンサによって取得された画像が入力される制御部とを備え、前記制御部は、前記対象者の画像に基づいて前記対象者の足の位置を認識する認識手段を有し、前記認識手段は、少なくとも前記対象者の足が認識できない又は認識し難い場合、前記対象者の体幹を認識し、該体幹に基づいて前記対象者の足の位置を推定するように構成されたことを特徴とする。
【０００７】
前記認識手段は、前記対象者の体幹の傾きに基づいて前記対象者の足の位置を推定するように構成されたものとしてもよい。
【０００８】
また、本発明の拡張現実情報提供システムは、前記認識装置と、前記対象者となるプレイヤーが視認可能な位置に配置された画像表示装置とを備え、前記制御部は、前記イメージセンサによって撮影されたプレイヤーと、該プレイヤーの足によって操作可能な仮想の操作対象物とを、拡張現実画像として、前記画像表示装置に表示する拡張現実表示手段を有することを特徴とする。
【０００９】
前記制御部は、前記操作対象物を前記プレイヤーが前記拡張現実画像内で操作できる操作可能モードと、操作できない操作不可モードとの切替を行う切替手段を有するものとしてもよい。
【００１０】
前記切替手段は、前記拡張現実画像において、前記プレイヤーが自身の足を前記操作対象物の表示範囲又はその近傍に位置させて予め定めた所定時間経過したことを、操作不可モードから操作可能モードへの切替の条件の１つとするものとしてもよい。
【００１１】
前記切替手段は、前記拡張現実画像において、前記プレイヤーが自身の足を前記操作対象物の表示範囲又はその近傍に位置させた際に、該プレイヤーの足以外の予め定めた所定の対象部位が予め定めた所定量以上に変位していないことを、操作不可モードから操作可能モードへの切替の条件の１つとするものとしてもよい。
【００１２】
前記イメージセンサを、前記プレイヤーの周囲で移動させるアクチュエータ付きの移動機構を備え、前記制御部は、前記移動機構によって前記イメージセンサを移動させ、前記プレイヤーの画像を取得する位置を制御する画像取得位置制御手段を有するものとしてもよい。
【００１３】
前記イメージセンサを、前記プレイヤーの周囲に複数備え、前記制御部は、前記拡張現実画像に利用するイメージセンサを選択し、前記プレイヤーの画像を取得する位置を制御する画像取得位置制御手段を有するものとしてもよい。
【発明の効果】
【００１４】
本発明によれば、対象者の全体又は略全体の画像をイメージセンサによって取得した場合における該対象者の足の認識精度の低下を効率的に防止できる。
【図面の簡単な説明】
【００１５】
【図１】本発明を適用した拡張現実情報提供システムの構成を概念的に示す斜視図である。
【図２】イメージセンサによって取得された現実画像である。
【図３】図２に示す現実画像に仮想の操作対象物を加えて表示した拡張現実画像である。
【図４】操作対象物の他例を示す平面図である。
【図５】本発明を適用した拡張現実情報提供システムの構成を示すブロック図である。
【図６】認識手段によって実行される認識処理の内容を示すフロー図である。
【図７】切替手段によって実行される足操作用切替処理の内容を示すフロー図である。
【図８】操作手段によって実行される特定対象部位の操作処理の内容を示すフロー図である。
【図９】操作手段によって実行される特定対象部位以外の対象部位の操作処理の内容を示すフロー図である。
【図１０】画像取得位置制御手段によって実行される画像取得位置制御処理の内容を示すフロー図である。
【発明を実施するための形態】
【００１６】
図１は本発明を適用した拡張現実情報提供システムの構成を概念的に示す斜視図である。拡張現実情報提供システムは、対象者であるプレイヤーＰ及びその背景の画像を取得可能な一又は複数のイメージセンサ１０，１０と、画像表示装置の一種である液晶パネル等のディスプレイ２０とを、該プレイヤーＰの周囲に設置している。
【００１７】
前記イメージセンサ１０，１０は、例えば、距離画像を取得可能なＴＯＦ方式の３次元距離画像カメラ等から構成される。この３次元距離画像カメラ１０は、従来公知の構成が採用され、例えば、赤外線ＬＥＤ等の投光用の光源と、ＣＭＯＳ等の光学センサとを含み、光源から照射された光が対象物に反射して光学センサに戻ってくるまでの時間を、各画素毎に計測して、距離画像を取得する。
【００１８】
イメージセンサ１０は、図１に示す例では、プレイヤーＰがプレイ時に通常向いている方向を前方として、該プレイヤーＰの前後に該プレイヤーＰを撮影可能な姿勢でそれぞれ配置されている。イメージセンサ１０によって取得された画像である現実画像には、プレイヤーＰの画像である人画像と、その背景の画像である背景画像とが含まれているが、前記人画像と、前記背景画像とは、前記イメージセンサ１０の機能によって、それぞれ各別に認識可能である。
【００１９】
なお、イメージセンサ１０は、奥行き情報が含まれていない２次元画像を取得する通常のカメラであってもよく、さらには奥行き情報を取得可能なステレオカメラ等であってもよい。また、イメージセンサ１０は図示する例は２つ設けられているが、プレイヤーＰの周囲に３つ以上設けてもよい。
【００２０】
前記ディスプレイ２０は、プレイヤーＰから目視できるように、該プレイヤーＰの前方に配置されている。このディスプレイ２０には、イメージセンサ１０によって取得されたリアルタイムの現実画像と、実際に存在してはいない仮想的な仮想画像とが合成されてなる拡張現実画像が表示される。この仮想画像には、前記ディスプレイ２０にのみ表示される仮想物体である操作対象物Ｏが含まれる。
【００２１】
前記操作対象物Ｏは、ディスプレイ２０に表示された拡張現実画像中において、プレイヤーＰによって操作される。図１に示す例では、操作対象物Ｏは、ブロック状に成形されているが、この形状に限定されるものではない。
【００２２】
前記拡張現実画像にはプレイヤーＰの全体が表示されることが好ましい。すなわち、前記人画像には、プレイヤーＰの全体像が含まれた方が好ましい。このため、イメージセンサ１０は、プレイヤーＰの体幹Ｐ１を中心として該プレイヤーＰの全体の撮影を行う。
【００２３】
また、プレイヤーＰの正面からの撮影画像をそのままディスプレイ２０に表示した場合、該ディスプレイ２０の拡張現実画像を目視しているプレイヤーＰの左右と、該ディスプレイ２０に表示された該プレイヤーＰの左右とが反転した状態になる。この左右反転された状態を解消するため、姿見鏡に映し出された状態と同様に、左右を反転させた現実画像を前記拡張現実画像に表示させてもよい。
【００２４】
図２はイメージセンサによって取得された現実画像であり、図３は図２に示す現実画像に仮想の操作対象物を加えて表示した拡張現実画像である。プレイヤーＰは、ディスプレイ２０に表示された拡張現実画像を目視しながら、操作対象物Ｏの操作を行う。
【００２５】
具体的には、プレイヤーＰが、自身の対象部位を利用して、操作対象物Ｏの操作を行う。例えば、対象部位としては、プレイヤーＰの足Ｐ２、手Ｐ３、脚Ｐ４の膝や腿、腕Ｐ５の他、頭Ｐ６等も考えられる。
【００２６】
対象部位による操作としては、操作対象物Ｏの足Ｐ２による蹴り操作若しくは接触操作や、手Ｐ３による把持操作若しくは該把持後の投げ操作や、手Ｐ３による非把持状態での移動操作若しくは接触操作や、頭Ｐ６によるヘディング操作若しくは接触操作や、膝や腿によるリフティング等の操作若しくは接触操作や、肘による移動操作若しくは接触操作等の様々な操作が考えられる。ちなみに、把持操作や、その後の投げ操作には、両手Ｐ３，Ｐ３によるものを含めてもよい。
【００２７】
各対象部位の各種操作は、イメージセンサ１０によって取得されるプレイヤーＰの時間経過毎の人画像に基づいて認識される。
【００２８】
図４は操作対象物の他例を示す平面図である。同図に示す操作対象物ＯはプレイヤーＰが踏み操作可能なマットである。前記操作対象物Ｏは、複数に区画され、各区画はプレイヤーＰが足Ｐ２による踏み操作や、手Ｐ３又はその他の対象部位によるタッチ操作を行う操作部Ｏ１を構成している。なお、各操作部Ｏ１は、プレイヤーＰがボタン認識するように、立体的に表示することや、その表面に模様若しくはピクトグラムを付してもよい。また、操作を促す操作部Ｏ１のみを点滅させたり、色を付けたりして拡張現実画像に表示してもよい。
【００２９】
次に、図１乃至図９に基づき、拡張現実情報提供システムの構成を詳述する。
【００３０】
図５は本発明を適用した拡張現実情報提供システムの構成を示すブロック図である。拡張現実情報提供システムは、各種処理を行うコンピュータ３０と、前記イメージセンサ１０と、前記ディスプレイ２０と、プレイヤーＰの音声や周囲の音を取得するマイク４０と、音を出力するスピーカ５０とを備えている。
【００３１】
前記イメージセンサ１０の１つは画像取得ユニット１１の一部を構成している。この画像取得ユニット１１には、イメージセンサ１０をプレイヤーＰの周囲で移動させるアクチュエータ付きの移動機構１２が設けられている。
【００３２】
前記コンピュータ３０は、ＣＰＵ及びＲＡＭ等から構成され且つ各種処理を行うプログラムの実行環境を有する制御部３１と、各種情報を記憶するＨＤＤ又はＳＳＤ等の記憶装置３２と、各前記イメージセンサ１０、前記ディスプレイ２０、前記マイク４０及びスピーカ５０等の外部機器を接続する接続端子３３と、ネットワークを介して他のサーバ又はコンピュータ等と通信を行う通信手段３４とを備えている。
【００３３】
なお、イメージセンサ１０、ディスプレイ２０、マイク４０又はスピーカ５０は、コンピュータ３０自体に内蔵してもよい。
【００３４】
前記記憶装置３２には、制御部３１によって実行される各種プログラムの情報が記憶されるプログラム記憶部３２ａと、この拡張現実情報提供システムをプレイヤーＰとして利用するプレイユーザの情報が記憶されるプレイユーザ記憶部３２ｂと、この拡張現実情報提供システムによって得られたプレイヤーＰのプレイ結果の情報を利用するユーザの情報を記憶する情報利用ユーザ記憶部３２ｃと、プレイヤーＰのプレイ結果が該プレイヤーＰの情報と関連付けして記憶されるプレイ結果記憶部３２ｄとが記憶領域としてそれぞれ確保されている。
【００３５】
なお、プログラム記憶部３２ａ以外の記憶領域であるプレイユーザ情報記憶部３２ｂ、情報利用ユーザ記憶部３２ｃ及びプレイ結果記憶部３２ｄは、このコンピュータ３０と前記ネットワークを介して通信可能に接続されたサーバの記憶装置に設けてもよい。さらに、拡張現実情報提供システムのコンピュータ３０をスタンドアローンとして稼働させることも可能であるが、この場合、通信手段３４も省略可能である。
【００３６】
前記制御部３１は、イメージセンサ１０から前記人画像を取得する人画像取得手段３１ａと、イメージセンサ１０から前記背景画像を取得する背景画像取得手段３１ｂと、前記人画像中のプレイヤーＰの足Ｐ１や手Ｐ２等の予め定めた対象部位の位置を認識する認識手段３１ｃと、プレイヤーＰが予め定めた一又は複数の特定の対象部位（特定対象部位）によって操作対象物Ｏを操作可能であるか否かの状態切替を行う切替手段３１ｄと、プレイヤーＰの対象部位の動作に基づいて操作対象物Ｏの操作を行う操作手段３１ｅと、前記拡張現実画像をディスプレイ２０に表示する拡張現実画像表示手段３１ｆと、前後のイメージセンサ１０，１０の選択を行うか、或いはイメージセンサ１０を移動機構１２によって移動することによって画像取得位置を制御する画像取得位置制御手段３１ｇとを備えている。
【００３７】
前記拡張現実画像表示手段３１ｆによってディスプレイ２０に表示する拡張現実画像には、上述した通り、現実画像及び仮想画像が含まれる。現実画像にはプレイヤーＰの全体が表示された人画像が含まれる。背景画像は、現実画像に含まれたものを用いてもよいし、仮想画像に含まれたものを用いてもよい。すなわち、ディスプレイ２０に表示される拡張現実画像に含まれる背景画像は、イメージセンサ１０によってリアルタイムに取得されたものであってもよいし、記憶装置３２に記憶されたものであってもよい。
【００３８】
前記拡張現実画像表示手段３１ｆが、仮想画像に含まれる操作対象物Ｏを表示するにあたっては、操作手段３１ｅによる操作処理の処理内容も反映させる。例えば、プレイヤーＰが操作対象物Ｏを蹴り操作した場合、その蹴る方向や勢いに応じて、操作対象物Ｏが移動させる際の方向や速度が算出され、その算出された方向及び速度で該操作対象物Ｏが移動される画像が、拡張現実画像中に表示される。手Ｐ３等やその他の対象部位による操作対象物Ｏの移動操作でも同様である。
【００３９】
図６は、認識手段によって実行される認識処理の内容を示すフロー図である。認識手段３１ｃは、処理が開始されるとステップＳ１０１に進む。ステップＳ１０１では、人画像取得手段３１ａによってリアルタイムに取得されるプレイヤーＰの人画像から該プレイヤーＰの左右の足Ｐ１の認識状態を確認し、該足Ｐ２の認識ができない場合又は認識が困難な場合にはステップＳ１０２に進む。
【００４０】
ちなみに、ステップＳ１０１において、前記足Ｐ２の認識が困難な場合とは、例えば、足Ｐ２の認識を一応できるが、該足Ｐ２が激しく動いている等に起因して、安定的且つ継続的に足Ｐ２の位置が認識できない又はし難い場合等が該当する。このステップＳ１０１では、認識の安定性や継続性等の観点から、足Ｐ２の認識精度の評価を行い、この評価値が予め定めた所定値以上の場合には足Ｐ２の認識がＯＫであると判断する一方で、所定値未満である場合には足Ｐ２の認識がＯＫでないと判断してもよい。
【００４１】
ステップＳ１０２では、ステップＳ１０１において確認対象となった人画像からプレイヤーＰの体幹Ｐ１を認識し、ステップＳ１０３に進む。ステップＳ１０３では、ステップＳ１０２において認識された体幹Ｐ１の鉛直方向を基準（０°）とした傾き（以下、単に「傾き」）αを判断し、ステップＳ１０４に進む。
【００４２】
ステップＳ１０４では、プレイヤーＰの体幹Ｐ１の傾きαと、プレイヤーＰの脚Ｐ４における膝から下の部分の鉛直方向を基準（０°）とした傾き（以下、単に「傾き」）βとの間に相関関係があることに着目し、該足Ｐ２の位置を推定し、ステップＳ１０５に進む。ステップＳ１０５では、前記推定の結果等に基づいて足Ｐ２の位置を認識するとともに、その他の対象部位の位置も認識して処理を終了させる。
【００４３】
ステップＳ１０１において、人画像からプレイヤーＰの足Ｐ２の認識が可能と判断した場合、前記推定は行わず、ステップＳ１０５にそのまま進む。この場合、ステップＳ１０５では、リアルタイムに取得される前記人画像からプレイヤーＰの足Ｐ２、手Ｐ３、脚Ｐ４の膝、脚Ｐ４の腿、腕Ｐ５の肘、頭Ｐ６等の各対象部位の認識を行い、このサブルーチン処理を終了させる。
【００４４】
このステップＳ１０１〜ステップＳ１０５からなる一連のルーチン処理が認識処理となり、この認識処理は所定時間毎に繰返し実行される。
【００４５】
図７は、切替手段によって実行される切替処理の内容を示すフロー図である。この切替処理は、所定時間の経過毎に繰返し実行される。切替手段３１ｄは、処理が開始されるとステップＳ２０１に進む。ステップＳ２０１では、一又は複数の特定対象部位（本例では足Ｐ２）が、拡張現実画像において操作対象物Ｏの表示範囲内又はその近傍に位置しているか否かを確認し、位置していればステップＳ２０２に進む。
【００４６】
ステップＳ２０２では、プレイヤーＰが移動しているか否かを、特定対象部位以外の所定の対象部位（例えば、体幹Ｐ１等）が予め定めた所定量（例えば、単位時間当たりの変位量）以上変位しているか否かによって判断し、プレイヤーＰが移動していないと判断されればステップＳ２０３に進む。ステップＳ２０３では、操作可能フラグがＯＮ（１）又はＯＦＦ（０）の何れの状態であるかを確認し、該操作可能フラグがＯＦＦにリセットされた状態であればステップＳ２０４に進む。ちなみに、この操作可能フラグは、初期状態でＯＦＦ（０）にリセットされる。
【００４７】
ステップＳ２０４では、前記操作可能フラグをＯＮにセットし、ステップＳ２０５に進む。ステップＳ２０５では、タイマーを予め定めた時間Ｔ１にセットし、カウントを開始する。このタイマーはカウント開始から時間Ｔ１が経過した場合に終了する。ステップＳ２０６では、前記タイマーのカウントが終了しているか否かを確認し、終了していなければ処理を終了させる一方で、終了していればステップＳ２０７に進む。
【００４８】
ステップＳ２０７では、操作可能モードへの切替を行って処理を終了させる。ステップＳ２０３において、前記操作可能フラグがＯＮにセットされた状態であればステップＳ２０６に進む。
【００４９】
ステップＳ２０１において、特定対象部位が操作対象物Ｏの表示範囲内又はその近傍に位置していない場合には、ステップＳ２０８に進む。ステップＳ２０８では、前記操作可能フラグをＯＦＦにリセットしてステップＳ２０９に進む。ステップＳ２０９では、操作不可モードへの切替を行って処理を終了させる。
【００５０】
ステップＳ２０２において、プレイヤーＰが移動していると判断された場合には、ステップＳ２０８に進む。
【００５１】
すなわち、特定対象部位が操作対象物Ｏの表示範囲内又はその近傍に位置し且つプレイヤーＰがその場で移動しないで停止している状態になると、ステップＳ２０１→ステップＳ２０２→ステップＳ２０３→ステップＳ２０４→ステップＳ２０５→ステップＳ２０６と処理が進み、この状態を保持して時間Ｔ１が経過するまでの間は、ステップＳ２０１→ステップＳ２０２→ステップＳ２０３→ステップＳ２０６の処理が繰返され、時間Ｔ１が経過すると、ステップＳ２０１→ステップＳ２０２→ステップＳ２０３→ステップＳ２０６→ステップＳ２０７と処理が進み、操作可能モードへの切替が行われる。
【００５２】
この操作可能モードは、特定対象部位による操作対象物Ｏの操作が可能な状態である。上述した処理内容によれば、特定対象部位によって操作対象物Ｏの操作が可能となるためには、プレイヤーＰが、特定対象部位を操作対象物Ｏの表示範囲又はその近傍に位置させ且つ該プレイヤーＰ自身が移動していない状態が所定時間（具体的には時間Ｔ１）継続していることが条件となる。
【００５３】
一方、上記条件を満たさない場合には、ステップＳ２０１又はステップＳ２０２から、ステップＳ２０８→ステップＳ２０９と処理が進み、前記操作可能フラグが直ちにＯＦＦにリセットされ、操作不可モードへの切替が行われる。この操作不可モードは、特定対象部位による操作対象物Ｏの操作ができない状態である。
【００５４】
なお、特定対象部位を複数設定した場合、特定対象部位毎に、この切替処理を行ってもよい。この場合には、特定対象部位毎に操作可能モードと操作不可モードの判断を行うことになる。
【００５５】
一方、複数の特定対象部位は、１つの切替処理によって、まとめて判断してもよい。この場合、複数の特定対象部位の何れか１つがその操作可能モードへの切替状態を満たせば、その他の特定対象部位による操作対象物Ｏの操作も可能になるが、プレイヤーＰは同時に複数の対象部位によって操作対象物Ｏの操作することは困難であると考えられるため、殆ど問題は生じない。
【００５６】
また、全ての対象部位を特定対象部位とすることも可能である。
【００５７】
図８は、操作手段によって実行される特定対象部位の操作処理の内容を示すフロー図である。操作手段３１ｅの特定対象部位の操作処理は、所定時間毎に繰返し実行される。特定対象部位の操作処理は、ステップＳ３０１から処理を開始する。ステップＳ３０１では、特定対象部位による操作の有無を確認し、操作が有った場合にはステップＳ３０２に進む一方で、操作が無い場合には処理を終了させる。
【００５８】
ステップＳ３０２では、操作モードが操作可能モード又は操作不可モードの何れであるかを確認し、操作可能モードであればステップＳ３０３に進む一方で、操作不可モードであれば特定対象部位による操作が可能な状態ではないため、処理を終了させる。ステップＳ３０３では、特定対象部位による操作対象物Ｏへの操作を受付け、拡張現実画像への表示や前記プレイ結果に加味されるスコア等において該操作を反映させ、処理を終了させる。
【００５９】
ちなみに、ステップＳ３０３において、操作を反映させて、拡張現実画面への表示内容の制御する際には、物理法則等に基づいて、操作対象物Ｏへの操作を表示内容を反映させることも行うが、例えば、接触操作の場合等には、操作対象物Ｏの色を変更することや、点滅させる等によって、その操作を表示内容を反映させることも可能である。
【００６０】
図９は、操作手段によって実行される特定対象部位以外の対象部位の操作処理の内容を示すフロー図である。操作手段３１ｅの特定対象部位以外の対象部位の操作処理は、所定時間毎に繰返し実行される。特定対象部位以外の対象部位の操作処理は、ステップＳ４０１から処理を開始する。ステップＳ４０１では、特定対象部位以外の対象部位による操作の有無を確認し、操作が有った場合にはステップＳ４０２に進む一方で、操作が無い場合には処理を終了させる。
【００６１】
ステップＳ４０２では、特定対象部位以外の対象部位による操作対象物Ｏへの操作を受付け、拡張現実画像への表示や前記プレイ結果に加味されるスコア等において該操作を反映させ、処理を終了させる。なお、対象部位の全てを特定対象部位とした場合には、図９に示す処理は省略される。ちなみに、ステップＳ４０２において、操作を反映させて拡張現実画面への表示内容の制御する手法は、上述したステップＳ４０２の場合と同様である。
【００６２】
図１０は、画像取得位置制御手段によって実行される画像取得位置制御処理の内容を示すフロー図である。画像取得位置制御手段３１ｇの画像取得位置制御処理は、所定時間毎に繰返し実行される。画像取得位置制御処理は、ステップＳ５０１から処理が開始される。ステップＳ５０１では、拡張現実画像を取得し、ステップＳ５０２に進む。
【００６３】
ステップＳ５０２では、直前のステップＳ５０２で取得した拡張現実画像から、画像取得位置が現状でＯＫか否かの評価を行い、ＯＫな場合には処理を終了させる一方で、ＮＧである場合にはステップＳ５０３に処理を進める。拡張現実画像はプレイヤーＰの全体が表示され且つ操作対象物ＯもプレイヤーＰによって隠れていない状態が好ましいため、例えば、このような状態を画像取得位置がＯＫな状態として、ステップＳ５０２の判断を行う。
【００６４】
ステップＳ５０３では、拡張現実画像が上述したような望ましい状態となるように、イメージセンサ１０を選択又は移動させ、処理を終了させる。
【００６５】
以上のように構成される拡張現実情報提供システムによれば、認識手段３１ｃによって認識し難い対象部位である足Ｐ２も円滑に認識可能になる。
【００６６】
また、特定対象部位による操作の際には、切替手段３１ｄによる操作モードの切替が反映され、プレイヤーＰが移動中において、その特定対象部位が、意図せず偶然に操作対象物Ｏの表示範囲又はその近傍に位置したのか、或いは、プレイヤーＰが操作対象物Ｏの操作等を目的として特定対象部位を意図的に操作対象物Ｏの表示範囲又はその近傍に位置させたかを判定することが可能になり、スムーズな操作が実現される。
【００６７】
さらに、画像取得位置制御処理によれば、プレイヤーＰや操作対象物Ｏの移動によって、拡張現実画像が好ましくない表示内容になった場合には、画像取得位置が適宜制御され、好ましい状態に切替えられるため、メリットが大きい。
【００６８】
ちなみに、この拡張現実情報提供システムから、ディスプレイ２０、マイク４０及びスピーカ５０を除いたものは、イメージセンサ１０によって取得された人画像に基づいて該対象者Ｐの足Ｐ２の位置を認識する認識装置になり、この認識装置を単体で用いることも勿論可能である。
【符号の説明】
【００６９】
１０  イメージセンサ
１２  移動機構
２０  ディスプレイ（画像表示装置）
３１  制御部
３１ｃ  認識手段
３１ｄ  切替手段
３１ｆ  拡張現実表示手段
３１ｇ  画像取得位置制御手段
Ｏ  操作対象物
Ｐ  プレイヤー（対象者）
Ｐ１  体幹
Ｐ２  足
α  傾き
【図１】
2019215625.tif 000003
【図２】
2019215625.tif 000004
【図３】
2019215625.tif 000005
【図４】
2019215625.tif 000006
【図５】
2019215625.tif 000007
【図６】
2019215625.tif 000008
【図７】
2019215625.tif 000009
【図８】
2019215625.tif 000010
【図９】
2019215625.tif 000011
【図１０】
2019215625.tif 000012