(57)【要約】  消費電力を低減しつつ精度よくトラッカーの位置を推定できる位置推定装置、位置推定方法及びプログラムを提供する。推定結果記憶部（５０）は、トラッカー（１２）の位置の推定結果を記憶する。加速度データ取得部（５２）は、トラッカー（１２）の加速度を検出するセンサから当該トラッカー（１２）の加速度を示す加速度データを繰り返し取得する。推定結果更新部（５６）は、推定結果記憶部（５０）に記憶されている前記トラッカーの位置の推定結果と取得された最新の前記加速度データとに基づいて、当該推定結果を更新する。速度情報取得部（５４）は、トラッカー（１２）の速度の情報を取得する。推定結果更新部（５６）は、速度情報取得部（５４）により速度の情報が取得された際には、当該速度の情報と取得された最新の加速度データとに基づいて、推定結果記憶部（５０）に記憶されているトラッカー（１２）の位置の推定結果を更新する。
2019176150.tif 000002
【特許請求の範囲】
【請求項１】
トラッカーの位置の推定結果を記憶する推定結果記憶部と、
前記トラッカーの加速度を検出するセンサから当該トラッカーの加速度を示す加速度データを繰り返し取得する加速度データ取得部と、
前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果と取得された最新の前記加速度データとに基づいて、当該推定結果を更新する推定結果更新部と、
前記トラッカーの速度の情報を取得する速度情報取得部と、を含み、
前記推定結果更新部は、前記速度情報取得部により前記速度の情報が取得された際には、当該速度の情報と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新する、
ことを特徴とする位置推定装置。
【請求項２】
前記速度情報取得部は、順次到来する撮影タイミング毎に２枚の画像を撮影するカメラから、当該２枚の画像を取得し、
前記推定結果更新部は、前記速度情報取得部により前記２枚の画像が取得された際には、当該２枚の画像に基づいて推定される前記トラッカーの速度と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新する、
ことを特徴とする請求項１に記載の位置推定装置。
【請求項３】
前記推定結果更新部は、前記速度情報取得部により前記２枚の画像が取得された際には、当該２枚の画像のうちの少なくとも１枚に基づいて推定される前記トラッカーの位置と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新する、
ことを特徴とする請求項２に記載の位置推定装置。
【請求項４】
前記速度情報取得部が取得する前記速度の情報の信頼度を決定する信頼度決定部と、
前記信頼度に基づいて、単位時間あたりに前記速度情報取得部が前記速度の情報を取得する回数を制御する取得制御部、をさらに含む、
ことを特徴とする請求項１から３のいずれか一項に記載の位置推定装置。
【請求項５】
前記センサは、前記トラッカーの角速度をさらに検出し、
前記速度情報取得部は、前記センサにより検出される前記トラッカーの角速度に応じた前記速度の情報を取得する、
ことを特徴とする請求項１から４のいずれか一項に記載の位置推定装置。
【請求項６】
トラッカーの加速度を検出するセンサから当該トラッカーの加速度を示す加速度データを繰り返し取得する加速度データ取得ステップと、
トラッカーの位置の推定結果を記憶する推定結果記憶部に記憶されている前記トラッカーの位置の推定結果と取得された最新の前記加速度データとに基づいて、当該推定結果を更新する推定結果更新ステップと、
前記トラッカーの速度の情報を取得する速度情報取得ステップと、を含み、
前記推定結果更新ステップでは、前記速度情報取得ステップで前記速度の情報が取得された際には、当該速度の情報と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新する、
ことを特徴とする位置推定方法。
【請求項７】
トラッカーの加速度を検出するセンサから当該トラッカーの加速度を示す加速度データを繰り返し取得する加速度データ取得手順、
トラッカーの位置の推定結果を記憶する推定結果記憶部に記憶されている前記トラッカーの位置の推定結果と取得された最新の前記加速度データとに基づいて、当該推定結果を更新する推定結果更新手順、
前記トラッカーの速度の情報を取得する速度情報取得手順、をコンピュータに実行させ、
前記推定結果更新手順では、前記速度情報取得手順で前記速度の情報が取得された際には、当該速度の情報と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新する、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置推定装置、位置推定方法及びプログラムに関する。
【背景技術】
【０００２】
ユーザが頭部等の身体に装着したトラッカーの位置を推定する技術が知られている。例えばトラッカーが備える、カメラ、慣性センサ（ＩＭＵ）、地磁気センサ（方位センサ）、モーションセンサ、ＧＰＳ（Global Positioning System）モジュールなどといったセンサによる測定結果に基づいて、当該トラッカーの位置が推定される。【０００３】
カメラを使ったトラッカーの位置の推定技術の一例として、ＳＬＡＭ（Simultaneous Localization and Mapping）の技術が知られている。ＳＬＡＭの技術では、例えばトラッカーが備えるカメラにより撮影された画像などといった、トラッカーが取得するセンシングデータに基づいて、複数の特徴点を含む特徴点データが生成される。そして生成された特徴点データと予め記憶されているポイントクラウドである環境地図との比較結果に基づいて、トラッカーの位置又は向きの推定、及び、環境地図の更新が行われる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＳＬＡＭの技術などといったカメラが撮影する画像に基づいて位置の推定を行う場合、画像処理を行う必要があることから消費電力が大きくなる。【０００５】
一方で、例えばトラッカーが備える慣性センサの測定結果である加速度に基づいて、当該トラッカーの位置を推定する場合、二重積分に伴う誤差が蓄積することにより計測開始からの時間が経過するにつれて推定精度が悪くなっていく。【０００６】
本発明は上記課題に鑑みてなされたものであって、その目的の１つは、消費電力を低減しつつ精度よくトラッカーの位置を推定できる位置推定装置、位置推定方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る位置推定装置は、トラッカーの位置の推定結果を記憶する推定結果記憶部と、前記トラッカーの加速度を検出するセンサから当該トラッカーの加速度を示す加速度データを繰り返し取得する加速度データ取得部と、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果と取得された最新の前記加速度データとに基づいて、当該推定結果を更新する推定結果更新部と、前記トラッカーの速度の情報を取得する速度情報取得部と、を含み、前記推定結果更新部は、前記速度情報取得部により前記速度の情報が取得された際には、当該速度の情報と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新する。【０００８】
本発明の一態様では、前記速度情報取得部は、順次到来する撮影タイミング毎に２枚の画像を撮影するカメラから、当該２枚の画像を取得し、前記推定結果更新部は、前記速度情報取得部により前記２枚の画像が取得された際には、当該２枚の画像に基づいて推定される前記トラッカーの速度と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新する。【０００９】
この態様では、前記推定結果更新部は、前記速度情報取得部により前記２枚の画像が取得された際には、当該２枚の画像のうちの少なくとも１枚に基づいて推定される前記トラッカーの位置と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新してもよい。【００１０】
また、本発明の一態様では、前記速度情報取得部が取得する前記速度の情報の信頼度を決定する信頼度決定部と、前記信頼度に基づいて、単位時間あたりに前記速度情報取得部が前記速度の情報を取得する回数を制御する取得制御部、をさらに含む。【００１１】
また、本発明の一態様では、前記センサは、前記トラッカーの角速度をさらに検出し、前記速度情報取得部は、前記センサにより検出される前記トラッカーの角速度に応じた前記速度の情報を取得する。【００１２】
また、本発明に係る位置推定方法は、トラッカーの加速度を検出するセンサから当該トラッカーの加速度を示す加速度データを繰り返し取得する加速度データ取得ステップと、トラッカーの位置の推定結果を記憶する推定結果記憶部に記憶されている前記トラッカーの位置の推定結果と取得された最新の前記加速度データとに基づいて、当該推定結果を更新する推定結果更新ステップと、前記トラッカーの速度の情報を取得する速度情報取得ステップと、を含み、前記推定結果更新ステップでは、前記速度情報取得ステップで前記速度の情報が取得された際には、当該速度の情報と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新する。【００１３】
また、本発明に係るプログラムは、トラッカーの加速度を検出するセンサから当該トラッカーの加速度を示す加速度データを繰り返し取得する加速度データ取得手順、トラッカーの位置の推定結果を記憶する推定結果記憶部に記憶されている前記トラッカーの位置の推定結果と取得された最新の前記加速度データとに基づいて、当該推定結果を更新する推定結果更新手順、前記トラッカーの速度の情報を取得する速度情報取得手順、をコンピュータに実行させ、前記推定結果更新手順では、前記速度情報取得手順で前記速度の情報が取得された際には、当該速度の情報と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新する。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係るエンタテインメントシステムの一例を示す構成図である。
【図２】本発明の一実施形態に係るトラッカーの一例を示す構成図である。
【図３】推定基礎データと推定結果データとの関係の一例を示す図である。
【図４】本発明の一実施形態に係るトラッカーで実装される機能の一例を示す機能ブロック図である。
【図５】本発明の一実施形態に係るトラッカーで行われる処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態について図面に基づき詳細に説明する。
【００１６】
図１は、本発明の一実施形態に係るエンタテインメントシステム１０の一例を示す構成図である。図１に示すように、本実施形態に係るエンタテインメントシステム１０には、トラッカー１２とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とを含んでいる。
【００１７】
本実施形態に係るトラッカー１２は、本実施形態では例えば、トラッカー１２を装着したユーザの位置や向きを追跡する装置である。図１には、トラッカー１２の一例としてヘッドマウントディスプレイ（ＨＭＤ）が示されている。
【００１８】
図２に示すように、本実施形態に係るトラッカー１２には、プロセッサ３０、記憶部３２、通信部３４、入出力部３６、表示部３８、センサ部４０、音声出力部４２、が含まれる。
【００１９】
プロセッサ３０は、例えばトラッカー１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
【００２０】
記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。
【００２１】
通信部３４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。
【００２２】
入出力部３６は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポートである。
【００２３】
表示部３８は、トラッカー１２の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイである。また表示部３８は、トラッカー１２の筐体に収容される。本実施形態に係る表示部３８は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３８は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
【００２４】
センサ部４０は、例えばカメラ、慣性センサ（ＩＭＵ）、地磁気センサ（方位センサ）、ＧＰＳ（Global Positioning System）モジュールなどといったセンサである。センサ部４０に含まれるカメラは、例えば所定のフレームレートで画像を撮影する。またセンサ部４０に含まれる地磁気センサは、トラッカー１２が向く方位を示すデータを、所定のフレームレートで、プロセッサ３０に出力する。またセンサ部４０に含まれる慣性センサは、トラッカー１２の加速度や角速度などを示すデータを、所定のフレームレートで、プロセッサ３０に出力する。またセンサ部４０に含まれるＧＰＳモジュールは、トラッカー１２の緯度及び経度を示すデータを、所定のフレームレートで、プロセッサ３０に出力する。
【００２５】
音声出力部４２は、例えばヘッドホンやスピーカ等であり、音声データが表す音声などを出力する。
【００２６】
本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されている、あるいは、光ディスクに記録された、ゲームプログラムの実行やコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由してディスプレイ１８に出力する。本実施形態に係るエンタテインメント装置１４には、例えばプロセッサ、ＲＯＭやＲＡＭ等の記憶素子、ハードディスクドライブ、無線ＬＡＮモジュール等の通信インタフェース、入出力ポート、などが含まれている。
【００２７】
本実施形態に係る中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してディスプレイ１８に出力するコンピュータである。
【００２８】
本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。
【００２９】
本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。
【００３０】
トラッカー１２と中継装置１６とは、例えば、無線によるデータの送受信が互いに可能になっている。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されており、データの送受信が互いに可能になっている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。
【００３１】
本実施形態では例えば、エンタテインメント装置１４によってゲームプログラムが実行されている際に、トラッカー１２の位置、姿勢、動きなどに応じたゲーム処理等の各種の処理が実行される。そして当該処理の結果に応じた映像が例えばディスプレイ１８や表示部３８に表示される。
【００３２】
また本実施形態では、トラッカー１２の位置が、トラッカー１２のセンサ部４０に含まれるカメラが撮影する画像とセンサ部４０に含まれる慣性センサが計測するトラッカー１２の加速度とに基づいて推定される。
【００３３】
図３は、トラッカー１２の位置の推定の基礎となる推定基礎データと当該推定基礎データに基づく推定結果を示す推定結果データとの関係の一例を示す図である。
【００３４】
本実施形態では例えば、トラッカー１２の位置の推定が８ミリ秒毎に行われることとする。またセンサ部４０に含まれる慣性センサによる加速度の計測も８ミリ秒毎に行われることとする。
【００３５】
また図３の例では、トラッカー１２の位置の初期値がｘ０、速度の初期値がｖ０で表現されている。そして推定開始からの経過時間をｔミリ秒とした際の位置の推定結果を示す値がｘ（ｔ）、速度の推定結果を示す値がｖ（ｔ）と表現されている。また推定開始からの経過時間をｔとした際の慣性センサによる加速度の計測結果を示す値がａ（ｔ）と表現されている。
【００３６】
本実施形態では、８ミリ秒間隔で、慣性センサによる加速度の計測結果に基づく、トラッカー１２の位置及び速度の推定が行われる。図３には、値ｘ０、値ｖ０、及び、値ａ（８）の組合せを含む推定基礎データと値ｘ（８）と値ｖ（８）との組合せを含む推定結果データとが対応付けて示されている。このことは値ｘ０、値ｖ０、及び、値ａ（８）の組合せを含む推定基礎データに基づいて、値ｘ（８）と値ｖ（８）との組合せを含む推定結果データが生成されることを意味する。なお、位置を示す値ｘ０、速度を示す値ｖ０、及び、加速度を示す値ａ（８）に基づいて、位置を示す値ｘ（８）、及び、速度を示す値ｖ（８）は、一意に特定可能である。そして本実施形態ではこのように生成される推定結果データは保持される。
【００３７】
そして本実施形態では、保持されている推定結果データに含まれる値ｘ（８）と値ｖ（８）、及び、加速度の計測結果を示す値ａ（１６）の組合せを含む推定基礎データに基づいて、値ｘ（１６）と値ｖ（１６）との組合せを含む推定結果データが生成される。なお、位置を示す値ｘ（８）、速度を示す値ｖ（８）、及び、加速度を示す値ａ（１６）に基づいて、位置を示す値ｘ（１６）、及び、速度を示す値ｖ（１６）は、一意に特定可能である。
【００３８】
また保持されている推定結果データに含まれる値ｘ（１６）と値ｖ（１６）、及び、加速度の計測結果を示す値ａ（３２）の組合せを含む推定基礎データに基づいて、値ｘ（３２）と値ｖ（３２）との組合せを含む推定結果データが生成される。なお、位置を示す値ｘ（１６）、速度を示す値ｖ（１６）、及び、加速度を示す値ａ（３２）に基づいて、位置を示す値ｘ（３２）、及び、速度を示す値ｖ（３２）は、一意に特定可能である。
【００３９】
以上のように、本実施形態では原則として、あるタイミングにおける推定で生成された推定結果データが、次のタイミングにおける推定では推定基礎データとして用いられることとなる。
【００４０】
そして本実施形態では例えば、センサ部４０に含まれるカメラが、順次到来する撮影タイミング毎に２枚の画像を撮影する。ここでは例えば撮影タイミングは１秒（１０００ミリ秒）間隔で到来することとする。
【００４１】
またここでは例えば撮影タイミングが到来する度にカメラは８ミリ秒間隔で２枚の画像を撮影することとする。例えば撮影タイミングが推定開始からの経過時間が１０００ミリ秒であるタイミングであることとする。この場合は、推定開始からの経過時間が１０００ミリ秒であるタイミングと１００８ミリ秒であるタイミングのそれぞれにおいて、センサ部４０に含まれるカメラは、１枚ずつ画像を撮影する。
【００４２】
そして本実施形態では、撮影タイミングが到来してカメラによる画像の撮影が行われた際には、ＳＬＡＭ（Simultaneous Localization and Mapping）の技術を用いて、撮影された画像に基づき、トラッカー１２の位置及び速度が推定される。そしてこのような画像に基づくトラッカー１２の位置及び速度の推定が行われた際には、保持されている推定結果データの代わりに、画像に基づくトラッカー１２の位置及び速度の推定結果が推定基礎データとして用いられる。
【００４３】
図３の例では、推定開始からの経過時間がｔミリ秒であるタイミングに撮影された画像に基づくトラッカー１２の位置の推定結果を示す値がｘｐ（ｔ）で示されている。また推定開始からの経過時間が（ｔ−８）ミリ秒であるタイミングに撮影された画像とｔミリ秒であるタイミングに撮影された画像とに基づく、トラッカー１２の位置の推定結果を示す値がｖｐ（ｔ）で示されている。
【００４４】
そして図３に示すように本実施形態では、値ｘｐ（１０００）、値ｖ（１０００）、値ａ（１００８）、の組合せを含む推定基礎データに基づいて、値ｘ（１００８）と値ｖ（１００８）との組合せを含む推定結果データが生成される。この例では保持されている推定結果データに含まれる値ｘ（１０００）の代わりに画像に基づく位置の推定結果を示す値ｘｐ（１０００）が推定基礎データに含まれることとなる。なお、位置を示す値ｘｐ（１０００）、速度を示す値ｖ（１０００）、及び、加速度を示す値ａ（１００８）に基づいて、位置を示す値ｘ（１００８）、及び、速度を示す値ｖ（１００８）は、一意に特定可能である。
【００４５】
また値ｘ（１００８）、値ｖｐ（１００８）、値ａ（１０１６）の組合せを含む推定基礎データに基づいて、値ｘ（１０１６）と値ｖ（１０１６）との組合せを含む推定結果データが生成される。この例では保持されている推定結果データに含まれる値ｖ（１００８）の代わりに画像に基づく速度の推定結果を示す値ｖｐ（１００８）が推定基礎データに含まれることとなる。なお、位置を示す値ｘ（１００８）、速度を示す値ｖｐ（１００８）、及び、加速度を示す値ａ（１０１６）に基づいて、位置を示す値ｘ（１０１６）、及び、速度を示す値ｖ（１０１６）は、一意に特定可能である。
【００４６】
同様に本実施形態では、値ｘｐ（２０００）、値ｖ（２０００）、値ａ（２００８）、の組合せを含む推定基礎データに基づいて、値ｘ（２００８）と値ｖ（２００８）との組合せを含む推定結果データが生成される。また値ｘ（２００８）、値ｖｐ（２００８）、値ａ（２００８）、の組合せを含む推定基礎データに基づいて、値ｘ（１０１６）と値ｖ（１０１６）との組合せを含む推定結果データが生成される。ここで位置を示す値ｘｐ（２０００）、速度を示す値ｖ（２０００）、及び、加速度を示す値ａ（２００８）に基づいて、位置を示す値ｘ（２００８）、及び、速度を示す値ｖ（２００８）は、一意に特定可能である。また位置を示す値ｘ（２００８）、速度を示す値ｖｐ（２００８）、及び、加速度を示す値ａ（２０１６）に基づいて、位置を示す値ｘ（２０１６）、及び、速度を示す値ｖ（２０１６）は、一意に特定可能である。
【００４７】
なお以上の説明における、位置や速度の推定結果や加速度の測定結果は、例えば三次元座標値で表現される値であってもよい。
【００４８】
また、８ミリ秒間隔よりも短い時間間隔で慣性センサによる加速度の計測結果に基づく、トラッカー１２の位置及び速度の推定が行われてもよい。例えば２ミリ秒間隔で慣性センサによる加速度の計測結果に基づく、トラッカー１２の位置及び速度の推定が行われてもよい。
【００４９】
また画像に基づく位置の推定結果が推定基礎データとして用いられるタイミングと画像に基づく速度の推定結果が推定基礎データとして用いられるタイミングとが同じであっても構わない。例えば推定開始からの経過時間が１００８ミリ秒であるタイミングに撮影された画像に基づく位置の推定結果を示す値をｘｐ（１００８）とする。この場合、値ｘｐ（１００８）と、値ｖｐ（１００８）と、値ａ（１０１６）との組合せを含む推定基礎データに基づいて、値ｘ（１０１６）と値ｖ（１０１６）との組合せを含む推定結果データが生成されてもよい。
【００５０】
ＳＬＡＭの技術などといったカメラが撮影する画像に基づいてトラッカー１２の位置の推定を行う場合、画像処理を行う必要があることから消費電力が大きくなる。特に例えば８ミリ秒間隔などといった短い時間間隔で画像に基づくトラッカー１２の位置の推定を行う場合には、消費電力は相当大きくなるおそれがある。
【００５１】
一方で慣性センサによる加速度の計測結果に基づいて、トラッカー１２の位置を推定する場合、二重積分に伴う誤差が蓄積することにより計測開始からの時間が経過するにつれて推定精度が悪くなっていく。
【００５２】
本実施形態では上述のように画像の撮影が常時行われる必要がない。その一方で、撮影タイミングが到来すると撮影された画像に基づく位置の推定が行え、その結果によって慣性センサによる加速度の計測結果に基づく位置の推定において蓄積された誤差を解消できる。このようにして本発明によれば、消費電力を低減しつつ精度よくトラッカー１２の位置を推定できることとなる。
【００５３】
以下、本実施形態に係るトラッカー１２の機能、及び、トラッカー１２で実行される処理についてさらに説明する。
【００５４】
図４は、本実施形態に係るトラッカー１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るトラッカー１２で、図４に示す機能のすべてが実装される必要はなく、また、図４に示す機能以外の機能が実装されていても構わない。
【００５５】
図４に示すように、トラッカー１２には、機能的には例えば、推定結果記憶部５０、加速度データ取得部５２、速度情報取得部５４、推定結果更新部５６、推定結果送信部５８、信頼度決定部６０、取得制御部６２、が含まれる。推定結果記憶部５０は、記憶部３２を主として実装される。加速度データ取得部５２、速度情報取得部５４、取得制御部６２は、プロセッサ３０及びセンサ部４０を主として実装される。推定結果更新部５６、信頼度決定部６０は、プロセッサ３０を主として実装される。推定結果送信部５８は、通信部３４を主として実装される。
【００５６】
以上の機能は、コンピュータであるトラッカー１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ３０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してトラッカー１２に供給されてもよい。
【００５７】
推定結果記憶部５０は、本実施形態では例えば、トラッカー１２の位置の推定結果を記憶する。また推定結果記憶部５０は、トラッカー１２の速度の推定結果を記憶してもよい。例えば推定結果記憶部５０が上述の推定結果データを記憶してもよい。
【００５８】
加速度データ取得部５２は、本実施形態では例えば、トラッカー１２の加速度を検出するセンサから当該トラッカー１２の加速度を示す加速度データを繰り返し取得する。上述の例では８ミリ秒間隔で加速度データは繰り返し取得される。
【００５９】
速度情報取得部５４は、本実施形態では例えば、トラッカー１２の速度の情報を取得する。ここで例えば速度情報取得部５４が、順次到来する撮影タイミング毎に画像を撮影するカメラから、当該画像を取得してもよい。ここで上述のように、撮影タイミングが１０００ミリ秒毎に到来してもよい。そして撮影タイミングが到来した際に、当該撮影タイミングにおいて撮影された２枚の画像をカメラから取得してもよい。そして速度情報取得部５４が、当該２枚の画像の差分に基づいて、トラッカー１２の速度の情報を生成し、当該速度の情報を取得してもよい。
【００６０】
また速度情報取得部５４が取得する速度の情報は、２枚の画像の差分に基づくものに限定されない。例えば速度情報取得部５４が、レーザー等を用いた速度センサによる計測結果をトラッカー１２の速度の情報として取得してもよい。また例えば速度情報取得部５４は、露光時間を長く設定したカメラによって撮影された画像に表れている像のぶれに基づいてトラッカー１２の速度を推定してもよい。そして速度情報取得部５４は、当該速度を示す情報を生成して、生成された当該情報を取得してもよい。以下、２枚の画像の差分、速度センサによる計測結果、露光時間を長く設定したカメラによって撮影された画像などの、速度情報取得部５４が取得する速度の情報の生成の基礎となる情報を速度基礎情報と呼ぶこととする。なお速度基礎情報の他の例としては、撮影対象の動きが検出された際に当該動きを表す情報を通知するイベント駆動カメラが出力する情報や、超音波、ラジオ波の計測結果などが挙げられる。
【００６１】
推定結果更新部５６は、本実施形態では例えば、推定結果記憶部５０に記憶されているトラッカー１２の位置の推定結果と取得された最新の加速度データとに基づいて、当該推定結果を更新する。ここで上述のように推定結果更新部５６が、推定結果記憶部５０に記憶されている推定結果データと取得された最新の加速度データとに基づいて、新たな推定結果データを生成してもよい。そして推定結果更新部５６が、推定結果記憶部５０に記憶されている推定結果データを、生成された新たな推定結果データに更新してもよい。
【００６２】
ここで例えば、速度情報取得部５４によりトラッカー１２の速度の情報が取得されたとする。この際には、推定結果更新部５６は、速度情報取得部５４によって取得されたトラッカー１２の速度の情報と取得された最新の加速度データとに基づいて、新たな推定結果データを生成してもよい。そして推定結果更新部５６が、推定結果記憶部５０に記憶されている推定結果データを、生成された新たに推定結果データに更新してもよい。
【００６３】
また推定結果更新部５６は、速度情報取得部５４によって取得された２枚の画像のうちの少なくとも１枚に基づいて、トラッカー１２の位置を推定してもよい。上述の例ではＳＬＡＭの技術を用いてトラッカー１２の位置が推定されている。そして推定結果更新部５６は、画像に基づいて推定されるトラッカー１２の位置と取得された最新の加速度データとに基づいて、新たな推定結果データを生成してもよい。そして推定結果更新部５６が、推定結果記憶部５０に記憶されている推定結果データを、生成された新たに推定結果データに更新してもよい。
【００６４】
推定結果送信部５８は、本実施形態では例えば、トラッカー１２の位置の推定結果をエンタテインメント装置１４に送信する。ここで推定結果送信部５８が、トラッカー１２の位置の推定結果だけでなく、例えばトラッカー１２の速度の推定結果や、トラッカー１２の加速度の計測結果を送信してもよい。
【００６５】
エンタテインメント装置１４は、受信した推定結果に応じたゲーム処理等の各種の処理を実行したり、当該処理の結果に応じた映像をディスプレイ１８に表示させたりしてもよい。
【００６６】
信頼度決定部６０は、本実施形態では例えば、速度情報取得部５４が取得するトラッカー１２の速度の情報の信頼度を決定する。例えばＳＬＡＭの技術を用いてトラッカー１２の位置を推定する際に、速度情報取得部５４が取得した画像と環境地図とのマッチングができた場合はできなかった場合よりも高くなるよう信頼度が決定されてもよい。また例えば速度情報取得部５４が取得した画像の輝度が高い場合は低い場合よりも高くなるよう信頼度が決定されてもよい。また例えば速度情報取得部５４が取得した画像にブラーがかかっていない場合はかかっている場合よりも高くなるよう信頼度が決定されてもよい。また例えば速度を計測する速度センサが受け付ける信号の強度が強い場合は弱い場合よりも高くなるよう信頼度が決定されてもよい。
【００６７】
取得制御部６２は、本実施形態では例えば、信頼度決定部６０により決定される速度の情報の信頼度に基づいて、単位時間あたりに速度情報取得部５４が速度の情報を取得する回数を制御する。ここで例えば、取得制御部６２は、速度の情報の信頼度が高い場合は低い場合よりも単位時間あたりに速度情報取得部５４が速度の情報を取得する回数が減るよう制御してもよい。こうすれば速度の情報の信頼度が高い場合には消費電力のさらなる低減が可能となる。
【００６８】
ここで、本実施形態に係るトラッカー１２で行われる処理の流れの一例を、図５に例示するフロー図を参照しながら説明する。本処理例では、以下のＳ１０１〜Ｓ１０６に示す処理が所定の時間間隔（ここでは例えば８ミリ秒）で繰り返し実行される。なお図５に例示する処理とは非同期に、撮影タイミングが到来した際には、カメラによる画像の撮影、当該画像の取得、及び、撮影された画像に基づく位置や速度の推定が並行して実行されていることとする。また以下の処理例では、本サイクルにおける処理によって値ｘ（ｔ）と値ｖ（ｔ）との組合せを含む推定結果データが生成されることとする。
【００６９】
まず、加速度データ取得部５２が、本サイクルにおける、トラッカー１２の加速度を示す加速度データを取得する（Ｓ１０１）。
【００７０】
そして、推定結果更新部５６は、本サイクルにおいて、速度情報取得部５４が取得した画像に基づく位置又は速度の推定が実行されたか否かを確認する（Ｓ１０２）。
【００７１】
そいて、推定結果更新部５６は、Ｓ１０２に示す処理における確認の結果に基づいて、推定基礎データを生成する（Ｓ１０３）。
【００７２】
ここで例えば、速度情報取得部５４が取得した画像に基づく位置又は速度の推定のいずれも実行されていない場合は、値ｘ（ｔ−８）、値ｖ（ｔ−８）、及び、値ａ（ｔ）の組合せを含む推定基礎データが生成される。また速度情報取得部５４が取得した画像に基づく位置の推定が実行されている場合は、値ｘｐ（ｔ−８）、値ｖ（ｔ−８）、及び、値ａ（ｔ）の組合せを含む推定基礎データが生成される。また速度情報取得部５４が取得した画像に基づく速度の推定が実行されている場合は、値ｘ（ｔ−８）、値ｖｐ（ｔ−８）、値ａ（ｔ）の組合せを含む推定基礎データが生成される。なおここで値ｘｐ（ｔ−８）、値ｖｐ（ｔ−８）、及び、値ａ（ｔ）の組合せを含む推定基礎データが生成されてもよい。
【００７３】
そして、推定結果更新部５６が、Ｓ１０３に示す処理で生成された推定基礎データに基づいて、新たな推定結果データを生成する（Ｓ１０４）。ここでは例えば値ｘ（ｔ）と値ｖ（ｔ）との組合せを含む推定結果データが生成される。
【００７４】
そして推定結果更新部５６が、推定結果記憶部５０に記憶されている推定結果データを、Ｓ１０４に示す処理で生成された推定結果データに更新する（Ｓ１０５）。
【００７５】
そして推定結果送信部５８が、Ｓ１０４に示す処理で生成された推定結果データをエンタテインメント装置１４に送信して（Ｓ１０６）、Ｓ１０１に示す処理に戻る。
【００７６】
なお、本発明は上述の実施形態に限定されるものではない。
【００７７】
例えば図４に示す機能の一部又は全部が、エンタテインメント装置１４や中継装置１６で実装されても構わない。
【００７８】
また例えば、画像ベース推定部５６が、トラッカー１２の位置又は速度の推定を、カメラマイクユニット２０に含まれるカメラ２０ａが撮影する画像に基づいて実行してもよい。
【００７９】
また例えば、慣性センサがトラッカー１２の角速度をさらに検出してもよい。そして速度情報取得部５４が、慣性センサによって検出される角速度に応じた速度の情報を取得してもよい。例えば速度情報取得部５４が、上述の速度基礎情報と、慣性センサが検出したトラッカー１２の角速度と、に基づいて、トラッカー１２の速度の情報を生成してもよい。そして速度情報取得部５４が、当該速度の情報を取得してもよい。
【００８０】
例えば速度情報取得部５４が、撮影タイミングが到来した際に、当該撮影タイミングにおいて撮影された２枚の画像をカメラから取得したとする。この場合、速度情報取得部５４が、当該２枚の画像の差分だけでなく、慣性センサが検出した当該撮影タイミングにおけるトラッカー１２の角速度にさらに基づいて、トラッカー１２の速度の情報を生成してもよい。そして速度情報取得部５４が、当該速度の情報を取得してもよい。
【００８１】
速度基礎情報に、速度に対応する情報と、角速度に対応する情報と、が混在して表れていることがある。そして一般的には、慣性センサは角速度を精度よく計測できる。そのため慣性センサにより計測される角速度が速度基礎情報に表れている角速度に対応する情報よりもトラッカー１２の角速度を精度よく表していることがある。
【００８２】
このことを踏まえ、例えば上述のようにすることで、速度基礎情報に基づいてトラッカー１２の速度がより精度よく推定されることが期待できる。ここで例えば速度基礎情報に表れている角速度に対応する情報の代わりに慣性センサによるトラッカー１２の角速度の計測結果を用いてトラッカー１２の速度の情報が生成されるようにしてもよい。そしてこのようにして生成される速度の情報に基づいて、上述の値ｘ（ｔ）と値ｖ（ｔ）との組合せを含む推定結果データが生成されるようにすることで、トラッカー１２の速度や位置の推定精度が向上することとなる。
【００８３】
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【図１】
2019176150.tif 000003
【図２】
2019176150.tif 000004
【図３】
2019176150.tif 000005
【図４】
2019176150.tif 000006
【図５】
2019176150.tif 000007
【手続補正書】
【提出日】令和2年6月9日(2020.6.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
トラッカーの位置の推定結果を記憶する推定結果記憶部と、
前記トラッカーの加速度を検出するセンサから当該トラッカーの加速度を示す加速度データを繰り返し取得する加速度データ取得部と、
前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果と取得された最新の前記加速度データとに基づいて、当該推定結果を更新する推定結果更新部と、
前記加速度データに基づく速度とは異なる前記トラッカーの速度の情報を前記センサによる前記トラッカーの加速度の計測よりも低い頻度で取得する速度情報取得部と、を含み、
前記推定結果更新部は、前記速度情報取得部により前記速度の情報が取得された際には、当該速度の情報と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新する、
ことを特徴とする位置推定装置。
【請求項２】
前記速度情報取得部は、順次到来する撮影タイミング毎に２枚の画像を撮影するカメラから、当該２枚の画像を取得し、
前記推定結果更新部は、前記速度情報取得部により前記２枚の画像が取得された際には、当該２枚の画像に基づいて推定される前記トラッカーの速度と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新する、
ことを特徴とする請求項１に記載の位置推定装置。
【請求項３】
前記推定結果更新部は、前記速度情報取得部により前記２枚の画像が取得された際には、当該２枚の画像のうちの少なくとも１枚に基づいて推定される前記トラッカーの位置と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新する、
ことを特徴とする請求項２に記載の位置推定装置。
【請求項４】
前記速度情報取得部が取得する前記速度の情報の信頼度を決定する信頼度決定部と、
前記信頼度に基づいて、単位時間あたりに前記速度情報取得部が前記速度の情報を取得する回数を制御する取得制御部、をさらに含む、
ことを特徴とする請求項１から３のいずれか一項に記載の位置推定装置。
【請求項５】
前記センサは、前記トラッカーの角速度をさらに検出し、
前記速度情報取得部は、前記センサにより検出される前記トラッカーの角速度に応じた前記速度の情報を取得する、
ことを特徴とする請求項１から４のいずれか一項に記載の位置推定装置。
【請求項６】
トラッカーの加速度を検出するセンサから当該トラッカーの加速度を示す加速度データを繰り返し取得する加速度データ取得ステップと、
トラッカーの位置の推定結果を記憶する推定結果記憶部に記憶されている前記トラッカーの位置の推定結果と取得された最新の前記加速度データとに基づいて、当該推定結果を更新する推定結果更新ステップと、
前記加速度データに基づく速度とは異なる前記トラッカーの速度の情報を前記センサによる前記トラッカーの加速度の計測よりも低い頻度で取得する速度情報取得ステップと、を含み、
前記推定結果更新ステップでは、前記速度情報取得ステップで前記速度の情報が取得された際には、当該速度の情報と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新する、
ことを特徴とする位置推定方法。
【請求項７】
トラッカーの加速度を検出するセンサから当該トラッカーの加速度を示す加速度データを繰り返し取得する加速度データ取得手順、
トラッカーの位置の推定結果を記憶する推定結果記憶部に記憶されている前記トラッカーの位置の推定結果と取得された最新の前記加速度データとに基づいて、当該推定結果を更新する推定結果更新手順、
前記加速度データに基づく速度とは異なる前記トラッカーの速度の情報を前記センサによる前記トラッカーの加速度の計測よりも低い頻度で取得する速度情報取得手順、をコンピュータに実行させ、
前記推定結果更新手順では、前記速度情報取得手順で前記速度の情報が取得された際には、当該速度の情報と取得された最新の前記加速度データとに基づいて、前記推定結果記憶部に記憶されている前記トラッカーの位置の推定結果を更新する、
ことを特徴とするプログラム。
【国際調査報告】
2019176150.tif 000008
2019176150.tif 000009
2019176150.tif 000010
2019176150.tif 000011