(57)【要約】【課題】被装着物の空間位置と姿勢及び動きを正確に認識できる運動検出装置を提供すること。【解決手段】加速度センサ２０又は角速度センサ１０の少なくとも一方を用いて測定対象物の慣性運動を検出する慣性運動検出部３０と、測定対象物の周囲の画像を撮像する撮像部４０と、この撮像部４０により異なる時点で撮像された画像を比較する画像比較部５０と、この画像比較部５０により画像を比較した結果を用いて前記測定対象物の位置及び姿勢を検出するカメラ位置姿勢獲得部６０と、慣性運動検出部３０及びカメラ位置姿勢獲得部６０によって得られた情報をもとに、測定対象物の空間上での位置及び姿勢を検出する空間位置姿勢獲得部７０とから構成する。【選択図】    図１
2004157850.tif 000002
【特許請求の範囲】
【請求項１】
測定対象物の位置及び姿勢を検出する運動検出装置であって、
加速度センサ又は角速度センサの少なくとも一方を用いて前記測定対象物の慣性運動を検出する慣性運動検出手段と、
前記慣性運動検出手段と固定され前記測定対象物の周囲の画像を撮像する撮像手段と、
前記撮像手段により異なる時点で撮像された画像を比較する画像比較手段と、前記画像比較手段により画像を比較した結果を用いて前記測定対象物の位置及び姿勢を検出するカメラ位置姿勢獲得手段と、
前記慣性運動検出手段及び前記カメラ位置姿勢獲得手段によって得られた情報をもとに、前記測定対象物の空間上での位置及び姿勢を検出する空間位置姿勢獲得手段と、
を具備することを特徴とする運動検出装置。
【請求項２】
前記撮像手段は画像を射影する光学手段をさらに具備し、
前記光学手段は、少なくとも４枚の平面鏡を含み、これら少なくとも４枚の平面鏡により、前記測定対象物の周囲の画像を前記撮像手段に射影する光学系を備えることを特徴とする請求項１に記載の運動検出装置。
【請求項３】
前記撮像手段は画像を射影する光学手段をさらに具備し、
前記光学手段は、曲面ミラーにより、前記測定対象物の周囲の画像を前記撮像手段に射影する光学系を備えることを特徴とする請求項１に記載の運動検出装置。
【請求項４】
前記撮像手段は画像を射影する光学手段をさらに具備し、
前記光学手段は、魚眼レンズにより、前記測定対象物の周囲の画像を前記撮像手段に射影する光学系を備えることを特徴とする請求項１に記載の運動検出装置。
【請求項５】
身体の一部に装着して、その装着した部位の位置及び姿勢を検出することを特徴とする請求項２乃至４のいずれか一つに記載の運動検出装置。
【請求項６】
手の甲に装着して、手の位置及び姿勢を検出することを特徴とする請求項２乃至４のいずれか一つに記載の運動検出装置。
【請求項７】
頭部に装着して、頭部の位置及び姿勢を検出することを特徴とする請求項２乃至４のいずれか一つに記載の運動検出装置。
【請求項８】
前記画像比較手段は、登録時の姿勢情報に対して、前記慣性運動検出手段によって検出した現在の位置及び姿勢と前記撮像手段の射影変換の関係とから特徴点の移動位置及び探索範囲を推定する特徴点移動推定手段を有し、
前記特徴点移動推定手段は、追跡中の特徴点を現在のフレームから探索する画像マッチング処理を行うことを特徴とする請求項１に記載の運動検出装置。
【請求項９】
前記特徴点移動推定手段は、登録時の前記特徴点の位置座標と、前記特徴点の周辺画像における各画素の情報と、この各画素の情報を追跡するための各画素の移動推定画素位置情報と、前記慣性運動検出手段によって検出された現在の位置姿勢情報と、前記撮像手段の射影変換の関係とから、各画素の移動位置を推定し、特徴点移動後の画像を探索範囲内で走査して画像マッチング処理を行うことを特徴とする請求項８に記載の運動検出装置。
【請求項１０】
前記特徴点移動推定手段は、登録時において前記特徴点を含む特徴点画像点における各画素の情報と、各画素の位置座標と、前記位置座標を追跡するための各画素の移動推定画素位置情報と、前記慣性運動検出手段によって検出された現在の位置姿勢情報と、前記撮像手段の射影変換の関係とから、各画素の移動位置を推定し、特徴点移動後の画像を探索範囲内で走査して画像マッチング処理を行うことを特徴とする請求項８に記載の運動検出装置。
【請求項１１】
前記カメラ位置姿勢獲得手段は、各特徴点の運動パラメータと特徴点に対して推定された奥行き情報から求められたカメラ位置姿勢情報より、各特徴点を含む画像から計測した運動パラメータとカメラ位置姿勢情報から求めた運動ベクトルとの誤差を求め、この誤差がある閾値を超える特徴点は無効な特徴点と判定する無効特徴点判定手段をさらに有することを特徴とする請求項１に記載の運動検出装置。
【請求項１２】
前記無効特徴点判定手段は、前記無効な特徴点と判定した特徴点に関する情報を、その情報が消滅するまで、前記無効な特徴点の位置情報を追跡する無効特徴点追跡手段をさらに有することを特徴とする請求項１１に記載の運動検出装置。
【請求項１３】
前記カメラ位置姿勢獲得手段は、
特徴点の新規登録において、特徴点情報としてフレーム画像から見た３次元情報と現在のカメラフレームとを登録し、
前記特徴点が現れてから消えるまでの間の特徴点を追跡し、それに応じて前記フレーム画像から見た３次元情報を更新し、
さらに、別の特徴点が現れたときには、現在のカメラフレームから求められる前記別の特徴点の３次元情報を登録することにより、
連続する画像の中に現れては消えてゆく複数の特徴点画像の位置を追跡し、前記複数の特徴の動きよりワールド座標空間に対する現在のカメラフレームを獲得することを特徴とする請求項１に記載の運動検出装置。
【請求項１４】
前記撮像手段は、画像を射影する光学手段をさらに具備し、
前記画像比較手段は、前記光学手段の入射光線軸を識別し、区分する画像射影区分マスク手段をさらに有することを特徴とする請求項１に記載の運動検出装置。
【請求項１５】
前記画像比較手段は、特徴点画像の奥行き情報を解析し、その解析した奥行き情報に応じて登録時の特徴点画像の大きさと特徴点探索範囲又は特徴点の登録数を切り替える適応型特徴点画像設定手段とをさらに有することを特徴とする請求項１に記載の運動検出装置。
【請求項１６】
既知の大きさ又は間隔の特徴点認識用識別マークの画像を初期化の時に取り込み、この取り込んだ特徴点認識用識別マークの画像の大きさ又は間隔より奥行き情報を求めて登録する初期化手段をさらに有することを特徴とする請求項５乃至７のいずれか一つに記載の運動検出装置。
【請求項１７】
予め定められた位置に設けられた特徴点認識用識別マークの画像を、この特徴点認識用識別マークから既知の距離だけ離れた位置から取り込み、そのときの特徴点の奥行き情報を初期登録する初期化手段をさらに有することを特徴とする請求項５乃至７のいずれか一つに記載の運動検出装置。
【請求項１８】
初期化の時に身体の一部又は全体の画像を取り込み、その取り込んだ画像と予め登録しておいた身体の一部又は全体の形状や大きさから求められる特徴点の奥行き情報を初期登録する初期化手段をさらに具備することを特徴とする請求項５乃至７のいずれか一つに記載の運動検出装置。
【請求項１９】
初期化の時に、身体の特徴部の画像を既知の距離から取り込み、この取り込んだ画像から特徴点の奥行き情報を初期登録する初期化手段をさらに具備することを特徴とする請求項５乃至７のいずれか一つに記載の運動検出装置。
【請求項２０】
初期化の時に、装着部から予め定められた方向及び距離の画像を取り込み、この取り込んだ画像中の特徴点の奥行き情報を初期登録する初期化手段をさらに具備することを特徴とする請求項５乃至７のいずれか一つに記載の運動検出装置。
【請求項２１】
初期化の時に、装着部位を規定の距離を移動させる動作を行い、このとき取り込まれた画像により、この画像中の特徴点の奥行き情報を初期登録する初期化手段をさらに具備することを特徴とする請求項５乃至７のいずれか一つに記載の運動検出装置。
【請求項２２】
手に把持あるいは持って操作する物体に固定あるいは装着して、その物体の位置及び姿勢を検出することを特徴とする請求項２乃至４のいずれか一つに記載の運動検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、物体の位置、姿勢及び動きを検出する運動検出装置に関するものである。
【０００２】
【従来の技術】
操作者の手にセンサを装着し、手の形状や動きを検出してこの検出結果に基づいて信号を発生させる技術は従来から知られていた。
例えば、特許文献１では、光源と光センサとを光ファイバ等の導光路で接続してなるセンサを手の関節に複数取り付けて当該関節の曲がりを検出する技術が提案されている。
【０００３】
また、特許文献２では、手袋を嵌めた手の甲に２つの加速度センサを配置して手の２次元方向の移動を検出し、また、手の人差し指の関節部分に１つのストレインゲージを配置して当該人差し指の屈伸運動を検出する、マウス代用のコンピュータ入力装置が提案されている。
【０００４】
さらに、本出願人による特許文献３では、手の甲に位置及び姿勢を検出する３軸角速度センサと３軸加速度センサとを配置し、人差し指の端部、中指の端部、親指の端部及び中央部に指の折り曲げを検出する１軸角速度センサを配置して手の甲の位置・姿勢と指の姿勢とから手の形状を推定して、この手の形状や動きなどのジェスチャに基づいてコマンド信号を生成する操作入力装置が提案されている。
【０００５】
【特許文献１】
米国特許第５０９２５２号公報
【０００６】
【特許文献２】
特開平９−６２４３７号公報
【０００７】
【特許文献３】
特開２０００−１３２３０５号公報
【０００８】
【発明が解決しようとする課題】
前記特許文献３で提案されている技術、即ち、操作者の手の甲の位置及び姿勢を３軸の角速度センサと３軸の加速度センサを含む慣性センサで検出し、指の姿勢を端部の１軸の角速度で検出してこれらのデータに基づいて手の形状を推定し、この手の形状に基づいてコマンド信号を発生させる技術は、前記特許文献１や前記特許文献２のような関節部にセンサを配置する技術と比較して、個人の手の大きさを考慮してセンサ位置を決定する必要がないので、汎用性があり、誰でも簡単に利用できる。
【０００９】
しかし、操作者の手の甲の速度、位置などの並進運動の検出に加速度センサの時間積分を利用して、手の甲の位置・姿勢を正しく求めようとする技術では、手が停止している場合と定速移動をしている場合の区別が困難である。つまり、前述の技術では、手が停止している状態でのジェスチャと、手をほぼ一定の速度で動かすようなジェスチャとを識別することが困難であった。そこで、イメージセンサによって撮像される画像の中の自然特徴点の二軸方向の動きを検出する画像ＩＣセンサと組合せ、周辺の自然画像の動きと慣性センサとの対比をとることにより、手の甲の姿勢を正しく求めようとする方式が考えられている。
【００１０】
しかしながら、この画像ＩＣセンサを用いる場合も、限られた画像ＩＣセンサ数の場合には、予めどの方向の画像を取り込むようにしておくかが重要な問題となる。また、多くの方向の画像を同時に入力しようとすると、その画像ＩＣセンサ数を増やさなければならない。このため、構成要素が増えてしまい、また処理も重たくなってしまう。
【００１１】
本発明はこのような課題に着目してなされたものであり、その目的は、被装着物の空間位置と姿勢及び動きを正確に認識できる運動検出装置及びこのような運動検出装置を直接あるいは間接的に身体に装着することで、体の部分の動きやジェスチャなどを認識できる運動検出装置を提供することにある。また、このような運動検出装置を装着した物体を把持あるいは持ちながら操作することで、操作する装置の位置、姿勢などの動きを検出する運動検出装置を提供することにある。
【００１２】
【課題を解決するための手段】
前記の目的を達成するために、第１の発明による運動検出装置は、測定対象物の位置及び姿勢を検出する運動検出装置であって、加速度センサ又は角速度センサの少なくとも一方を用いて前記測定対象物の慣性運動を検出する慣性運動検出手段と、前記慣性運動検出手段と固定され前記測定対象物の周囲の画像を撮像する撮像手段と、前記撮像手段により異なる時点で撮像された画像を比較する画像比較手段と、前記画像比較手段により画像を比較した結果を用いて前記測定対象物の位置及び姿勢を検出するカメラ位置姿勢獲得手段と、前記慣性運動検出手段及び前記カメラ位置姿勢獲得手段によって得られた情報をもとに、前記測定対象物の空間上での位置及び姿勢を検出する空間位置姿勢獲得手段とを具備することを特徴とする。
この第１の発明による運動検出装置では、角速度センサ又は加速度センサの信号が慣性運動検出手段により取り込まれ、これらのセンサの姿勢情報が求められる。また、撮像手段により周辺の画像が撮影され、連続して取り込まれた画像から特徴点が抽出される。画像比較手段は異なる時点での特徴点の位置を比較することにより特徴点の動きが求められる。さらに慣性運動検出手段によって求められた測定対象物の慣性運動と、カメラ位置姿勢検出手段により検出された空間内での測定対象物の位置姿勢の情報をもとにして測定対象物の空間上での位置及び姿勢が決定される。
【００１３】
また、前記の目的を達成するために、第２の発明による運動検出装置は、第１の発明において、前記撮像手段は画像を射影する光学手段をさらに具備し、前記光学手段は、少なくとも４枚の平面鏡を含み、これら少なくとも４枚の平面鏡により、前記測定対象物の周囲の画像を前記撮像手段に射影する光学系を備えることを特徴とする。
この第２の発明による運動検出装置では、少なくとも４面のミラーを用いて周辺画像を撮像手段に射影することにより、レンズ光軸と直交する４つの画像と、レンズ光軸方向の合計５つの領域に分割された中心射影像となる。
【００１４】
また、前記の目的を達成するために、第３の発明による運動検出装置は、第１の発明において、前記撮像手段は画像を射影する光学手段をさらに具備し、前記光学手段は、曲面ミラーにより、前記測定対象物の周囲の画像を前記撮像手段に射影する光学系を備えることを特徴とする。
この第３の発明による運動検出装置では、結像レンズ系の光軸と直交する全方向の画像と光軸方向の画像と、さらに中央を透過した画像と同じ方向の画像が射影される。
【００１５】
また、前記の目的を達成するために、第４の発明による運動検出装置は、第１の発明において、前記撮像手段は画像を射影する光学手段をさらに具備し、前記光学手段は、魚眼レンズにより、前記測定対象物の周囲の画像を前記撮像手段に射影する光学系を備えることを特徴とする。
この第４の発明による運動検出装置では、魚眼レンズにより全天周の画像が撮像手段上に射影される。
【００１６】
また、前記の目的を達成するために、第５の発明による運動検出装置は、第２乃至第４の発明において、身体の一部に装着して、その装着した部位の位置及び姿勢を検出することを特徴とする。
また、前記の目的を達成するために、第６の発明による運動検出装置は、第２乃至第４の発明において、手の甲に装着して、手の位置及び姿勢を検出することを特徴とする。
また、前記の目的を達成するために、第７の発明による運動検出装置は、第２乃至第４の発明において、頭部に装着して、頭部の位置及び姿勢を検出することを特徴とする。
これら、第５〜第７の発明による運動検出装置では、運動検出装置を装着した身体の位置及び姿勢が検出される。
【００１７】
また、前記の目的を達成するために、第８の発明による運動検出装置は、第１の発明において、前記画像比較手段は、登録時の姿勢情報に対して、前記慣性運動検出手段によって検出した現在の位置及び姿勢と前記撮像手段の射影変換の関係とから特徴点の移動位置及び探索範囲を推定する特徴点移動推定手段を有し、前記特徴点移動推定手段は、追跡中の特徴点を現在のフレームから探索する画像マッチング処理を行うことを特徴とする。
この第８の発明による運動検出装置では、画像処理手段に含まれる特徴点移動推定手段によって追跡中の特徴点が現在のフレームから探索される。
【００１８】
また、前記の目的を達成するために、第９の発明による運動検出装置は、第８の発明において、前記特徴点移動推定手段は、登録時の前記特徴点の位置座標と、前記特徴点の周辺画像における各画素の情報と、この各画素の情報を追跡するための各画素の移動推定画素位置情報と、前記慣性運動検出手段によって検出された現在の位置姿勢情報と、前記撮像手段の射影変換の関係とから、各画素の移動位置を推定し、特徴点移動後の画像を探索範囲内で走査して画像マッチング処理を行うことを特徴とする。
この第９の発明による運動検出装置では、移動推定画像位置情報を画素毎に求めて、特徴点周辺の各画素の情報が追跡される。また、画像マッチング処理において、基準画像の１画素毎に光学系・画像入力系を含めた射影変換を推定した画像位置の座標が対応付けられる。
【００１９】
また、前記の目的を達成するために、第１０の発明による運動検出装置は、第８の発明において、前記特徴点移動推定手段は、登録時において前記特徴点を含む特徴点画像点における各画素の情報と、各画素の位置座標と、前記位置座標を追跡するための各画素の移動推定画素位置情報と、前記慣性運動検出手段によって検出された現在の位置姿勢情報と、前記撮像手段の射影変換の関係とから、各画素の移動位置を推定し、特徴点移動後の画像を探索範囲内で走査して画像マッチング処理を行うことを特徴とする。
この第１０の発明による運動検出装置では、登録時の特徴点画像の各画素について、画素の位置を推定して位置座標が追跡される。この追跡された位置座標と慣性運動検出手段からの現在の位置姿勢情報と、撮像手段からの情報とから推定された各画素の移動位置に基づいて探索範囲が決定され、その範囲内において走査が行われることによりマッチング処理がなされる。
【００２０】
また、前記の目的を達成するために、第１１の発明による運動検出装置は、第１の発明において、前記カメラ位置姿勢獲得手段は、各特徴点の運動パラメータと特徴点に対して推定された奥行き情報から求められたカメラ位置姿勢情報より、各特徴点を含む画像から計測した運動パラメータとカメラ位置姿勢情報から求めた運動ベクトルとの誤差を求め、この誤差がある閾値を超える特徴点は無効な特徴点と判定する無効特徴点判定手段をさらに有することを特徴とする。
この第１１の発明による運動検出装置では、カメラ位置姿勢獲得手段によって、各特徴点の運動パラメータと特徴点に基づいて推定された奥行き情報とからカメラ位置姿勢情報が推定される。また、各特徴点の画像から運動パラメータが計測され、各特徴点の画像から計測された運動パラメータとカメラ位置姿勢情報から推定された運動パラメータとが比較される。そして、比較された誤差がある閾値を超えるものについては無効な特徴点と判定される。
【００２１】
また、前記の目的を達成するために、第１２の発明による運動検出装置は、第１１の発明において、前記無効特徴点判定手段は、前記無効な特徴点と判定した特徴点に関する情報を、その情報が消滅するまで、前記無効な特徴点の位置情報を追跡する無効特徴点追跡手段さらに有することを特徴とする。
この第１２の発明による運動検出装置では、無効特徴点判定手段によって無効特徴点が消滅するまで無効特徴点の位置情報を追跡することで、無効特徴点の位置が常に把握される。
【００２２】
また、前記の目的を達成するために、第１３の発明による運動検出装置は、第１の発明において、前記カメラ位置姿勢獲得手段は、特徴点の新規登録において、特徴点情報としてフレーム画像から見た３次元情報と現在のカメラフレームとを登録し、前記特徴点が現れてから消えるまでの間の特徴点を追跡し、それに応じて前記フレーム画像から見た３次元情報を更新し、さらに、別の特徴点が現れたときには、現在のカメラフレームから求められる前記別の特徴点の３次元情報を登録することにより、連続する画像の中に現れては消えてゆく複数の特徴点画像の位置を追跡し、前記複数の特徴の動きよりワールド座標空間に対する現在のカメラフレームを獲得することを特徴とする。
この第１３の発明による運動検出装置では、特徴点が現れてから消えるまでの間、特徴点の３次元情報が追跡され更新される。また、新たに特徴点が現れた場合には現在の特徴点情報の３次元情報が引き継がれる。
【００２３】
また、前記の目的を達成するために、第１４の発明による運動検出装置は、第１の発明において、前記撮像手段は、画像を射影する光学手段をさらに具備し、前記画像比較手段は、前記光学手段の入力光線軸を識別し、区分する画像射影区分マスク手段をさらに有することを特徴とする。
この第１４の発明による運動検出装置では、撮像手段に画像を射影する光学系の入力光線軸を識別し区分するマスクが設けられている。
【００２４】
また、前記の目的を達成するために、第１５の発明による運動検出装置は、第１の発明において、前記画像比較手段は、特徴点画像の奥行き情報を解析し、その解析した奥行き情報に応じて登録時の特徴点画像の大きさと特徴点探索範囲又は特徴点の登録数を切り替える適応型特徴点画像設定手段とをさらに有することを特徴とする。
この第１５の発明による運動検出装置では、適応型特徴点設定手段によって特徴点画像の奥行き情報が解析され、その解析された値に応じて登録時の特徴点画像の大きさと特徴点の探索範囲又は特徴点登録数が切り替えられる。
【００２５】
また、前記の目的を達成するために、第１６の発明による運動検出装置は、第５乃至７の発明において、既知の大きさ又は間隔の特徴点認識用識別マークの画像を初期化の時に取り込み、この取り込んだ特徴点認識用識別マークの画像の大きさ又は間隔より奥行き情報を求めて登録する初期化手段をさらに有することを特徴とする。
この第１６の発明による運動検出装置では、既知の大きさ、又は間隔の特徴点識別用マークの画像が初期化時に取り込まれ、これら取り込まれた特徴点の大きさ又は間隔情報から奥行き情報が求められ、登録される。
【００２６】
また、前記の目的を達成するために、第１７の発明による運動検出装置は、第５乃至７の発明において、予め定められた位置に設けられた特徴点認識用識別マークの画像を、この特徴点認識用識別マークから既知の距離だけ離れた位置から取り込み、そのときの特徴点の奥行き情報を初期登録する初期化手段をさらに有することを特徴とする。
この第１７の発明による運動検出装置では、予め定められた位置に設けられた特徴点識別マークの画像が、この特徴点識別マークから既知の距離だけ離れた距離から取り込まれ、この取り込まれた画像に基づいて奥行き情報が登録される。
【００２７】
また、前記の目的を達成するために、第１８の発明による運動検出装置は、第５乃至７の発明において、初期化の時に身体の一部又は全体の画像を取り込み、その取り込んだ画像と予め登録しておいた身体の一部又は全体の形状や大きさから求められる特徴点の奥行き情報を初期登録する初期化手段をさらに具備することを特徴とする。
この第１８の発明による運動検出装置では、初期化時に、身体の一部あるいは全体の形状や大きさから特徴点の奥行き情報が求められ、登録される。
【００２８】
また、前記の目的を達成するために、第１９の発明による運動検出装置は、第５乃至７の発明において、初期化の時に、身体の特徴部の画像を既知の距離から取り込み、この取り込んだ画像から特徴点の奥行き情報を初期登録する初期化手段をさらに具備することを特徴とする。
この第１９の発明による運動検出装置では、第５乃至７の発明において、初期化時に、運動検出装置の装着部からの入力画像に既知の距離の身体の特徴画像が取り込まれ、この取り込まれた画像に基づいて特徴点の奥行き情報が登録される。
【００２９】
また、前記の目的を達成するために、第２０の発明による運動検出装置は、第５乃至７の発明において、初期化の時に、装着部から予め定められた方向及び距離の画像を取り込み、この取り込んだ画像中の特徴点の奥行き情報を初期登録する初期化手段をさらに具備することを特徴とする。
この第２０の発明による運動検出装置では、初期化時に、予め定められた方向及び距離の画像が取り込まれ、この取り込まれた画像に基づいて特徴点の奥行き情報が登録される。
【００３０】
また、前記の目的を達成するために、第２１の発明による運動検出装置は、第５乃至７の発明において、初期化の時に、装着部位を規定の距離を移動させる動作を行い、このとき取り込まれた画像により、この画像中の特徴点の奥行き情報を初期登録する初期化手段をさらに具備することを特徴とする。
この第２１の発明による運動検出装置では、初期化時に、運動検出装置を装着した部位を規定の距離を移動させる動作を行い、このとき取り込まれた画像に基づいて特徴点の奥行き情報が登録される。
【００３１】
また、前記の目的を達成するために、第２２の発明に運動検出装置は、第２乃至４の発明において、手に把持あるいは持って操作する物体に固定あるいは装着して、その物体の位置及び姿勢を検出することを特徴とする。
この第２２の発明による運動検出装置は、物体に運動検出装置を装着することで、その物体の慣性運動の情報と周囲の画像から求めたカメラ位置姿勢情報をもとに、その物体の空間上での位置及び姿勢が検出される。
【００３２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
まず、本実施形態に係る運動検出装置を適用した空間センサシステムの概略構成を図１に示す。
【００３３】
空間センサフレーム｛Ｈ｝上でのＸＹＺ軸方向にそれぞれ配置された角速度センサ１０と加速度センサ２０からの出力信号は慣性運動検出部３０により慣性位置姿勢情報として取り込まれる。また、撮像部４０により連続的に取り込まれる周辺画像情報は、画像比較部５０に入力される。画像比較部５０は、入力された周辺画像情報から特徴点を抽出し、抽出した特徴点の動きを求める。この画像比較部５０からの比較情報と慣性運動検出部３０からの情報とから、カメラ位置姿勢獲得部６０によって、カメラセンサフレーム｛Ｃ｝が求められる。そして、慣性運動検出部３０とカメラ位置姿勢獲得部６０からのそれぞれの姿勢情報から、ワールド座標空間｛Ｗ｝における空間センサフレームが空間位置姿勢獲得部７０によって求められる。なお、画像比較部５０では計算処理コストを下げるために、慣性運動検出部３０からの情報を利用している。
【００３４】
次に、本実施形態の運動検出装置の適用例の概略を説明する。
図２は従来案の手形状及び姿勢位置検出用の慣性センサ群２と前述の撮像部４０等を含む空間センサ１を手に配置した様子を示したものである。
【００３５】
なお、慣性センサ群２は、操作者の手の位置と姿勢、及びその動きを検出するために、前述の、３軸の角速度センサ１０Ｘ、１０Ｙ、１０Ｚ（以下、角速度センサ１０と称する）及び３軸の加速度センサ２０Ｘ、２０Ｙ、２０Ｚ（以下、加速度センサ２０と称する）を含むセンサ群である。
したがって、手の甲の回転運動と並進運動は、加速度センサ２０と角速度センサ１０から得られる情報により求めることができる。しかし、加速度センサ２０には重力による重力加速度と慣性運動による慣性加速度が合成されているので、この重力加速度である傾き成分のフィルタリングや、角速度センサ１０の角速度を時間積分して得られる角度情報などにより、慣性加速度情報と重力加速度情報とを分離する。
【００３６】
このようにして求められた加速度センサ２０から出力される慣性運動による慣性加速度情報は、物体が定速移動又は停止している場合にはゼロとなるので、その運動状態の区別がつかなくなる。
さらに角速度センサ１０による空間上の回転姿勢情報には、ドリフトなどによる誤差が発生する。このため、角速度センサ１０による回転姿勢情報には加速度センサ２０の重力加速度を基準とするように補正処理が行われる。しかし、この補正では重力軸周りの回転に対する補正はできない。
【００３７】
そこで本実施形態では、手の甲の位置と姿勢を検出するための前述の慣性センサ群２に加えて、周囲の画像を射影する光学系とその画像より空間６軸方向の運動情報を検出する撮像部４０としての画像センサ４０ａを備える。この画像センサ４０ａは、光軸方向が手の甲Ｚ座標軸方向、つまり、手の甲面垂直方向と一致するように配置される。また、画像センサ４０ａのレンズは１８０度の画角を有した魚眼レンズとなっている。ただし、光軸方向や画角はこの限りではない。
【００３８】
したがって、装着者の手の甲の側の全天周の画像を同時に撮像し、それらの画像の動きより、画像センサ４０ａと周辺物体の相対的な運動を知ることができる。また、画像センサ４０ａと慣性センサ群２とをセンサ融合することで、手の甲の空間上での姿勢と位置をより高精度に測定することが可能となる。
【００３９】
ここで、運動検出装置として見る場合には、空間センサ１の中の加速度センサ２０と角速度センサ１０により構成される慣性センサ群２と周辺画像より姿勢を獲得する画像センサ４０ａによる構成に注目し、指先のセンサ群７は考えなくてもよい。
ワールド座標空間における各センサの姿勢フレームの関係を図３に示す。ワールド座標空間｛Ｗ｝に対する位置及び姿勢（ポーズ）を検出するセンサを空間（姿勢）センサ１とし、その求めようとする位置及び姿勢をあらわすフレームを空間センサフレーム｛Ｈ｝とする。慣性センサ群２は空間センサ１上に構成されている。ここでは、取扱いを簡単にするため、慣性センサ群２の姿勢検出の軸（慣性センサフレーム）は空間センサ１のフレームと一致しているものとする。また、画像センサ４０ａにより求められるカメラ位置姿勢情報はワールド座標空間｛Ｗ｝に対するカメラセンサフレーム｛Ｃ｝の位置姿勢（ポーズ）情報である。しかし、空間センサフレーム上に構築されているので、常に一定のフレーム変換マトリックス｛ＣＲＨ｝により一致させることができる。
【００４０】
図４（ａ）の上部に本実施形態の光学系の入射光線と射出光線の概略を示す。
【００４１】
この光学系は、入射角（θ）に対して結像面での像高（ｙ´）がｙ´＝２ｆ・ｓｉｎ（θ／２）となる等立体角射影レンズの例で構成されており、物体の見かけの面積、つまり、物体の立体角に比例した像となる。しかし像の形状は入射角が大きくなるに従って変化し、扁平になる。この光学系は超広角の魚眼レンズ等であれば、等距離射影レンズやその他の形式でも構成することが可能である。画角も１８０度の光学系となっており、天頂方向に光軸を向けた場合、全天周の画像が画像センサ４０ａ上に射影される。
【００４２】
入射光線は光学系の射影関係式より、天頂からの角度、つまり光軸中心に対する角度（θ）に対して、図４（ａ）の下部に示す射影画像の同心円の円周上に射影され、角度が大きくなる（水平方向に傾く）につれて、同心円の半径が大きくなる位置に射影位置が変わる。入射角が９０度の光線は水平線からの光線で、円周の端に射影されることとなる。また方位角方向からの光線は、射影画像の円の中心線の方位角と一致する線上に射影される。
したがって、射影画像上の円の中心位置と半径がわかっているので、画像センサ４０ａ上での２次元座標位置が与えられれば、入射光線の入射角と方位角を求めることができる。
【００４３】
図４（ａ）の下部は入射光線角に対する像高の関係と方位角の関係を、射影画像上で表した図である。また、この光学系による撮像系と慣性センサ群２を組み込んだ運動検出装置のその他の実装形態の例を図５（ａ）に示す。円筒形の筐体４６上部に超広角光学系のレンズ４１０を設置し、その下に撮像素子４２０を前述の射影条件となるように配置する。また、この光学系はピンホールカメラのような結像系となり、近点から遠点まで焦点の合った画像が結像される。さらに、その下部の角速度センサと加速度センサを含む慣性センサ群２は、直交する空間３軸方向を検出するように配置される。その他に、これらの信号を処理する処理系が組み込まれており、この装置単独で空間上の姿勢及び位置を検出することが可能な構成となっている。なお、このような光学系の撮像画像を図５（ｂ）に示す。また、図６及び図７にはその他の光学系の変形例と、その光学系による撮像画像を示す。
図６（ａ）は４枚の平面ミラー６ａ、６ｂ、６ｃ、６ｄを四角錐４１１の側面に貼り付けた構成の例である。この四角錐４１１は頂点側がカットされた形状で、それを逆さまに配置し、平面ミラー６ａ、６ｂ、６ｃ、６ｄに反射された像が結像レンズ系４７を通して撮像素子４２０に射影される。また、四角錐４１１の底面６ｆと上面６ｅは共に透明、あるいは透過であり、結像レンズ４７系の光軸方向の周辺像が透過して撮像素子４２０に射影される。したがって、図６（ｂ）のようにレンズ光軸と直交する４方向の画像６Ａ、６Ｂ、６Ｃ、６Ｄと光軸方向６Ｅの計５軸方向の画像が同時に撮像される。また、ミラー枚数をもっと増やすことでさらに多くの方向の画像を撮影することも可能である。この光学系による射影像は５つの領域に分割された中心射影のため、画像情報の一次変換式により特徴点の空間位置方向を容易に求めることができる。
【００４４】
次の図７（ａ）は放物面ミラーを利用した変形例である。放物面形状４１２の外側をミラーとしたものを配置する。放物面ミラー７ａに反射された周辺像が結像レンズ系４７を通して撮像素子４２０に射影される。この図７（ａ）の放射面形状４１２も前述したのと同様に、頂点はカットされている。上面７ｃと底面７ｂも共に透明、あるいは透過であり、結像レンズ系４７の光軸方向の周辺像が透過して撮像素子４２０に射影される。したがって、図７（ｂ）のように光軸と直交する全方向の画像７Ａと光軸方向の画像７Ｂが同時に撮像される。さらに放物面ミラー７ａでの反射像の画像は円形となるが、この外側には中央の透過した画像と同じ方向の画像７Ｄが射影される。よって前述の平面ミラーのタイプよりも、より多くの画像を同時に撮像することが可能となる。
【００４５】
図８は、前述した図１の画像比較部５０とカメラ位置姿勢獲得部６０の内部で行われる処理を機能的に示している。この図をもとに、本実施形態における画像処理の流れを説明する。
射影光学系４１０を通して、撮像部４０で光学像から電気信号に変換され、さらには画像データとして記憶される。次にこの画像データが画像比較部５０に入力されるが、撮像部４０に射影される周辺像イメージは円形となるので、この円形の外側の部分には画像データは存在しない。このため、後の画像処理などでの高速化を図るために、予め無効領域としての識別を可能とするマスクデータを準備する。図４（ｂ）は、そのマスクデータを示したものである。ここでは、２００×２００画素の画像センサのデータと同じサイズにする。このとき、画像データが無く、後の画像処理を省略したいところは「０」のデータを書き込み、それ以外の部分は「０」以外のデータを書き込む。ここでは、光軸中心が射影される座標位置を中心とする有効入射半径の円の外側が「０」のデータとなっている。
【００４６】
このデータをもとに画像比較部５０において、まず、マスクデータ処理５１がなされる。そして、マスクデータ処理５１がなされた後、連続するフレーム画像として取り込まれた周辺画像は、一つ前のフレーム５００の画像との間での処理が行われ、さらに、この処理された画像に対してエッジ抽出処理が行われる。このエッジ抽出処理５２では、入力画像のエッジ部を求めるために、Ｘ方向及びＹ方向の微分オペレータ（例えばＳｏｂｅｌオペレータ）によるエッジ抽出を行い、ＸＹ両方向において、エッジが存在する場所を探す。これは後述する特徴点画像のマッチング処理５３での誤りを減らすためである。
【００４７】
エッジ抽出処理５２において、エッジが抽出された後、その画像データから周辺画像の相対的な動きを求めるために、特徴点画像抽出処理５４が行われる。ここでは、特徴点となる画像を探すために、予め決められた座標位置周りの入力画像のエッジを検知しその点を評価することにより特徴点を探索して特徴点を抽出する。なお、図４（ａ）においては、探索開始座標位置を黒点とし、その周りの矩形領域を探索範囲として特徴点初期探索位置情報が定義されている。これは、特徴点情報を多くの方向からのデータで登録できるようにするためであり、それは、空間センサ１の前後左右上の周辺方向からの特徴点の相対的な動きを比較することで、手の甲部の空間内での動きをより正しく推定できるようにするためである。なお、この特徴点初期探索位置情報などの特徴点抽出に用いる情報は、新規特徴点探索テーブル５９に記憶される。
【００４８】
特徴点が抽出されると、後に詳述する無効特徴点追跡処理５５の後、特徴点登録処理５６が行われる。特徴点登録処理５６では新規の特徴点情報として、登録特徴点座標（Ｕｋ，Ｖｋ）と、さらに特徴点を中心位置とするある一定の矩形領域の特徴点画像と、この登録時に既に求められているワールド座標空間｛Ｗ｝に対する姿勢情報である空間センサフレームヘの変換｛０Ｈｋ｝あるいはその逆変換｛ｋＨ０｝とが登録され、さらに登録済みフラグもセットされる。
さらに特徴点登録処理５６では、図４（ａ）における初期探索位置周りで抽出することができた全ての特徴点に対しての登録作業が行われる。これら登録した特徴点情報は、次に入力されるフレーム画像におけるマッチング処理５３などで利用される。
【００４９】
なお、最初のフレーム処理つまり初期化のステップでは、次のマッチング処理５３は行われず、この画像比較部５０の処理は終了する。さらにカメラ位置姿勢獲得部６０では初期化処理６４が行われ、位置・姿勢情報の初期化処理が行われる。そして、次に入力されるフレーム画像に対して、前述と同様のマスクデータ処理５１やフレーム間処理及びエッジ抽出処理５２が行われる。
【００５０】
よって２フレーム目の処理以降からは、特徴点情報の登録済みフラグが調べられ、ここで登録されている特徴点、すなわち、登録済みフラグがセットされている場合には、現在のフレーム内での登録特徴点座標（Ｕｋ，Ｖｋ）付近で、登録画像と最も相関の高い部分を探索する。ここで、正しい位置が見つかると現在の特徴点座標として記憶し、特徴点探索フラグをセットする。また見つからなかった場合は、登録情報の登録済みフラグと特徴点探索フラグをリセットする。
【００５１】
ここでの特徴点画像の探索処理において、通常のマッチング処理５３として、登録特徴点位置に対してある一定の範囲内において、特徴点画像を走査しながら、マッチング処理を行う。そして、マッチング処理５３の結果、相関値の最も高い場所をマッチング位置とし、この点を特徴点マッチング座標（Ｕ´，Ｖ´）とする。さらにある基準値を超える相関値の判定があった場合、正しく特徴点を探索できたと判定する。
【００５２】
本実施形態による射影光学系４１０を通して取り込まれたフレーム画像とその抽出された特徴点画像の様子を図９（ａ）、空間センサ１が回転移動した後、取り込まれたフレーム画像上における探索特徴点画像の様子を図９（ｂ）に示す。また、図１０（ａ）はこの登録特徴点画像情報をメモリに登録したときのデータの概念図である。ここで登録特徴点画像は１５×１５画素の８ビットの階調データとする。この画像データの中央画素（７，７）座標値が特徴点座標（Ｕｋ，Ｖｋ）位置のデータとなる。メモリ上では左上の画素を開始アドレスとする連続したデータ列として通常は管理される。
【００５３】
そして、入力されたフレーム画像に対して図１０（ｂ）のように移動した特徴点画像データをマッチング処理５３で利用する。この画素情報の集合である登録特徴点画像の画像データを重ね合わせ、各画素の差分の絶対値の積分値が最も小さなところを探す。そのために相関処理では、開始アドレスである特徴点座標（Ｕｋ，Ｖｋ）に探索領域の大きさの平行移動分のアドレスと、さらにアフィン変換による回転操作を加える必要があり、この平行移動と回転移動を組み合わせた走査をひとつの特徴点画像を探索するためにしなければならず、非常に多くの計算処理が必要となる。さらに、これを登録されている全ての特徴点に対して行わなければならず、非常に多くの計算処理コストがかかってしまう。
【００５４】
そこで、本実施形態は、この時点で更新されている現在の空間センサフレームｎの位置姿勢（ワールド座標系からみた現在のセンサフレームｎへの座標変換を意味する）｛０Ｈｎ｝を算出するのに、各特徴点が登録された時点でのセンサフレームｋである｛０Ｈｋ｝の逆変換｛ｋＨ０｝と、各特徴点が登録されてから現在の空間センサフレームｎまでの座標変換を表す相対運動パラメータ｛ｋＨｎ｝あるいはその逆変換である｛ｎＨｋ｝を利用して推定する。数学的には、このパラメータは、例えば、フレームｋでの座標値（ｘｋ，ｙｋ，ｚｋ）が、センサフレームｎでの座標値（ｘｎ，ｙｎ，ｚｎ）に対応するとすれば、
【数１】
2004157850.tif 000003
で表される座標変換で表されるものとなる。ここで、ｎＲｋは回転行列であり、ｒｉｊ（ｉ＝１，２，３；ｊ＝１，２，３）を要素とする３×３行列を表す。この行列は、３個の独立なパラメータ（φｘ，φｙ，φｚ）により表現できる。一方、ｎＴｋは並進ベクトルを表し、独立な３個のパラメータ（ｔｘ，ｔｙ，ｔｚ）で表現することができる。すなわち、各フレーム間の位置姿勢関係は計６個のパラメータ、つまり、（φｘ，φｙ，φｚ，ｔｘ，ｔｙ，ｔｚ）で表すことが可能である。
このとき、０Ｈｎ＝０ＨｋｋＨｎあるいはｎＨ０＝ｎＨｋｋＨ０
の関係式を利用しながら、現時点のセンサフレームｎのワールド座標系における位置姿勢関係を推定するわけである。
【００５５】
次に、この運動パラメータと射影光学系の関係式より登録特徴点座標（Ｕｋ，Ｖｋ）の現在のフレーム画像内での座標値を推定する。この特徴点移動推定処理５７により得られた特徴点移動推定座標（Ｕｐｒｄ，Ｖｐｒｄ）付近を探索することで、探索領域を狭めることができ、計算処理コストを下げることができる。
【００５６】
実際の特徴点画像データの管理において、図１０（ａ）のような画素情報だけの管理とすると、マッチング処理５３の際の画像データ走査の度に、画素ごとに平行移動位置や回転等による移動位置を射影変換により推定しなければならず、処理が複雑になってしまう。
【００５７】
したがって実際には、図１１（ａ）のように、登録時の画素データごとに対応するＸ座標とＹ座標のためのＸＹ移動推定画素座標領域を確保する。次に、特徴点探索のためのマッチング処理５３の前に、相対運動パラメータ｛ｎＨｋ｝による各特徴点画像の画素ごとの移動推定位置を計算し、その計算した移動推定位置のデータを対応する画素のＸＹ移動推定画素座標領域に記録する。予めこの処理を既に登録されているすべての特徴点画像におけるすべての画素データに対して行っておく。
そして、この後のマッチング処理５３においては、この特徴点画像データのＸＹ座標データに画像データの走査のための平行移動量を加える操作だけで処理が可能となり、全体の処理が簡単化される。
【００５８】
図１１（ｂ）は、登録時の特徴点画像の位置と領域を、この予め推定されたＸＹ移動推定画素座標による位置に移動した状態を示した図である。このように座標変換された特徴点画像はもとの矩形画像形状ではなく、射影変換により変形される場合もある。しかし、このような形状の画像データにおいてもマッチング処理５３においては、単純にアドレスの移動や相関値の計算などの加減演算のみの処理を行うだけでよい。
【００５９】
次にマッチング処理５３における他の変形例について説明する。
特徴点の追跡において、対象となる物のそのままの形を追跡したい場合がある、例えば、背景が大きく移動する物体の前にあるオブジェクトや、オブジェクトの中に変動する領域が存在する場合などが考えられる。特徴点から得られた特徴点画像の中にこのような変動する画像成分がある場合、従来の方法で行うと、マッチングができなくなってしまう場合がある。
【００６０】
そこで、図１２（ａ）のように、前述したＸＹ移動推定画素座標領域の他に登録ＸＹ画素座標領域を設ける。前述の例においては、登録特徴点座標（Ｕｋ，Ｖｋ）より各画素の登録時の座標値を求めるために、登録特徴点画像の画素データを、特徴点を中心とする縦横固定の矩形領域のデータとしていた。
【００６１】
したがって、画素ごとの座標値を矩形領域の縦横の値より求め、それからその座標値に対して射影変換の変換式より、探索のための推定座標値を求めていた。しかし、この変形例においては、アドレス変換においてもこの登録画素座標データに対して、直接射影変換を行い、その結果を移動推定画素座標に登録するだけでよい。
【００６２】
さらに、この登録画素位置の座標値を登録することができるので、その形状を矩形に限定する必要がなくなり、どのような形の特徴点画像も登録することができるようになる。一見複雑な形状の複雑そうな処理でも、単純な処理の繰り返しで実行することが可能となる。
したがって、例えば、映像の映し出されたモニタに対してもモニタの枠だけを特徴点画像領域として登録することもでき、映像の内容に左右されずにマッチング処理５３をすることができる。
【００６３】
図１２（ｂ）は、以上の変形例における登録時の特徴点画像と、探索のための特徴点画像の移動位置と回転を推定した様子を示したものである。このように登録特徴点画像も矩形である必要も無く、さらに推定される探索特徴点画像ももとの形状が変化しても、マッチング処理では単純な計算のみで行うことができる。以上までの移動位置を推定するために使用される現在の空間センサフレーム｛ｎＨ０｝情報は、その時点までにおいては、慣性センサ群２によるフレーム情報の更新が空間位置姿勢獲得部７０で処理されているものである｛０Ｈｎ｝の逆変換｛ｎＨ０｝により算出されるが、撮像素子４２０による更新はひとつ前の画像処理で求められた結果が反映している情報である。したがって、慣性センサのドリフトなどによる誤差が蓄積されている可能性があるが、撮像素子４２０による更新レートの間に発生する誤差は非常に小さな値である。
【００６４】
ここまでの処理で得られた特徴点情報より、カメラ位置姿勢獲得部６０により現在のカメラ姿勢情報｛ｎＣ０｝を求める。ここで、このカメラ位置姿勢獲得部６０では、カメラ座標系を中心としたワールド座標系の動き（相対的な運動）を追跡するものとして定式化される。いったんカメラ座標系に対するワールド座標系の位置姿勢｛ｎＨ０｝を算出すれば、ワールド座標系に対するカメラ座標系（すなわち空間センサ系）の位置姿勢｛０Ｈｎ｝は、その逆行列（逆変換）として容易に求めることができるわけである。
【００６５】
ここで図３のように、カメラフレームは空間センサフレームである空間センサ１上に構築されているので、空間センサフレーム｛Ｈ｝に、一定の変換マトリックス｛ｃＲＨ｝を加えることで常にカメラフレーム｛Ｃ｝に変換することができる。したがってここでは、説明を簡単にするためにカメラフレーム｛Ｃ｝と空間センサフレーム｛Ｈ｝が一致しているものとして説明する。ここで、ｎは求めるフレームの番号、０は最初のフレーム、ｋは特徴点が登録された時のフレーム番号である。先にも説明した通り、この最初のフレーム０では、初期化処理６４が行われる。また、このときの空間センサフレームはｎ＝０となる。つまり、｛０Ｈ０｝と｛０ＨＷ｝とが一致、つまり、空間センサフレーム｛Ｈ｝とワールド座標空間｛Ｗ｝とが一致した状態となる。また、この初期化のとき、撮像素子４２０から得られる特徴点は、奥行き情報ｚが既知である特徴点位置を登録する。なお、ここでこの奥行き情報ｚは、センサフレーム系に対する奥行き情報を示す。また、この初期化処理６４については後でさらに述べる。これより｛ｎＣ０｝と｛ｎＨ０｝は等価なものとして以下の説明を行う。
【００６６】
複数の画像イメージ・ストリームに特徴点が現れてから消えるまでの様子を図１３に示す。
特徴点ｉは最初にフレーム画像ｋで現れ、また、特徴点ｊはフレーム画像（ｎ−２）で消えている。これらのフレーム画像ごとに前述したマッチング処理５３や特徴点登録処理５６が行われる。特徴点が最初に登録された時点から、この特徴点の関連パラメータとして、特徴点座標（Ｕ，Ｖ）と奥行き情報ｚが使われる。このとき、奥行き情報ｚに対する不確定要素σｚに最大値を割り当てる。この特徴点座標（Ｕ，Ｖ）と奥行き情報ｚを図１４に示す。
【００６７】
そして、特徴点が新しいフレーム画像において正しくマッチングが取れたとき、この特徴点が最初に登録されたときのカメラフレーム｛ｋＣ０｝（つまり、｛ｋＨ０｝と等価である）からの回転と並進情報の推定値を利用し、現在の空間センサフレーム｛ｎＨ０｝を更新する。フレームｋからフレームｎへの変換、すなわち、
【数２】
2004157850.tif 000004
と、それに関連する不確定要素σｚを最初に更新し、それからフレーム０、フレームｋ及びフレームｎの間の関係式ｎＨ０＝ｎＨｋｋＨ０を使用して、フレーム０からｎまでの変換と、それに関連する不確定要素σｚを更新する。ここで、ｐは運動ベクトルを示す。図１５及び図１６にその様子のイメージ図を示す。なお、｛ｋＨ０｝は、ここまでの処理で変換・更新されているので既知の値である。
【００６８】
次に、｛ｎＨ０｝と関連する不確定要素σｚを順に更新することによって、特徴点画像の奥行き情報ｚも更新することができる。これは、｛ｎＨｋ｝＝ｎＨ００Ｈｋを計算することにより得られる特徴点ｉの画像のための最初の｛ｎＨｋ｝の再計算によるものと、それからフレームｋとフレームｎとの対応関係である（ｕ，ｖ）と（ｕ´，ｖ´）を基準とした奥行き情報ｚを更新することによって行われる。この新しく求められたｚが、次のフレーム変換の推定にも使われる。なお、各特徴点情報の内容は以下のように表される。
１）特徴点が最初に現れて登録されたときのフレーム番号ｋ
２）フレームｋの中の標準化された特徴点座標（ｕ，ｖ）
３）フレームｋにおいて定義される奥行き情報ｚ（（ｕ，ｖ）と関連する形状ベクトル構成要素）
【数３】
2004157850.tif 000005
５）ひとつ前の空間センサフレーム｛ｎ−１Ｈ０｝（すでに、前のフレームにおいて計算済み）
６）ひとつ前のフレーム（ｎ−１）の中の標準化された特徴点座標（ｕｐｒｅｖ，ｖｐｒｅｖ）
７）ひとつ前のフレーム（ｎ−１）での共分散マトリックスｃｏｖ（ｕｐｒｅｖ，ｖｐｒｅｖ）
新たなフレーム画像において、各特徴点を目印として、前述のパラメータを各特徴点と関連させる。
【００６９】
さてここで、前述の奥行き情報ｚ、｛ｎＨｋ｝や、その他の値を求めるために以下の処理を行う。また、各フレームの関係を図１７に示す。
なお、この時点で、前のフレームまでの運動パラメータは評価し終わっていると仮定する。さらに、｛ｋＨ０｝及び｛ｎ−１Ｈｋ｝はすでに平均値と共分散マトリックスで評価されているものとする。また、
【数４】
2004157850.tif 000006
を不確定要素を考慮しながら推定する。これにより、推定値｛ｎＨｎ−１｝が与えられるので｛ｎＨ０｝も推定することができる。
次に、フレーム（ｎ−１）の中の特徴点リストにすでに登録されている特徴点のマッチングを行う。なお、図１７において、ｋはこの特徴点が最初に画像に現れたフレーム番号で、（ｕ´，ｖ´）はフレームｎの中の特徴点の座標値である。そして、ｃｏｖ（ｕ´，ｖ´）はフレームｎでの共分散マトリックスである。
【００７０】
【数５】
2004157850.tif 000007
ここで、（ｕ´，ｖ´）がフレームｎの中の測定値であり、そして平均値と共分散マトリックスに関して小さな不確定要素を持っている。
【００７１】
【数６】
2004157850.tif 000008
これで｛ｎＨｋ｝が更新される。
【００７２】
次に｛ｎＨ０｝の更新を行う。これらの処理において｛ｎＨｋ｝の更新が得られたならば、再びＫａｌｍａｎフィルタを使用することによって｛ｎＨ０｝を更新することができる。
さらにｎＨ０＝ｎＨｋｋＨ０は、｛ｎＨｋ｝と｛ｋＨ０｝の測定と、そして、Ｋａｌｍａｎフィルタによって算定されるパラメータ｛ｎＨ０｝によって考慮される。よって、
【数７】
2004157850.tif 000009
となり、そのときｃｏｖ（ａ）とｃｏｖ（ｂ）は非常に小さな値である。さらに、３次元式としては、以下の（式３）をもつ。
【００７３】
ｆ（ａ，ｂ，ｐ）＝０                      （式３）
ここで、（式３）におけるａ、ｂ、ｐ、及び０はベクトル量である。ｐを更新するためには、Ｋａｌｍａｎフィルタを使用する。更新後のｐの様子を図１８に示す。
【００７４】
【数８】
2004157850.tif 000010
を更新することができる。また、Ｋａｌｍａｎフィルタを順にｐに適用することができるならば、ｐの不確定要素を非常に大きく減らすことができる。
【００７５】
次に、フレームｋにおいて定義される奥行き情報ｚを推定する。これ以降、Ｋａｌｍａｎフィルタを順に運動ベクトルｐだけに適用する。そして、ｐを更新したあと、再びＫａｌｍａｎフィルタを適用することによってｚの不確定要素σｚを減らすことができる。これは、以下の方法によってなされる。
【数９】
2004157850.tif 000011
最初に以下の式を使用して不確定要素を伝播させる。
【数１０】
2004157850.tif 000012
両方とも、｛ｎＨｋ｝に対応する非常に小さい不確定要素を個々の特徴点によって運んでもらわなければならない。そこで、前述の（式４）を考慮する。
そして、
【数１１】
2004157850.tif 000013
とその共分散の評価値を得る。ここで、フレームｎの奥行き情報ｚに適合させるフレームｋを持つ（ｕ´，ｖ´）は、前述の（式２）で定義される。
【数１２】
2004157850.tif 000014
以上のようにして、現在の状態を示すフレームｎを基準とした初期フレーム０の位置姿勢の関係｛ｎＨ０｝が推定（更新）されると、ワールド座標系を基準とした現在フレームの位置姿勢｛０Ｈｎ｝は、その逆行列（逆変換）として算出される。すなわち、
０Ｈｎ＝（ｎＨ０）−１
このようにしてカメラ座標系に対するワールド座標系の位置姿勢｛ｎＨ０｝（つまり｛ｎＣ０｝である。）を算出すれば、ワールド座標系に対するカメラ座標系（すなわち空間センサ系）の位置姿勢｛０Ｈｎ｝は、その逆行列（逆変換）として容易に求めることができる。
【００７６】
ここで、前述のカメラ位置姿勢獲得部６０において、初期フレーム０における初期化処理６４について説明する。
カメラ位置姿勢獲得部６０は、特徴点が現れてから消えるまでの間の特徴点情報を追いつづけ、この特徴点の３次元情報を更新し続ける。さらに、別の特徴点が現れたときに、現在の特徴点情報の３次元情報を引き継ぐことで、カメラフレーム情報を更新し続けることができる。しかし、最初の空間センサが起動した時点では、どの特徴点も３次元情報を持っていないので、各特徴点は相対的な奥行き情報しか獲得することができない。したがって、この初期化処理６４では、ひとつ以上の既知の特徴点に、奥行き情報を与える処理を行う。まず、この初期化処理の第１の方式について説明する。
【００７７】
なお、身体運動の検出手段として、本実施形態の運動検出装置を利用する場合には、手や頭などに取り付けた運動検出装置から、装着者自身の体の少なくとも一部が見える部分に、既知の大きさの識別マークを取り付ける。この識別マークは例えばある既知の間隔だけ離れた特徴点マークとしたり、あるいは、ある既知の大きさの形をした識別マークとしたりすることもできる。
【００７８】
例えば、電源が入力された後のパワーオンリセット処理やリセットスイッチによる強制リセット処理等の状態のときに、初期化処理６４が行われる。装着者はこの識別マークが画像センサ４０ａに入力される位置で、この初期化処理６４を行うようにする。
【００７９】
また、図２に示したような、手の形状などの認識が可能なジェスチャ操作入力装置を利用する場合には、手のリセットジェスチャ動作（例えばグー・パーと手の形状を変化させたときの動作をリセット操作と定義しておく）によりその処理を行うこともできる。画像センサ４０ａは初期化処理６４のときに、まずこれらの識別マークを検出し、その既知の大きさから、識別マークより抽出される特徴点の奥行き情報ｚを初期登録する。この初期化処理６４以降、カメラ位置姿勢獲得部６０では、この登録した奥行き情報ｚを、他の特徴点情報に対応付けしながら、カメラフレームを更新し続けることができる。
【００８０】
したがって、初期化時に特別なマークがある特定の場所などで行う必要がなく、いつでもどこでも簡単に初期化処理を行うことができる。
【００８１】
また、初期化処理の第２の方式として、前述した初期化処理の第１の方式と同様に、装着者自身の体の一部に識別マークを取り付けるが、特に大きさや、間隔などの情報は必要としない方式もある。この方式は、身体のポーズ（例えば、手の位置・姿勢や頭の位置・姿勢など）を、予め決められた状態にして初期化処理を行うものである。例えば、胸に識別マークとなるペンダント等を取り付ける。次に、前述のジェスチャ操作入力装置を利用して、このペンダントの位置でリセットジェスチャ動作を行うようにする。この初期化処理では手の甲の画像センサ４０ａは予め決められた画像入力領域の特徴点を認識し、その奥行き情報ｚを既知の値で登録する。したがって、初期化のポーズとそのときの画像センサ４０ａから既知の特徴点までの距離は装着者自身が予め測定し、その値を初期値として入力しておく必要がある。このような方式であれば、特徴点の位置が認識できればよいので、特徴点の大きさや距離や形状などを認識する必要がなく、識別マークを小さくすることができる。
【００８２】
さらに初期化処理の第３の方式は、身体に特別な識別マークを装着することなく、身体自身の寸法や位置関係を既知の特徴点として利用する方式である。これは、前述の方式と同様に２種類の方式がある。
【００８３】
一つめの方式は、装着者自身の身体の初期特徴点となる部分の寸法を予め測定し、初期登録する方式である。例えば、顔の中の目を特徴点とするときには、眼幅の距離を既知の距離として利用する。また、顔の幅や、肩幅などを既知の距離として利用してもよい。
【００８４】
さらにもう一つの方式は、初期化処理を予め決められた身体のポーズで行い、常に一定の距離から身体の一部の特徴点位置を抽出し、その特徴点位置が画像センサ４０ａに入力されるようにするものである。例えば、手を身体の前に出したときの初期化動作において、頭の距離を既知の距離として登録したり、両手を一定間隔で開き、片方の手からもう片方の手の位置までの距離を測定するためのジェスチャを初期化ポーズとしたりすることで、既知の距離を登録できるようにする。
【００８５】
これを前述のジェスチャ操作入力装置で行った場合には、体の前の決められた位置でリセットジェスチャ動作を行うようにする。これにより、手の甲の画像センサ４０ａは常にある一定範囲の方位と入射角の領域内にある顔の画像を抽出し、そこの特徴点を既知の特徴点情報として登録することができる。この方式では、初期化処理のときの既知の特徴点の探索範囲を限定することもできる。
また、両方式をあわせた方法とすることも当然可能で、特徴点の既知の間隔と既知の距離情報を初期登録することで、精度を上げることができる。
【００８６】
この第３の方式によれば身体に特徴点となる特別な識別マークを装着することなく初期化処理が行え、さらにその操作性を向上させることが可能となる。
【００８７】
初期化処理の第４の方式は、初期化時の周りの環境と姿勢の関係とを利用する方式である。これを前述のジェスチャ操作入力装置で行う場合には、リセットジェスチャ動作時の姿勢を、例えば、起立した状態でさらに手の甲を下に向けた状態、あるいは画像センサ４０ａに足元の情報が見えるような手の姿勢で行うと予め決めておく。さらに、この姿勢における、手の甲から床までの距離を予め測定し、初期登録しておく。このとき足元方向の画像より抽出される特徴点は、ほぼこの既知の距離情報の特徴点として登録することができる。
【００８８】
また、頭部などに取り付けた運動検出装置の場合、例えば、起立状態の身長データを距離情報として利用できるが、さらに首などの曲げによる周辺画像の変化に対しても、足元方向の画像を、空間センサ内の加速度センサ２０の情報により検出できているので、常に足元の画像情報となる特徴点とを識別することができる。よって、重力軸に対する頭から足元の特徴点の角度情報と空間センサと足元までの距離により、特徴点までの距離を推定することができる。したがって、初期化処理のときだけでなく、常に奥行き情報がわかる特徴点として、利用することもできる。なお、この場合にはある程度足元が開けた、限定された環境で利用することが条件となる。
【００８９】
次に初期化処理の第５の方式は、初期化動作として、予め既知の運動を行うジェスチャなどの動作を行うことで、初期化処理を行う方式である。
例えば、前述のジェスチや操作入力装置で行う場合には、初期化処理として、まず初期化開始ジェスチャ動作（例えば、グー・パー動作を開始動作とする。）により初期化処理を開始する。そして、予め設定していた初期位置から終了位置まで手を動かし、ここで初期化終了ジェスチャ動作（例えば、パー・グー動作を終了動作とする。）を行うことにより初期化情報の入力を終了させる。この動作としては、最初と最後の動作を結ぶ直線距離が常に一定で既知の距離となることが重要である。例えば、手をいっぱいに前に伸ばした状態から身体に着くまでの一連の動作により動く距離は、ほぼ一定の距離情報として利用できる。
【００９０】
以上の一連の初期化ジェスチャ動作の開始と終了の間で処理された周辺画像からの特徴点情報の運動パラメータと奥行き推定情報に対して既知の移動距離情報を加えることで、各特徴点の奥行き情報を登録することができる。この方式は身体の寸法や位置関係情報を直接利用する方式ではなく、身体の操作部の動作範囲の情報を利用するものである。
【００９１】
以上のように初期化処理６４ではさまざまな方式で初期特徴点に対する奥行き情報ｚの初期登録が可能である。これらは、単独で使用することも可能であるが、それぞれを組み合わせて同時に行うことも可能である。また、初期化時点でのジェスチャ動作により、使用する初期化方式を変えることもできる。
【００９２】
次に特徴点探索のための新規開始位置の探索方法について説明する。マッチング処理５３において登録特徴点画像が探索できなくなると、その情報は廃棄される。しかし特徴点の数が少なくなると、カメラ姿勢パラメータを求めるための情報量が減ってしまい、演算精度が落ちてしまう。また、前述したように、特徴点の入力画像の方向は、なるべく全方向から入力されるようにすることが、姿勢情報の精度を上げることになる。したがって、特徴点のマッチングが取れないとして廃棄された場合には、新たに特徴点を探し出して登録する必要があり、さらには、その特徴点の画像の入力方向が現在登録及び追跡されている特徴点画像の入力方向とは別の方向である必要がある。
【００９３】
そこで、これより特徴点探索のためのテーブル構築手法について図４（ｂ）を参照しながら説明する。図４（ｂ）は、前述したマスクデータ処理５１のために使われるマスクデータを拡張した画像射影区分マスクデータである。周辺の画像処理等を省略したい部分に関しては、「０」のデータとしているが、射影イメージの円形内部に関しては、「０」以外の数値情報が埋め込まれている。さらにある区分領域ごとに数値データが埋め込まれており、このデータをもとに現在探索中の特徴点の入力画像方向を識別する。
【００９４】
ここでは円形内部に２つの同心円と、それぞれの同心円を方位方向で区分するいくつかの領域で分けられている。外側の同心円は６つの領域であり、中間の同心円も６つの領域であるが、外側とは異なる方向で区分けしている。これらの領域にはそれぞれの領域を識別するための番号となる区分データが埋め込まれている。また、この識別番号には、新規に特徴点を探索するための開始位置である探索開始座標値がリンクされている。この探索開始座標値は、図４（ｂ）の各画像射影区分マスクデータ領域のほぼ中央に描かれている黒丸の位置である。なお、この区分データは、図８の画像射影区分マスクデータ５８に対応するものである。
【００９５】
つまり、現在の特徴点位置のマッチングがマッチング処理５３において正しく探索できたならば、その追跡座標値に相当するこの画像射影区分マスクデータ５８の区分データを読み取ることで、その大体の入射方向を知ることができるようになる。しかし、この入射方向の角度などを特に知る必要は無い。すでに登録されているすべての特徴点の探索座標値に対してこの処理を行い、現在探索中の特徴点が存在しない区分番号を求め、その区分番号の探索開始座標値を、探索のための新規特徴点探索テーブルに登録するようにしてもよい。このようにすることにより、新規探索特徴点座標値である画像の入射方向を分散することができる。
【００９６】
実際にこれらの処理を計算で求めることも可能であるが、そのときには現在の特徴点画像座標から射影変換の変換式により、各特徴点における入射光線角（θ）と方位角を求め、すべての特徴点の入射方向を分析し、それから次に探索する方向を決めることになる。この変換処理や入射方向の分析などには、より多くの複雑な処理が必要となる。それに対し、本実施形態では、探索領域の数や方向は、この画像射影区分マスクデータ５８の内容を変えるだけで容易に変更することができる。
【００９７】
本実施形態の特徴点情報の管理において、特徴点である対象物の有効性を判定・管理する機能を利用することができる。前述のカメラ位置姿勢獲得部６０における位置・姿勢演算処理６２において、すべての特徴点の相対的な動きより求められるカメラフレーム｛ｎＨ０｝と、そのひとつ前の姿勢情報｛ｎ−１Ｈ０｝とにより画像処理サイクル間の相対的な姿勢の動き｛ｎＨｎ−１｝が求められる。その後、それぞれの特徴点のひとつ前のマッチング座標値に、この相対運動パラメータ｛ｎＨｎ−１｝を利用して各特徴点の現在の動きを推定したときに、この推定した座標値と、実際のマッチング座標値との差を評価し、その評価値がある閾値よりも大きい場合には、その特徴点を無効な特徴点と判定する。このような無効特徴点判定処理６３で無効と判定された特徴点は、特徴点探索フラグをセットしたまま、特徴点登録フラグをリセットする。
【００９８】
したがって、自然特徴点の画像移動ベクトルと空間センサ１からの姿勢情報とを比較することにより、周辺画像の特徴点となる対象物が、被計測物体にとって基準となる有用な物体か、それとも無効な移動物体か判定することが出来る。これにより、空間センサの周りのワールド座標空間内で固定された物体、あるいは停止した物体のみを、姿勢を求めるための基準情報とすることで、より精確な姿勢を求めることが可能となる。
【００９９】
なお、この無効と判定された特徴点は、画像比較部５０の無効特徴点追跡処理５５において、無効と判定された特徴点が存在する領域が登録されないように処理される。つまり、新規特徴点探索情報に再度追加されないように無効特徴点情報として管理される。
【０１００】
したがって、無効特徴点は特徴点登録フラグがリセット状態であって、特徴点探索フラグがセットされた状態である。ここで、特徴点登録フラグ又は特徴点探索フラグがセットされている特徴点は、マッチング処理５３で通常の探索処理が行われる。したがって、ここで再び正しくマッチングが行われた特徴点に関しては、追跡フラグが再度セットされる。またマッチングが正しく行われなかった場合には、特徴点登録フラグと特徴点探索フラグの両方がリセットされ、有効・無効にかかわらず特徴点情報が廃棄される。次に特徴点登録フラグがセットされていない無効な特徴点に関しては、以降のカメラ位置姿勢獲得部６０における姿勢情報を求める計算には利用されない。
【０１０１】
以上のように無効な特徴点はカメラ位置姿勢獲得部６０における誤差要因となるので、単純に廃棄すると、また次の画像処理サイクルで特徴点として抽出されてしまう可能性が高く、再度姿勢計算処理等に利用されてしまう。よって、それらの位置を追跡して無効な特徴点を管理することにより、計算処理を少なくでき、また、精確な姿勢を求めることも可能となる。
【０１０２】
前述の画像比較部５０において、特徴点を識別するための登録画像の大きさと探索範囲は、図４（ａ）のように固定とした場合、一般的に被測定物の並進移動に対して、遠方の対象物の各特徴点では動きは小さいが、近点の対象物の各特徴点では、遠点に比べて動きが大きくなる。つまり、近点の特徴点より推定される奥行き情報は測定精度に大きく影響する。
【０１０３】
したがって、前述のカメラ位置姿勢獲得部６０における特徴点ｚ推定処理６１において、特徴点の奥行き情報ｚが推定された場合、その特徴点が遠方の特徴点である場合にはその登録画像のサイズを大きく再構築し、探索範囲を小さくする。一方、近点の特徴点である場合には、逆に登録画像のサイズを小さく変更し、探索範囲を大きくする。なお、この処理が特許請求の範囲に記載の「適応型特徴画像設定手段」の処理に対応するものである。
【０１０４】
ここで、対象となるオブジェクトの大きさや対象までの距離によりその射影光学系４１０の立体角が変わるので、距離情報に応じて、最適な登録画像の大きさや探索範囲を変えないと、近点の特徴点の画像ほど姿勢変化に対して登録画像の変形や移動範囲が大きくなってしまい、特徴点探索において正しくマッチングができなくなってしまう。
そこで、登録特徴点情報の奥行き情報ｚをもとに、マッチング処理５３のための画像サイズや探索範囲を最適な値に変更することにより、姿勢検出精度の向上と処理速度の最適化が図られる。
【０１０５】
本実施形態の空間センサは、手や頭に装着するだけではなく身体の測定したい部分に装着することで、その部分の６自由度の空間姿勢を計測することが可能な、身体運動検出装置に利用することができる。また、光や磁気などを利用したセンサのように近くや周りに基準となる信号源を設置する必要がなく、どこででも利用することができる。また複数を同時に取り付けても、相互の干渉や、データ更新レートの低下などもなく利用することができる。また、本実施形態における図５（ａ）のような空間センサを、仮想的なあるいは実際の筆記用具の末端部分に取り付けることで、筆記状態のペン先の動きを計測することができ、ペン入力型の操作入力装置などに利用することができる。
【０１０６】
また、本実施形態の空間センサをデジタルカメラなどに取り付ければ、画像を連続して撮影する際に、空間姿勢情報も同時に記録することができる。これらの撮影情報と空間姿勢情報とをもとに、撮影した対象物の３次元情報を再構築する情報に使用することもでき、３次元画像データ構築カメラとしても利用することができる。
【０１０７】
以上のように、身体に直接装着して利用するだけでなく、身体に着けたり、手に持って利用したりする道具などに取り付けて、その道具自身の運動を計測することも可能である。
【０１０８】
以上実施形態に基づいて本発明を説明したが、本発明は前述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１０９】
【発明の効果】
以上詳述したように、本発明によれば、被装着物の空間位置と姿勢及び動きを正確に認識できる運動検出装置及びこのような運動検出装置を直接あるいは間接的に身体に装着することで、体の部分の動きやジェスチャなどを認識できる運動検出装置を提供することができる。また、このような運動検出装置を装着した物体を把持あるいは持ちながら操作することで、操作する装置の位置、姿勢などの動きを検出する運動検出装置を提供することができる。
【０１１０】
特に、第１の発明では、加速度センサ又は角速度センサの信号から求めた慣性運動の情報に加えて、撮像手段からの周辺画像の情報を用いて空間上での位置及び姿勢を求めることで、測定対象物の位置及び姿勢をより正確に測定できる。
【０１１１】
また、第２の発明では、射影像が５つの領域に分割された中心射影なので、画像情報の一次変換式により特徴点の空間位置及び方向を容易に求めることができる。
【０１１２】
また、第３の発明では、平面ミラータイプよりも、より多くの画像を同時に取り込むことができる。
【０１１３】
また、第４の発明では、全天周からの画像を同時に取り込むことができる。
【０１１４】
また、第５乃至第７の発明では、光や磁気などを利用したセンサのように近くや周りに基準となる信号源を設置する必要が無く、どこでも利用することができる。また、複数を同時に取り付けても相互の干渉やデータ更新レートの低下などもない。
【０１１５】
また、第８の発明では、現在の特徴点の位置やその周辺画像の回転処理などの予測を慣性センサからの姿勢情報をもとに予測することで、非常に高速に処理することができる。また、慣性センサの移動量が少ないときには探索範囲を狭めたり、移動量が大きな場合には探索範囲を広げたりして処理速度の向上と分析精度の向上の２つの目的を切り替えることができる。
【０１１６】
また、第９の発明では、画素と座標値とを対応した情報としておくことで、不連続あるいは重累した画像情報に変換されても比較処理が容易にできる。したがって画素が点在した状態でマッチング処理を行うことが可能となり、より正確かつ高速に処理を行うことができる。
【０１１７】
また、第１０の発明では、登録画像の各画素を点在した画像データとして管理するので、フレーム画像内の局所ごと対応で見たり、画像全体に点在している特徴画素の対応として見ることが可能となる。つまり、撮像される画像の複雑さに対応して特徴領域を広げたり狭めたりでき、結果として、処理精度及び処理時間を制御することができる。
【０１１８】
また、第１１の発明では、閾値を超えるものを無効な特徴点と判定することで、周辺の画像の中で固定あるいは停止した物体のみを基準情報とすることで、より正確な姿勢を求めることが可能となる。
【０１１９】
また、第１２の発明では、無効な特徴点の位置を追跡してそれらの画像位置を管理することにより、計算処理が少なく、正確な姿勢を求めることが可能となる。
【０１２０】
また、第１３の発明では、常に既知の奥行き情報をもった特徴点などの基準マークを視野に入れなくとも、特徴点の検出処理をし続けることで、誤差の少ない姿勢情報を求めつづけることができる。
【０１２１】
また、第１４の発明では、現在の特徴点位置からの射影画像方向と分類を簡単に知ることができるとともに、計算処理を高速に行うことができる。
【０１２２】
また、第１５の発明では、登録特徴点情報の奥行き情報をもとに、マッチングのための画像サイズや探索範囲を最適な値に変更して、姿勢検出の精度の向上と処理速度の最適化が図られる。
【０１２３】
また、第１６の発明では、識別マークがあれば、いつでもどこでも簡単に初期化処理を行うことができる。
【０１２４】
また、第１７の発明では、識別マークがあれば、いつでもどこでも簡単に初期化処理を行うことができ、さらに、識別マークの形状が変化しても対応できる。
【０１２５】
また、第１８、第１９及び第２１の発明では、初期化時に特別な識別マークを装着する必要がない。
【０１２６】
また、第２０の発明では、初期化時に特別な識別マークを装着する必要がなく、さらに、初期化後の計測中においても特徴点データを補正することができる。
【０１２７】
また、第２２の発明では、手に把持あるいは持って操作する物体に運動検出装置を装着することにより、操作する装置の位置、姿勢などの動きを検出することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る運動検出装置の機能動作の概要を説明するためのブロック図である。
【図２】撮像部等を含む操作入力装置の外観図である。
【図３】ワールド座標空間における空間センサフレームとカメラセンサフレームの関係図である。
【図４】図４（ａ）は等立体射影レンズに入射する光線とその射影像との関係を示す図であり、図４（ｂ）は特徴点探索開始位置と画像射影区分マスクデータのとの関係を示す図である。
【図５】図５（ａ）は運動検出装置における光学系の構成図であり、図５（ｂ）は図５（ａ）の光学系による撮像画像を示す図である。
【図６】図６（ａ）は４面ミラー方式による光学系の構成図であり、図６（ｂ）はミラー方式の光学系による撮像画像を示す図である。
【図７】図７（ａ）は放物面ミラーを使用した光学系の構成図であり、図７（ｂ）は放物面ミラーを使用した光学系による撮像画像を示す図である。
【図８】本発明の実施形態に係る運動検出装置の中の画像処理に関する機能動作を説明するためのブロック図である。
【図９】図９は光学系を通して取り込まれたフレーム画像とその抽出された特徴点画像の様子を示す図であり、図９（ｂ）は空間センサが回転移動した後に取り込まれたフレーム画像上における探索特徴点画像の様子を示す図である。
【図１０】図１０（ａ）は登録特徴点画像情報をメモリに登録したときのデータの概念図であり、図１０（ｂ）は移動後の特徴点画像データの様子を示す図である。
【図１１】本発明の実施形態における登録特徴点画像の例である。
【図１２】本発明の別の実施形態における登録特徴点画像の例である。
【図１３】連続するフレーム画像上での特徴点の振るまいに関するイメージ図である。
【図１４】画像センサにより得られる特徴点画像のカメラフレームの画像位置と奥行き情報及びその不確定要素に関するイメージ図である。
【図１５】特徴点のマッチング処理を繰り返すことで、特徴点情報に関連付けられている姿勢情報と奥行き情報の誤差が徐々に小さくなる様子を示したイメージ図である。
【図１６】運動ベクトルの不確定要素が徐々に小さくなる様子のイメージ図である。
【図１７】ある特徴点の登録時の空間姿勢情報ｋと一つ前の姿勢情報（ｎ−１）と次に求めようとする姿勢情報ｎの間の関係図である。
【図１８】運動ベクトルの不確定要素の関係を示した図である。
【符号の説明】
１  空間センサ
２  慣性センサ群
１０  角速度センサ
２０  加速度センサ
３０  慣性運動検出部
４０  撮像部
５０  画像比較部
６０  カメラ位置姿勢獲得部
７０  空間位置姿勢獲得部
【図１】
2004157850.tif 000015
【図２】
2004157850.tif 000016
【図３】
2004157850.tif 000017
【図４】
2004157850.tif 000018
【図５】
2004157850.tif 000019
【図６】
2004157850.tif 000020
【図７】
2004157850.tif 000021
【図８】
2004157850.tif 000022
【図９】
2004157850.tif 000023
【図１０】
2004157850.tif 000024
【図１１】
2004157850.tif 000025
【図１２】
2004157850.tif 000026
【図１３】
2004157850.tif 000027
【図１４】
2004157850.tif 000028
【図１５】
2004157850.tif 000029
【図１６】
2004157850.tif 000030
【図１７】
2004157850.tif 000031
【図１８】
2004157850.tif 000032