(57)【特許請求の範囲】
【請求項１】
ハプティックインタラクションを含む拡張現実システムであって、
視覚レンダリング部とハプティックレンダリング部とを備え、
前記視覚レンダリング部は、
マーカーを含む現実環境に対する映像の入力を受け、前記映像中に含まれた前記マーカーを検出するマーカー検出部と、
検出された前記マーカーの位置を抽出するマーカー位置抽出部と、
前記マーカー位置抽出部によって抽出されたマーカーの位置情報からノイズを除去するノイズ除去部と、
前記マーカーに対応する仮想オブジェクトを前記マーカーの位置に増強させて出力する仮想オブジェクト増強部とを含み、
前記ハプティックレンダリング部は、
前記ノイズ除去部から伝達された前記マーカーの位置情報に基づき、ハプティックレンダリングのための時間間隔に応じて前記マーカーの動きを推定する動き推定部と、
前記動き推定部により推定された前記マーカーの位置に対応する仮想オブジェクトとハプティック装置のエンドポイント間の衝突有無を検出する衝突検出部と、
前記衝突検出部の判断に応じ前記ハプティック装置を介して提供される反力を計算する反力計算部とを含んでなり、前記動き推定部は、
以前時間映像に基づいて外挿法を適用して最終的に推定された前記マーカーの位置と、現在時間映像における前記マーカーの実際位置との差に基づいて現在時間以後のハプティックレンダリングのための前記マーカーの位置増加分を決定する適応的外挿法によって前記マーカーの動きを推定する、拡張現実システム。
【請求項２】
前記ノイズ除去部は、
初期値から連続的な予測と補正により、前記マーカーの位置情報からノイズをフィルタリングして予測する拡張カルマンフィルタである請求項１に記載の拡張現実システム。
【請求項３】
前記拡張カルマンフィルタにおいて、
前記マーカートラッキングに対するモデルは、位置、速度、および加速度を含む状態ベクトルとマーカートラッキング過程で流入されるシステムノイズで表され、実際測定値に基づいて連続的に予測される請求項２に記載の拡張現実システム。
【請求項４】
前記拡張カルマンフィルタは、
前記状態ベクトルの先験的予測値と誤差共分散の先見的予測値を初期条件から予測した後、カルマン利得を求め、前記実際測定値と前記カルマン利得を利用して前期状態ベクトルの先験的予測値を補正して前記状態ベクトルの経験的予測値を求める請求項２または３に記載の拡張現実システム。
【請求項５】
前記以前時間映像に基づいて最終的に推定された前記マーカーの位置は、映像フレーム毎に連続的にモニターされる請求項１に記載の拡張現実システム。
【請求項６】
前記視覚レンダリング部と前記ハプティックレンダリング部のうちのいずれか一つは、視覚レンダリングのための視覚座標系とハプティックレンダリングのためのハプティック座標系の同期化を行う座標系同期化部をさらに含む請求項１に記載の拡張現実システム。
【請求項７】
ハプティックインタラクションを含む拡張現実提供方法であって、
(a)  マーカーを含む実際環境の映像が入力されるステップと；
(b)  前記映像から前記マーカーを検出し、前記マーカーの位置を抽出するステップと；
(c)  前記マーカーの位置情報に含まれたノイズを除去するステップと；
(d) 前記マーカーの位置情報に基づいてハプティックレンダリングのための時間間隔に応じて前記マーカーの動きを推定するステップであり、以前時間映像に基づいて外挿法を適用して最終的に推定された前記マーカーの位置と、現在時間映像における前記マーカーの実際位置との差に基づいて現在時間以後のハプティックレンダリングのための前記マーカーの位置増加分を決定する適応的外挿法によって前記マーカーの動きを推定するステップ。
(e)  前記マーカーに対応する仮想オブジェクトとハプティック装置のエンドポイント間の衝突有無を検出し反力を計算してハプティック装置に出力するステップ；および
(f)  前記実際映像の前記マーカー位置に前記仮想オブジェクトを増強して視覚ディスプレイ装置に出力するステップ
を含む拡張現実提供方法。
【請求項８】
前記ステップ(c)は、初期値から連続的な予測と補正により、前記マーカーの位置情報からノイズをフィルタリングし予測する拡張カルマンフィルタによって行われる請求項７に記載の拡張現実提供方法。
【請求項９】
前記ステップ(c)は、
(c 1) 前記マーカーの位置、速度、加速度を含む状態ベクトルに対する先験的予測値と誤差共分散の先験的予測値を初期条件から予測するステップと、
(c 2) カルマン利得を求め、実際測定値と前記カルマン利得を利用して前期状態ベクトルの先験的予測値を補正して前記状態ベクトルの経験的予測値を求めるステップとを含む請求項７に記載の拡張現実提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は拡張現実におけるハプティックインタラクション方法およびそのシステムに関する。より詳しくは、本発明は、拡張現実における安定で滑らかなハプティックインタラクションのために映像獲得装置によって獲得された実際映像におけるノイズを効果的に除去し、ハプティックインタラクション時に発生する力の不連続性を最小化することを特徴とする拡張現実におけるハプティックインタラクション方法およびそのシステムに関する。
【背景技術】
【０００２】
一般的に、拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：ＡＲ）とは仮想オブジェクト（ｖｉｒｔｕａｌ  ｏｂｊｅｃｔ）が実際環境と同じ空間に存在する如く表すように支援する技術をいう。言い換えれば、拡張現実とはユーザが目で見る現実世界と付加情報を有する仮想世界を結合して１つの映像で見せる仮想現実の１つである。拡張現実に対する研究は、コンピュータで生成した仮想環境（Ｖｉｒｔｕａｌ  Ｅｎｖｉｒｏｎｍｅｎｔ）内でインタラクションするユーザが実際環境のようなリアリティーを感じるには多くの限界があるために大いに行われている。
【０００３】
通常のＡＲシステムはカメラから獲得した映像をユーザの仮想環境に登録された仮想オブジェクトと混合する。従来に医療、軍事、産業、教育、および娯楽などのような様々な応用分野において、ユーザに没入感を与えるインタラクションやディスプレイを提供するためのＡＲ技術が提案されたことがある。ＡＲ技術は視覚、聴覚、触覚、味覚、きゅう覚などの人間の全ての感覚機関に適用される可能性があるにもかかわらず、大部分のＡＲシステムは視覚的な側面に集中しているのが現実である。
【０００４】
それに対し、ＡＲ領域においてユーザにより深い没入感を提供することができ、感覚と共に相互作用的な操作ができるようにするものがハプティック技術である。ハプティック技術はユーザに力覚（Ｋｉｎｅｓｔｈｅｔｉｃ）と触覚（Ｔａｃｔｉｌｅ）により、仮想または実際環境の様々な情報を提供するようにするのと関連したものである。「Ｈａｐｔｉｃｓ」という単語はギリシャ語で触覚を意味し、力覚と触覚を両方とも含む概念である。他の感覚とは異なり、ハプティックの特徴は感覚と共に操作もできるという両方向性である点である。これにより、最近では、視覚ベースの拡張現実（Ｖｉｓｉｏｎ−ｂａｓｅｄ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）システムに対するユーザの没入感を高めるために、音響効果だけでなく、ハプティック装置１５０の結び付けが試みられている。
【０００５】
図１はＡＲマーカーとハプティック装置を用いた視覚ベースの拡張現実システムの一例を示す図である。
図１による視覚ベースの拡張現実システム１００は、ＡＲマーカー１１０、映像獲得装置１２０、主処理装置１３０、視覚ディスプレイ装置１４０、およびハプティック装置１５０を含む。
【０００６】
ＡＲマーカー１１０は特定パターンで表すことができ、１つのＡＲマーカー１１０は１つの仮想オブジェクトと対応するように設定される。仮想現実に用いられるマーカー１１０は特定パターンを有したＡＲマーカー１１０の他にも２次元または３次元イメージであり得る。
映像獲得装置１２０はＡＲマーカー１１０を始めとする実際環境の映像を獲得する機能を行うものであり、代表的な例としてはカメラが挙げられる。
【０００７】
主処理装置１３０は映像獲得装置１２０から入力された映像を処理し、入力された映像のうちからＡＲマーカー１１０を認識して、ＡＲマーカー１１０に対応する仮想オブジェクトを生成する。
視覚ディスプレイ装置１４０は主処理装置によって処理された映像を視覚的に出力し、実際環境に対する映像と共にＡＲマーカー１１０に対応する仮想オブジェクトの映像を２次元または３次元で出力する。
ハプティック装置１５０は仮想環境の仮想オブジェクトとのハプティックインタラクションを行い、仮想オブジェクトとの衝突による反力をユーザに提供し、ユーザが仮想オブジェクトを操作できるようにする。
【０００８】
このような視覚ベースの拡張現実システムの作動を説明すれば、映像獲得装置１２０にＡＲマーカー１１０を始めとする実際環境の映像が入力されると、主処理装置は入力された映像を視覚ディスプレイ装置１４０に出力するが、この時、ＡＲマーカー１１０に対応する仮想オブジェクトを生成し、実際映像と仮想オブジェクトを視覚ディスプレイ装置１４０に共に出力する。一方、主処理装置１３０は、ハプティック装置１５０のエンドポイント（またはハプティックインタラクションポイント）が前記仮想オブジェクトと衝突するか否かを検出し、エンドポイントが仮想オブジェクトと衝突する場合、反力を計算してハプティック装置１５０にその信号を伝達することにより、ユーザが反力を感じるようにする。
【０００９】
前記視覚ベースの拡張現実技法は映像獲得装置から獲得したライブ映像に仮想オブジェクトを増強する。しかし、基準となるマーカーのトラッキングノイズによって仮想オブジェクトに視覚的な揺れが生じる問題点がある。また、ユーザが仮想オブジェクトとハプティックインタラクションをする時、このようなノイズは力の揺れや不安定なハプティックインタラクションを生じさせる。その上、映像獲得装置の座標がハプティック環境の座標とは異なるため、リアリティーのあるハプティックインタラクションを提供するためにはそれぞれの座標システムを統一する必要がある。さらに、基準となるマーカー上に登録された仮想オブジェクトが若干速く移動する場合、予測される移動距離はフレーム間に非連続的であり得る。このような不一致は、視覚的な観点からは十分耐えられる程度であるが、ハプティックインタラクションの観点からは非常に重要な問題となり得る。これは、映像レンダリングの側面では３０Ｈｚ程度のフレーム更新で十分安定した情報伝達をすることができるが、ハプティックレンダリングは１ＫＨｚ程度の更新が伴わないと安定したハプティックインタラクションが不可能であるためである。
【００１０】
これにより、マーカートラッキングにおけるノイズの最小化、映像とハプティックの座標系（Ｃｏｏｒｄｉｎａｔｅｓ）の一致、および滑らかなハプティックインタラクションを達成するための方案が求められている。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、前記問題点を解消するために、拡張現実における安定で滑らかなハプティックインタラクションのために、映像獲得装置によって獲得された実際映像におけるノイズを効果的に除去し、ハプティックインタラクション時に発生する力の不連続性を最小化することを特徴とする、拡張現実におけるハプティックインタラクション方法およびそのシステムを提供することをその目的とする。
【課題を解決するための手段】
【００１２】
本発明は、前記課題を解決するために、ハプティックインタラクションを含む拡張現実システムであって、マーカーを含む現実環境に対する映像の入力を受け、前記映像中に含まれた前記マーカーを検出するマーカー検出部と、検出された前記マーカーの位置を抽出するマーカー位置抽出部と、前記マーカー位置抽出部によって抽出されたマーカーの位置情報からノイズを除去するノイズ除去部と、前記マーカーに対応する仮想オブジェクトを前記マーカーの位置に増強させて出力する仮想オブジェクト増強部と、を含む視覚レンダリング部；および前記ノイズ除去部から伝達された前記マーカーの位置情報に基づき、ハプティックレンダリングのための時間間隔に応じて前記マーカーの動きを推定する動き推定部と、前記動き推定部により推定された前記マーカーの位置に対応する仮想オブジェクトとハプティック装置のエンドポイント間の衝突有無を検出する衝突検出部と、前記衝突検出部の判断に応じ前記ハプティック装置を介して提供される反力を計算する反力計算部と、を含むハプティックレンダリング部を含む拡張現実システムを提供する。
好ましくは、前記マーカーの位置情報は前記マーカーの３次元位置情報および方位情報を含む。
【００１３】
一方、前記ノイズ除去部は、ローパスフィルタ、ＦＩＲフィルタ、およびＩＩＲフィルタのうちのいずれか１つまたはそれと同等なフィルタで構成されるか、最小二乗予測器、最小平均二乗予測器、最大尤度予測器、Ｍａｘｉｍｕｎ  Ａ  ｐｏｓｔｅｒｉｏｒｉ予測器、ベイズ予測器、カルマンフィルタ、粒子フィルタ、マルコフ連鎖モンテカルロ予測器、最小分散不偏予測器、および線形不偏予測器のうちのいずれか１つまたはそれと同等な予測器で構成され、ノイズの除去および前記マーカーの動きの予測を同時に行うことができる。
【００１４】
好ましくは、前記ノイズ除去部は、初期値から連続的な予測と補正により、前記マーカーの位置情報からノイズをフィルタリングし予測する拡張カルマンフィルタで実現される。
また、前記拡張カルマンフィルタは、前記状態ベクトルの先験的予測値と誤差共分散の先験的予測値を初期条件から予測した後、カルマン利得を求め、前記実際測定値と前記カルマン利得を利用して前記状態ベクトルの先験的予測値を補正して前記状態ベクトルの経験的予測値を求めることを特徴とする。
【００１５】
好ましくは、前記動き推定部は、以前時間映像に基づいて外挿法を適用して最終的に推定された前記マーカーの位置と、現在時間映像における前記マーカーの実際位置との差に基づいて現在時間以後のハプティックレンダリングのための前記マーカーの位置増加分を決定する適応的外挿法によって前記マーカーの動きを推定することを特徴とする。
また、前記視覚レンダリング部と前記ハプティックレンダリング部のうちのいずれか１つは、視覚レンダリングのための視覚座標系とハプティックレンダリングのためのハプティック座標系の同期化を行う座標系同期化部をさらに含むことを特徴とする。
【００１６】
一方、本発明の他の側面によれば、ハプティックインタラクションを含む拡張現実提供方法であって、（ａ）マーカーを含む実際環境の映像が入力されるステップと；（ｂ）前記映像から前記マーカーを検出し、前記マーカーの位置を抽出するステップと；（ｃ）前記マーカーの位置情報に含まれたノイズを除去するステップと；（ｄ）前記マーカーの位置情報に基づいてハプティックレンダリングのための時間間隔に応じて前記マーカーの動きを推定するステップと；（ｅ）前記マーカーに対応する仮想オブジェクトとハプティック装置のエンドポイント間の衝突有無を検出し反力を計算してハプティック装置に出力するステップ；および（ｆ）前記実際映像の前記マーカー位置に前記仮想オブジェクトを増強して視覚ディスプレイ装置に出力するステップを含む拡張現実提供方法を提供する。
【００１７】
好ましくは、前記（ｃ）ステップは、（ｃ１）前記マーカーの位置、速度、加速度を含む状態ベクトルに対する先験的予測値と誤差共分散の先験的予測値を初期条件から予測するステップ；および（ｃ２）カルマン利益を求め、実際測定値と前記カルマン利得を利用して前記状態ベクトルの先験的予測値を補正して前記状態ベクトルの経験的予測値を求めるステップを含んでなることを特徴とする。
【００１８】
好ましくは、前記（ｄ）ステップは、以前時間映像に基づいて外挿法を適用して最終的に推定された前記マーカーの位置と、現在時間映像における前記マーカーの実際位置との差に基づいて現在時間以後のハプティックレンダリングのための前記マーカーの位置増加分を決定する適応的外挿法によって前記マーカーの動きを推定することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、ハプティックインタラクションを含む拡張現実システムにおいて、実際映像におけるマーカーの位置および方位情報のノイズを最小化できるため、滑らかで安定したハプティックインタラクションを可能にする。
【００２０】
また、本発明によれば、ハプティックインタラクションのためのハプティックレンダリング時、マーカーの位置情報をハプティックレンダリングのための時間間隔に応じて予測するにおいて、視覚ディスプレイとハプティックディスプレイ間の遅延を最小化し、仮想オブジェクトのためのマーカーの位置情報を効果的に推測することによって、ハプティックインタラクション時に生じ得る反力ジャークを最小化できる効果がある。
【図面の簡単な説明】
【００２１】
【図１】ＡＲマーカーとハプティック装置を用いた視覚ベースの拡張現実システムの一例を示す図である、
【図２】本発明の好ましい実施形態によるハプティックインタラクションを含む拡張現実システムのブロック図である。
【図３】ハプティックフレームと映像フレームの更新率の不一致による不連続的な反力フィードバックを示す図である。
【図４】従来補間法による反力フィードバックにおけるジャーク（ｊｅｒｋ）を示す図である。
【図５】従来外挿法による反力フィードバックにおけるジャークを示す図である。
【図６】本発明の好ましい実施形態による適応的外挿法を説明する図である。
【図７】本発明の好ましい実施形態によるハプティックインタラクションを含む拡張現実提供方法を示すフローチャートである。
【図８】拡張現実システムにおける視覚ディスプレイ座標系とハプティック座標系の差異点および相互同期化のための座標系変換を説明する図である。
【発明を実施するための形態】
【００２２】
以下、本発明の好ましい実施形態を添付図面に基づいて詳細に説明する。先ず、各図面の構成要素に参照符号を付加する際、同一構成要素については、他の図面上に示すときにもできるだけ同一符号を与えるようにしていることを留意しなければならない。また、本発明を説明するにおいて、関連する公知構成または機能に関する具体的な説明が本発明の要旨を濁す恐れがあると判断される場合にはその詳細な説明は省略する。さらに、以下では本発明の好ましい実施形態を説明するが、本発明の技術的思想はこれに限定または制限されず、当業者によって変形され様々に実施できることは言うまでもない。
【００２３】
図２は本発明の好ましい実施形態によるハプティックインタラクションを含む拡張現実システムのブロック図である。
本発明の好ましい実施形態による拡張現実システム２００は、マーカー１１０を含む実際環境を撮影する映像獲得装置１２０から入力された映像に基づき、マーカー１１０に対応する仮想オブジェクト２０２を視覚的に増強して視覚ディスプレイ装置１４０に出力するための視覚レンダリング部２１０と、仮想オブジェクト２０２とハプティック装置１５０とのハプティックインタラクションを可能にするハプティックレンダリング部２６０とを含む。
【００２４】
映像獲得装置１２０はマーカー１１０を含む実際環境の映像を取得する機能を行う。マーカー１１０は拡張現実システム２００において仮想オブジェクト２０２を表示するための媒介体としての機能を行い、特定パターンを有したＡＲマーカー１１０を用いることができるが、それに限定されるものではない。ＡＲマーカーを用いることが最も便利な方法であるが、実際環境における特定イメージがマーカーとして機能することもでき、場合によっては３Ｄイメージまたは実空間に存在する物体もマーカーとして機能することができる。
【００２５】
視覚レンダリング部２１０は、映像獲得装置１２０によって獲得された映像からマーカー１１０を検出し、実際環境におけるマーカー１１０の位置と方位を確認した後、マーカー１１０に対応する仮想オブジェクト２０２を実際環境に対する映像に増強させて視覚ディスプレイ装置１４０に出力する。本発明において、視覚レンダリング部２１０は、映像獲得装置１２０によって獲得された映像に含まれたノイズを除去し、マーカー１１０の動きを予測することにより、より安定した視覚ディスプレイおよびハプティックディスプレイを可能にすることを特徴とする。
【００２６】
一方、ハプティックレンダリング部２６０は、視覚レンダリング部２１０によって処理されたマーカー１１０を含む実際環境の映像に基づき、マーカー１１０に対応する仮想オブジェクト２０２とハプティック装置１５０間のハプティックインタラクションを可能にする機能を行う。このために、ハプティックレンダリング部２６０は、マーカー１１０に対応する仮想オブジェクト２０２とハプティック装置１５０のエンドポイント間の衝突有無を検出し、衝突が発生する場合に反力を計算する機能を行う。特に、本発明において、ハプティックレンダリング部２６０は、映像フレームとハプティックフレーム間の更新率（ｒｅｆｒｅｓｈ  ｒａｔｅ）の差を解決するために、映像フレーム上のマーカー１１０の位置を推定するにおいて、適応的外挿法（ａｄａｐｔｉｖｅ  ｅｘｔｒａｐｏｌａｔｉｏｎ）を適用して映像の遅延や反力の不連続性を最小化することを特徴とする。
【００２７】
視覚レンダリング部２１０とハプティックレンダリング部２６０の具体的な構成を説明すれば次の通りである。
視覚レンダリング部２１０は、マーカー検出部２２０、マーカー位置抽出部２３０、ノイズ除去部２４０、および仮想オブジェクト増強部２５０を含む。
【００２８】
マーカー検出部２２０は映像獲得装置１２０から入力された映像からマーカー１１０を検出する機能を行う。マーカー検出部２２０は、物理的マーカー１１０で映像ベースのマーカートラッキングを可能にするＡＲＴｏｏｌｋｉｔＰｌｕｓ（ｈｔｔｐ：／／ｓｔｕｄｉｅｒｓｔｕｂｅ．ｉｃｇ．ｔｕ−ｇｒａｚ．ａｃ．ａｔ）のようなソフトウェアライブラリーを利用して実現することができる。
【００２９】
マーカー位置抽出部２３０は、マーカー検出部２２０によってマーカー１１０が検出された後、検出されたマーカー１１０の位置および方位を演算する機能を行う。仮想オブジェクトは実際環境におけるマーカー１１０の位置にマーカー１１０が占めている空間的位置および方位に応じて増強される。このために、マーカー位置抽出部２３０は、マーカー１１０の位置と共に、マーカー１１０が空間的にいかなる方位を有しているか（例えば、水平方向および垂直方向に対してどれぐらい傾斜しているか）を演算する。
【００３０】
ノイズ除去部２４０は、マーカー位置抽出部２３０によって演算されたマーカー１１０の位置および方位情報に含まれているノイズを除去する機能を行う。映像ベースのマーカートラッキングでは必然的に発生するノイズによって増強される仮想オブジェクトの揺れが発生するが、ノイズ除去部２４０がそれを除去する。一方、マーカー１１０トラッキング時に発生するノイズに対してはＰ．Ｍａｌｂｅｚｉｎらが確認した通りである（Ｐ．Ｍａｌｂｅｚｉｎ，Ｗ．Ｐｉｅｋａｒｓｋｉ，ａｎｄ  Ｂ．Ｈ．Ｔｈｏｍａｓ，“Ｍｅａｓｕｒｉｎｇ  ＡＲＴｏｏｌＫｉｔ  Ａｃｃｕｒａｃｙ  ｉｎ  Ｌｏｎｇ  Ｄｉｓｔａｎｃｅ  Ｔｒａｃｋｉｎｇ  Ｅｘｐｅｒｉｍｅｎｔｓ”，Ｃｏｎｆ．Ｐｒｏｃ．ＩＥＥＥ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ  Ｔｏｏｌｋｉｔ  Ｗｏｒｋｓｈｏｐ，ｐｐ．２８−２９，２００１）。また、ノイズ除去部２４０は、滑らかなハプティックインタラクションのために、マーカー１１０の位置および方位を予測する機能を行う。このようなノイズ除去部２４０は、後述するように拡張カルマンフィルタ（Ｅｘｔｅｎｄｅｄ  Ｋａｌｍａｎ  Ｆｉｌｔｅｒ：ＥＫＦ）として実現されることができる。
【００３１】
仮想オブジェクト増強部２５０は、ノイズ除去部２４０によってノイズが除去されたマーカー１１０の位置および方位情報に基づき、マーカー１１０に対応する仮想オブジェクトを現実環境に対する映像に増強させて視覚ディスプレイ装置に出力する機能を行う。仮想オブジェクト増強部２５０が映像獲得装置１２０から獲得されたライブ映像（ｌｉｖｅ  ｖｉｄｅｏ）に仮想オブジェクトを出力するにおいて、様々な仮想物体のレンダリング方法のうちの好ましい実施形態として、ＯｐｅｎＧＬの頂点バッファオブジェクト（Ｖｅｒｔｅｘ  Ｂｕｆｆｅｒ  Ｏｂｊｅｃｔ：ＶＢＯ）方法によって仮想オブジェクトをレンダリングすることができる。ＶＢＯはビデオメモリにバッファデータを伝送することによって仮想オブジェクトの視覚レンダリング速度を速くする特徴がある。
【００３２】
ハプティックレンダリング部２６０は、動き推定部２７０、衝突検出部２８０、および反力計算部２９０を含む。
動き推定部２７０は、ノイズ除去部２４０から伝達されたマーカーの位置および方位情報に基づいてハプティックレンダリングを行うために、ハプティックレンダリングの更新率に応じてマーカーの動き、すなわちマーカーの位置および方位を推定する機能を行う。このような動き推定部２７０のマーカーの動き推定方式は補間法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）または外挿法（ｅｘｔｒａｐｏｌａｔｉｏｎ）によってなされ得るが、本発明では後述する適応的外挿法（ａｐａｔｉｖｅ  ｅｘｔｒａｐｏｌａｔｉｏｎ）によってなされることがより好ましい。
【００３３】
衝突検出部２８０は、マーカー１１０に対応して増強される仮想オブジェクト２０２とハプティック装置１５０のエンドポイント間の衝突有無を検出する機能を行う。このような衝突検出は、ハプティック装置１５０のエンドポイントまたは仮想空間におけるハプティックインタラクションポイント（Ｈａｐｔｉｃ  Ｉｎｔｅｒａｃｔｉｏｎ  Ｐｏｉｎｔ：ＨＩＰ）が仮想オブジェクトと衝突するか否かによって行われ得る。
【００３４】
反力計算部２９０は、ハプティック装置１５０のエンドポイントが仮想オブジェクトと衝突する場合、適切な反力を計算してハプティック装置１５０に伝達する機能を行う。
以上で説明した本発明に係る拡張現実システムの主な特徴はノイズ除去部２４０と動き推定部２７０とから把握することができ、ノイズ除去部２４０と動き推定部２７０の作動については以下にてより詳細に説明する。
【００３５】
前述したように、ノイズ除去部２４０は、視覚ベースのマーカートラッキングから発生するノイズによって生じる仮想オブジェクトの視覚的な揺れおよびハプティックインタラクション時に引き起こされる力の揺れや不安定性を除去するために、ノイズの最小化およびマーカー１１０の動きを予測する機能を行う。
【００３６】
ノイズ除去部２４０の実現方法として、ノイズを除去するためのローパスフィルタ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）、ＦＩＲフィルタ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ  Ｆｉｌｔｅｒ）、およびＩＩＲフィルタ（Ｉｎｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ  Ｆｉｌｔｅｒ）のようなフィルタを用いることができる。
【００３７】
しかし、このようなフィルタは、ノイズの除去には比較的に効果的であるものの、時間遅延が発生し、マーカーの動きを予測してハプティックインタラクション時に発生する不安定性を除去するには物足りない側面がある。したがって、ノイズ除去部２４０はノイズの除去と共にマーカーの動きを予測できるように構成することがより好ましい。
そのために、ノイズ除去部２４０はノイズの除去と動きの予測を同時に行うことができるように次の予測技法を用いることができる。
【００３８】
１）最小二乗予測器（Ｌｅａｓｔ  Ｓｑｕａｒｅ  Ｅｓｔｉｍａｔｏｒ、ＬＳＥ）：システムモデルと測定されたデータ間のエラーを最小化する方法であり、エラー二乗の和を最小化する予測器である。
２）最小平均二乗予測器（Ｍｉｎｉｍｕｍ  Ｍｅａｎ  Ｓｑｕａｒｅｄ  Ｅｓｔｉｍａｔｏｒ、ＭＭＳＥ）：関心のあるパラメータのエラーを最小化するために用いる方法であり、エラー二乗平均を最小化して最適解（ｏｐｔｉｍａｌ  ｓｏｌｕｔｉｏｎ）を探す予測器である。
【００３９】
３）最大尤度予測器（Ｍａｘｉｍｕｍ  Ｌｉｋｅｌｉｈｏｏｄ  Ｅｓｔｉｍａｔｏｒ、ＭＬＥ）：最大尤度（Ｍａｘｉｍｕｍ  ｌｉｋｅｌｉｈｏｏｄ）を推定する予測器であり、パラメータの正確な値を知らないが固定されていると仮定し、尤度（Ｌｉｋｅｌｉｈｏｏｄ）関数を最大化して観測された値が出る可能性を最大化する最適パラメータを探す予測器である。
４）Ｍａｘｉｍｕｍ  Ａ  Ｐｏｓｔｅｒｉｏｒｉ（ＭＡＰ）：最大尤度予測器と類似するが、事前確率（ｐｒｉｏｒ  ｐｒｏｂａｂｉｌｉｔｙ）を考慮するという点で異なる。この予測器は事後確率（ｐｏｓｔｅｒｉｏｒ  ｐｒｏｂａｂｉｌｉｔｙ）を設定し、それに基づいて最適パラメータを推定する。
【００４０】
５）ベイズ予測器（Ｂａｙｅｓ  ｅｓｔｉｍａｔｏｒ）：ＭＬＥではパラメータを固定値とみなすが、これとは異なり、ベイズ予測方法ではパラメータをランダム変数（ｒａｎｄｏｍ  ｖａｒｉａｂｌｅ）と考え、資料集団の分析によってこのランダム変数の分散を事後確率密度（ｐｏｓｔｅｒｉｏｒ  ｐｒｏｂａｂｉｌｉｔｙ  ｄｅｎｓｉｔｙ）に変換した後に事後確率（ｐｏｓｔｅｒｉｏｒ  ｐｒｏｂａｂｉｌｉｔｉｅｓ）を求め、それによってパラメータを予測する予測器である。
【００４１】
６）カルマンフィルタ（Ｋａｌｍａｎ  ｆｉｌｔｅｒ）：カルマンフィルタはノイズが混ざっている測定データがある時、ノイズが白色ガウス雑音であるという仮定の下、このようなノイズを発生するシステムのモデルおよび測定モデルを設定して測定された値が事前予測および補正（ｐｒｅ  ｅｓｔｉｍａｔｉｏｎ  ａｎｄ  ｃｏｒｒｅｃｔｉｏｎ）のステップを繰り返し行って最適値を求めるようにする。時間変化、非定常（ｎｏｎｓｔａｔｉｏｎａｒｙ）、多重チャネルシステムを含む全ての線形システムに適用可能な最も効果的なフィルタであって、リアルタイム処理に広く活用され、最近、人工衛星航法資料のフィルタリングに広く用いられている。
【００４２】
７）粒子フィルタ（Ｐａｒｔｉｃｌｅ  ｆｉｌｔｅｒ）：逐次モンテカルロ法（Ｓｅｑｕｅｎｔｉａｌ  Ｍｏｎｔｅ  Ｃａｒｌｏ  ｍｅｔｈｏｄ、ＳＭＣ）として知られた方法であって、シミュレーションを基盤にする。この予測器は、測定されたデータに基づき、ｕｎｋｎｏｗｎパラメータのシーケンスを探して最適パラメータを推定する。この方法はカルマンフィルタと同じように強力な推定方法を提供し、リアルタイム追跡のような応用に広く用いることができる。特に、粒子（サンプル）の数が多ければ正確な推定結果を得ることができる。
【００４３】
８）マルコフ連鎖モンテカルロ予測器（Ｍａｒｋｏｖ  ｃｈａｉｎ  Ｍｏｎｔｅ  Ｃａｒｌｏ、ＭＣＭＣ）：マルコフ連鎖の構成に基づいた確率分布から所望の分布の静的分布を有する標本を抽出するアルゴリズムの１類である。ＭＣＭＣの典型的な使用は目標分布を近似することであり、このアルゴリズムの最も一般的な適用例は多次元積分を数値的に計算するものである。
９）最小分散不偏予測器（Ｍｉｎｉｍｕｍ  Ｖａｒｉａｎｃｅ  Ｕｎｂｉａｓｅｄ  Ｅｓｔｉｍａｔｏｒ、ＭＶＵＥ）：不偏性（ｕｎｂｉａｓｅｄｎｅｓｓ）を満足する推定量（ｅｓｔｉｍａｔｏｒ）のうちの最も小さい分散を有する推定量を付与する予測器をいう。
【００４４】
１０）線形不偏予測器（Ｂｅｓｔ  Ｌｉｎｅａｒ  Ｕｎｂｉａｓｅｄ  Ｅｓｔｉｍａｔｏｒ、ＢＬＵＥ）：ガウス・マルコフの定理（Ｇａｕｓｓ−Ｍａｒｋｏｖ  Ｔｈｅｏｒｅｍ）により、単純線形回帰モデル（Ｌｉｎｅａｒ  Ｒｅｇｒｅｓｓｉｏｎ  Ｍｏｄｅｌ）において観測値の線形結合と表現される不偏推定量のうちの不偏推定量を最小化する予測器である。
【００４５】
上記で例示した様々な予測方法中、本実施形態では拡張カルマンフィルタ（Ｅｘｔｅｎｄｅｄ  Ｋａｌｍａｎ  Ｆｉｌｔｅｒ）を用いたノイズの除去および動きの予測について代表的に説明する。
【００４６】
拡張カルマンフィルタは、線形的なモデルだけでなく、非線形的なモデルにも適用できるカルマンフィルタの非線形形態として理解することができる。カルマンフィルタは、連続的な予測と補正により、測定データからノイズをフィルタリングする統計的な予測過程であると言える。拡張カルマンフィルタはこのような線形的カルマンフィルタを非線形的システムに適用する。この時、拡張カルマンフィルタで測定しようとするシステムは、信号からノイズを除去するために拡張カルマンフィルタを使えるように線形システムとして記述されなければならない。拡張カルマンフィルタにおいて、システムモデルと測定モデルの一般的な形態は次の数学式１のように表すことができる。
【００４７】
【数１】
0004977725.tif 000002
（数学式１）
【００４８】
前記数学式１において、ｘｋ＋１とｘｋは時間ｋ＋１とｋにおける状態ベクトルを意味し、ｙｋは時間ｋにおける測定ベクトルを意味する。また、ＦｋとＨｋは各々システムモデルと測定モデルの特徴を決定する時間ｋにおける係数であり、ｗｋとｖｋは各々システムノイズと測定ノイズを示す。視覚ベースのマーカートラッキングシステムは、物理的マーカーを持ったユーザの動きにより増強された仮想オブジェクトの位置と方位が時間に応じて連続的に変化する非線形動的システムであり、２次テイラー級数を用いた線形化過程により拡張カルマンフィルタを適用することができる。したがって、視覚ベースのマーカートラッキングシステムは２次テイラー級数を用いて次の数学式２のように線形化することができる。
【００４９】
【数２】
0004977725.tif 000003
（数学式２）
【００５０】
状態空間表現（ｓｔａｔｅ  ｓｐａｃｅ  ｄｅｓｃｒｉｐｔｉｏｎ）を利用すれば、システムモデルは数学式３のように表すことができる。
【００５１】
【数３】
0004977725.tif 000004
（数学式３）
【００５２】
３次元位置および方位を考慮すれば、３次元マーカートラッキングのために導き出された数学式３のようなシステムモデルは次の数学式４のように一般化することができる。
【００５３】
【数４】
0004977725.tif 000005
（数学式４）
【００５４】
数学式４において、状態ベクトルｘは３個の位置および角度成分、３個の速度および角速度成分、３個の加速度および角加速度成分からなる３×６次元であり、ｗｋは位置、速度、加速度、角度、角速度、および角加速度における不確実性によりシステムに流入されるシステムノイズである。前記ノイズは平均が０（ｚｅｒｏ  ｍｅａｎ）であり、関連性のないランダムな値として理解することができる（ｗｋ〜Ｎ（０，Ｑｋ））。
【００５５】
フィルタリングプロセスのために、マーカー変換行列の位置および方位を測定する。このようなデータを使えば、マーカーの速度、加速度、角速度、角加速度を抽出することができる。したがって、システムの測定モデルを数学式５のように表すことができる。
【００５６】
【数５】
0004977725.tif 000006
（数学式５）
【００５７】
数学式５において、ｖｋは位置、速度、加速度、角度、角速度、および角加速度における不確実性による測定ノイズである。この測定ノイズは平均が０（ｚｅｒｏ  ｍｅａｎ）であり、関連性のないランダムな値として理解することができる（ｖｋ〜Ｎ（０，Ｒｋ）。
【００５８】
拡張カルマンフィルタの連続的な更新過程は次の通りである。
◆初期条件
拡張カルマンフィルタは、最初ステップ（ｓｔｅｐ  ０）において、事後状態の予測ｘ０と不確実性Ｐ０に初期化される。
0004977725.tif 000007
【００５９】
◆予測
ステップ毎に、拡張カルマンフィルタは次の数学式６と７を利用して、以前ステップに対する現在ステップにおけるシステムの状態および不確実性に対する予測値を計算する。
【００６０】
【数６】
0004977725.tif 000008
（数学式６）
【００６１】
【数７】
0004977725.tif 000009
【００６２】
◆補正
拡張カルマンフィルタは、次の補正方程式を利用して、以前状態の予測値を測定値ｙｋに修正する。補正方程式は次の通りである。
カルマン利得（Ｋｋ）は数学式８のように表すことができ、経験的予測（ｐｏｓｔｅｒｉｏｒｉ  ｅｓｔｉｍａｔｅ）誤差共分散（Ｐｋ／ｋ）は数学式９のようであり、状態ベクトルの経験的予測値
0004977725.tif 000010
は数学式１０のようである。
【００６３】
【数８】
0004977725.tif 000011
（数学式８）
【００６４】
【数９】
0004977725.tif 000012
（数学式９）
【００６５】
【数１０】
0004977725.tif 000013
（数学式１０）
【００６６】
拡張カルマンフィルタに対する以上の説明から見るように、Ｒｋのようなノイズの影響が拡張カルマンフィルタの全般的な性能を決定する。したがって、拡張カルマンフィルタの実際実現において、測定ノイズ共分散（Ｒｋ）は通常フィルタの作動前に測定される。
測定ノイズ共分散を測定するために、先ずマーカー変換行列（ＴＭＡＲＫＥＲ）を利用してマーカー１１０の位置および方位を次の数学式１１によって計算する。
【００６７】
【数１１】
0004977725.tif 000014
（数学式１１）
【００６８】
数学式１１において、Ｒ３×３とＴ３×１は各々測定点（ｆｉｎｇｅｒ  ｔｉｐ）の回転行列（ｒｏｔａｔｉｏｎ  ｍａｔｒｉｘ）と並進行列（ｔｒａｎｓｌａｔｉｏｎ  ｍａｔｒｉｘ）を示す。Ｔ３×１ベクトルはオブジェクトの位置エラーを測定するのに用いられる。方位エラーを測定する場合、回転変化は世界座標系（ｗｏｒｌｄ  ｃｏｏｒｄｉｎａｔｅ）に対して三つの連続的な回転に分けられ、これは次の数学式１２のように表すことができる。
【００６９】
【数１２】
0004977725.tif 000015
（数学式１２）
【００７０】
上記の数学式１２において、ＣとＳは各々コサイン（ｃｏｓｉｎｅ）とサイン（ｓｉｎｅ）を示し、ψ、θ、φは世界座標系のｘ、ｙ、ｚ軸に対する回転角を示す。それぞれの軸に対する回転角は数学式１１と１２における回転行列と比較する時に数学式１３のように決定され得る。
【００７１】
【数１３】
0004977725.tif 000016
（数学式１３）
【００７２】
上記で説明した方法によってノイズ共分散（Ｒｋ）をオフラインサンプルに対して測定した結果は次の表１、２に例示した。表１は位置、速度、および加速度に対しマーカーとカメラとの間の実際距離によるノイズ誤差（ｍｍ単位で表示）を示し、表２は角、角速度、角加速度に対しマーカーとカメラとの間の他の角度によるノイズ誤差を示す。
【００７３】
【表１】
0004977725.tif 000017
【００７４】
【表２】
0004977725.tif 000018
【００７５】
表１および２の結果から見るように、位置、速度、および加速度に対するノイズは距離に応じて増加し、角度、角速度、および角加速度に対するノイズはカメラがマーカーを正面から見る０°あるいは平行に見る９０°に近いほど増加することが分かる。このようなノイズの分析結果に基づき、ノイズ共分散（Ｒｋ）は表１、２における最大値を選択して適用したものが１つの例として挙げられ、実際環境に応じて適切なノイズ値を選択することができる。
【００７６】
次は、ハプティックレンダリング部２６０における動き推定部２７０の具体的な機能について説明する。
映像レンダリングは通常３０Ｈｚ内外で更新されるのに反し、ハプティックレンダリングは１ＫＨｚ程度で更新されなければユーザに安定したハプティックインタラクションを提供することができない。しかし、映像に基づいて行われるハプティックレンダリングにおいて、前記のような更新比率の差によって映像フレームが変わる瞬間に反力が急に変わる問題が発生し得る。大韓民国特許第７６１０２２号（深さ映像ベースのハプティックレンダリング方法と装置、およびそれを用いた触覚放送システム）の場合には、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）法を利用しての上記のような問題点を解決しようとした。しかし、実際には、映像フレームとハプティックフレームの更新率（ｒｅｆｒｅｓｈ  ｒａｔｅ）が一定ではなく若干の誤差を有しており、依然として不連続的な力が生じる。このような更新率の変動はハプティック装置１５０で増強された仮想オブジェクトを触る時にさらに増加し得る。
【００７７】
ユーザがハプティック装置１５０を利用して仮想オブジェクトとインタラクションするにおいて、フィードバックされる反力計算における問題点をより具体的に説明すれば次の通りである。
図３はハプティックフレームと映像フレームの更新率の不一致による不連続的な反力フィードバックを示す図であり、図４は従来の補間法による反力フィードバックにおけるジャーク（ｊｅｒｋ）を示す図であり、図５は従来の外挿法による反力フィードバックにおけるジャークを示す図である。
【００７８】
図３〜図５において、図面符号３００は仮想環境における仮想オブジェクトを示すものであり、仮想オブジェクトが仮想環境においていかなる状態で位置するかを表すためのものである。
図３を参照すれば、仮想オブジェクト３００が以前位置から未来位置に移動する時、反力計算のための中間地点がなく、ユーザがハプティック装置１５０によって仮想オブジェクト３００とインタラクションするにおいて、突然の反力変化を感じる（点線円弧内の反力参照）。
【００７９】
図４を参照すれば、補間法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）によって衝突検出および反力計算をする時の問題点が分かる。補間法は、映像フレームの現在位置と以前位置の更新時間をハプティックフレーム更新比率で割り算して各ハプティックフレームにおける仮想オブジェクト３００の位置を補間して決定し、ハプティック装置１５０の作用点との衝突有無を検出して反力を計算する。しかし、補間法を適用するためには、少なくとも１つの映像フレームをバッファに予め格納しなければならないためにハプティックフィードバックの計算時に時間遅延が発生する。また、映像更新率とハプティック更新率が時間に応じて変動するにつれ、仮想オブジェクト３００の補間された位置が実際の仮想オブジェクト３００の位置と比較して差が生じ得る。
【００８０】
図４（ａ）は、仮想オブジェクト３００の補間された位置が現在の実際の仮想オブジェクトの位置と相対的に多くの距離差があって、ユーザが前方向ジャーク（ｆｏｒｗａｒｄ  ｊｅｒｋ）を感じる場合を示す。その反面、図４（ｂ）は、仮想オブジェクト３００の補間された位置が現在の実際の仮想オブジェクト３００の位置を過ぎてしまい、ユーザが逆方向ジャーク（ｂａｃｋｗａｒｄ  ｊｅｒｋ）を感じる場合を示す。
【００８１】
図４で言及した問題の他にも、本発明が適用される拡張現実システムは映像、音声、ハプティックなどの様々な情報を提供するためのマルチモーダル（ｍｕｌｔｉ  ｍｏｄａｌ）アプリケーションに拡張され得、それにより、複数のアプリケーション間の干渉と演算量の増加で上記のような問題点はより深刻であり得る。
【００８２】
前記のような補間法とは異なり、外挿法（ｅｘｔｒａｐｏｌａｔｉｏｎ）の場合には、過去位置の仮想オブジェクト３００と現在位置の仮想オブジェクト３００との間の時間間隔を利用して、現在位置以後の仮想オブジェクト３００の位置を推定してハプティックレンダリングを行う。外挿法の場合は、補間法とは異なり、映像遅延の問題は生じない。しかし、補間法の場合のように、映像更新率とハプティック更新率の変動により、依然として前方向ジャークまたは逆方向ジャークが発生し得る。
【００８３】
図５を参照すれば、図４の場合と類似するように、外挿法の場合にも前方向ジャーク（ａの場合）または逆方向ジャーク（ｂの場合）が発生し得ることが分かる。
このような問題点を解決するための方法として、本発明では反力の不連続性を最小化するための適応的外挿法を提案する。
【００８４】
図６は本発明の好ましい実施形態による適応的外挿法を説明する面である。図６において、（ａ）は前方向ジャークを除去することを説明する図であり、（ｂ）は逆方向ジャークを除去することを説明する図面である。
図６において、ｔｖおよびｔｈは映像レンダリングおよびハプティックレンダリングの時間間隔を示し、Ｔｔ−Δｔ、Ｔｔ、Ｔｔ＋△ｔとＲｔ−Δｔ、Ｒｔ、Ｒｔ＋△ｔは各々仮想オブジェクト３００の以前、現在、未来の位置と回転角を示す。ＬＥＰｔ−Δｔは以前時間ステップにおいて最終的に外挿法によって予測された位置を示し、δＴとδＲはＬＥＰｔ−Δｔと現在のオブジェクト位置３００間の距離および角度差を示す。これらの関係は次の数学式１４のように表すことができる。
【００８５】
【数１４】
0004977725.tif 000019
（数学式１４）
数学式１４において、 
0004977725.tif 000020
と 
0004977725.tif 000021
は以前時間ステップにおいて計算された最後に予測された地点における位置および回転角を示す。
【００８６】
適応的外挿法の適用において、ＬＥＰｔ−Δｔは映像フレーム毎に連続的にモニターされる。ＬＥＰｔ−Δｔと現在の仮想オブジェクト位置間に差がある場合には、その後の外挿法の適用のための増加分を計算するためにδＴとδＲを考慮する。
これにより、ハプティックレンダリングにおける仮想オブジェクト３００の位置および角度に対する増加分は次の数学式１５によって決定され得る。
【００８７】
【数１５】
0004977725.tif 000022
（数学式１５）
【００８８】
動き推定部２７０は、前記のような方式によって衝突検出と反力計算のために仮想オブジェクトの位置を推定することにより、推定された仮想オブジェクトの位置と実際の映像フレームにおける仮想オブジェクトの位置を一致させ、映像フレームの更新によって生じ得るジャークを最小化することができる。
以上で説明した拡張現実システムを用いたハプティックインタラクションを含む拡張現実提供方法を説明すれば次の通りである。
【００８９】
図７は本発明の好ましい実施形態によるハプティックインタラクションを含む拡張現実提供方法を示すフローチャートである。
拡張現実の提供のためにマーカー１１０を含む実際環境の映像が映像獲得装置１２０を介して入力される（Ｓ７００）。
映像獲得装置のマーカー検出部２２０は実際環境に対する映像からマーカー１１０を検出する（Ｓ７０２）。
【００９０】
次に、マーカー位置抽出部２３０は、マーカー１１０が実際映像のいかなる位置にいかなる方位に位置するかを確認して、マーカー１１０の位置および方位を抽出する（Ｓ７０４）。
マーカー１１０の位置および方位情報には映像獲得装置１２０そのもののノイズを始めとする様々な環境要因によるノイズが含まれ得るため、ノイズ除去部２４０はマーカー１１０の位置および方位情報からノイズを除去し、好ましくは、マーカー１１０の位置および方位情報を連続的に予測する（Ｓ７０６）。ノイズが除去されたマーカーの位置および方位情報は仮想オブジェクト２０２の増強および仮想オブジェクト２０２とハプティック装置１５０のインタラクションのために用いられる。
【００９１】
仮想オブジェクト増強部２５０は実際環境におけるマーカー１１０の位置に仮想オブジェクト２０２を増強して視覚ディスプレイ装置１４０に伝達し（Ｓ７０８）、視覚ディスプレイ装置１４０はそれを視覚的に出力する（Ｓ７１０）。
一方、ノイズ除去部２４０ではノイズが除去されたマーカー１１０の位置および方位情報をハプティックレンダリング部２６０に伝達し、ハプティックレンダリング部２６０の動き推定部２７０はハプティックレンダリングのためにハプティックレンダリング時間間隔に応じたマーカー１１０の動きを推定する（Ｓ７１２）。本発明において、好ましくは、動き推定部２７０は適応的外挿法によりマーカー１１０の動きを推定することによって、新しい映像フレームの更新時に生じ得る反力ジャークを除去できるようにする。
【００９２】
衝突検出部２８０は動き推定部２７０によって推定されたマーカー１１０の位置に対応して増強される仮想オブジェクト２０２とハプティック装置１５０のエンドポイント間の衝突有無を検出する（Ｓ７１４）。
反力計算部２９０は仮想オブジェクト２０２とハプティック装置１５０のエンドポイント間に衝突が発生する場合、反力を計算し、それをハプティック装置１５０に伝達し（Ｓ７１６）、ハプティック装置１５０はこのような反力をユーザに提供する（Ｓ７１８）。
【００９３】
一方、拡張現実システムにおいて、仮想オブジェクトの増強と獲得された映像イメージは、ＯｐｅｎＧＬをベースにカメラプロジェクション行列とマーカー変換行列を利用して視覚的にレンダリングされる。しかし、視覚的にレンダリングされる実際環境および仮想オブジェクトに対する映像は、実際環境の座標系とは異なる状態、すなわち反対方向の座標系を有することが一般的である。例えば、映像獲得装置としてピンホールカメラが用いられる場合に映像はカメラ内部の映像平面に置かれるようになり、これに対する座標系は実際環境の座標系を１８０度回転させた状態と同様である。その反面、ハプティックレンダリングのための座標系は実際環境の座標系と実質的に同一である。このような座標系の不一致は、ハプティックレンダリング時にユーザが仮想オブジェクトと正確なハプティックインタラクションをすることを阻害する要素となる。
【００９４】
図８は拡張現実システムにおける視覚ディスプレイ座標系とハプティック座標系の差異点および相互同期化のための座標系の変換を説明する図である。
このような視覚レンダリングとハプティックレンダリング時の座標系の不一致を解決するために、映像に対する座標系をハプティックレンダリングに対する座標系と一致するように回転させる。このような回転はマーカー変換行列を活用して行うことができる。マーカー変換行列は、マーカー１１０に対応する仮想オブジェクト２０２が実際環境に対する映像のマーカー１１０の位置に増強されるように変換させる。それにより、視覚レンダリング時に用いられる座標系を次の数学式１６のように座標系同期化行列（Ｔ’ＭＡＲＫＥＲ）を利用して変換させれば、視覚レンダリングに対する座標系とハプティックレンダリングに対する座標系を同期化することができる。数学式１６におけるＴＭＡＲＫＥＲはマーカー変換行列を示す。
【００９５】
【数１６】
0004977725.tif 000023
（数学式１６）
【００９６】
これにより、図２に示した本発明の好ましい実施形態による拡張現実システムは、座標系同期化部をさらに備え、前記のような座標系の変換を行うことによって視覚座標系とハプティック座標系が同期化するようにできる。
一方、上記説明では視覚座標系を変換させてハプティック座標系と同期化させる構成を説明したが、本発明の実施においては逆にハプティック座標系を変換させて視覚座標系と同期化させることもできることは言うまでもない。
【００９７】
以上の説明は本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野で通常の知識を有した者であれば、本発明の本質的な特性から逸脱しない範囲内で様々に修正、変更、および置き換えすることができるはずである。したがって、本発明に開示された実施形態および添付図面は本発明の技術思想を限定するものではなく説明するためのものであって、このような実施形態および添付図面によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は請求範囲によって解釈すべきであり、それと同等範囲内にある全ての技術思想は本発明の権利範囲に含まれると解釈しなければならない。
【符号の説明】
【００９８】
１００：従来拡張現実システム
１１０：マーカー
１２０：映像獲得装置
１３０：主処理装置
１４０：視覚ディスプレイ装置
１５０：ハプティック装置
２００：拡張現実システム
２０２，３００：仮想オブジェクト
２１０：視覚レンダリング部
２２０：マーカー検出部
２３０：マーカー位置抽出部
２４０：ノイズ除去部
２５０：仮想オブジェクト増強部
２６０：ハプティックレンダリング部
２７０：動き推定部
２８０：衝突検出部
２９０：反力計算部
【図１】
0004977725.tif 000024
【図２】
0004977725.tif 000025
【図３】
0004977725.tif 000026
【図４】
0004977725.tif 000027
【図５】
0004977725.tif 000028
【図６】
0004977725.tif 000029
【図７】
0004977725.tif 000030
【図８】
0004977725.tif 000031