(57)【要約】【課題】カメラで撮影された映像信号を分析して所定の対象物の位置、姿勢及び方向情報を推定する方法及び装置を提供する。【解決手段】前記カメラの内部パラメータを求めるカメラキャリブレーション部、前記カメラから特徴点が表示された対象物の映像信号を入力され、前記映像信号の歪曲を除去するカメラ歪曲補償部、前記歪曲が除去された映像信号を入力されて前記対象物に表示された特徴点の２次元座標を抽出する特徴点座標抽出部及び前記２次元座標値、前記内部パラメータ値及び前記対象物に表示されている特徴点の３次元座標値に基づいて前記対象物の位置、姿勢及び方向を推定して外部に出力する対象物の位置、姿勢及び方向推定部を含むことを特徴とするカメラ映像を通じた対象物の動き追跡装置。これにより、所定の対象物に特徴点を表示し、これを撮影した映像信号を処理して前記対象物の位置、姿勢及び方向情報を推定できる。【選択図】　図１
2004005462.tif 000002
【特許請求の範囲】
【請求項１】
カメラの特性を示す内部パラメータを求めるカメラキャリブレーション部と、
前記カメラから少なくとも１つ以上の特徴点が表示された所定の対象物が撮影された映像信号を入力され、前記入力された映像信号の歪曲を前記カメラの内部パラメータ値を用いて除去するカメラ歪曲補償部と、
前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて前記対象物の特徴点の前記映像における２次元座標を抽出する特徴点座標抽出部と、
前記特徴点座標抽出部から入力された前記２次元座標値、前記カメラキャリブレーション部から入力された前記カメラの内部パラメータ値及び前記対象物に表示されている特徴点の３次元座標値に基づいて前記対象物の位置、姿勢及び方向を推定して外部に出力する対象物の位置、姿勢及び方向推定部と、を含むことを特徴とするカメラ映像を通じた対象物の動き追跡装置。
【請求項２】
前記特徴点座標抽出部は、
前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて特徴点に該当する画素の各色相値に基づいてそれぞれの色に異なるラベルを割当てて主要特徴点と付加特徴点とを区分する特徴点ラベリング部と、
前記特徴点ラベリング部から前記主要特徴点及び付加特徴点情報を提供され、前記特徴点領域に存在するノイズを除去するノイズ除去部と、
前記ノイズ除去部からノイズの除去された主要特徴点及び付加特徴点情報を提供され、前記映像における前記特徴点の２次元座標値を求める特徴点決定部と、を含むことを特徴とする請求項１に記載のカメラ映像を通じた対象物の動き追跡装置。
【請求項３】
前記特徴点座標抽出部は、
前記特徴点決定部から前記映像信号の特徴点の２次元座標情報を提供され、前記特徴点の動きを予測する動き予測部をさらに含むことを特徴とする請求項２に記載のカメラ映像を通じた対象物の動き追跡装置。
【請求項４】
前記特徴点決定部は、
前記ノイズ除去部からノイズの除去されたラベリングされた映像信号を入力され、前記映像に存在する各特徴点の領域に該当する画素の連結情報に基づいて特徴点領域を前記映像から区分する連結情報分析部と、
前記連結情報分析部から前記特徴点領域情報を入力され、前記対象物に表示された特徴点の輝度情報または各特徴点間の関係情報に基づいて前記特徴点領域のうち実際に特徴点でない領域を除去して特徴点領域を抽出する特徴点抽出部と、
前記抽出された特徴点領域情報を提供され、前記特徴点画素の座標値の平均を求めて前記特徴点の座標値を求める１次モーメント計算部と、を含むことを特徴とする請求項２に記載のカメラ映像を通じた対象物の動き追跡装置。
【請求項５】
前記対象物の位置、姿勢及び方向推定部は、
前記カメラのキャリブレーション部から提供された前記カメラの内部パラメータ値、前記特徴点決定部から提供された前記特徴点の座標値、及び前記対象物に表示された特徴点の３次元座標値に基づいて前記対象物の位置、姿勢情報を推定する姿勢及び位置推定部と、
前記特徴点決定部から提供された前記特徴点の座標値のうち主要特徴点の座標値に基づいて前記対象物が撮影された方向情報を推定する方向推定部と、を含むことを特徴とする請求項１に記載のカメラ映像を通じた対象物の動き追跡装置。
【請求項６】
１つ以上の特徴点が表示されている所定の対象物を撮影して第１映像信号を発する映像入力部と、
前記第１映像信号を処理して前記対象物の位置、姿勢及び方向情報を抽出する位置、姿勢及び方向追跡部と、
前記対象物の位置、姿勢及び方向情報を入力され、前記対象物の位置、姿勢及び方向情報に対応する第２映像をユーザに提供させる制御信号を発する画面出力制御部と、
前記制御信号によって前記第２映像信号をユーザに提供する画面出力部と、を含むことを特徴とする画面出力装置。
【請求項７】
前記位置、姿勢及び方向追跡部は、
カメラの特性を示す内部パラメータを求めるカメラキャリブレーション部と、
前記カメラから少なくとも１つ以上の特徴点が表示された所定の対象物が撮影された映像信号を入力され、前記入力された映像信号の歪曲を前記カメラの内部パラメータ値を用いて除去するカメラ歪曲補償部と、
前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて前記対象物の特徴点の前記映像における２次元座標を抽出する特徴点座標抽出部と、
前記特徴点座標抽出部から入力された前記２次元座標値、前記カメラキャリブレーション部から入力された前記カメラの内部パラメータ値及び前記対象物に表示されている特徴点の３次元座標値に基づいて前記対象物の位置、姿勢及び方向を推定して外部に出力する対象物の位置、姿勢及び方向推定部と、を含むことを特徴とする請求項６に記載の画面出力装置。
【請求項８】
（ａ）カメラの内部パラメータ値を求める段階と、
（ｂ）前記カメラから映像信号を入力される段階と、
（ｃ）前記入力された映像における特徴点の２次元座標値を計算する段階と、
（ｄ）前記内部パラメータ値、前記特徴点の座標値に基づいて前記対象物の方向、位置及び姿勢情報を推定して出力する段階と、を含むことを特徴とするカメラ映像を通じた対象物の動き追跡方法。
【請求項９】
前記（ｃ）段階は、
（ｃ１）前記映像信号に含まれている対象物に表示された特徴点の領域を抽出する段階と、
（ｃ２）前記特徴点領域のノイズを除去する段階と、
（ｃ３）前記入力された映像における特徴点の２次元座標値を計算する段階と、を含むことを特徴とする請求項８に記載のカメラ映像を通じた対象物の動き追跡方法。
【請求項１０】
前記（ｃ３）段階は、
前記特徴点の動きを予測して求めることを特徴とする請求項８に記載のカメラ映像を通じた動き追跡方法。
【請求項１１】
請求項８ないし１０のうち何れか１項に記載の方法をコンピュータにて実行させるためのプログラムを記録したコンピュータにて読取れる記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はカメラで撮影された映像信号を分析して所定の対象物の位置、姿勢及び動く方向を推定する方法及び装置に係り、特にヘッドマウントディスプレー（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ：ＨＭＤ）装置の位置、姿勢及び方向を追跡してユーザが眺める方向に対応する映像を出力する装置に関する。
【０００２】
【従来の技術】
ＨＭＤは、ユーザの頭に装着してユーザの目の近くで映像をディスプレーする装置である。ＨＭＤを仮想現実（ＶＲ）のようなユーザの動きとの相互作用（ｉｎｔｅｒａｃｔｉｏｎ）が必要な分野で使用するためには、ユーザの頭の位置、姿勢及び方向に関する情報を検出する装置が必要となる。
【０００３】
ユーザに関する情報を検出するレベルはその目的に応じて多様であるが（例えば、マウスやジョイスティックのようにユーザのボタン操作を入力として受取るレベルから、ユーザの全身の関節角を検出し、これを用いるレベルまで）、ＨＭＤと関連した最低レベルのユーザ検出装置はユーザの頭の位置及び姿勢を検出してＨＭＤにディスプレーする映像を決定するのに用いられる装置である。
【０００４】
現在、一般に使われているユーザの頭を追跡する装置はジャイロスコープを用いた装置である（特許文献１参照）。これはジャイロスコープをＨＭＤに取付けてユーザの頭を追跡する装置であるが、ジャイロスコープの特性上ユーザの姿勢を検出するだけで、位置は検出できないという限界があり、またＨＭＤに取付けなければならないためにＨＭＤが重くなり、ユーザの動きを検出する速度が遅いという短所がある。
【０００５】
ユーザの頭を追跡する装置としては、他に、磁気センサーを用いた装置がある（特許文献２参照）。磁気センサーは、ユーザの頭の動きを精度よく測定できるが、ジャイロスコープの場合と同様に磁気センサーをＨＭＤに装着するためにＨＭＤが重くなり、かつ周りに金属性の物があると測定に歪曲が生じてしまうのが難点である。
【０００６】
さらに他のユーザの頭を追跡する装置としては、コンピュータビジョン技術を用いた方法がある。例えば、特許文献３、特許文献４に開示する方法では、ＨＭＤにカメラを装着するとともにカメラが撮影する壁にマーカーを取り付けてこれを認識することによって、ユーザの位置及び姿勢を検出できるしくみを構築している。しかし、この方法も同様に（場合によってはカメラとともに光源も必要となるため）ＨＭＤを重くし、室内にマーカーを取り付けなければならないので、特別に設計した専用空間以外の場所では使えず、一般家庭での使用には向かないという問題がある。
【０００７】
【特許文献１】
米国特許第６１６２１９１号明細書
【特許文献２】
米国特許第３９８３４７４号明細書
【特許文献３】
米国特許第５７４２２６３号明細書
【特許文献４】
米国特許第５８５６８４４号明細書
【０００８】
【発明が解決しようとする課題】
本発明が解決しようとする技術的な課題は、特徴点が表示されたＨＭＤなどの対象物を撮影した映像信号を通じて前記対象物の動きを追跡する装置及び方法を提供することである。
【０００９】
本発明が解決しようとする他の技術的課題は、本発明に係る映像信号を通じた対象物の動き追跡装置を用いた画面出力装置を提供することである。
【００１０】
【課題を解決するための手段】
前記問題点を解決するための本発明に係るカメラ映像を通じた対象物の動き追跡装置は、カメラの特性を示す内部パラメータを求めるカメラキャリブレーション部と、前記カメラから少なくとも１つ以上の特徴点が表示された所定の対象物が撮影された映像信号を入力され、前記入力された映像信号の歪曲を前記カメラの内部パラメータ値を用いて除去するカメラ歪曲補償部と、前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて前記対象物の特徴点の前記映像における２次元座標を抽出する特徴点座標抽出部と、前記特徴点座標抽出部から入力された前記２次元座標値、前記カメラキャリブレーション部から入力された前記カメラの内部パラメータ値及び前記対象物に表示されている特徴点の３次元座標値に基づいて前記対象物の位置、姿勢及び方向を推定して外部に出力する対象物の位置、姿勢及び方向推定部と、を含むことを特徴とする。
【００１１】
また、前記カメラ映像を通じた対象物の動き追跡装置の前記特徴点座標抽出部は、前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて特徴点に該当する画素の各色相値に基づいてそれぞれの色に異なるラベルを割当てて主要特徴点と付加特徴点とを区分する特徴点ラベリング部と、前記特徴点ラベリング部から前記主要特徴点及び付加特徴点情報を提供され、前記特徴点領域に存在するノイズを除去するノイズ除去部と、前記ノイズ除去部からノイズの除去された主要特徴点及び付加特徴点情報を提供され、前記映像における前記特徴点の２次元座標値を求める特徴点決定部と、を含むことを特徴とする。
【００１２】
また、前記カメラ映像を通じた対象物の動き追跡装置の前記特徴点座標抽出部は、前記特徴点決定部から前記映像信号の特徴点の２次元座標情報を提供され、前記特徴点の動きを予測する動き予測部をさらに含むことを特徴とし、前記特徴点決定部は、前記ノイズ除去部からノイズの除去されたラベリングされた映像信号を入力され、前記映像に存在する各特徴点の領域に該当する画素の連結情報に基づいて特徴点領域を前記映像から区分する連結情報分析部と、前記連結情報分析部から前記特徴点領域情報を入力され、前記対象物に表示された特徴点の輝度情報または各特徴点間の関係情報に基づいて前記特徴点領域のうち実際に特徴点でない領域を除去して特徴点領域を抽出する特徴点抽出部と、前記抽出された特徴点領域情報を提供され、前記特徴点画素の座標値の平均を求めて前記特徴点の座標値を求める１次モーメント計算部と、を含むことを特徴とする。
【００１３】
また、前記カメラ映像を通じた対象物の動き追跡装置の前記対象物の位置、姿勢及び方向推定部は、前記カメラのキャリブレーション部から提供された前記カメラの内部パラメータ値、前記特徴点決定部から提供された前記特徴点の座標値、及び前記対象物に表示された特徴点の３次元座標値に基づいて前記対象物の位置、姿勢情報を推定する姿勢及び位置推定部と、前記特徴点決定部から提供された前記特徴点の座標値のうち主要特徴点の座標値に基づいて前記対象物が撮影された方向情報を推定する方向推定部と、を含むことを特徴とする。
【００１４】
前記問題点を解決するための本発明に係る画面出力装置は、１つ以上の特徴点が表示されている所定の対象物を撮影して第１映像信号を発する映像入力部と、前記第１映像信号を処理して前記対象物の位置、姿勢及び方向情報を抽出する位置、姿勢及び方向追跡部と、前記対象物の位置、姿勢及び方向情報を入力され、前記対象物の位置、姿勢及び方向情報に対応する第２映像をユーザに提供させる制御信号を発する画面出力制御部と、前記制御信号によって前記第２映像信号をユーザに提供する画面出力部と、を含むことを特徴とする。
【００１５】
また、前記画面出力装置の前記位置、姿勢及び方向追跡部は、カメラの特性を示す内部パラメータを求めるカメラキャリブレーション部と、前記カメラから少なくとも１つ以上の特徴点が表示された所定の対象物が撮影された映像信号を入力され、前記入力された映像信号の歪曲を前記カメラの内部パラメータ値を用いて除去するカメラ歪曲補償部と、前記カメラ歪曲補償部から歪曲が除去された前記映像信号を入力されて前記対象物の特徴点の前記映像における２次元座標を抽出する特徴点座標抽出部と、前記特徴点座標抽出部から入力された前記２次元座標値、前記カメラキャリブレーション部から入力された前記カメラの内部パラメータ値及び前記対象物に表示されている特徴点の３次元座標値に基づいて前記対象物の位置、姿勢及び方向を推定して外部に出力する対象物の位置、姿勢及び方向推定部と、を含むことを特徴とする。
【００１６】
前記問題点を解決するための本発明に係るカメラ映像を通じた対象物の動き追跡方法は、（ａ）カメラの内部パラメータ値を求める段階と、（ｂ）前記カメラから映像信号を入力される段階と、（ｃ）前記入力された映像における特徴点の２次元座標値を計算する段階と、（ｄ）前記内部パラメータ値、前記特徴点の座標値に基づいて前記対象物の方向、位置及び姿勢情報を推定して出力する段階と、を含むことを特徴とする。
【００１７】
また、前記カメラ映像を通じた対象物の動き追跡方法の前記（ｃ）段階は、（ｃ１）前記映像信号に含まれている対象物に表示された特徴点の領域を抽出する段階と、（ｃ２）前記特徴点領域のノイズを除去する段階と、（ｃ３）前記入力された映像における特徴点の２次元座標値を計算する段階と、を含むことを特徴とする。
【００１８】
また、前記カメラ映像を通じた対象物の動き追跡方法の前記（ｃ３）段階は、前記特徴点の動きを予測して求めることを特徴とする。
【００１９】
前記カメラ映像を通じた動き追跡方法は、コンピュータを手段として機能させることによって実行可能なコンピュータプログラムとして実現可能であり、そのようなプログラムを記録したコンピュータで読取可能な記録媒体に格納して提供可能である。
【００２０】
【発明の実施の形態】
以下、添付した図面に基づき、本発明の望ましい実施例を詳細に説明する。本実施例では動き追跡対象物としてＨＭＤの動きを追跡する。
【００２１】
本発明によって動きが追跡される対象物であるＨＭＤには特徴点が表示されている。前記ＨＭＤの特徴点はＨＭＤの全域に付着されているので、ある一方向から前記ＨＭＤを撮影する場合、前記特徴点のうち裏側に隠れて撮影されない特徴点が有り得る。したがって、撮影された映像が概略的にどのような姿勢を取っているかを調べるためには、撮影された特徴点が前記ＨＭＤのどの部位に表示された特徴点であるかを判別できなければならない。後述する実施例のＨＭＤでは、このために一定間隔に色と形状異なる特徴点（重要特徴点）を付着し、正確な姿勢と位置とを推定するために付加的な特徴点（付加特徴点）を付着した。重要特徴点は、前記ＨＭＤを如何なる方向から撮影しても少なくとも１つ以上は撮影されるよう配置され、かつそれぞれが特徴点の相互関係や色相、形状などによって識別できるようになっている必要がある。付加特徴点は重要特徴点から推定されたＨＭＤの方向情報に基づいて重要特徴点と共にＨＭＤの正確な姿勢及び位置を計算するために付着される。
【００２２】
図１は、本発明に係る映像信号を通じた対象物の動きを追跡する装置の望ましい実施例の機能的ブロック図である。本発明に係る映像信号を通じた対象物の動きを追跡する装置は、カメラキャリブレーション部１０１、カメラ歪曲補償部１０２、特徴点座標抽出部１０３、対象物の位置、姿勢及び方向推定部１０４を含む。前記特徴点座標抽出部１０３は、特徴点ラベリング部１０３１、ノイズ除去部１０３２、特徴点決定部１０３３、動き予測部１０３４を含む。また、前記対象物の位置、姿勢及び方向推定部１０４は、姿勢及び位置予測部１０４１、方向推定部１０４２を含む。
【００２３】
前記カメラキャリブレーション部１０１は、外部から入力したテスト映像信号を用いてキャリブレーションを行い、動き推定対象物を撮影するカメラの内部パラメータを求める。図１０は、カメラの内部パラメータを求めるためのテスト映像（キャリブレーション映像）の望ましい例を示しており、図７はカメラのキャリブレーションの原理を示している。以下、図７に基づいてキャリブレーションを通じてカメラのパラメータを求める方法を説明する。
【００２４】
まず、カメラの内部パラメータＡは、数式１により求めることができる。
【００２５】
【数１】
2004005462.tif 000003
【００２６】
ここで、（ｃｘ，ｃｙ）は、図７の特徴点の座標を、（ｆｘ，ｆｙ）は焦点距離を各々意味する。
【００２７】
そして、カメラの外部パラメータ［Ｒｔ］は、次の数式２により求めることができる。
【００２８】
【数２】
2004005462.tif 000004
【００２９】
ここで、Ｒはローテーションマトリックスであり、ｔはトランスレーションベクトルであって、それぞれ
2004005462.tif 000005
の値を有する。
【００３０】
また、カメラで撮影された対象物に表示された所定点の３次元座標値と前記カメラで前記対象物を撮影した映像に表れた前記点の２次元座標値との関係式は、次の数式３によって求められる。
【００３１】
【数３】
2004005462.tif 000006
【００３２】
ここで、Ｍは実際の対象物に表示された所定の点（位置）の３次元座標値を、ｍは投影された２次元座標値を各々意味する。
【００３３】
カメラは、カメラの特性を示す内部パラメータと、位置及び姿勢を示す外部パラメータとを使用してモデリングでき、そのパラメータの形は前述した通りであり。図１１はカメラの内部パラメータを求めた望ましい例を示している。
【００３４】
前記カメラ歪曲補償部１０２には、外部から動き追跡対象物を撮影した２次元デジタル映像信号が入力されるとともに、前記カメラキャリブレーション部１０１から前記カメラの内部パラメータ値が入力される。そして、前記カメラ歪曲補償部１０２は、前記内部パラメータ値に基づいて前記入力した映像信号に存在する歪曲を除去する。カメラの歪曲は主にレンズで生じ、これは４つの歪曲係数を求めて補正できるが、一般的なレンズの歪曲はレンズの曲面による放射方向歪曲収差（ｒａｄｉａｌ　ｄｉｓｔｏｒｔｉｏｎ）であり、これは２つの歪曲係数ｋ１、ｋ２だけで補正可能である。
【００３５】
歪曲係数
2004005462.tif 000007
は、次の数式４及び数式５を満たす。
【００３６】
【数４】
2004005462.tif 000008
【００３７】
ここで、（ｘ，ｙ）は、ｉｄｅａｌ　ｎｏｒｍａｌｉｚｅｄ　ｉｍａｇｅ　ｃｏｏｒｄｉｎａｔｅｓであり、
2004005462.tif 000009
は、ｒｅａｌ　ｎｏｒｍａｌｉｚｅｄ　ｉｍａｇｅ　ｃｏｏｒｄｉｎａｔｅｓである。
【００３８】
【数５】
2004005462.tif 000010
【００３９】
ここで、（ｕ，ｖ）は、ｉｄｅａｌ　（ｄｉｓｔｏｒｔｉｏｎ−ｆｒｅｅ）　ｐｉｘｅｌ　ｉｍａｇｅ　ｃｏｏｒｄｉｎａｔｅｓ、
2004005462.tif 000011
は、ｒｅａｌ　（ｄｉｓｔｏｒｔｅｄ）　ｏｂｓｅｒｖｅｄ　ｉｍａｇｅ　ｃｏｏｒｄｉｎａｔｅｓ、（ｘ，ｙ）は、ｉｄｅａｌ　ｎｏｒｍａｌｉｚｅｄ　ｉｍａｇｅ　ｃｏｏｒｄｉｎａｔｅｓ、
2004005462.tif 000012
は、ｒｅａｌ　ｎｏｒｍａｌｉｚｅｄ　ｉｍａｇｅ　ｃｏｏｒｄｉｎａｔｅｓ、
2004005462.tif 000013
は、カメラの内部パラメータである。
【００４０】
ユーザがすでにカメラの内部パラメータ値を知っている場合には、数式５から導かれる数式６によって、歪曲係数Ｋを求める。
【００４１】
【数６】
2004005462.tif 000014
【００４２】
前記式を用いてｋ１，ｋ２を求めると、ｍ歪曲の補正された映像が得られる。図９Ａは、歪曲除去前のカメラから入力された映像（すなわち、レンズによる歪曲を有する映像）を示しており、図９Ｂは前記映像から歪曲の除去された映像（すなわち、レンズによる歪曲を補正した映像）を示している。
【００４３】
前記カメラ歪曲補償部１０２から、歪曲の補償された特徴点が表示されたＨＭＤを撮影した映像信号が、前記特徴点ラベリング部１０３１に、入力される。そこで、前記ＨＭＤ映像から各色相に対する２進化を通じて特徴点に該当する画素が得られる。この際、それぞれの色に対して異なるラベルを割当てて重要特徴点のそれぞれと付加特徴点とを区分できる。このようにして得られた映像をラベリング映像と称する。
【００４４】
このようなラベリング過程は、次の数式７を通じて行われる。
【００４５】
【数７】
2004005462.tif 000015
【００４６】
ここで、ｌ（ｘ，ｙ）はポイント（ｘ，ｙ）のラベルを、ｐｃ（ｘ，ｙ）はカラーチャンネルｃとポイント（ｘ，ｙ）の強度値を、Ｌはラベル番号を、
2004005462.tif 000016
は、チャンネルｃとラベルｎとの最大値及び最小値を、
2004005462.tif 000017
は、条件｛・｝を満たす集合を、各々意味する。
【００４７】
前記数式７を通じて強度値が０からＬまでのグレー映像、すなわちラベリング映像を得る。
【００４８】
前記ノイズ除去部１０３２は、前記特徴点ラベリング部１０３１からラベリングされた映像信号が入力されると、そのノイズを除去する。前記ラベリング映像は、通常、背景やノイズにより影響を受けるが、このようなノイズはオープニング技法のような形態学的な映像処理方法を通じて除去される。図８は、形態学的な映像処理技法で特徴点領域からノイズを除去した望ましい実施例を示す。
【００４９】
前記特徴点決定部１０３３は、前記ノイズの除去された映像から特徴点の２次元座標を求め、動き予測部１０３４から予測された特徴点の２次元座標値を対象物の位置、姿勢及び方向推定部１０４に提供する。この段階で、前記ノイズの除去された映像から求めた特徴点の２次元座標と前記動き予測部１０３４から提供された特徴点の２次元座標のうち何れの座標値を出力するかは、ユーザの選択により決定される。前記ノイズの除去された映像から求めた特徴点の２次元座標値は非常に正確である。一方、前記動き予測部１０３４から提供された特徴点の２次元座標値を利用すれば特徴点の位置追跡を迅速に行える点で有利である。
【００５０】
図２は、図１の特徴点決定部の細部構成を示す機能的ブロック図である。まず、連結情報分析部２０１は、ノイズの除去されたラベリング映像信号の入力を受ける。このようなラベリング映像はそれぞれのラベル値を輝度と仮定すれば、一種のグレー映像と類似しており、このような映像に対して同色の特徴点領域を区分するために各特徴点領域に対する画素の連結情報を得て全ての特徴点領域を区分する。
【００５１】
特徴点抽出部２０２は、前記連結情報分析部２０１から連結情報を通じて得られた特徴点領域に関する情報の提供を受け、前記特徴点領域であると判別された領域のうち一部の極端に小さな領域や特徴点間の関係に対する定義を通じて特徴点でない領域を除去する。このような過程を通じて最終的にラベリングされたそれぞれの領域は２次元映像において特徴点に該当する領域となる。
【００５２】
１次モーメント計算部２０３は、前記特徴点抽出部２０２から特徴点領域にラベリングされた２次元映像が入力されると、前記特徴点領域の中心点座標を求める。前記座標を求める方法は１次モーメント、すなわち、各特徴点領域の中心に対する平均を求めることで得られる。
【００５３】
前記動き予測部１０３４は、前記特徴点決定部１０３３から特徴点の２次元座標値の提供を受ける。そしてカラーヒストグラムとカルマンフィルター（Ｋａｌｍａｎｆｉｌｔｅｒ）とを使用したカラー対象追跡方法を通じて前記映像の後続フレームで前記特徴点の動きを予測してその位置を追跡する。以下、特徴点の動きを予測してその位置を追跡する方法を説明する。
【００５４】
Ｎ番目のフレームからｉ番目の特徴点ｆｉＮ，ｉ＝１，２，・・・，Ｉ領域のカラーヒストグラムｈｊ，ｊ＝１，２，・・・，Ｊを求める。そして、Ｎ＋１番目のフレームでｆｉＮを中心とする検索領域に対してカラーヒストグラムＨｊを求める。ここで、Ｉ及びＪは検出された特徴点の数を、ヒストグラムのビン数を各々意味する。その後、検索領域でヒストグラム確率
2004005462.tif 000018
を求める。
【００５５】
検索領域で各画素における該当特徴点である確率は画素のビン数に該当するヒストグラム確率となり、これをヒストグラム確率マップと称する。前記求められたヒストグラム確率マップとここに重み付け可能なカーネルであるカルマンフィルターとを乗算する。この結果に関して座標値に対する平均を求めれば、これがＮ＋１番目のフレームにおけるｉ番目の特徴点ｆｉＮ＋１の座標値となる。これを繰返して特徴点を追跡することになる。
【００５６】
前記姿勢及び位置予測部１０４１は、前記カメラキャリブレーション部１０１からカメラの内部パラメータ値の入力を得るとともに、前記特徴点決定部から特徴点の２次元座標値の入力を得る。そして、前記カメラの内部パラメータ値、特徴点の２次元座標値及び前記ＨＭＤに表示された特徴点の３次元座標値に基づいて、前記数式２を用いて前記ＨＭＤの姿勢及び位置情報を含むカメラの外部パラメータ［Ｒｔ］の値を求めて外部に出力する。カメラの外部パラメータを用いて位置及び姿勢を推定した例である図１２は、図１０のテスト映像においてチェックパネルの位置及び姿勢を推定した結果を示すものである。
【００５７】
前記方向追跡部１０４２は、前記特徴点決定部１０３３からＨＭＤを撮影した映像に現れた特徴点の２次元座標値が入力されると、前記特徴点のうち重要特徴点が前記ＨＭＤのどの部位に表示されたかを判断し、カメラのＨＭＤに対する概略的な時点を判定して外部に出力する。図６は、本発明を適用してＨＭＤの方向を推定した望ましい実施例を示している。図６においてＨＭＤは、左からそれぞれフロントビュードミナントモード（ｆｒｏｎｔ　Ｖｉｅｗ　ｄｏｍｉｎａｎｔ　ｍｏｄｅ）、レフトビュードミナントモード（Ｌｅｆｔ　Ｖｉｅｗ　ｄｏｍｉｎａｎｔ　ｍｏｄｅ）、ライトビュードミナントモード（Ｒｉｇｈｔ　Ｖｉｅｗ　ｄｏｍｉｎａｎｔ　ｍｏｄｅ）、バックビュードミナントモード（Ｂａｃｋ　Ｖｉｅｗ　ｄｏｍｉｎａｎｔ　ｍｏｄｅ）を示している。
【００５８】
図３は、本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する装置を適用した個人用ディスプレー装置の望ましい実施例の機能的ブロック図である。まず、映像入力部３０１は、ユーザの頭に付着されているＨＭＤを外部カメラで撮影した映像が入力されると、それを位置、姿勢及び方向推定部３０２に提供する。
【００５９】
前記位置、姿勢及び方向推定部３０２は、前記ＨＭＤを撮影した映像信号から前記ＨＭＤの位置及び姿勢情報とＨＭＤとを撮影した時点情報、すなわちＨＭＤの方向情報を抽出して、前記位置、姿勢及び方向情報を画面出力制御部３０３に出力する。
【００６０】
前記画面出力制御部３０３は、前記位置、姿勢及び方向情報が入力されると、画面出力部を制御する制御信号を発する。
【００６１】
画面出力部３０４は、画面出力制御部から制御信号が入力されると、その制御信号に応じてＨＭＤの位置、姿勢及び方向情報に対応する映像信号を画面に出力する。
【００６２】
図４は、本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する方法の望ましい実施例を示すフローチャートである。まず、カメラの内部パラメータを求め（４０１段階）、次いで前記カメラから位置、姿勢及び方向情報を推定する対象物の撮影された映像信号が入力される（４０２段階）。引き続き、前記入力された映像信号で前記対象物に表示された特徴点の２次元座標値を計算する（４０３段階）。そして、前記内部パラメータ値、前記特徴点の２次元座標値及び前記対象物に表示された特徴点の３次元座標値に基づいて前記対象物の位置、姿勢及び方向情報を抽出して外部に出力する（４０４段階）。
【００６３】
図５は、図４の４０３段階の細部的な方法を示すフローチャートである。まず、前記映像信号に含まれた対象物の映像で特徴点領域を抽出し（５０１段階）、前記特徴点領域のノイズを除去した後（５０２段階）、前記特徴点の２次元座標値を計算する（５０３段階）。
【００６４】
一方、前述した本発明の実施例はコンピュータで実行可能なプログラムで作成可能であり、コンピュータで読取り可能な媒体を通じて前記プログラムを動作させる汎用デジタルコンピュータで具現されうる。
【００６５】
前記コンピュータにて読取り可能な記録媒体は、磁気記憶媒体（例えば、ＲＯＭ、フロッピーディスク、ハードディスクなど）、光学的な判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような記録・伝送媒体を含む。
【００６６】
以上、本発明についてその望ましい実施例を中心に説明した。本発明が属する技術分野で当業者ならば本発明が本発明の本質的な特性から外れない範囲で変形された形に具現可能であることを理解しうる。よって、開示された実施例は限定的な観点でなく、説明的な観点で考慮すべきである。本発明の範囲は前記実施例ではなく、特許請求の範囲に示されており、それを同等な範囲内にある全ての違いは本発明に含まれているものと解釈すべきである。
【００６７】
【発明の効果】
本発明によれば、所定の対象物に特徴点を表示し、これを撮影した映像信号を処理して前記対象物の位置、姿勢及び方向情報を推定できるので、前記対象物（例えば、ＨＭＤ）にカメラあるいはセンサー（磁気センサーあるいはジャイロスコープなど）を取付けなくても良い。したがって、前記対象物が軽量化してユーザが前記対象物を身体に着用しやすくなる。
【００６８】
また、磁気センサーを用いた場合のように周辺に金属性物体による歪曲がなく、ジャイロスコープを用いた場合のような対象物の位置を測定できない短所を克服でき、かつ対象物を追跡するセンサーにカメラを用いることによって運搬性に優れる。
【図面の簡単な説明】
【図１】本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する装置の望ましい実施例の機能的ブロック図である。
【図２】図１の特徴点決定部の細部的な機能的ブロック図である。
【図３】本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する装置を適用した個人用ディスプレー装置の望ましい実施例の機能的ブロック図である。
【図４】本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する方法の望ましい実施例を示すフローチャートである。
【図５】図４の４０３段階の細部ステップを示すフローチャートである。
【図６】本発明を適用してＨＭＤの方向を推定した望ましい実施例を示す。
【図７】カメラのキャリブレーションの原理を示す。
【図８】形態学的映像処理技法により、特徴点領域でノイズを除去した望ましい実施例を示す。
【図９Ａ】歪曲除去前のカメラから入力された映像を示す。
【図９Ｂ】図９Ａに示す映像から歪曲を除去した後の映像を示す。
【図１０】カメラの内部パラメータを求めるためのテスト映像の望ましい例を示す。
【図１１】カメラの内部パラメータを求めた望ましい例を示す。
【図１２】図１０のテスト映像でチェックパネルの位置及び姿勢を推定した結果を示す。
【符号の説明】
１０１　　カメラキャリブレーション部
１０２　　カメラ歪曲補償部
１０３　　特徴点座標抽出部
１０４　　対象物の位置、姿勢及び方向推定部
１０３１　特徴点ラベリング部
１０３２　ノイズ除去部
１０３３　特徴点決定部
１０３４　動き予測部
１０４１　姿勢及び位置予測部
１０４２　方向推定部
【図１】
2004005462.tif 000019
【図２】
2004005462.tif 000020
【図３】
2004005462.tif 000021
【図４】
2004005462.tif 000022
【図５】
2004005462.tif 000023
【図６】
2004005462.tif 000024
【図７】
2004005462.tif 000025
【図８】
2004005462.tif 000026
【図９Ａ】
2004005462.tif 000027
【図９Ｂ】
2004005462.tif 000028
【図１０】
2004005462.tif 000029
【図１１】
2004005462.tif 000030
【図１２】
2004005462.tif 000031