論 文
拡張現実感のための優先度情報を付加した自然特徴点ランドマーク
データベースを用いた実時間カメラ位置・姿勢推定
武富 貴史†

佐藤 智和†

横矢 直和†

Real-Time Extrinsic Camera Parameter Estimation Using a Feature Landmark
Database with Priorities for Augmented Reality
Takafumi TAKETOMI† , Tomokazu SATO† , and Naokazu YOKOYA†

あらまし 拡張現実感において，現実環境と仮想環境の幾何学的な位置合わせを実現するためには，カメラの位置・姿勢を推定する必要があり，現在までに様々なカメラ位置・姿勢推定手法が提案されている．なかでも，ランドマークデータベースを用いたカメラ位置・姿勢推定手法は，屋内外を問わず利用でき，広域な環境を対象とした場合にもカメラ位置・姿勢推定の誤差が累積しないという特長を持つ．しかし，従来手法ではデータベース
中のランドマークと入力画像上の自然特徴点との対応付け処理に多くの計算コストを必要とするため，実時間でのカメラ位置・姿勢の推定が困難であるという問題がある．そこで，本論文では連続フレーム間でのランドマー
クの追跡とランドマークへの優先度情報の付加により，対応付け処理において用いられる対応点候補数を削減することで，実時間でのカメラ位置・姿勢推定処理を実現する手法を提案する．実験では，従来手法との比較によって計算コストの削減効果を検証する．また，実時間処理可能な試作システムを用いた複数のアプリケーションへの応用例を紹介し，提案手法の有効性を示す．
キーワード

ランドマークデータベース，カメラ位置・姿勢推定，自然特徴点，拡張現実感

環境に対する事前知識として，画像データベース，環1. は じ め に境の三次元モデル，ランドマークデータベース等を利

現実環境を撮影した画像中に CG などによって表現用することで現実環境に対する仮想物体の合成位置をされる仮想環境を位置合わせして描画することで情報決定している．なかでも自然特徴点ランドマークデーを付加するビデオシースルー型拡張現実感は，ヒュータベースを用いたカメラ位置・姿勢推定手法 [12] は，

マンナビゲーション [1]〜[3]，各種の作業支援 [4], [5]，複雑な屋外シーンにおいてもデータベース構築の人的教育支援 [6] などの広い分野への応用が期待されておコストが低く，広域環境を対象とした場合にもカメラり，盛んに研究されている．このような拡張現実感技

位置・姿勢推定の誤差が累積しないという特長を持つ．

術を用いたアプリケーションにおいて，現実環境と仮

しかし，自然特徴点ランドマークデータベースを利用

想環境の幾何学的な位置合わせを実現するためには，した従来手法 [12] では，データベースに登録されていカメラの位置・姿勢を推定することが必要となり，現る多数のランドマークと入力画像上の自然特徴点を正在までに様々なカメラ位置・姿勢推定手法が提案され

しく対応付けるために多くの処理時間を必要とし，実ている [7]〜[15]．

時間でのカメラ位置・姿勢の推定が困難であるという

このような研究では，一般に，現実環境を撮影した問題が残されている．具体的には，従来手法 [12] では，

画像を CG の合成対象として用いるだけでなく，カメ

データベース中より選択した N 個のランドマークとラ位置・姿勢推定にも用いることで，精度の高い位置

入力画像中より抽出した平均 F 個の自然特徴点とを合わせを実現している．また，これらの手法の多くは，総当たりで照合することで対応付けているため，対応†付け処理における計算コスト Cprev が N ，F の積に比奈良先端科学技術大学院大学， 奈良県生駒市高山町 8916-5
Nara Institute of Science and Technology, 8916-5 Takayama,
Ikoma, Nara, 630-0192 Japan

例し，このコストがカメラ位置・姿勢推定処理の大半を占めていた．著者らは従来，固有空間法によるラン電子情報通信学会論文誌 D Vol. Jxx–D No. xx pp. 1–12xxxx 年 xx 月

1

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx

ドマークの特徴次元数の削減によって 1 回当たりのランドマークと自然特徴点の照合コスト A を低減する（A）Database construction（Offline process)(A-1) 3-D reconstruction of target environment

ことを試みた [16] が，マッチングの精度を保ったまま(A-2) Acquisition of landmark information

ランドマークと自然特徴点の照合コスト A を低減す
ることは難しいという結論に至った．

（B） Camera parameter estimation（Online process)

本研究では，対応付け処理に用いられるランドマー(B-1) Initial camera parameter estimation

ク数 N と照合される自然特徴点数 F をそれぞれ削減することで，対応付け処理における計算コスト

Cprev = N F A を削減し実時間でのカメラ位置・姿勢推定を実現する手法を提案する．具体的には，従来手(B-2) Tentative camera parameter estimation(B-3) Selection of landmarks based on priorities(B-4) Selection of natural feature points
based on tentative camera parameter

法 [12] に対して以下の 2 つの改良を加える．

(1) 連続フレーム間でランドマークを追跡し暫定的(B-5) Search for corresponding pairs

なカメラの位置・姿勢を推定することで照合すべ(B-6) Camera parameter estimation

き自然特徴点数 F を削減する(B-7) Updating priorities(2) ランドマークへ優先度情報を付加することで，正しく対応づく可能性の高い少数のランドマークを選択し，対応付け処理に用いるランドマーク数

Fig. 1図 1 提案手法の処理の流れ
Flow diagram of the proposed method

N を削減する
また，従来手法 [12] では，カメラの初期位置・姿勢を手動で与える必要があり，ユーザの補助を必要として

2. 関 連 研 究

いたが，本研究ではこの点についても改善し，ランド

本章では，画像に基づくカメラの位置・姿勢推定手

マークデータベースを用いた静止画像からのカメラ位

法 [7]〜[15] を環境の事前知識を用いる手法 [7]〜[12]置・姿勢推定手法 [17] を導入することで，カメラの初と環境の事前知識を用いない手法 [13]〜[15] に大別し期位置・姿勢推定処理を自動化する．

それぞれの特徴を概観し，センサ融合によるそれらの提案手法の処理の流れを図 1 に示す．図中の太枠は，従来手法 [12] に対して本研究で追加または改良した処手法の拡張 [18]〜[20] についても述べた後，本研究の位置づけについて述べる．

理を表す．ランドマークデータベースを用いたカメラ

環境の事前知識を用いる手法 [7]〜[12] には，事前知位置・姿勢推定は，オフラインでのデータベースの構識として，画像データベースを用いる手法 [7], [8]，環築処理 (A) とオンラインでのカメラ位置・姿勢の推定

境の三次元モデルを用いる手法 [9], [10]，ランドマーク

処理 (B) からなる．

データベースを用いる手法 [11], [12] がある．画像デー

以下，2. では，画像に基づくカメラ位置・姿勢推定

タベースを用いる手法 [7], [8] では，事前に環境内をの関連研究と本研究の位置づけについて述べる．3. で撮影した画像とその撮影位置・姿勢をデータベースへ

は，本研究で用いるランドマークデータベースの構成

登録しておき，入力画像とデータベース中の画像を対およびオフラインでの構築処理について述べ，4. では，応付けることでカメラの位置・姿勢を推定する．岩佐

優先度を付加したランドマークデータベースを用いたら [7] は，入力画像と最も類似した画像をデータベー

オンラインでのカメラ位置・姿勢推定処理について述

ス中より選び出し，その画像の撮影位置を入力画像のべる．5. では提案手法の理論的な処理速度の向上効果

撮影位置として推定している．この手法では，大まかを見積もり，6. では実験により実際の処理速度向上効なカメラ位置の推定は可能であるが，正確なカメラ位

果を確認する．また，試作システムを用いた実時間で置を推定することは難しい．Cipolla ら [8] は，文献 [7]の仮想物体の合成実験により，実アプリケーションへの手法と同様にデータベース中から類似した画像を選の応用の可能性についても検証する．最後に，7. でま択した上で，その画像が撮影されたカメラ位置からのとめと今後の課題について述べる．

相対的な位置・姿勢を推定することで推定精度を高め

2

論文／拡張現実感のための優先度情報を付加した自然特徴点ランドマークデータベースを用いた実時間カメラ位置・姿勢推定る手法を提案している．しかし，この手法では撮影地

ping) と呼ばれるアプローチが用いられる．これらの点の高さを推定することができず，6 自由度で正確な手法では，事前にデータベースを構築する必要がなく，

カメラ位置・姿勢を推定することは難しい．また，これ手軽に拡張現実環境を構築できるという特長があるが，らの手法は入力画像とデータベース中の画像の照合に広域な環境を対象としたカメラの位置・姿勢推定では，多くの計算コストを必要とし，実時間での処理が難し

カメラ位置・姿勢の推定誤差が蓄積するという問題がいという問題がある．環境の三次元モデルを用いる手あり，利用できる範囲が限定される．また，SLAM に法 [9], [10] では，入力画像中のエッジや自然特徴点なよるカメラ位置・姿勢の推定手法は，それ単体では現

どをあらかじめ作成した三次元モデルと対応付けるこ

実環境に対する絶対的なカメラ位置・姿勢やスケールとによって，実時間でのカメラの位置・姿勢推定を実現

情報を取得できないため，拡張現実感技術を用いたナしている．しかし，一般に広域で複雑な屋外環境の三ビゲーションのような実環境の位置に依存した情報の次元モデルを作成することは難しく，データベースの提示を必要とするアプリケーションにそのまま用いる構築に多くの人的コストを必要とするという問題があことはできない．

る．ランドマークデータベースを用いる手法 [11], [12]また，画像に基づくカメラ位置・姿勢推定の処理速では，自然特徴点の三次元位置と自然特徴点周辺の局

度やロバスト性を向上させるため，GPS やジャイロ

所的な画像情報をランドマークとしてデータベースへなどの計測機器とカメラ画像を併用したハイブリッド

登録しておき，ランドマークと入力画像中の自然特徴

手法 [18]〜[20] が提案されている．これらの手法では，点を対応付けることでカメラ位置・姿勢の推定を行う．

計測機器から得られる情報よりカメラの大まかな動き

自然特徴点の三次元位置は structure-from-motion にを推定することで，ロバスト性の高い実時間カメラ位

よって自動で推定されるため，データベース構築の人

置・姿勢推定を実現しているが，計測機器によって利的コストが低く，広域で複雑な屋外環境を対象とした用可能な環境に制約があり，様々な環境で用いるため場合にも比較的容易にデータベースを作成することがには多数の計測機器を組み合わせる必要がある．また，できる．しかし，データベースに登録されている多数

現在のところ画像からの絶対位置・姿勢の取得には，のランドマークと画像上の自然特徴点を正しく対応付

データベースの構築コストやカメラ位置・姿勢推定のけるために多くの処理時間を必要とし，実時間でのカ処理コストの問題が残されている．

メラ位置・姿勢の推定が困難であるという問題が残されている．

本研究では，拡張現実感において現実環境と仮想環
境の位置合わせの精度を高めやすいという特徴を持つ

これに対して，あらかじめ特徴空間を KD-Tree に

画像からの位置・姿勢推定手法の中でも，広域で複雑

よって分割しておくことで，高速に対応付け処理を行な環境においてもデータベースを比較的低コストに構う手法 [21] が提案されているが，実時間での処理には築でき，高精度なカメラ位置・姿勢推定を実現可能な到っておらず，また，広域な屋外環境のように高次元ランドマークデータベースを用いる手法 [12] に着目の特徴空間上で大量のデータを扱う場合には，このよ

し，従来手法 [12] で問題となっていたカメラ位置・姿

うなアプローチによる探索処理の高速化を行うことは

勢推定処理の計算コストを低減することで実時間での難しい．また，著者らは，あらかじめ，カメラの位置・

カメラ位置・姿勢推定を実現する．

姿勢推定を行う空間を格子状に分割した上で，各地点から観測できるランドマークを用いて位置に依存した

3. ランドマークデータベースの構築

固有空間を作成しておき，ランドマークの照合を固有

本章では，オフラインでのランドマークデータベー空間上で行うことにより対応付けの計算コストを低減

ス構築処理 (図 1 のプロセス (A)) について述べる．本する手法 [16] を試みたが，マッチングの精度を保った研究では，4. で述べるオンラインでのカメラ位置・姿ままランドマークと自然特徴点の照合コストを低減す

勢の推定において，推定に有効なランドマークを効率ることは難しく実時間処理の実現には到らなかった．

的に選択するために，従来手法 [12] で用いられている

一方，環境の事前知識を用いない手法 [13]〜[15] でデータベースに優先度情報を付加した新たなランド

は，一般に入力画像中の自然特徴点を追跡することにマークデータベースを用いる．また，初期フレームのより，カメラ位置・姿勢の推定と環境のモデル化を同時

カメラ位置・姿勢を推定するために，自然特徴点の固に行う SLAM(Simultaneous Localization and Map-

有スケールと SIFT 特徴ベクトルの情報を登録してお3電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx
Landmark Database

Landmark 1 Landmark 2

・・・

Landmark N

Image template

3D Position of landmark(a) 3-D coordinate of landmark

Normal vector ofimage template(b) Information for each observation position(b-1) Multi-scale image template(b-2) Characteristic scale(b-3) SIFT feature vector(b-4) Observation position

Image plane(c) Priority of landmark

図 2 ランドマークデータベースの構成要素
Fig. 2 Elements of landmark database

く．ここでは，ランドマークデータベースを構築する

Projection center of camera
図 3 画像テンプレートの作成
Fig. 3 Generation of image template.

ために，まず，全方位画像を用いた環境の三次元復元を行う (図 1 の (A-1))．次に，環境の三次元復元結果

れぞれの情報の取得方法について述べる．

を用いてランドマーク情報を取得する (図 1 の (A-2))．

(a) ランドマークの三次元位置：4. で述べるオンライ

以下では，各処理について詳しく述べる．

ンでのカメラ位置・姿勢推定では，ランドマークの三3. 1 全方位画像を用いた環境の三次元復元 (A-1)

次元位置と画像上の二次元座標を対応付けることによ

本研究では，三次元位置が既知の少数の基準点や，りカメラの位置・姿勢を推定するため，ランドマーク

GPS などの外部指標を用いた structure-from-motionの三次元位置情報が必要となる．ランドマークの三次法 [22], [23] を用いることで，広域で複雑な環境におい元位置は 3. 1 で述べた処理によって得られるものであても蓄積誤差の生じない環境の三次元復元を行う．こり，環境に固定された世界座標系で保持される．

れらの手法では，まず，対象となる環境を移動しなが(b) 撮影地点ごとの情報：撮影地点によるランドマー

ら全方位カメラを用いて撮影する．次に，Harris オペ

クの見え方の違いに対応するため，撮影地点ごとに多レータ [24] によって検出された動画像中の自然特徴点

重スケールの画像テンプレートを作成し，データベーを自動追跡することで，structure-from-motion 法にスへ登録する．ここでは，図 3 に示すように，世界座

よって自然特徴点の三次元位置と画像上の座標，およ標系において，カメラの投影中心とランドマークの三び全方位カメラのカメラパラメータを推定する．最後次元位置を結ぶ直線に対して垂直な面に画像上での自に，三次元位置が既知の少数の基準点 [22] または GPS

然特徴点周辺のパターンを投影することで，カメラのから得られる絶対位置 [23] を利用して，動画像全体で撮影姿勢に依存しない画像テンプレートを作成し登録の最適化処理を行うことで，カメラパラメータと自然する (b-1)．また，カメラの初期位置・姿勢を推定する

特徴点の三次元位置の累積的な推定誤差を最小化する．

ために，Harris-Laplacian [25] によって算出される自このような手法を用いることで，広域で複雑な環境に然特徴点の固有スケール (b-2)，SIFT-descriptor [26]

おいても蓄積誤差なく比較的容易に環境の三次元復元

による SIFT 特徴ベクトル (b-3) を算出し，データを行うことができる．

ベースへ登録する [17]．ここで，自然特徴点の固有ス

3. 2 ランドマーク情報の取得 (A-2)

ケールは，自然特徴点周辺のテクスチャの局所構造か

本研究で用いるランドマークデータベースには図 2

ら決定されるものであり，これを用いることで，一定に示すように，(a) 自然特徴点の三次元位置，(b) 撮の空間領域に対応する画像の局所領域を切り出し，自影地点ごとの情報，(c) ランドマークの優先度の情報

然特徴点を正しく対応づけることができる．さらに，が保持される．撮影地点ごとの情報は，(b-1) 多重ス

オンライン処理でのランドマーク選択処理 (B-3) におケールの画像テンプレート，(b-2) 自然特徴点の固有ス

いて，撮影可能なランドマークを選択するために，ラケール，(b-3)SIFT 特徴ベクトル，(b-4) ランドマー

ンドマーク撮影時の全方位カメラの位置をデータベー

ク撮影時の全方位カメラの位置から成る．以下ではそスへ登録する (b-4)．

4

論文／拡張現実感のための優先度情報を付加した自然特徴点ランドマークデータベースを用いた実時間カメラ位置・姿勢推定(c) ランドマークの優先度：4. で述べるオンラインでのカメラ位置・姿勢の推定において，正しく対応づく

詳しく述べる．

4. 1 カメラの初期位置・姿勢の取得 (B-1)

可能性の高いランドマークをデータベース中から効率本研究では，初期フレームのカメラ位置・姿勢は，的に選択するために，ランドマークに優先度情報を付

ランドマークデータベースを用いた静止画像からのカ加する．優先度は，過去に同じ場所でユーザによってメラ位置・姿勢推定手法 [17] によって自動で取得する撮影された入力に対する推定結果を利用して，各ラン(B-1)．ここでは，まず，入力画像中の自然特徴点の固ドマークがカメラ位置・姿勢推定に利用される確率を

有スケール，SIFT 特徴ベクトルを算出した後，これ算出することで決定する．ただし，ランドマークデーらをデータベース中の全てのランドマークの SIFT 特

タベースの構築時点においては優先度を算出すること

徴ベクトルと照合することで自然特徴点とランドマーはできないため，全てのランドマークに対して同一のクを対応付ける．次に，対応付けられた自然特徴点の優先度を設定しておく．4. で述べるオンライン処理に固有スケールとランドマークの固有スケールの比を用よって，ユーザのカメラ位置・姿勢が推定された場合

いて，ランドマークからカメラまでのおおよその距離には，データベースからランドマーク i が選択されたを算出する [17]．最後に，ランドマークの観測地点の

回数 Di とカメラ位置・姿勢推定の際に誤対応として整合性を利用して，対応付けられたランドマークから排除されずに推定に用いられた回数 Ei を用いて，ラ

誤対応を排除した後に，PnP 問題 [27] を解くことで 6

ンドマーク i の優先度 Pi を以下の式で更新する．

自由度のカメラ位置・姿勢を推定する．

Pi =

Ei
Di

(1)

上記の初期位置・姿勢推定処理では，データベース
中の全てのランドマークと入力画像上の自然特徴点

本研究では，データベースの管理者が，あらかじめを照合するため，推定処理の完了に数十秒を要する．

データベース構築時にいくつかの学習データを与える

従って，本研究では初期位置・姿勢の推定が完了する

ことで，一般ユーザが利用する前に優先度を更新してまでの間カメラを動かさないものとする．

おくことを想定する．この優先度の更新処理については 4. 6 で詳しく述べる．

4. 優先度情報を用いた実時間でのカメラ
位置・姿勢推定

4. 2 暫定的なカメラ位置・姿勢の推定 (B-2)
ここでは，入力画像中のランドマークを追跡することにより，現フレームの暫定的なカメラ位置・姿勢を推定する (B-2)．これにより，後述する 4. 4 で述べるランドマークと照合すべき自然特徴点の選択処理 (B-4)

本章ではオンラインでのカメラ位置・姿勢推定処理において，ランドマークの探索範囲を小領域に限定す(図 1 のプロセス (B)) について述べる．本研究では，ることで照合すべき自然特徴点数を削減することがで

従来手法 [12] と同等の推定精度を保ったまま，計算コ

きる．暫定的なカメラ位置・姿勢の推定では，まず，前ストを削減するために，推定に有効なランドマークおのフレームで自然特徴点と対応付けられ，誤対応とし

よび自然特徴点を残しながら対応点候補数を削減する．

て排除されずにカメラ位置・姿勢の推定に用いられた

具体的には，ランドマークの選択処理 (B-3) において，ランドマークを選択し，現フレームにおける対応点を優先度情報を用いることで，入力画像中の自然特徴点探索する．ランドマークの対応点の探索において，連と正しく対応づく可能性の高いランドマークを効率的

続フレーム間ではパターンの変形や明るさの変化は微にデータベース中から取り出す．これにより，データ

小であることから，前フレームにおけるランドマーク

ベース中の全ランドマークを対等に扱っていた従来手の位置を中心とする T × T 画素の画像をテンプレート

法 [12] に対して照合すべきランドマークの数を削減として用い，ランドマークの前フレームの画像上の位することができる．また，従来手法 [12] で考慮されて置を中心とする一定のウィンドウ W1 内で SSD(Sum

いなかった連続フレーム間でのカメラの動きをランド

of Squared Diﬀerences) を評価尺度としたテンプレー

マークの追跡処理により推定することで，自然特徴点

トマッチングによりランドマークの追跡を行う．ただの選択処理 (B-4) における自然特徴点の探索範囲を小し，テンプレートマッチングによるランドマークの追領域に限定し，推定に有効な自然特徴点を残したまま跡処理において，SSD の算出はウィンドウ W1 内の全照合すべき自然特徴点の数を削減する．以下では，オての画素に対して行うのではなく，Harris オペレータ

ンラインでのカメラ位置・姿勢推定の各処理についてによって検出された自然特徴点のみを対象として行う．
5

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx

3D position of landmark

次に，追跡した自然特徴点を用いて現フレームの暫定的なカメラ位置・姿勢を推定する．カメラ位置・姿θ勢の推定では，まず，LMedS 基準を用いて誤対応を排除する．次に，正しい対応関係を用いて，カメラ位
置・姿勢の推定を行い，再投影誤差を最小化することによって現フレームの暫定的なカメラパラメータ M̂
を推定する．暫定的なカメラパラメータ M̂ を推定することによって，フレーム間でのカメラのおおよその動きを推定する．ただし，本研究では線形解法を用いてカメラパラメータの推定処理を高速化しているため，

Captured camera positionof landmark

Tentative camera position

図 4 幾何学的な制約によるランドマークの選択
Fig. 4 Landmark selection based on geometric constraint.

6 点以上のランドマークが追跡されなかった場合には，暫定的なカメラ位置・姿勢を推定することができな

4. 3. 2 優先度に基づくランドマークの選択

い [28]．また，6 点以上のランドマークが追跡された

幾何学的な制約を用いて選択されたランドマークの場合でも，追跡されたランドマークの中に誤対応が半候補中より推定に有効なランドマークを優先度に基づ数以上含まれる場合には誤対応を排除することができ

いて選択する．優先度に基づくランドマークの選択処ず，暫定的なカメラ位置・姿勢を正しく推定できない．

理では，まず，入力画像を G 個の格子に分割し，幾何

従って，本手法では追跡されたランドマーク数が 6 点

学的な制約を用いて選択されたランドマークの候補中未満または再投影誤差が一定の閾値以上となった場合から各格子に対して最も優先度の高いランドマークをに，暫定的なカメラ位置・姿勢の推定に失敗したもの選択する．次に，画像全体で優先度 Pi の高い順にラと判定する．この場合には，手法 [14] や手法 [20] と同ンドマークを Nproj 個選択する．ただし，Nproj は最様に，追跡処理に失敗する直前のカメラ位置・姿勢推′
大 Nprior 個とし，Nproj = Nprior − Ntrackとする．

定結果を用いて追跡処理の復帰を行う．ただし，後述′
ここで，Ntrack
は処理 (B-2) で誤対応として排除されする実験において用いる試作システムでは，この復帰ずに，暫定的なカメラ位置・姿勢の推定に用いられた処理についての実装および検証は行っていない．

ランドマークの数である．優先度を用いてランドマー

4. 3 ランドマークの選択 (B-3)

クを選択することにより，自然特徴点と正しく対応づ

本研究では，まず，幾何学的な制約を用いて暫定的

く可能性の高いランドマークを優先的に選択することなカメラ位置・姿勢から観測可能なランドマークをができる．これにより，照合すべきランドマークの数

データベースより選択する．次に，優先度情報を用いを削減することができる．

て観測可能なランドマークの中からランドマークと正

4. 4 自然特徴点の選択 (B-4)

しく対応づく可能性の高いランドマークを選択する．

ここでは，暫定的なカメラ位置・姿勢を用いて，処理

4. 3. 1 幾何学的な制約によるランドマークの選択
ランドマークの選択処理 (B-3) では，まず処理 (B-2)(B-3) で選択した優先度の高いランドマークと照合すべき入力画像中の自然特徴点を選択する．ランドマーで推定された暫定的なカメラ位置・姿勢とランドマー

クと自然特徴点の選択処理では，まず処理 (B-2) で推クが撮影された全方位カメラの位置を用いて，以下の定した暫定的なカメラパラメータ M̂ を用いて，処理

幾何学的な条件を満たす画像テンプレートをデータ(B-3) で選択されたランドマーク j(j = 1, 2, · · · , N )ベース中より選択する．

を以下の式により入力画像上へ投影する．

・ ランドマークが入力画像の画角内に存在する・ ランドマーク撮影時のカメラ位置とランドマーク
を結ぶ直線と，暫定的なカメラ位置とランドマー
クを結ぶ直線の成す角が閾値 θ 以下 (図 4)







xj



a j uj
 y 


 j 

 aj vj  = M̂  zj 
aj(2)

1

このような幾何学的な制約によって暫定的なカメラ位

ただし，(xj , yj , zj ) はランドマーク j の世界座標系で置・姿勢から観測可能なランドマークを選択することの三次元位置，(uj , vj ) はランドマーク j の画像上へができる．

の投影位置，aj はカメラ座標系でのランドマーク j

6

論文／拡張現実感のための優先度情報を付加した自然特徴点ランドマークデータベースを用いた実時間カメラ位置・姿勢推定

Window size W
Window size W

1
2

Position of projected landmark
Detected feature points
Input image
図 5 ランドマークの対応点の探索範囲
Fig. 5 Search range of corresponding point.

誤対応として排除されずにカメラ位置・姿勢の推定に用いられた回数 Einew を利用することでデータベース
中のランドマークの優先度を更新する．ランドマーク

i の優先度 Pi は，ユーザより新たに取得した頻度情報(Dinew , Einew ) と，過去に同じ環境内でカメラ位置・姿勢の推定を行ったユーザより得られている頻度情報(Diold , Eiold ) を用いて，次式で更新する．
Pi =Eiold + Einew
Diold + Dinew(3)

5. 計算コストの比較の奥行きを表す．次に，図 5 に示すように，投影したランドマーク j の画像上の位置 (uj , vj ) を中心とする
一定ウィンドウ W2 内の自然特徴点を選択する (B-4)．
ただし，ここではウィンドウ W2 のサイズをウィンド
ウ W1 のサイズよりも小さく設定することで対応点候補となる自然特徴点の探索範囲を小領域に限定する．

4. 5 ランドマークと自然特徴点の対応付けによる
カメラ位置・姿勢推定 (B-5)，(B-6)
処理 (B-4) においてウィンドウ内で検出された全ての自然特徴点について，データベース構築時と同様に，カメラの撮影姿勢に依存しない画像テンプレートを作成し，作成した画像テンプレートとランドマークの画

本章では，提案手法によるランドマークと自然特徴
点の対応付けの理論的なコストの低減量について述べる．従来手法における対応付け処理の計算コストは

Cprev = N F A であるが，本研究では照合される自然
特徴点数 F と対応付け処理に用いられるランドマーク
数 N を削減することで，対応付けの計算コスト Cprevを低減する．提案手法では，ランドマークの探索範囲を限定するために，新たに暫定的なカメラパラメータを推定することが必要となるため，ランドマーク対応
付けの総コスト Cnew は，Cnew = Ctrack + Cproj(4)

像テンプレートを照合する．ここでは，データベース
構築時とカメラ位置・姿勢推定時の明るさの変化に対となる．ただし，Ctrack ，Cproj はそれぞれ，暫定的応するために，正規化相互相関法による照合を行い，なカメラパラメータの推定 (B-2)，暫定的なカメラパ

相関値が最大となる自然特徴点をランドマークと対応

ラメータを用いたランドマークの対応付け (B-5)，に付ける (B-5)．

必要な計算コストである．ここで，処理 (B-2) の計

次に，ランドマークと対応付けられた自然特徴点と，処理 (B-2) で暫定的なカメラ位置・姿勢の推定に用いた自然特徴点を用いて，現フレームのカメラ位置・姿勢を推定する．現フレームのカメラ位置・姿勢は処理算コスト Ctrack は，追跡に用いるランドマーク数を

Ntrack 個とすると，Ctrack = Ntrack F B + ELM edS(5)(B-2) と同様に，LMedS 基準を用いて誤対応を排除となる．ただし，ELM edS は誤対応の排除とカメラ位した後に，再投影誤差を最小化することによって推定

置・姿勢の推定にかかる計算コストであり，B は追跡する (B-6)．

処理においてランドマークと自然特徴点の 1 組のペア

4. 6 推定結果のフィードバックによる優先度の更新 (B-7)に対して SSD を算出する計算コストである．このコストは，幾何学的な変形や輝度値の正規化を必要とす

カメラの位置・姿勢推定の完了後，ランドマークがるランドマークの照合コスト A に対してはるかに小さ利用された頻度の情報をデータベースへフィードバッ

く，また，追跡に用いるランドマーク数 Ntrack は N

クすることで，データベース中の各ランドマークの優に対して小さいため，提案手法で新たに導入した処理

先度を更新する (B-7)．ここでは頻度の情報として，カ(B-2) のオーバーヘッドは小さい．

メラ位置・姿勢推定の逐次処理において，ランドマー

処理 (B-4) では，処理 (B-2) で推定された暫定的な

ク i が処理 (B-3) でデータベース中から選択された回

カメラ位置・姿勢を用いて画像上の探索範囲を限定す

数 Dinew と処理 (B-6) において LMedS 基準によりることで，対応点候補として用いられる自然特徴点の
7電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx

平均数を S2 /S1 (S1 , S2 はそれぞれウィンドウ W1 , W2の面積を表す) に，また，優先度に基づくランドマー
クの選択処理と，処理 (B-2) で追跡されたランドマー
クを対応付けるランドマークから除外することにより，′ランドマークの数 N を (Nprior − Ntrack)/N に削減

できる (Nprior <= N )．これにより，処理 (B-5) の計算コスト Cproj は，′)Cproj = (Nprior − Ntrack

S2
FA
S1

(6)

となる．
ここで，従来の対応付け処理に対する高速化の効果(処理コストの比) は以下の式で算出できる．
Cnew
Ctrack + Cproj
=
Cprev
Cprev
=

′
(Nprior − Ntrack) S2
Ctrack
+
Cprev
N
S1

(7)

図 6 データベースの構築に用いた全方位動画像の一部
Fig. 6 Sampled images taken by omnidirectional
multi-camera system.

(8)

式 (8) において，第 1 項は処理 (B-2) によるオーバー
ヘッドを，第 2 項は処理 (B-5) における計算コストの削減効果を表している．実際には各処理の繰り返しにおいて一定のオーバーヘッドが生じるため，第 2 項の計算コストの削減効果は 6. で述べる実験結果と完全には一致しない．

6. 実

験

提案手法の有効性を示すために，屋外環境において実際にランドマークデータベースを構築し，実環境

Fig. 7図 7 三次元復元の結果
Result of 3-D reconstruction.

での実験を行った．ここでは，まず，従来手法 [12] と提案手法のカメラ位置・姿勢推定の計算コストおよび

た，データベース構築時のカメラパスと復元されたラ推定精度の比較を行った．次に，提案手法を実アプリ

ンドマークの三次元位置を図 7 に示す．

ケーションに適用し，実アプリケーションへの応用のデータベースに登録されたランドマーク数は約 12400

可能性を検証した．ただし，現時点において構築した個であり，各ランドマークに対して，平均 8ヶ所の異システム (CPU: Core 2 Extreme 2.93GHz, メモリ:なる地点で撮影された画像テンプレートが登録され2GB) では，初期位置・姿勢の推定に 60 秒程度を必要た．本実験ではビデオカメラ (SONY DSR-PD-150)とするため，後述する実験では，初期位置・姿勢の推を用いて撮影した 4 本の動画像 (解像度 720×480 画

定中は環境内に固定された三脚にカメラを設置してお素，プログレッシブスキャン，15fps) に対してカメラ

き，初期位置・姿勢推定の完了後にカメラを移動させの位置・姿勢推定を行った．そのうち，3 本の動画像ている．

の推定結果を優先度設定のために用い，残りの 1 本の本実験で用いるランドマークデータベースは，全方

動画像 (1000 フレーム) を評価用として用いた．カメ

位型マルチカメラシステム (Point Grey Research 社

ラ位置・姿勢推定に用いた各パラメータを表 1 に示す．

Ladybug) で屋外環境 (約 75m) を歩きながら撮影し本実験では，提案手法，従来手法ともにカメラの内部た全方位動画像 (1260 フレーム) を入力とし，3. で述

パラメータはあらかじめ Tsai の手法 [29] によって校べた手法を用いることで構築した．図 6 に，データ正した．カメラ位置・姿勢推定精度の定量的な評価にベースの構築に用いた全方位動画像の一部を示す．ま用いるカメラ位置・姿勢の真値は，環境内の特徴点の

8

論文／拡張現実感のための優先度情報を付加した自然特徴点ランドマークデータベースを用いた実時間カメラ位置・姿勢推定
表 1 実験で用いたパラメータ
Table 1 Parameters in experiment.

Image template size
T (pixel)
Window size
W1 (pixel)
Window size
W2 (pixel)
Angle thresholdθ (degree)
Number of grids
G
Training video

Oe’s method [12]-Proposed method
15-120 × 60

120 × 60

20 × 20

Initial value ofpriorities

40

Method A
Method B
Method C
Method D

es
am
fr 30
reu
li
af
fo 20
erb
m
u 10
N
0

15

100

72 × 48-Three video
sequences
1/2

90

80

70
60
50
Number of landmarks

40

30

20

図 8 ランドマーク数と推定に失敗したフレーム数の関係
Fig. 8 Relation between number of landmarks andfailure frames.

推定失敗率を算出することで，処理 (B-3) において選三次元位置をトータルステーションを用いて測定し，択するランドマーク数 Nprior を決定した．ただし，優各フレームの画像上でそれらの特徴点を手動で対応付

先度情報を用いない手法 A，B では，従来手法 [12] とけ，PnP 問題を解くことで算出した．ただし，真値作同様に幾何学的な制約のみを用いて撮影可能なランド成の際に，三次元位置を与えた特徴点の画像上の再投マークを N 個選択した．次に，決定したランドマー

影誤差が平均 1.5 画素以上となったフレームや自然物

ク数 Nprior ，N を用いて各手法の処理時間を比較し，が入力画像中の大半を占めるなどの理由で，トータル

計算コストの削減効果について検証を行った．

ステーションによって計測できる特徴点が 6 点未満と6. 1. 1 推定に用いるランドマーク数の決定なったフレームについては真値が信頼できないため評価対象にしなかった．

ここでは，処理 (B-3) においてデータベースから選択するランドマークの最大数 Nprior ，N を決定するた

6. 1 処理速度向上効果の検証

めに，Nprior , N を変化させ，各手法に対する推定失提案手法の有効性を示すために，以下の 4 つの手

敗率を比較した．本実験では，カメラ位置・姿勢の逐法を比較し，計算コストの削減効果について検証を

次推定処理において，データベース中のランドマーク

行った．

と入力画像中の自然特徴点の対応関係が 6 組以上得られなかった場合にカメラ位置・姿勢の推定に失敗した(手法 A) 高速化処理無し（従来手法 [12]）とみなした．また，推定に失敗した場合には，手動で(手法 B) 提案手法において，暫定的なカメラ位置・姿

失敗したフレームのカメラ位置・姿勢を与えることに

勢の推定による探索範囲の限定のみを行っより，カメラ位置・姿勢の逐次推定処理を再開し，最た場合（対応点候補となる自然特徴点数の終フレーム（1000 フレーム目）まで推定を完了させたみを削減）

上で推定失敗の回数を算出した．
図 8 にデータベースから選択するランドマーク数と(手法 C) 提案手法において，優先度を用いたランド

推定に失敗したフレーム数の関係を示す．優先度情報

マークの選択のみを用いた場合（対応点候を用いない手法 A，B は，データベース中より選択す補となるランドマーク数のみを削減）

るランドマーク数 N が 70 個以下の場合にカメラ位(手法 D) 暫定的なカメラ位置・姿勢の推定による探索範囲の限定と優先度を用いたランドマー
クの選択を両方行った場合（提案手法：自然特徴点・ランドマークの双方の削減）

置・姿勢の推定に失敗するフレームが発生するが，優先度を用いてデータベース中よりランドマークを選択する手法 C，D では，ランドマーク数を 30 個まで減らした場合においても最終フレームまで失敗せずにカメラ位置・姿勢を推定できている．このことから，優本実験では，まず，データベースから選択するランド

先度を用いることで，正しく対応づく可能性の高いラマークの最大数 Nprior を変化させ，各手法に対するンドマークを優先的に選択できていることが確認でき9電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx
表 2 1 フレーム当たりの処理時間の比較 (ミリ秒)
Table 2 Comparison of processing time for one frame(ms).
MethodProcess (B-2)
Process (B-3)
Process (B-4)
Process (B-5)
Process (B-6)
Overhead
Total cost

A
12
0
316
61
4
329

B
26
3
0
51
16
4
100

C
2
0
131
16
4
153

D
21
1
0
15
17
5
59

表 3 推定精度・誤対応の発生率の比較
Table 3 Comparison of accuracy.
MethodAverage position error (mm)Std.dev. position error (mm)Average posture error (deg.)
Std.dev. posture error (deg.)
Average re-projection error(pixel)Rate of mismatchedlandmark (%)

A
360
528
0.84
0.71
2.5

B
257
137
0.95
1.20
2.3

C
231
204
1.13
1.16
2.1

D
256
181
0.91
0.91
1.8

32

23

27

20

る．この結果に基づき，後述する処理速度および推定

マークと自然特徴点の対応付けにおける誤対応の発精度の比較実験では，データベースより選択するラン

生率が低下したためであると考えられる．このことか

ドマーク数を手法 A，B では 80 個，手法 C，D ではら，暫定的なカメラパラメータの推定による探索範囲

30 個とする．

の限定や優先度情報に基づくランドマークの選択は，

6. 1. 2 処理速度の比較

ランドマークと入力画像中の自然特徴点の対応付け処

ここでは，PC(CPU: Core 2 Extreme 2.93GHz, メ

理 (B-5) の計算コストを削減できるだけでなく，カメ

モリ: 2GB) を用いて，手法 A〜D の処理時間と推定

ラ位置推定精度の向上にも貢献していることが確認で精度の比較を行った．カメラ位置・姿勢の逐次推定処

きる．

理 (B-2)〜(B-6) の各処理時間を表 2 に示す．

6. 2 実アプリケーションへの応用

提案手法である手法 D では，全体の処理時間が平均提案手法を用いた拡張現実感技術の応用例として，提59ms となり，1 秒間に約 17 フレームの実時間でのカ

案手法をカーナビゲーションおよび Pre-visualization

メラ位置・姿勢推定を実現することができている．提に適用し，実アプリケーションへの応用の可能性を検案手法では，暫定的なカメラ位置・姿勢の推定 (B-2)

証した．図 9 は，提案手法によって推定されたカメラに 21ms を要するが，これによってランドマークと入位置・姿勢に基づいて，CG を入力画像上に重畳表示

力画像中の自然特徴点の対応付け (B-4) の計算コスした結果である．図 9 中の○印はランドマークと対応

トは従来手法 A の約 1/21 となった．なお，式 (8) を付けられた自然特徴点の位置を示している．

用いれば，提案手法によるランドマークと入力画像中

カーナビゲーションへの応用では，事前に三次元位の自然特徴点の対応付け処理 (B-5) の計算コストは，置が与えられた注釈情報を推定されたカメラパラメー′<
N = 80, Nprior − Ntrack= 30, S2 /S1 = 1/18 より，

タを用いて撮影された画像中に重畳表示することで理論的には従来手法の 1/48 以下 (7ms 以下) となり実

ノート型 PC のディスプレイ上への AR 合成画像の験結果 (15ms) と一致しない．これは，入力画像中に提示を行った．提案手法 (位置誤差：約 20cm，更新周

自然特徴点が一様に分布していないことや各処理の繰

期：1/17 秒) を用いることによって，車体の位置・姿り返しにおいて一定のオーバーヘッドが生じるためで勢を一般に用いられている GPS(位置誤差：約 10m，あると考えられる．

更新周期：1 秒) よりも高精度かつ高頻度に推定する

6. 1. 3 推定精度の比較ことができた．しかし，提案手法では，車両が高速で各手法で推定されたカメラ位置・姿勢の精度および移動した場合には，連続フレーム間でのパターンの変処理 (B-6) においてアウトライヤとして排除されたラ形が大きくなり，ランドマークの追跡を行うことが困

ンドマークの発生率を表 3 に示す．有意水準を 5% と難となった．一般的に，車には急激な速度変化や姿勢設定した t 検定によって手法 A と手法 B，C，D のの変化が発生しないため，次フレームのカメラ位置・

平均位置誤差の間には有意な差が見られ，従来手法 A

姿勢を予測することによるパターンの変形を考慮したに対して，提案手法 B，C，D ではカメラ位置推定精追跡が可能である．実利用においては，この点での改度の向上が確認できる．これは，暫定的なカメラパラ

良とともに，車速パルスや車載センサから得られる情メータの推定による探索範囲の限定と優先度情報に基報の併用などにより推定処理のロバスト性を向上させづくランドマークの選択を行うことによって，ランドる必要がある．

10

論文／拡張現実感のための優先度情報を付加した自然特徴点ランドマークデータベースを用いた実時間カメラ位置・姿勢推定

タベース中より選択したことにより，誤対応の発生率が低減し，カメラ位置・姿勢推定の精度が向上することも確認した．さらに，実験では提案手法を実アプリ
ケーションに適用し，広域で自然物が多く存在するような複雑な環境においてもカメラ位置・姿勢の推定がDetected landmarks
Overlaid annotations(a)Navigation by augmented reality

可能であることを確認した．
今後の課題として，ユーザの移動を考慮したカメラ
位置・姿勢の初期化手法の開発や，ジャイロなどのセンサを併用することによるロバスト性の向上などが挙げられる．
謝辞 本研究の一部は，科学技術振興機構 (JST) の

Detected landmarks
Overlaid CG actors(b)MR Pre-visualization

図 9 実アプリケーションへの応用例
Fig. 9 Examples of applications.

戦略的創造研究推進事業 (CREST) 「デジタルメディ
ア作品の制作を支援する基盤技術」プログラム，総務
省・戦略的情報通信研究開発推進制度 (SCOPE) の支援による．
文

図 9(b) は，映画制作の初期段階において，シーン[1]

献P. Daehne and J. Karigiannis: “Archeoguide: Systemの見え方をシミュレートすることにより映画作成の支

architecture of a mobile outdoor augmented reality

援を行う MR-PreViz への応用例を示している．ここsystem,” Proc. Int. Symp. on Mixed and Augmented

では，事前に三次元位置や動きが与えられた役者のReality, pp. 263–264, 2002.
[2]

CG モデルをカメラで撮影した画像上にレンダリング

handheld augmented reality,” Proc. Int. Symp. on

することで MR-PreViz 映像の生成を行った．なお，利用する CG モデルの三次元位置・姿勢・スケール等

Wearable Computers, pp. 21–23, 2003.
[3]

and S. Lieberknecht: “An augmented reality museumてある．試作システムでは，図 9 に示すような，自然guide,” Proc. Int. Symp. on Mixed and Augmented

物が多く存在する複雑な環境においても多くのランド

Reality, pp. 103–106, 2008.
[4]

M. Shin, B. S. Kim and J. Park: “AR storyboard: An
augmented reality based storyboard authoring tool,”の位置・姿勢を実現することができた．本手法では撮Proc. Int. Symp. on Mixed and Augmented Reality,

影から MR-PreViz 映像の提示までの間に，理論上，最低でも 1/17 秒以上の遅延が発生するが，主観的にT. Miyashita, P. Meier, T. Tachikawa, S. Orlic,
T. Eble, V. Scholz, A. Gapel, O. Gerl, S. Arnaudov

は，ランドマークと同一座標系で，あらかじめ定義しマークが自然特徴点と対応付けられ，実時間でカメラ

D. Wagner and D. Schmalstieg: “First steps towards

pp. 98–99, 2005.
[5]

G. Thomas: “Mixed reality techniques for TV andtheir application for on-set and pre-visualization in

は MR-PreViz での利用において問題になるレベルの

ﬁlm production,” DVD-ROM Proc. Int. Workshop on

遅延は感じられず，提案手法が有効に働くことを確認

Mixed Reality Technology for Filmmaking, pp. 31–

した．

36, 2005.
[6]

7. ま と め

H. Kaufmann and A. Dunser: “Summary of usability evaluations of an educational augmented reality
application,” Proc. Int. Conf. on Human-Computer

本論文では，自然特徴点の追跡による暫定的なカメラの位置・姿勢推定による探索範囲の限定を行うととInteraction, pp. 22–27, 2007.
[7]

もに優先度情報をランドマークへ付加することによって，ランドマークデータベースに基づくカメラ位置・[8]

姿勢推定の高速化を図る手法を提案した．実験により，実時間でのカメラ位置・姿勢推定が実現できることを確認した．また，ランドマークの対応点の探索範囲を小領域に限定したことおよび，優先度に基づいて正し
く対応づく可能性の高いランドマークを優先的にデー[9]

岩佐英彦, 粟飯原述宏, 横矢直和, 竹村治雄: “全方位画像を用いた記憶に基づく位置推定”, 電子情報通信学会論文
誌（D-II), Vol. J84-D-II, No. 2, pp. 310–320, 2001.
R. Cipolla, D. Robertson and B. Tordoﬀ: “Imagebased localization,” Proc. Int. Conf. Virtual Systems
and Multimedia, pp. 22–29, 2004.
V. Lepetit, L. Vacchetti, D. Thalmann and P. Fua:
“Fully automated and stable registration for augmented reality applications,” Proc. Int. Symp. on
Mixed and Augmented Reality, pp. 93–102, 2003.

11電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx[10]

L. Vacchetti, V. Lepetit and P. Fua: “Combiningedge and texture information for real-time accurate151, 1988.
[25]

3D camera tracking,” Proc. Int. Symp. on Mixed and
I. Skrypnyk and D. G. Lowe:“Scene modelling,

Computer Vision, Vo. 60, No. 1, pp. 63–86, 2004.
[26]

recognition and tracking with invariant image fea-

[12]

[13]

[14]

sion, Vo. 60, No. 2, pp. 91–100, 2004.
[27]

大江統子, 佐藤智和, 横矢直和: “幾何学的位置合わせのための自然特徴点ランドマークデータベースを用いたカメラ
位置・姿勢推定”, 日本バーチャルリアリティ学会論文誌,
Vol. 10, No. 3, pp. 285–294, 2005.

D. G. Lowe: “Distinctive image features from scaleinvariant keypoints,” Int. Journal of Computer Vi-tures,” Proc. Int. Symp. on Mixed and Augmented
Reality, pp. 110–119, 2004.

“Scale & aﬃneinvariant interest point detectors,” Int. Journal ofAugmented Reality, pp. 48–57, 2004.
[11]

K. Mikolajczyk and C. Schmid:

R. Klette, K. Schluns and A. koschan Eds: Computer
Vision: Three-dimensional Data from Image, 1998.

[28]
[29]

出口光一郎: “射影幾何学による PnP カメラ補正問題の統一的解法”, 情処シンポジウム, Vol. 90, pp. 41–50, 1990.
R. Y. Tsai: “An eﬃcient and accurate camera cal-A. Davison, Y. G. Cid and N. Kita: “Real-time 3D

ibration technique for 3D machine vision,” Proc.

slam with wide-angle vision,” Proc. IFAC Symp. on

IEEE Conf. on Computer Vision and Pattern Recog-

Intelligent Autonomous Vehicles, 2004.

nition, pp. 364–374, 1986.

B. Williams, G. Klein and I. Reid: “Real-time SLAM

（平成 xx 年 xx 月 xx 日受付）

relocalisation,” Proc. Int. Conf. on Computer Vision,
2007.
[15]

G. Klein and D. Murray: “Parallel tracking and mapping for small AR workspaces,” Proc. Int. Symp. on
Mixed and Augmented Reality, pp. 225–234, 2007.

[16]

[17]

[18]

武富 貴史

武富貴史, 佐藤智和, 横矢直和: “位置に依存した固有空間
上でのランドマークの照合によるカメラの位置・姿勢推定の高速化”, 情報科学技術フォーラム（FIT） 一般講演論

2006 年佐世保高専・専攻科・電気電子工学専攻卒．2008 年奈良先端科学技術大学

文集, pp. 95–96, 2007.
薄充孝, 中川知香, 佐藤智和, 横矢直和: “ランドマーク
データベースに基づく静止画像からのカメラ位置・姿勢推定”, 日本バーチャルリアリティ学会論文誌, Vol. 13, No.
2, pp. 161–170, 2008.
Y. Kameda, T. Takemasa and Y. Ohta: “Outdoor

院大学情報科学研究科博士前期課程修了．
現在，同大博士後期課程に在学中．情報処
理学会，日本バーチャルリアリティ学会，
IEEE 各会員．

佐藤 智和

see-through vision utilizing surveillance cameras,”
Proc. Int. Symp. on Mixed and Augmented Reality,
B. Jiang, U. Neumann and S. You: “A robust hy-

究科博士後期課程修了．現在，同大情報科学研究科助教．コンピュータビジョンの研究に従事．2001 年電子情報通信学会学術奨励賞受賞．博士 (工学)．情報処理学会，

brid tracking system for outdoor augmented reality,”
Proc. IEEE Virtual Reality, pp. 3–10, 2004.
[20]

G. Reitmayr and T. Drummond: “Going Out: Robust model-based tracking for outdoor augmented re-（正員）

1999 年阪府大・工・情報工卒．2003 年
奈良先端科学技術大学院大学情報科学研

pp. 151–160, 2004.
[19]

（学生員）

IEEE 各会員．

ality,” Proc. Int. Symp. on Mixed and Augmented
Reality, pp. 109–118, 2006.
[21]

J. S.Beis and D.G.Lowe:“Shape indexing us-

1974 年阪大・基礎工・情報工卒．1979

年同大大学院博士後期課程修了．同年電子技術総合技術研究所入所．以来，画像処
理ソフトウェア，画像データベース，コン
ピュータビジョンの研究に従事．1986〜87
年マッギル大・知能機械研究センター客員
教授．1992 年奈良先端科学技術大学院大学・情報科学センター

佐藤智和, 池田聖, 横矢直和: “複数動画像からの全方位型マルチカメラシステムの位置・姿勢パラメータの推定”,
電子情報通信学会論文誌（D-II), Vol. J88-D-II, No. 2,
pp. 347–357, 2005.

[23]

S. Ikeda, T. Sato, K. Yamaguchi and N. Yokoya:“Construction of feature landmark database using
omnidirectional videos and GPS positions,” Proc.
Int. Conf. on 3-D Digital Imaging and Modeling,pp. 249–256, 2007.

[24]

C. Harris and M. Stephens: “A combined corner andedge detector,” Proc. Alvey Vision Conf., pp. 147–

12

（正員：フェロー）dimensional spaces,” Proc. Conf. on Computer Vision
and Pattern Recognition, pp. 1000–1006, 1997.
[22]

横矢 直和

ing approximate nearest-neighbour search in high-教授．現在，同大情報科学研究科教授．1990 年・2007 年情報処理学会論文賞受賞．2005 年情報処理学会フェロー．工学博士．情報処理学会，日本バーチャルリアリティ学会，人工知能学会，日本認知科学会，映像情報メディア学会，IEEE 各会員．

Abstract In the ﬁeld of augmented reality, many kinds of image-based camera parameter estimation
methods have been proposed to achieve accurate geometric registration. As one of these methods, a landmark based camera parameter estimation method has been studied. In this method, database construction
cost is lower than other approaches and the method can be used in various environments. However, computational cost is expensive and thus it cannot work in real-time. To achieve real-time camera parameter
estimation, the present study reduces the number of matching candidates by using priorities of landmarksthat are determined from previously captured video sequences. To demonstrate the eﬀectiveness of the
proposed method, the computational cost is compared between the proposed and previous methods.
Key words landmark database, camera parameter estimation, natural features, augmented reality