情報科学研究科 情報システム学専攻

奈良先端科学技術大学院大学

2002 年 2 月 ?? 日寺田 智裕

車載型アノテーションシステムの構築

拡張現実感を用いた

修士論文

NAIST-IS-MT0051065

審査委員：

木戸出 正繼 教授

横矢 直和 教授寺田 智裕

修士 (工学) 授与の要件として提出した修士論文である。

本論文は奈良先端科学技術大学院大学情報科学研究科に

Tomohiro Terada
Abstract

車載型アノテーションシステムの構築3

寺田 智裕

内容梗概

MT0051065, 2002

年 2 月 ?? 日.

i

3 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-IS-

アノテーション , 拡張現実感, GPS，ジャイロ

キーワード

性を確認する.

に構築した車載型の注釈提示システムを用た実験を通して , 提案システムの有効ら見た現実環境の映像に対して注釈付き画像を実時間で合成する. そして , 実際

情報から利用者の位置と姿勢を推定し , カメラによって取得した利用者の視点かを提案する. 提案手法では, GPS, 車速パルス, ジャイロなどの機器から得られる

究では , 車に乗っているユーザに , 拡張現実感を用いて店舗情報等を提示する手法

め, 利用者は直感的に実環境と関連情報を対応付けすることが可能である. 本研

この技術は, 利用者が見ている映像上に関連情報を重畳表示することができるた

ンピュータグラフィクスを用いて情報を付加する技術として , 拡張現実感がある.

実環境にその情報を直接対応付けることはできない. 一方, 現実環境に対して , コ

し , 情報を合成表示したデジタル地図をモニタなどでユーザに提示するため , 現

現在位置をデジタル地図上に表示し , 周囲の情報を取得することができる. しかり, 中でもカーナビゲーションの普及率は非常に高い. カーナビゲーションでは

得し , その位置に基づいて, 周辺の情報をユーザに提供するサービスが普及してお近年, 汎地球測位装置 (GPS) 等の位置センサを用いて, ユーザの位置情報を獲ii

Science, Nara Institute of Science and Technology, NAIST-IS-MT0051065,

February ??, 2002.

3 Master's Thesis, Department of Information Systems, Graduate School of Information

Annotation, Augmented reality, GPS, Inertial Sensor

Keywords:

This paper proposes an annotation overlay system for a vehicle in order to give auser useful information of user's neighborhood. In a car navigation system which
acquires the position of a user by global positioning system (GPS), the user can
get information of user's neighborhood. However, since the system gives the user
information merged on a digital map, it is not easy for the user to match given
information with real objects. This paper proposes an annotation overlay system
based on augmented reality which can merge real and virtual worlds. The proposed system presents position-dependent information superimposed on an image
captured at a user's viewpoint using a user's position acquired by GPS, velocity
sensor and inertial sensor. The feasibility of the annotation overlay system has
been successfully demonstrated with experiments.

3

An Annotation Overlay System
for a Vehicle Using Augmented Reality

拡張現実感を用いた

28
29

謝辞

参考文献

iii

27

23
23

23

15
16
16
20
20
21
21

15

5. むすび: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :4.1 実験内容
4.2 結果と考察

4. 実験と考察: : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : :3.1 システムの構成
3.2 位置と姿勢情報の取得
3.3 位置情報の補間
3.4 姿勢情報の推定
3.4.1 ジャイロのみでの姿勢情報の取得
3.4.2 ジャイロの補正
3.5 注釈情報の作成

3. 車載型アノテーションシステムの構築: : : : : : : : : : : : : : : : : : : : : : :: : : :

: : : : : : : : : : : : : :: : : : : : : : : : : : :: : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

3
7
7
9
11
12
12

3

2. 現実環境へのアノテーション

2.1 拡張現実感
2.2 幾何学的位置合わせ
2.2.1 三次元位置センサを用いた位置合わせ
2.2.2 ビジョンセンサを用いた位置合わせ
2.2.3 センサの組合せによる位置合わせ
2.3 拡張現実感を用いたアノテーション技術に関する従来研究
2.4 本研究の位置付けと方針

1

1. まえがき目 次: : : : : : : : : : : : : : : : : : : : : : : : :

表 目 次

iv

: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : :1 カーナビゲーションシステムによる情報提供サービスの例 (SONY:Navin'you) 2
5
2 拡張現実感の応用例
8
3 三次元位置センサを用いた位置合わせ手法
10
4 二次元マトリックスコード13
5 注釈提示手法の処理の流れ
15
6 システムのハード ウェア構成
16
7 入力画像例
17
8 注釈画像の例
18
9 システムの外観
18
10 GPS レシーバ (GPS-2001ZZ:パイオニア)
19
11 車載カメラ
20
12 ジャイロの蓄積誤差
22
13 注釈重畳画像の生成
24
14 注釈重畳画像（ GPS のみ）
25
15 注釈重畳画像（速度による補間）26
16 注釈重畳画像（姿勢の補正）

図 目 次

案システムの有効性を確認する.

1

る. そして , 実際に構築した車載型の注釈提示システムを用いた実験を通して , 提した利用者の視点から見た現実環境の映像に対して, 注釈画像を実時間で合成すセンサから得られる情報から利用者の位置と姿勢を推定し , カメラによって取得に依存した情報を提示する手法を提案する. 具体的には，GPS などの位置・姿勢

本論文では, 車に乗っているユーザに , 拡張現実感を用いて，店舗情報等の位置

応付けが行えることを示している.

用いて, パノラマ画像に注釈付けを行い, ユーザが直感的に実環境と提供情報の対境と情報を対応付けることが可能となる. 蔵田ら [7] は , この拡張現実感の技術をの映像上に関連情報を重畳表示することができるため, 利用者は直感的に現実環する技術として , 拡張現実感がある [5][6]. この技術は, 利用者が見ている実世界

一方, 現実環境に対して , コンピュータグラフィクス (CG) を用いて情報を付加である.

などでユーザに提示すため, 現実環境の対象に情報を直接対応付けることが困難

供される情報を，図 1 に示すように, 情報を合成表示したデジタル地図をモニタ

報などをユーザに提供することが可能である. しかし , カーナビゲーションは提ビゲーションシステムでは車のナビゲートだけでなく, 現実環境における店舗情て, 近年急激に普及してきたカーナビゲーションシステムが挙げられる. カーナるサービスがある. 現実環境のユーザの位置を用いた情報提供サービスの例とし

いて , ユーザの位置を獲得し , その位置に基づいて周辺の情報をユーザに提供す

例えば , 汎地球測位装置 (Global Positioning System:GPS) 等の位置センサを用の位置情報に基づいた情報をユーザに提供するサービスも提案されている.

試みがなされている [1][2][3]. また, 屋内・外においてユーザの位置を取得し , そ

けでなく, 屋外などの広いスペースでコンピュータを用いて処理を行おうという

近年, コンピュータの小型化と性能の著しい向上に伴い, 屋内の限られた場所だ

1. まえがき2

図 1 カーナビゲーションシステムによる情報提供サービスの例 (SONY:Navin'you)図 2(a) は , カートリッジを重畳表示し , プリンタのメンテナンス作業を支援

うな感覚を利用者に与える違和感のない拡張現実環境を構築するためには , 現実

組み立て・メンテナンス支援

[26]

3

環境に情報を付加することを可能とする. 従来研究されてきた仮想現実感 (VR:
Virtual Reality) では, コンピュータグラフィックスのみで仮想空間を構築するため, 構築される仮想環境の写実性や臨場感には限界がある. そこで, 拡張現実感では , 現実環境に必要な仮想物体を合成することで, 臨場感の高い環境をユーザに提示することが可能となる. 拡張現実感の応用例を以下に挙げる.

とは , 計算機で生成された仮想環境を現実環境に合成提示する技術であり, 現実

センサを用いる方法に比べロバスト性に欠けるという問題点がある. 拡張現実感するため, マーカの画像上での位置が急激に変化すると追跡に失敗し , 三次元位置

合わせを行っている. カメラで撮影された画像から画像処理によりマーカを追跡に配置したマーカを追跡し , 求まったマーカの画像上の位置情報を利用して位置という利点がある. ビジョンセンサを用いた従来手法 [27, 28] の多くは現実環境

現実環境に特別な装置を用意する必要がなく, 本質的に計測範囲が制限されない

らカメラ位置を推定し , 現実環境と仮想環境の位置合わせを行なう. この手法は ,用いた手法は , カメラとユーザの視点の位置関係を既知として , 撮影された画像か配置する必要があるため計測範囲が制限される. これに対し , ビジョンセンサをサを利用した手法 [26] があるが , 現実環境に超音波スピーカなどの特殊な装置を現実環境と仮想環境の位置合わせ手法には超音波センサなどの三次元位置セン

環境と仮想物体を正確に位置合わせする必要がある.

[35, 36][37, 38]

合性問題を解決する必要がある [39].

4

現実環境を構築するためには , 現実環境と仮想環境の融合において, 以下に示す整以上のように , 拡張現実感技術の応用範囲は多岐に渡るが , 違和感のない拡張である. 図 2(f) に例を示す.

ヤを取り囲む現実環境全体を舞台とした様々なアトラクションに応用可能

HMD を通してゲームのキャラクタなどを重畳表示することにより, プレ イ

ゲーム・アミューズメントの橋を架けている様子である.

観に与える影響をシミュレーションすることができる. 図 2(e) は , 川に仮想

現実環境上に仮想の建造物を重畳表示することにより, 建築前に建造物が景景観シミュレーション

手術シミュレーション[33, 34]
MRI(Magnetic Resonance Imaging)/CT(Computer Tomography) などから得られた臓器の三次元画像を, 手術中の患者のビデオ画像に合成して HMD
上に提示することにより, 患部の三次元位置を視覚的に確認しながら手術を行なえる. また, 手術のトレーニングとしても利用できる. 図 2(d) は , 超音波画像を患者の上に重畳表示し , 手術の支援を行なっている様子である.

いる. 図 2(c) では , HMD を使用して情報の重畳表示を行なっている.

意の位置に提示することで , 観察者に直観的に情報提示を提供する. 図 2(b)は , 小型の液晶画面を通して現実環境を見ることで, 解説文を重畳表示して環境に必要な仮想物体を合成することで , 臨場感の高い拡張現実環境をユーザに提示することが可能となる. 仮想物体があたかも現実環境の一部分であるかのよ[27, 32]

解説や注釈・案内板など , 個人の目的に応じたデータ・情報を現実環境の任

注釈・情報提示しいてる様子である.

境の写実性や臨場感には限界がある. そこで, 現実環境を積極的に利用して , 現実

コンピュータグラフィックスのみで仮想空間を構築するため , 構築される仮想環

提示・操作手法として注目されている [25]. 従来研究されてきた仮想現実感では ,現実環境に情報を付加する拡張現実感 (AR: Augmented Reality) が新たな情報したり, 作業の手順を提示することにより, 作業ミスを防止し効率化を図る.

2.1 拡張現実感(Head Mounted Display) を通して作業対象となる物体上に作業指示を提示

予備知識を必要とする機器の組み立てやメンテナンスなどにおいて, HMD

2. 現実環境へのアノテーション

(d) 手術シミュレーション [34](c) 仮想カード 提示システム [32]5(e) 景観シミュレーション [36](f) RV-Border Guards [38]図 2 拡張現実感の応用例(b) NaviCam [27](a) KARMA [26]6

題の照明や陰影に関する問題解決に利用できると考えられる.

画像から光源位置を推定し , 仮想物体の影を生成する手法 [61] は , 光学的整合性問や VR において研究されており, 光源位置に応じた仮想物体の生成手法 [59, 60] や的整合性問題については , コンピュータグラフィックス (CG: Computer Graphics)ない . しかし , 現実環境を含めた環境全体が , 遅れて提示されることになる. 光学

像上に仮想物体を合成提示するため, 現実環境と仮想環境の間に時間遅延が生じ決できる. ビデオシースルー型拡張現実感においては, カメラにより撮影された画問題については , ビデオシースルー型拡張現実感システムを用いることにより解る. そこで, 本論文では幾何学的位置合わせ手法について検討する. 時間的整合性

いて , 幾何学的整合性問題は , 観察者に違和感を感じさせる最も大きな要因であ仮想環境を合成提示することにより現実環境に情報を付加する拡張現実感にお合性問題の中で, 最も重要な課題である.

幾何学的整合性問題は他の整合性問題にも影響を与える問題であり, 上記の整となる.

他の整合性問題を解決するためには , 幾何学的整合性が保たれていることが前提ある. また, 幾何学的整合性問題は, 他の整合性問題にも影響を与える問題であり,張現実感において, 幾何学的整合性問題は , 観察者に違和感を与える最大の要因でこれらのうち, 仮想物体を重畳表示することにより現実環境に情報を付加する拡

異なることにより, 融合時に違和感が生じる問題.

仮想環境の画質 (コントラスト , 色調など ) や照明位置・陰影が現実環境と光学的整合性問題

じる問題.

でに要する時間分だけ現実世界に対し時間遅延が生じるために, 違和感が生観察者の視点位置を求め, 視点位置に応じた仮想環境を融合 (描画) するま

時間的整合性問題が生じる問題.

現実環境と仮想環境が空間的にずれた位置に融合されることにより, 違和感

幾何学的整合性問題

[32, 40][26]7方向を求める手法である. 視点方向を求めるためには , 3 個以上の超音波マ

元位置を計測できる超音波マイクを観察者の頭部に取り付け , 視点の位置・

現実環境に超音波を発生させる超音波スピーカを配置し , 超音波により三次超音波式特性を持つ. また, ソースから離れるほど , 計測誤差が大きくなる.

が , 周辺環境 (電磁波や金属物体など ) により, 計測精度が影響を受けやすい点の位置・方向を求める手法である. 安定して三次元位置方向を得られる

用いて三次元位置方向を計測できるレシーバを観察者の頭部に取り付け , 視

図 3(a) に示すように , 現実環境に磁界を発生させるソースを配置し , 磁界を磁気式

位置センサを拡張現実感の位置合わせに用いる場合の問題点について述べる.

式, 機械式の三種類が挙げられる. ここでは , これらの手法を概説した後, 三次元

三次元位置センサを用いた一般的な位置合わせ手法としては , 磁気式, 超音波

2.2.1 三次元位置センサを用いた位置合わせ

以下, 3 つの手法についてそれぞれ述べる.

 複数のセンサを組み合わせて視点の位置・方向を推定する手法

 ビジョンセンサを用いて視点の位置・方向を推定する手法

 三次元位置センサを用いて視点の位置・方向を計測する手法

察者の視点の位置・方向を求める手法は, 以下のように分類できる.

者の視点の位置・方向を求める問題に帰着される. 従来の拡張現実感における観を提示することと等価であり, 幾何学的位置合わせ問題は, 現実環境に対する観察合わせする必要がある. この問題は, 観察者の視点位置に応じて適切に仮想環境

幾何学的整合性問題を解決するためには , 現実環境と仮想環境を空間的に位置2.2 幾何学的位置合わせ
関節

アーム[41, 42]8

れるため, 観察者に大きな違和感を与えることになる.

た場合に , 三次元位置方向の計測誤差は , 現実環境と仮想環境のずれとして観測さ度良く計測するのは困難である. 拡張現実感のための位置合わせ手法として用い

波や金属物体・温度などの周辺環境の影響を受けやすく, 視点の位置・方向を精の応用範囲を限定することになる. また, 磁気式や超音波式を用いる手法は , 電磁

要とし , 計測範囲が装置周辺に制限されてしまうといった問題があり, 拡張現実感

以上の手法は , 容易に三次元位置方向を計測できること, ロバストに三次元位置方向を計測できることなどが利点として挙げられる. しかし , 特殊な装置を必される.

度良く視点の位置・方向を得られるが , 計測範囲がアームの稼働範囲に制限

置・方向を求める手法である. 現実環境と頭部を物理的に接続するため, 精い, 他端を観察者の頭部に取り付け , 関節の角度情報から観察者の視点の位

図 3(b) に示すように , 一端が現実環境に固定された多関節アームなどを用

機械式や干渉など ) により, 計測精度が影響を受ける.

イクが必要となる. 安定して三次元位置方向を得られるが , 周辺環境 (温度(a) 磁気式(b) 機械式
図 3 三次元位置センサを用いた位置合わせ手法

ソース

レシーバ

[28, 43, 44, 45][46, 47]

要が生じる.

9

関する制限が緩和される反面, 左右画像間でマーカの対応を求める必ンセンサを用いる手法に比べ, 位置合わせに必要なマーカ数や配置にのマーカからカメラの位置方向を推定することができる. 単眼ビジョ

りマーカの三次元位置を求めることができるため , 位置が既知の 3 点

ステレオカメラを用いると, 三角測量の原理に基づくステレオ法によ【ステレオカメラを用いる手法】 [28]10

実環境中に多数のマーカを配置する手法 [49, 50] がある. 佐藤ら [49] は位置が既限されてしまう. マーカの配置による計測範囲の制限を解決する手法として, 現ては , カメラによりマーカが撮影されている必要があり, 現実的には計測範囲が制カを配置し , マーカを追跡することにより位置合わせを行なっている手法においく, 本質的に計測範囲が制限されないという特徴がある. しかし , 現実環境にマー

視点の位置・方向を推定するため, 現実環境にカメラ以外の特別な装置が必要な

以上のようなビジョンセンサを用いた位置合わせ手法は , 撮影された画像から

しかし , テンプレートマッチングを用いるため, 計算量が多い.

徴点を対応させることにより, 現フレームのカメラの位置方向を推定する.

プレートマッチングを用いて, 時系列的に前後で撮影された画像上の自然特とができ, これに時系列の情報を加えることにより解を決定する手法がある [44].

要である. これを解決する手法に, 現実環境に存在するテクスチャやエッジなどの自然特徴点を利用してカメラの位置方向を推定する手法がある. テン

マーカか , 平面上に配置された位置が既知の 4 点のマーカが必要である. また, 位置が既知の 3 点のマーカからは , 4 つの解候補を求めるこ[48]

マーカを用いる手法においては , 位置合わせを行ないたい場所にマーカが必

自然特徴点を用いる手法にすることにより, 個別のマーカの識別を行なう.

ロックパターンに塗り分けた二次元マトリックスコード (二次元バーコード )の位置方向を推定する. また, 図 4に示すように , 正方形マーカの内部をブ形状を利用して画像中からマーカを探索し , 正方形の 4 頂点を求め, カメラ

では , マーカ形状として正方形マーカを用いている. この手法では , マーカ

マーカの幾何形状を利用してカメラの位置方向を推定する. 従来手法 [46, 47]

幾何形状マーカを用いる手法

図 4 二次元マトリックスコード

解析的な計算により一意に解を求めるためには , 位置が既知の 6 点の【単眼カメラを用いる手法】 [43, 44, 45]

数や配置に関する制限が異なる.

いる手法があり, カメラ構成により, カメラの位置方向推定に必要なマーカ

撮影するカメラ構成として , 単眼カメラを用いる手法とステレオカメラを用

像上での座標位置から計算によりカメラの位置方向を推定する. マーカを現実環境に配置した位置が既知のマーカをカメラにより撮影し , マーカの画

複数のマーカを用いる手法

よって以下の 3 種類に大別される.

向を推定する従来手法は, 位置推定に用いるための画像からの特徴点抽出手法にの位置・方向を得ることができる. 現実環境を撮影した画像からカメラの位置方付近にカメラを設置することで , 推定されたカメラの位置方向から観察者の視点

像から , 画像処理によりカメラの位置方向を推定する手法である. 観察者の視点

ビジョンセンサを用いた位置合わせ手法とは, 現実環境をカメラで撮影した画

2.2.2 ビジョンセンサを用いた位置合わせ

とにより, ビジョンセンサの長所であった計測範囲が制限されないといった特徴

11

範囲に制限がないジャイロセンサを組み合わせている. カメラに取り付けられたとして , You らの手法 [29] がある. この手法では , ビジョンセンサと同様に計測

計測範囲を制限することなく, ビジョンセンサのロバスト性を向上させた手法に考えることができる.

が失われる. 他の三次元位置センサとビジョンセンサの組合せについても, 同様12を再設定することにより，ジャイロの蓄積誤差を押える処理を行なう．

GPS から得られる位置情報から，車の進行方向を計算し，その値にジャイロの値

存在し，計測を続けると，正確な姿勢情報が得られなくなる特性がある．そこで，また，姿勢情報を取得するジャイロセンサは，ド リフトと呼ばれる蓄積誤差がり，現在の位置を推定する．

に一度しか位置情報が更新されない．そこで，過去に得られた GSP のデータよ??中 A)．しか注釈が作成される仮想環境と, 現実環境の座標系を一致させる (図し，一般のカーナビゲーションシステムに使用されている GPS からは，一秒間両手法とも, それぞれのセンサの欠点を互いに補うが , 両センサを組み合わせるこ

サを用いることにより, ビジョンセンサのロバスト性の低さを補っている.

まず，GPS とジャイロから取得された撮影時のカメラの位置と姿勢を推定し ,報は，ジャイロセンサにより取得する．本手法での処理の流れを図 2.4に示す.

でき, かつ一般に普及していると考えられる GPS センサを用いて取得し，姿勢情を , センサを用いて取得する．そのセンサとして , 位置情報を場所に依存せず測定

屋外において, 拡張現実感技術を実現するために必要な視点の位置と姿勢の情報

る情報の重畳表示ができるシステムの構築を目的としている．提案システムでは，

本研究では，屋外における拡張現実感技術の応用の一例として，位置に依存す

2.4 本研究の位置付けと方針用している．

る従来研究として，[8] がある．この研究では，同じ GPS とジャイロセンサを使得ることができる．同じ車を使用し，移動しながら位置に依存した情報を提示す表示するアノテーション技術がある．ユーザは，位置に依存した情報を直観的に

拡張現実感の応用の一つとして，現実環境に対して位置に依存した情報を重畳

2.3 拡張現実感を用いたアノテーション技術に関する従来研究

ビジョンセンサによる視点の位置・方向の推定の補助として磁気位置セン ビジョンセンサに磁気センサを組み合わせる手法 [34]て修正することにより, 磁気センサの精度が低いという問題を解決している.

磁気センサの誤差により生じる位置合わせのずれを , ビジョンセンサを用い 磁気センサにビジョンセンサを組み合わせる手法 [33]法は以下のように異なる.

や State ら [34] は , 磁気センサとビジョンセンサを組合せているが , その組合せ手

ンサとビジョンセンサを組合せた手法 [33, 34, 37, 38, 51] がある. Bajura ら [33]

合わせ手法が研究されている. センサを組合せた手法として , 先述の三次元位置セ

単一のセンサによる位置合わせ手法の他に, 複数のセンサを組み合わせた位置

2.2.3 センサの組合せによる位置合わせ定するため, ロバスト性に欠ける, 計算量が多いといった問題がある.

の高い位置合わせを実現できる. しかし , 画像処理によりカメラの位置方向を推接利用して位置合わせを行なえるため, ビデオシースルー合成と相性がよく, 精度

ビジョンセンサを用いた位置合わせは , 最終的に観察者に提示される画像を直すことなく計測範囲の拡大を実現している.

気センサを用いてビジョンセンサを補助する手法 [52] や, GPS(Global Positioning
System) とジャイロセンサを組み合わせた手法 [53] などがある.

現している. これ以外に, 計測範囲が制限されないセンサの組合せとしては , 地磁

次フレームにおける移動位置を予測することにより, ロバストなマーカ追跡を実

また, Park ら [31] はマーカと自然特徴点を併用することで , 位置合わせ精度を落置が未知のマーカを動的に探索することにより, 計測範囲の拡大を実現している.

ジャイロセンサから得られるカメラの姿勢情報を利用し , 追跡しているマーカの

知の多数のマーカを配置し , 神原ら [50] はカメラのフレーム内に新しく現れる位13

図 5 注釈提示手法の処理の流れ??中 B で示すようにセンサから得られた位置情報から，位置・姿勢の14像を合成し , 重畳画像を利用者に提示する.

を決定することで，注釈画像を生成する．そして，作成された注釈画像と入力画タを用いて, 注釈が描画される画像上の位置を計算し，画像における注釈の位置

描かれた注釈画像を CG で作成する．具体的には，実際のカメラと同じパラメー

最後に，車載したカメラを用いて撮影した現実環境の映像に，店舗情報などがれば，注釈画像は更新しない．

新した位置から，ある一定距離だけ移動すれば，注釈画像を更新し，そうでなけ

変化量をもとに，注釈情報の更新するかど うかを決定する．前回に注釈情報を更次に，図報が，小型計算機に入力される．最後に図 5 に示すようなカメラから得られる映??に示すように２つの種類が本システムに使用される GPS レシーバでは , 位置・姿勢データが更新されるのは，

16

15

実世界を撮影しているカメラからのデータは，ビデオレートで更新されるが，3.3 位置情報の補間

舗情報である．データの内容は，店舗の名称, 職種, 電話番号, 緯度, 経度が記録

経度情報が付加された物を利用した . データは 3000 件の奈良県生駒市における店

注釈情報のデータベースとして，市販のデジタルタウン情報 (NTT) に , 緯度,III,1.2GHz) を使用した.

また，本システムでは，ジャイロを用いて姿勢情報を取得する．

車の屋根上に車の進行方向を向くように設置した．また，注釈画像の生成，及びユーザへの注釈重畳画像の提示デバイスとして，ノートブック型 PC(Pentiamを用いた．

置を出力する．カメラには，SONY の EVI-D30 を利用し，図 9 に示すように，として GPS がある．GSP には，大きく分けて，図得することにより実現される．屋外において，ユーザの絶対位置を取得する方法

系を一致させる必要がある．これは，現実環境におけるユーザの位置と姿勢を取

拡張現実感を実現するにあたり，現実環境の基準座標系と仮想環境の基準座標

3.2 位置と姿勢情報の取得ある．本システムでは，車から位置情報以外の情報を得られ，比較的廉価な GPSと車速パルスとジャイロが結合されており，1 秒に 1 度，緯度，経度で現在の位

位置センサには，パイオニアの GPS-2001ZZ(図 8) を利用する．これは，GPSムの外観を図に示す．

像を合成した注釈重畳画像が，計算機のモニタからユーザに提示される．システ

像と, 計算機が保持しているデータベースから取得した図 6 に示すような注釈画圏内にある店舗情報の画像を注釈として表示する．

ドディスクに保持しておき, GPS から得られた位置情報から半径約 400 メートル

3.1 システムの構成

ハードウェア構成を図 3.1に示す．まず，位置・姿勢センサから，位置・姿勢情されている. 今回のデータには, 高さの情報がないため, 地上から約 1.5 メートルのところに注釈情報を付加することとした. データはテキストデータとしてハー図 7 入力画像例

3. 車載型アノテーションシステムの構築

図 6 システムのハード ウェア構成

17

それぞれの位置で，画像が更新されたときの推定位置とする．

位置と，最後に更新された位置とを結ぶ直線を，画像のフレームレートで分割し，向を変えないで走行すると仮定し，1 秒後の車の予測位置を計算する．その予測予測する手法として，位置情報が更新されるまでの 1 秒間は，車は等速で，方て，現在の位置を予測する．

GPS からの位置情報が更新されていなければ，最後に得られた車速情報を用いい置情報が更新されていれば，GPS からの位置情報をそのまま使用する．ここで，まず，GPS から得られる位置データが更新されているか確認する．もし，位位置を推定する．

に，GPS レシーバから最後に得られた位置と，車の速度の情報を利用し，現在のデータと実際の車の位置との間に誤差が生じる. この位置のずれを補正するため

1 秒間に 1 回である. このため, 車の速度が増すにつれて, GPS から得られる位置

図 8 注釈画像の例

18

図 10 GPS レシーバ (GPS-2001ZZ:パイオニア)

図 9 システムの外観

19

図 11 車載カメラ

20

向からずれた情報しか得られなくなる．

ことがわかる．しかし，カーブすると，誤差が蓄積していき，本来向いている方てきている．また，図より直線運動をしている時は，安定した値を出力している

る進行方向と比較すると，何回かカーブを繰り返すことにより，姿勢情報がずれ

まず，ジャイロのみによる姿勢情報の測定結果を図 12示す．GPS より得られ3.4.1 ジャイロのみでの姿勢情報の取得て，蓄積誤差を押える処理をする．

る．この誤差を減少させるために，車の位置情報から得た車の進行方向をもちいを取得する．しかし，ジャイロセンサには，ド リフトと呼ばれる蓄積誤差が生じ提案するシステムでは，ジャイロセンサ [InterTrax2] を用いて，車の姿勢情報

3.4 姿勢情報の推定

図 12 ジャイロの蓄積誤差

21とによって，注釈重畳画像を生成する．

注釈情報を生成する．最後に，図 3 中 C のように，二つの映像を重ね合わせるこ

同様の内部パラメータを用いて，仮想のカメラを配置し，ユーザの位置から見た報をデータベースから選択して，仮想環境内に配置する．次に，実際のカメラとべての注釈を配置するのではなく，位置情報から，ある一定の距離にある注釈情た場合にのみ，注釈画像の作成を行う．また，データベースとして持っているす

続けるのではなく，最後に注釈画像を生成した時から，ある一定距離以上移動しることで，注釈画像生成を行う．ここでは，毎フレームごとに注釈画像を作成しの環境を取得する．次に，図 13中 B に示すように，仮想環境中に注釈を配置す

法について述べる．まず，図 13中 A に示すように，車載のカメラによって現実

本節では，前節より求まった車の位置と姿勢を用いて，注釈重畳画像の生成手

3.5 注釈情報の作成

正とする．

れる値と先に得た差分を足したものを姿勢情報とすることにより，ジャイロの補情報の差をとる．そして，再びジャイロが補正されるまで，ジャイロから取得さと判断して，GPS から得られる姿勢情報と２秒前に取得したジャイロからの姿勢

らの姿勢情報と比較して，進行方向の角度差が閾値以下なら，車が直進している

秒後の GPS からの姿勢情報を取得する．この時，先に取得した 2 秒前の GPS か情報を取得する．この時，GPS からの姿勢情報は 2 秒前の姿勢である．次に，2以下の手順で補正を行なう．まず，GPS からの姿勢情報と，ジャイロからの姿勢

方向情報は，位置情報から計算して求められるため，2 秒の遅延がある．そこで，バから得られる進行方向を利用する．ここで，GPS レシーバから得られる進行

提案するシステムでは，ジャイロの蓄積誤差を減少させるために，GSP レシー3.4.2 ジャイロの補正

22

図 13 注釈重畳画像の生成

23

つけた．結果として，注釈を追跡することは可能であることが確認できた．

いて，注釈をマウスでクリックすれば，その注釈の方向にカメラを向ける機能を的高速度で移動してしまう．そこで，提案システムでは，パンチルトカメラを用対して角度のある部分では，移動しながら撮影するため，被写体は画面上を比較

また，車の進行方向に向けたビデオカメラで撮影される映像では，進行方向に化しているのに，注釈画像は同じところから動いていないことが確認できる．

を生成した図 12 では，位置情報が 1 秒間更新されないため，実環境の映像が変体との対応付けが行い易くなっている．位置推定の処理を行わずに注釈重畳画像

途切れることなく連続的に大きく見えるようになるので，どこに注釈画像と実物されているのがわかる．また，動画像では，注釈画像が近づいてくるにつれて，次に示す位置の推定をしない例である図 12 と比較すると，注釈の位置が更新

4.2 結果と考察

3で提案したシステムを車載し，実際に街中を走行して，注釈重畳画像の生成を行った. 仮定として，カメラの内部パラメータは, 実験中は一定であるとした .
まず，図 14は，GPS のみを用いて注釈の位置合わせを行なったものである．次に，車の速度を用いて位置情報を補間した結果を図 15に示す．最後に，姿勢情報の取得にジャイロを用い，その補正に GPS から取得される車の進行方向の情報を用いたものを図 16に示す．

4.1 実験内容

4. 実験と考察

24

図 14 注釈重畳画像（ GPS のみ）

図 16 注釈重畳画像（姿勢の補正）

26

図 15 注釈重畳画像（速度による補間）

25

27

まう現象が見られた．この解決には，ビジョンセンサの利用が考えられる．

また，センサから位置と姿勢情報を取得したため，注釈情報が震えて見えてしどがあげられる．

て，3 次元情報を持つデジタル地図の利用, ステレオ視による距離画像の作成な示する時に違和感が生じるため，その解決をしなければならない．その方法とし

28

講座の諸氏，ならびにソフトウェア基礎講座 事務補佐員 北川 知代女史に深く感表示できる事を確認した．
謝致します．

上げます．また，物心両面において常に暖かい御助言を頂いたソフトウェア基礎

ビデオレートで更新される現実環境の映像に対して，正確な位置に，注釈を重畳

今後の課題として，建造物による対象物体とのオクルージョンが注釈を重畳表本研究の遂行に多大なる御助言，御鞭撻を賜った神原 誠之氏に厚く御礼申し

一誠助手に厚く感謝致します．

そして，本研究を通じて，有益な御助言を頂いたソフトウェア基礎講座 山澤

厚く御礼申し上げます．

本研究の遂行にあたり，御助言を頂いた知能情報処理講座 木戸出 正継教授に

礎講座 横矢 直和教授に心より深謝致します．

本研究の全過程を通して，懇切なる御指導，御鞭撻を賜わったソフトウェア基

謝辞

確認した．また，過去の車の位置情報から，現在の車の位置を予測することで，で , 現実環境への注釈付けが行え，実物体と注釈の対応付けが行えていることを案した . 実験において, 市販のカーナビゲーションに使用されている GPS の精度

では , 車載の位置・姿勢センサとカメラを利用したアノテーションシステムを提釈提示システムを用いた実験を通して , 提案システムの有効性を確認した . 本稿に依存した情報を提示する手法を提案した . そして, 実際に構築した車載型の注

本論文では, 車に乗っているユーザに , 拡張現実感を用いて，店舗情報等の位置

5. むすび[18] 画像処理ハンドブック編集委員会: \画像処理ハンドブック", 昭晃堂, 1987.
[19] H. P. Moravec: \Visual Mapping by a Robot Rover," Proc. of the 6th Int.
Joint Conference on Arti cial Intelligence, pp. 598-600, 1979[20] 藤井 博文, 神原 誠之, 岩佐 英彦, 竹村 治雄, 横矢 直和: \拡張現実のためのジャイロセンサを併用したステレオカメラによる位置合わせ ", 信学技報,
PRMU99-192, 2000.
30[9] 神原, 藤井，松川: \拡張現実感のカーナビゲーションへの応用", 信学総大,
p. 312, 2000.

[10] 神原 誠之, 岩佐 英彦, 竹村 治雄, 横矢 直和: \マーカ切替え追跡による広範囲見回し可能なビデオシースルー型拡張現実感", 信学技報, PRMU99-199,
2000.

29

[17] S. Feiner, B. Maclntyre, T. Hollerer, and A. Webster: \A Touring Machine:
Prototyping 3D Mobile Augmented Reality Systems for Exploring the Urban
Environment," Personal Technologies, Vol. 1, No. 4, pp. 208-217, 1997.

[16] 中島 健, 伴 好弘, 眞鍋 佳嗣, 佐藤 宏介, 千原 國宏: \ウェアラブル拡張現実
感技術による星座観測支援システム", 日本バーチャルリアリティ学会第 4 回
大会論文集, pp. 417-418, 1999.

[15] S. Gibbs, C. Arapis, C. Breiteneder, V. Laliotti, S. Mostafawy, and J. Speier\Virtual Stadio: An Overview," IEEE Multimedia, Vol. 5, No. 1, pp. 18-35,
1998.

[14] 神原 誠之, 岩佐 英彦, 竹村 治雄, 横矢 直和: \マーカ切替え追跡による広範囲見回し可能なビデオシースルー型拡張現実感", 信学技報, PRMU99-199,
2000.

[13] S. Feiner, B. Maclntyre, T. Hollerer, and A. Webster: \A Touring Machine:
Prototyping 3D Mobile Augmented Reality Systems[12] 中島 健, 伴 好弘, 眞鍋 佳嗣, 佐藤 宏介, 千原 國宏: \ウェアラブル拡張現実
感技術による星座観測支援システム", 日本バーチャルリアリティ学会第 4 回
大会論文集, pp. 417-418, 1999.

[11] S. Gibbs, C. Arapis, C. Breiteneder, V. Laliotti, S. Mostafawy, and J. Speier\Virtual Stadio: An Overview," IEEE Multimedia, Vol. 5, No. 1, pp. 18-35,
1998.

[8] 片桐, 杉村，櫻井，池田: \実写ライブ動画映像を用いた移動体ナビゲーショ
ンの試み -Mobile Magic View- ", 信学技報，PRMU,Vol1, pp. 149-156, 1998.

[7] 興梠, 蔵田, 坂上，村岡: \パノラマ画像群を位置合わせに用いた注釈付き映像の実時間提示システム ーパノラマベースト・アノテーションー", 信学論,
Vol. J84-D-II, No.10, pp.2293-2301, 2001.

[6] S. You, U. Neumann, and R. Azuma: \Hybrid Inertial and Vision Tracking
for Augmented Reality Registration", Proc. IEEE Virtual Reality'99, pp.
260-267, 1999.

[5] 大田，田村: \複合現実感の要素技術としてのコンピュータビジョン", 画像の認識・理解シンポジウム (MIRU'98), Vol. 1, pp. 1-6, 1998.

[4] R. T. Azuma: \A Survey of Augmented Reality ", Presence, Vol. 6, No. 4,
pp. 355{385, 1997.

[3] Ronald Azuma, Bruce Hol , Howard Neely and Ron Sarfaty:, \A MotionStabilized Outdoor Augmented Reality System", Proc. IEEE Virtual Reality'99, pp. 260-267, 1999.

[2] 原，穴吹，佐藤，山本，田村: \屋外装着型複合現実感システムの検討と試作", 日本バーチャルリアリティ学会第 5 回大会論文集, pp. 407-410, 2000.

[1] 広瀬, 広戸, 宮崎: \ウェアラブルコンピュータを用いた都市空間ナビゲーションシステム", 日本バーチャルリアリティ学会論文誌, pp. 105-108, 2000.

参考文献

[37] T. Ohshima, K. Satoh, H. Yamamoto, and H. Tamura: \AR2 Hockey: A
Case Study of Collaborative Augmented Reality," Proc. 14th Int. Conf. on
Pattern Recognition, Vol. 2, pp. 1226-1229, 1998.
[38] 大島 登志一, 佐藤 清秀, 山本 裕之, 田村 秀行: \複合現実型アミューズメン
トのためのフレームワークと実装", 日本バーチャルリアリティ学会第 4 回大会論文集, pp. 267-270, 1999.
[39] 田村 秀行, 大田 友一: \複合現実感", 映像情報メディア学会誌, Vol. 52, pp.
266-272, 1998.
32[29] S. You, U. Neumann, and R. Azuma: \Hybrid Inertial and Vision Tracking
for Augmented Reality Registration," Proc. IEEE Virtual Reality'99, pp.
260-267, 1999.

[30] 藤井 博文, 神原 誠之, 岩佐 英彦, 竹村 治雄, 横矢 直和: \ジャイロセンサを用いたビジョンベースド AR のためのマーカ追跡手法", 信学技報, MVE99-59,
1999.

31

[36] G. J. Klinker, K. H. Ahlers, D. E. Breen, P-Y. Chevalier, C. Crampton, D.
S. Greer, D. koller, A. Kramer, E. Rose, M. Tuceryan, and R. T. Whitaker:\Con uence of Computer Vision and Interactive Graphics for Augmented
Reality," Precense, Vol. 6, No. 4, pp. 433{451, 1997.

[35] 横光 澄男, 大隈 隆史, 竹村 治雄, 横矢 直和: \多視点ステレオ実画像を用いた屋外環境構造の再構成", 信学技報, PRMU98-250, 1999.

[34] A. State, G. Hirota, D. T. Chen, W. F. Garrett, and M. A. Livingston: \Superior Augmented Reality Registration by Integrating Landmark Tracking
and Magnetic Tracking," Proc. SIGGRAPH'96, pp. 429-438, 1996.

[28] 神原 誠之, 大隈 隆史, 竹村 治雄, 横矢 直和: \ビデオシースルー型拡張現実感のための実時間ステレオ画像合成", 信学論 (D-II), Vol. J82-D-II, No. 10,
pp. 1775-1783, 1999.

[27] J. Rekimoto and K. Nagao: \The World through the Computer: Computer
Augmented Interaction with Real World Environments," Proc. of the ACM
Symposium on User Interface Software and Technology, pp. 29-36, 1995.

[26] S. Feiner, B. Maclntyre, and D. Seligmann: \Knowledge-based Augmented
Reality," Commun. of the ACM, Vol. 36, No. 7, pp. 52-62, 1993.

[25] R. T. Azuma: \A Survey of Augmented Reality," Presence, Vol. 6, No. 4,
pp. 355-385, 1997.

[24] 佐藤 いまり, 佐藤 洋一, 池内 克史: \実物体のソフトシャド ウにもとづく実照明環境の推定", 情処研報, 98-CVIM110-3, 1998.

[33] M. Bajura, H. Fuchs, and R. Ohbuchi: \Merging Virtual Objects with theReal World: Seeing Ultrasound Imagery within the Patient," Proc. SIGGRAPH'92, Vol. 26, No. 2, pp. 203-210, 1992.

[32] 仲村 元亨, 大隈 隆史, 竹村 治雄, 横矢 直和: \AR 環境における情報の生成・管理手法の一考察", 情処研報, 98-HI-76, 1998.

[22] 町田 貴史, 岩佐 英彦, 竹村 治雄, 横矢 直和: \複数の照明条件下での全周計測
レンジファインダを用いた物体の反射係数の推定", 信学技報, PRMU99-162,
1999.

[23] Y. Sato, Mark D. Wheeler, and K. Ikeuchi: \Object shape and re ectancemodeling from observation," Proc. SIGGRAPH'97, pp. 379-387, 1997.

[31] J. Park, S. You, and U. Neumann: \Natural Feature Tracking for Extendible
Robust Augmented Realities," Proc. of the 1st IEEE Int. Workshop on Augmented Reality, 1998.

[21] D. Morris and T. Kanade: \A Uni ed Factorization Algorithm for for Points,
Line Segments and Planes with Uncertainty Models," ICCV'98, pp. 698-702,
Jan. 1998.

[51] S. Gibbs, C. Arapis, C. Breiteneder, V. Laliotti, S. Mostafawy, and J. Speier\Virtual Stadio: An Overview," IEEE Multimedia, Vol. 5, No. 1, pp. 18-35,
1998.

[42] 小川 亮, 馬場 博巳, 乃万 司: \実世界指向インタフェースによる案内図シス
テムの実現", 情報処理学会第 59 回全国大会講演論文集 (4), pp. 37-38, 1998.

[58] D. Morris and T. Kanade: \A Uni ed Factorization Algorithm for for Points,
Line Segments and Planes with Uncertainty Models," ICCV'98, pp. 698-702,
Jan. 1998.
34

33[57] 藤井 博文, 神原 誠之, 岩佐 英彦, 竹村 治雄, 横矢 直和: \拡張現実のためのジャイロセンサを併用したステレオカメラによる位置合わせ ", 信学技報,
PRMU99-192, 2000.

[48] U. Neumann and S. You: \Natural Feature Tracking for Augmented Reality,"IEEE Trans. on Multimedia, Vol. 1, No. 1, pp. 53-64, 1999.

[47] 加藤 博一, M. Billinghurst, 浅野 浩一, 橘 啓八郎: \マーカー追跡に基づく拡張現実感システムとそのキャリブレーション ", 日本バーチャルリアリティ学会論文誌, Vol. 4, No. 4, pp. 607-616, 1999.

[55] H. P. Moravec: \Visual Mapping by a Robot Rover," Proc. of the 6th Int.
Joint Conference on Arti cial Intelligence, pp. 598-600, 1979.

[46] J. Rekimoto: \Matrix: A Realtime Object Identi cation and Registration
Method for Augmented Reality," Proc. 3rd Aisa Paci c Computer Human
Interaction, pp. 63-68, 1998.

[56] 高木 幹雄: \画像解析ハンドブック", 東京大学出版会, 1991.

[54] 画像処理ハンドブック編集委員会: \画像処理ハンドブック", 昭晃堂, 1987.

[53] S. Feiner, B. Maclntyre, T. Hollerer, and A. Webster: \A Touring Machine:
Prototyping 3D Mobile Augmented Reality Systems for Exploring the Urban
Environment," Personal Technologies, Vol. 1, No. 4, pp. 208-217, 1997.

[45] 小林 俊広, 井上 剛毅, L. Quan, 大田 友一: \3 視点のアフィン画像を用いた線形的手法によるカメラ姿勢の推定", 信学技報, PRMU98-245, 1999.

[44] U. Neumann and Y. Cho: \A Self-tracking Augmented Reality System,"
Proc. of the ACM on Virtual Reality Software and Technology, pp. 109-115,
1996.

[52] 中島 健, 伴 好弘, 眞鍋 佳嗣, 佐藤 宏介, 千原 國宏: \ウェアラブル拡張現実
感技術による星座観測支援システム", 日本バーチャルリアリティ学会第 4 回
大会論文集, pp. 417-418, 1999.

[50] 神原 誠之, 岩佐 英彦, 竹村 治雄, 横矢 直和: \マーカ切替え追跡による広範囲見回し可能なビデオシースルー型拡張現実感", 信学技報, PRMU99-199,
2000.

[41] 大隈 隆史, 竹村 治雄, 岩佐 英彦, 片山 喜章, 横矢 直和: \Spiral Tree: 順序付
き階層構造の 3 次元視覚化手法", 信学論 (A), Vol. J81-A, No. 2, pp. 280-288,
1998.

[43] 大隈 隆史, 竹村 治雄, 横矢 直和: \拡張現実感システムのための画像からの実時間カメラ位置姿勢推定", 信学論 (D-II), Vol. J82-D-II, No. 10, pp.
1784-1792, 1999.

[49] 佐藤 清秀, 山本 裕之, 田村 秀行: \カメラと 3 次元センサの組合せによる現実空間と仮想空間の位置合わせ手法", 日本バーチャルリアリティ学会論文誌,
Vol. 4, No. 1, pp. 295-302, 1999.

[40] 清川 清, 竹村 治雄, 横矢 直和: \仮想環境と拡張環境のシームレスな切替による協調作業支援手法", 日本バーチャルリアリティ学会論文誌, Vol. 4, No.
4, pp. 657-664, 1999.

35[61] 佐藤 いまり, 佐藤 洋一, 池内 克史: \実物体のソフトシャド ウにもとづく実照明環境の推定", 情処研報, 98-CVIM110-3, 1998.

[60] Y. Sato, Mark D. Wheeler, and K. Ikeuchi: \Object shape and re ectancemodeling from observation," Proc. SIGGRAPH'97, pp. 379-387, 1997.

[59] 町田 貴史, 岩佐 英彦, 竹村 治雄, 横矢 直和: \複数の照明条件下での全周計測
レンジファインダを用いた物体の反射係数の推定", 信学技報, PRMU99-162,
1999.