特集 新しい飛躍の時代を迎えた複合現実感

JVRSJ Vol.15 No.2 June, 201037107

特集 ■ 新しい飛躍の時代を迎えた複合現実感

TrakMark WG 活動報告
AR/MR 位置合わせ＆トラッキング手法の評価方法策定

柴田史久

立命館大学

SHIBATA FUMIHISA池田聖

奈良先端科学技術大学院大学

IKEDA SEI

蔵田武志

産業技術総合研究所

KURATA TAKESHI

そうした背景と目的から，SIG-MR 内に「AR/MR トラッ

1. はじめに現実世界を電子的に増強する拡張現実感 (AugmentedReality; AR) や現実世界と仮想世界を融合する複合現実感(Mixed Reality; MR) は，人工現実感 (Virtual Reality; VR) のキング手法の評価方法＆テストベッド策定に関するワー発展形であり，VR 分野の中でも大きな研究領域を形成

を TrakMark WG とする．本稿では，TrakMark WG のこ

している．既に，万博やテーマパークにおける大型アトラクションで採用されたり，携帯電話を利用した AR アれまでの活動経過を報告する．

プリケーションが話題となるなど，魅力的な応用分野を2. WG 体制と活動目標生み出す潜在能力があることは周知の事実である．

TrakMark WG は，2009 年 5 月 23 日 に 開 催 さ れ た 第33 回複合現実感研究委員会 ( 於，公立はこだて未来大学 )キンググループ」を設けることにした．以降では，策定する評価方法を TrakMark と呼び，ワーキンググループ

本学会内では，1997 年に複合現実感研究委員会 (SIGMR) が発足し，研究会や国際会議の開催，4 回に及ぶ論にて，設立に向けた提案を行い，正式に SIG-MR の下部

文誌複合現実感特集号の企画・編集等の活動を行って組織として設置が承認された．現時点では，SIG-MR に参加する委員の所属研究室を中心に，表 1 に示すメン

きた．当該分野における我が国の貢献は大きく，世界を先導してきたと言っても過言ではない．国際研究集会
ISMAR (International Symposium on Mixed and AugmentedReality) では，その設立の提言から，現在の運営まで中バーが参加している．
表 1 TrakMark WG の体制心的役割を果たしてきた．
2008 年の日本 VR 学会大会パネルセッション [1] で議論したように，AR/MR 分野の研究課題は数多いが，今なお現実世界と仮想世界の「幾何学的整合性 ( 位置合わせ )」と「光学的整合性 ( 画質合わせ )」は，中心となる研究テーマである．とりわけ，前者は毎年の ISMAR で「Tracking」と称するセッションが複数組まれるように，研究開発の最重要課題であり，世界の研究グループが覇を競う最前線となっている [2-4]．
研究が活発で数多くの手法が生まれる分野には，それらを正しく客観的に評価する方法が必要となってくる．
そのためには，評価項目を整理し，評価基準を定め，テストデータを整備する必要がある．基盤や体系が確立すれば，AR/MR 技術を実利用したい産業界にも貢献できる．また，既存の位置合わせ手法を凌駕しようとする研究的挑戦心を生むことにも繋がる．

3738108

特集 新しい飛躍の時代を迎えた複合現実感

日本バーチャルリアリティ学会誌第 15 巻 2 号 2010 年 6 月

研究が盛んである [3][4]．

WG の設置後，直ちに幹事会及び WG 会合を開き，今後の活動目標について議論した．設置直後の広報活動として，2009 年の VR 学会大会にてオーガナイズドセッションを開催し日本国内に向けての呼びかけ [5]

そこで，TrakMark では，カメラからの画像を用いた位置合わせ手法・トラッキング手法を対象とする．具
体的には，カメラの内部パラメタが既知であることをを行うとともに，ISMAR 2009 のスペシャルセッショ前提に，カメラ画像中に存在する何らかの指標を用いてカメラの外部パラメタ ( 位置・姿勢 ) を推定する手法

ンにて，海外の研究者に活動の趣旨を周知し，賛同者を集めることとした．以降，1 〜 2 ヶ月に 1 回のペーを対象とする．当初は，単眼のカメラ画像を用いる手スで WG 会合を開き，適宜役割分担を行って，評価方法の策定を目指す．ISMAR 2010 では，その第 1 次案
(TrakMark 1.0) を公表し，国内外からフィードバックを法を中心に検討を進め，複数画像を用いた手法や他の得る．さらに，ISMAR 2011 までに一定レベルの評価方法を策定した上で第 2 次案 (TrakMark 2.0) を公表し，そについては，後述する映像シーケンスの準備方法の問こで得られたフィードバックを元に改訂を行い，当面などの代表的な手法についてのみ評価結果を公開するの活動を終える．

こととする．

3. 評価方法策定の基本方針

4.2 評価項目

物理センサからの情報を利用する手法へと対象を徐々に広げる予定である．なお，人工マーカを用いた手法
題などから，実用上の参考評価とするべく，ARToolKit

TrakMark WG が目標とするのは，AR/MR における位

これまで提案されてきた位置合わせ手法やトラッキン置合わせ及びトラッキング手法に関して，基準となる評グ手法では，様々な角度から評価や関連研究との比較が価方法を策定し，その評価結果を広く国内外に公開するなされているが，TrakMark では，共通となる定量的なことである．評価結果は，新たな位置合わせ手法・トラッ

評価項目のみを設定し，すべてを網羅することは目指さキング手法を追究する研究者のみならず，AR/MR 技術ない．具体的な評価項目としては，「精度」「実行速度」「正の活用を考えるその他の人々にも提供することを目指し答率」のみを設定し，手法ごとの特徴については，備考ている．

欄を活用して公表する．これは例えば，暗いシーンでもこのような評価方法を策定する上で検討すべき事項
は，次の 3 点である．
(1) どのような種類の位置合わせ手法・トラッキング手

安定して位置姿勢を検出可能な手法の場合，その旨を備法を対象とするのか ( 評価対象 )(2) 具体的にどのような項目について評価を行うのか ( 評価項目 )その一方，様々な実応用への適応度を測るために，後に評価手順の項で述べる映像シーケンスは多数のバリ(3) どのような形で評価を行うのか ( 評価手順 )前述の暗いシーンを含めておくことによって，結果的に考欄に記載することを意味する．これによって評価項目が煩雑化することを防いでいる．

エーションを準備する．例えば，映像シーケンスの中に以降では，上記の 3 点について検討してきた結果につ暗いシーンで安定した手法が確認できることになる．

いて述べる．

精度について計測する場合，(a) 世界座標系とカメラ座標系の変換行列について真値

4. TrakMark 1.0 策定に向けてとの差を評価する (3 次元での評価 )(b) 重畳描画する CG イメージの画面上でのズレを評価

4.1 対象とする位置合わせ手法

する (2 次元での評価 )という 2 通りが考えられる ( 図 1 参照 )．AR/MR の実現をAR/MR のための位置合わせ手法としては，大きく・物理センサを利用するもの
・カメラで取得した画像を用いる手法
・それらのハイブリッド的利用法に分類できる．近年では，ビデオシースルー型のシステ
ムとの親和性や計算能力の飛躍的な向上を背景に，2 番目の画像を用いた手法が主流となりつつある．
画像を用いた手法としては，研究が始まった当初は，処理の高速化が最大の課題であり，ARToolKit に代表される人工的なマーカを使用した手法が広く使われていた．しかしながら，最近では，計算機の性能向上にと

図 1 精度の計測方法． 左図は， 3 次元空間におけるカメラ位置の誤差を示もない，人工マーカを用いず自然特徴を用いた手法のしたもの， 右図は， 2 次元空間における CG の再投影誤差を示したもの．

38

特集 新しい飛躍の時代を迎えた複合現実感

JVRSJ Vol.15 No.2 June, 201039109

主目的と考えた場合は，CG の位置ズレについての評価の上で，検出結果と真値 ( もしくは参考値 ) を比較し，が重要で，3 次元座標系におけるカメラの位置・姿勢に結果を整理した上で公表する．

ついてはそこまで重要ではないが，それだけで評価項目様々な位置合わせ手法の長所・短所を明らかにするたから排除する理由とはならない．どのような状況で位置めには，AR/MR 技術が使用されるシーンを想定した良合わせ手法を利用するかにも依存するため，両方の計測方法を採用することとする．前者については，真値 ( カいシナリオが必須である．すなわち，評価のための映像ではなく，実際に AR/MR が利用されるようなシーンをメラの実際の位置・姿勢 ) を如何にして計測するかにつ多数準備することにより，個々の位置合わせ手法の得意いても検討が必要である．どのような物理センサを用いたとしても，何らかの計測誤差が含まれるため，現時点とするシーン，不得意シーンを明らかにするとともに，AR/MR 技術の活用を考える人々に向けての位置合わせ

では，この種の計測結果を参考値として扱い，あわせて手法選択の指針となることを目指す．

計測したセンサの仕様に関する情報として公開すること

映像シーケンスパッケージに含めるべき具体的なバリエーションとしては，カメラの動き ( 直線移動，回転，とする．
実行速度については，共通の計算機環境における，レ複雑さ )，移動物体，オクルージョン，照明変化，レンイテンシとスループットの両方を評価項目とする．また，

ズ歪み，フォーカス，画質，ホワイトバランス，シャッ

正答率とは，フレーム毎に位置・姿勢の検出が成功した

タスピード，解像度，視野角，シーンの複雑さ／単純か失敗したかをシステムが判断した結果とする．

さ／規則性，など多岐にわたる．想定シナリオに沿っこれらの評価項目についての結果は，簡便な提示方てこれらのバリエーションを組み合わせたパッケージ法としては，平均や分散，最大値，最小値などを採用すを準備する．

る．一方，詳細な結果を示す場合は，評価の対象とした
4.4 パッケージの内容

映像シーケンスごとに，時系列の結果を提示することとする．これにより，どのような映像シーケンスのどのよ

映像シーケンスパッケージには，以下に示す内容を含うなシーンにおいて，その手法が頑健であるかといっためることとした．

情報を得ることができる．

・映像シーケンス
静止画による時系列画像のアーカイブ．画像のフォー
マットは，Jpeg，PNG，Raw などを想定し，次の命名規

4.3 評価手順
図 2 は TrakMark のワークフローを図示したものであ則に沿ったファイル名をつける．

る．図に示すとおり，TrakMark では最初に，AR/MR 技術の利用形態 ( シナリオ ) をいくつか想定し，シナリオ［ファイル名の命名規則］毎にそれを表現した映像シーケンスとその際のカメラの位置・姿勢の真値 ( もしくは参考値 ) などを準備する．

参考のために，動画像ファイルを含むこともあるが，シーケンス名．時．分．秒．ミリ秒．拡張子
評価の際は静止画を用いることとする．
・真値 ( 参考値 )以降では，これを映像シーケンスパッケージと呼ぶ．並行して，国内外の AR/MR 研究者から，評価対象の位置

上記の各ファイル ( フレーム ) に対応した位置・姿勢の真値 ( 参考値 ) を表形式で記述したもの．

合わせ手法を収集する．その後，収集した位置合わせ手法を使って各映像シーケンスの位置姿勢を検出する．そ・パッケージの情報
画像サイズなどの画像情報，カメラの仕様，シーンの概略図，参考値を計測したセンサ等の仕様，などを記

研究者
研究者
研究者

述したテキストファイル．
・キャリブレーション用画像

アルゴリズムを収集

各映像シーケンスの位置姿勢を計測

映像シーケンス

真値（参考値）
計測結果を評価

精度・実行速度・正答率など

映像
シーケンス

カイブ．

真値（参考値）

4.5 サンプルパッケージ

パッケージ

計測結果

カメラキャリブレーションを行うための静止画のアー映像シーケンスパッケージ

これまでに複数回開催した WG 会合において，AR/MR 技術の利用を想定した約 30 のビデオを持ち寄り，作成するパッケージについて検討した．その結果，暫評価結果を公表

定版として以降で説明する三つのパッケージを準備し，TrakMark のホームページ [6] にて公開している．

図 2 TrakMark のワークフロー

39

40110

特集 新しい飛躍の時代を迎えた複合現実感

日本バーチャルリアリティ学会誌第 15 巻 2 号 2010 年 6 月●時代劇セットパッケージ
屋内の決められた範囲において，動き回りながらシーンを観測する事例として，時代劇のセットを対象とした映像撮影をシナリオとして選択した．当該環境には，カメラの位置・姿勢を計測可能な物理センサ ( 位置計測セ

Camera0 Camera1 Camera2 Camera3 Camera4 Camera5

ンサ：InterSense 社 IS-900 SCT，ロータリーエンコーダ：
SHOTOKU 社 TU-03VR) が存在するため，参考値はこれらを使用して計測した．パッケージには，合計で七つの映像シーケンスが含まれている．その内二つは，環境内に位置姿勢が既知である ARToolKit マーカを配置しており，学習用途に利用可能となっている．

図 4 キャンパスパッケージの内容． 上は映像シーケンスの一部．
下は， 全方位型マルチカメラのカメラ毎の映像シーケンスの一部．

したがって，このためパッケージには，カメラの位置姿勢の参考値ではなく真値が含まれることになる．
現在，学会会場パッケージには，三つの映像シーケンスが含まれているが，当然ながらカメラパスや解像度など様々なパラメタを変更した映像シーケンスを生成可能であり，今後，TrakMark に協力してくれる研究者らの意見を取り入れて拡充を図る予定である．また，CG モ
デルを COLLADA フォーマット (dae ファイル ) として

図 3 時代劇セットパッケージの内容． 左上図は時代劇セットの外観．
右上図はセットの見取図． 下の 2 列は映像シーケンスの一部．

公開する．

＊口絵にカラー版掲載●キャンパスパッケージ
屋外を移動する事例として，大学のキャンパスを対象とした歩行者ナビゲーション／ガイドをシナリオとして取り上げた．
パッケージには，通常カメラによる映像シーケンスが一つと，学習用に全方位型マルチカメラ (PointGrey Research 社 Ladybug) による映像シーケンス一つが含まれている．カメラの正確な位置姿勢を計測することが難しいため，各フレームの画像上でトータルステーションを用いて計測した自然特徴点の 3 次元位置を手動

図 5 学会会場パッケージの内容と 3D モデルデータ．
右図は 3D モデルデータ． 残りは映像シーケンスの一部．

で対応付け，PnP 問題を解くことで算出している．この参考値は，10 フレーム毎に作成している．
4.6 国内外への呼びかけ
日本 VR 学会大会及び ISMAR 2009 において，国内外の研究者に向けて TrakMark への協力を呼びかけてきた．現時点までに，metaio GmbH ( ドイツ ) や S. Feiner●学会会場パッケージ
三つ目のシナリオとして，ホテルで開催された学会会
場内を歩き回る歩行者ナビゲーション／ガイドを選択した．このパッケージの特徴は，すべての映像を CG によって描いている点にある．産総研の研究成果 [7] を利用して，教授 ( コロンビア大，米国 ) など，国内外の企業や研究者らから協力の申し出を受けている．以下の四つの役

昨年度開催された ISMAR 2009 の会場内 (Marriott OrlandoDowntown) を 3D モデルとして再現し，この CG データ

割について引き続き募集しているので，興味のある方はinfo@trakmark.net まで連絡されたい．

を元にして歩行者視点の映像シーケンスを作成している．

・プログラム提供者

40

特集 新しい飛躍の時代を迎えた複合現実感

JVRSJ Vol.15 No.2 June, 2010

41
111

キング手法の評価方法策定，日本 VR 学会第 14 回大会論文集，3C2-3 (2009)

評価対象のプログラムを提供する研究者．
・ワーキングメンバ
映像シーケンスパッケージの作成や参考値の計測・作[6] TrakMark, http://www.trakmark.net/

成に協力してくれる人．

[7] T. Ishikawa, T. Kalaivani, M. Kourogi, A. P. Gee, W. Mayol,K. Jung, T. Kurata: In-Situ 3D Indoor Modeler with a Camera・コメンテータ
TrakMark の活動についてコメントしてくれる人．

and Self-Contained Sensors, In Proc. 13th Int’l Conf. on
Human-Computer Interaction (HCII2009), LNCS 5622, pp.

・広報担当者

454-464 (2009)

映像シーケンスや評価結果を公表する Web ページの整備を担当する人．

【略歴】
5. おわりに

柴田史久（SHIBATA Fumihisa）

WG の発足から 10 ヶ月余りが過ぎ，開催した会合も6 回 を 数 え る．ISMAR 2009 の ス ペ シ ャ ル セ ッ シ ョ ン

立命館大学 情報理工学部 准教授
1996 年大阪大学大学院基礎工学研究科博士前期課程修では，好意的に受け入れられるとともに，多数の研究者が議論に加わった．ISMAR で行われている Tracking了．1999 年同 研究科博士後期課程修了．大阪大学産業

Competition との連携を提案する意見や，物理センサを科学研究所助手を経て，2003 年より立命館大学理工学部助教授．現在，同大情報理工学部准教授．博士 ( 工学 )．

組み合わせたものへの拡張など，建設的な意見が目立っモバイルコンピューティング，複合現実感等の研究に従た．それだけ，関係者間の中でも，AR/MR 位置合わせ事．本学会複合現実感研究委員会委員，IEEE 等の会員．

手法，追跡手法の決定的な手法を見極めたいという想いが広くあるのだろう．現在，WG では 4.5 節で述べた映本学会学術奨励賞及び論文賞受賞．

像シーケンスのサンプルパッケージを公開し，TrakMark

池田の協力者らに意見を求めるとともに，アルゴリズムの収奈良先端科学技術大学院大学 情報科学研究科 助教
2001 年広島大学理学部物理学科卒業．2006 年，奈良先集や計測結果の評価などを進めている．

聖（IKEDA Sei）

こうした労力と客観性を要する作業は，1 研究グルー

端科学技術大学院大学情報科学研究科博士後期課程修プの努力で解決できるものではなく，学会内の有識者了．現在，同大情報科学研究科助教．コンピュータビジョ
ン，複合現実感の研究に従事．博士 ( 工学 )．電子情報通と有力グループのボランティア精神によって初めて達成できるものである．この活動はまた，これまで世界のAR/MR 分野を先導してきた我が国の次なる国際貢献で

信学会，情報処理学会，日本バーチャルリアリティ学会，各会員．

あり，研究レベルを常に世界の第一線に保つための活動
蔵田武志（KURATA Takeshi）と位置づけている．
本稿をお読みの学会員の中で，TrakMark にご興味の産業技術総合研究所

サービス工学研究センターある研究者がおられれば，随時，ご連絡いただきたい．

サービス工学企画室長
1996 年筑波大大学院工学研究課修士課程修了．現在，参考文献[1] 亀田，蔵田，清川，稲見，伴，苗村，神原，黒田，前田：

産業技術総合研究所サービス工学研究センターサービス工学企画室長．2003-2005 年 JSPS 海外特別研究員 ( ワシMR・AR・VR の現状 何ができて何ができていないのントン大客員研究員 ) を兼務．2009 年から筑波大学大学院准教授 ( 連携大学院 ) を兼務．サービス工学，複合か？これから何をやるべきか？，日本 VR 学会第 13回大会論文集，pp. 461-465 (2008)

現実情報循環の研究に従事．IEEE，日本バーチャルリア[2] 佐藤，内山，田村：複合現実感における位置合わせ

リティ学会，電子情報通信学会，情報処理学会各会員．
博士 ( 工学 )．

手法，日本 VR 学会論文誌，Vol. 8, No. 2, pp.171-180 (2003)[3] 加藤：AR/MR における幾何位置合わせ手法の現状−
人工マーカを使った手法の研究動向と課題，日本 VR学会第 14 回大会論文集，3C2-1 (2009)[4] 佐藤，横矢：AR/MR における幾何位置合わせ手法の現状−自然特徴を使った手法の研究動向と課題，日本VR 学会第 14 回大会論文集，3C2-2 (2009)[5] 田村，柴田：WG 活動報告 AR/MR 位置合わせ & トラッ41