立石科学技術振興財団

助成研究成果集(第30号) 2021

立石賞功績賞の受賞記念講演概要

時空を超える複合現実メディアへの挑戦〜リアルとバーチャルの融合〜
奈良先端科学技術大学院大学 名誉教授

横 矢 直 和学生の受け入れ開始と同時に奈良先端科学技

実写映像に CG を重術大学院大学に異動した翌年の 1994 年度に，畳合成したものが「拡立石科学技術振興財団から「画像理解のための張 現 実」(AR : Aug-

並列協調型アルゴリズムの研究」に対して助成mented Reality) で，をいただき，研究室の立ち上げに支援いただき現実世界の映像や 3 次ました。また，この度は，四半世紀余りを経て，元計測により仮想世界当時に構想していた研究内容に対して第 6 回立を作り出すのが拡張仮石賞功績賞をいただくこととなり，感謝に堪え

想 (AV : Augmented Virtuality) あるいは仮想ません。ここに，立石文雄理事長をはじめ立石化現実 (Virtualized Reality) と呼ばれる技術

科学技術振興財団の皆様並びに立石賞選考委員です。後者の中で，実写映像のみから実際にあ会の皆様に厚く御礼申し上げます。

たかも遠隔地にいるかのような感覚を与えるメ

本講演では，「時空を超える複合現実メディ

ディア技術はテレプレゼンス (Telepresence)アへの挑戦」と題しまして，受賞対象となったと呼ばれます。本日のお話は拡張現実とテレプ研究の概要についてお話させていただきます。

レゼンスが中心になります。

具体的には，最初に，「時空を超える複合現実メディア」の基盤となる複合現実感技術について簡単に述べ，次に，中心的な話題である拡張現実感とテレプレゼンスについて，「タイムマシンと千里眼を実現する」ことを目指して研究室で取り組んできた内容とシステム開発を通した実証実験をご紹介します。
図1

複合現実の世界

複合現実の世界

複合現実感 (MR : Mixed Reality) は，バーチャルリアリティとコンピュータビジョンの境

時空を超える複合現実メディアのイメージ

界領域に，1990 年代に現れたメディア技術で，研究室で「時空を超える複合現実メディア」最近では一般的なものになりつつあります。図を標榜していた頃に描いていた技術要素と応用

1 の左端が実写映像で表現される現実世界で，展開を図 2 に示します。このメディアを構成す

右端はすべて CG 映像で表現される仮想世界でる要素は，広域 (屋外) 環境の 3 次元計測とす。複合現実感はこの両者の間に連続的に存在ユーザの位置・姿勢の計測からなる実環境のセする，リアルとバーチャルの融合空間です。

ンシングと，場所に関連した過去・現在・未来― 7 ―立石科学技術振興財団

表1

拡張現実感の技術課題

計測の目的

計測する対象

現実世界と仮想世界の位 ユーザ視点の位置と方向
幾何的 置合せ
整合性 実物体と仮想物体の奥行 ユーザ視点から見た現き隠蔽表現
実世界の奥行き実物体と仮想物体の陰影
現実世界の光源環境
光学的 合せ整合性 実物体と仮想物体の相互 現実世界の 3 次元形状，影づけと映り込み表現
表面反射特性，光源環境なくす光学的整合性です (表 1 参照)。
図2

安全・安心・快適に係る生活の質向上を目指す時空を超える複合現実メディア

ビデオシースルー方式において幾何的整合性を確保するためには，ユーザ視点 (すなわちカのユーザに提示したい情報です。これらの情報メラ) の位置と姿勢のリアルタイム計測が必要を現場で提示するのか，遠隔地で提示するかにで，光学的整合性の確保には，現実世界の光源よって，6 つの組み合わせができます。

環境のリアルタイム計測が必要になります。ビデオシースルー方式での幾何的位置合わせの基本は，カメラで撮影された映像そのものを解析

拡張現実感を実現するための技術課題
拡張現実感を実現するための現実世界と仮想することによってカメラの位置・姿勢を推定す

世界の合成方法は，光学シースルー方式とビデる手法です。これには，コンピュータビジョンオシースルー方式の 2 つに分れます (図 3 参の 分 野 に お け る PnP (Perspective n-Points)照)。光学シースルーでは，ハーフミラーを通問題 (図 4 参照) を解くことによってカメラのして現実世界の像と CG が網膜に入り，網膜上位置・姿勢を推定する手法が一般的です。図 4で像が合成されます。一方，ビデオシースルーにおいて，3 次元空間内の特徴点 p の世界座標

では，カメラで撮影した現実世界の像と CG が系での 3 次元位置 S =(x, y, z) が既知で，画像コンピュータ上で合成され，合成像が網膜に入上での検出座標が x=(u, v)，カメラの位置・ることになります。我々の研究室では主にビデ姿勢を表す変換行列 M による画像平面への投オシースルー方式を採用してきました。

影座標を x′ =(u′, v′ ) とします。PnP 問題は，拡張現実感では，ユーザの視点移動に実時間一般に 6 点以上，平面上の点なら 4 点以上の既で追従する，実写と CG のシームレスな合成が知の点が画像上で検出できれば解けることが知必要となり，解決しなければならない課題は，られており，一般には，画像上の検出座標 x

現実世界と仮想世界の位置ずれをなくす幾何的と投影座標 x′  の距離の二乗和として定義され整合性と現実世界と仮想世界の光学的な矛盾を

図3

拡張現実感における現実世界と仮想世界の合成方法

― 8 ―

図4

3 次元位置が既知の特徴点からのカメラの位置・姿勢推定

Tateisi Science and Technology Foundationる再投影誤差
E=  x′ −x 2



を 最 小 に す る 行 列 M を 算 出 し，カ メ ラ の 位置・姿勢を決定します。
この原理に基づいて，マーカを用いて幾何的位置合わせを行う最も有名なソフトウェアツー
ルは ARToolKit です。
我々の研究の特徴は，マーカを用いずに，カメラ映像からシーン内の自然特徴点の実時間検AR 映像提示デバイスとして HMD (左) と小型 PC (右) を用いたシステム。この実験では，事前に全方位カメラと全方位レンジファインダを用いて実験地域のランドマークデータベースを構築している。

図6

出・追跡を行いカメラの位置・姿勢を推定する

明日香村・川原寺跡地でのバーチャル飛鳥京の一般公開実験の様子 (協力：明日香村，東京大学生産技術研究所・池内研究室)

アルゴリズムを開発し，AR の屋外利用への道を拓いたことです。我々のアプローチでは，事前に，全方位映像から特徴点の 3 次元位置と周辺の画像パターンなどを格納したランドマークデータベースを構築し，オンライン処理では，特徴点をリアルタイムに検出し，データベース内のランドマークとの対応付けを行うことにより，幾何的位置合わせを実現します (図 5 参照)。
創建時の大仏殿や喪失して現存しない東塔 (七重の塔) などのバーチャル復元を実現した。

図 7 東大寺境内での一般公開実験の様子 (協力：東大寺，奈良県)

テレプレゼンス
あたかも遠隔地に実際にいるかのような感覚
図5

ランドマークデータベースを用いたカメラの位置・姿勢推定を提示するテレプレゼンスについて述べます。
研究の特徴は全方位カメラを用いることです。
基本的には，全方位画像でとらえた遠隔地の映像をもとにユーザの視線に追従した平面透視投

拡張現実感システムの開発：タイムマシン
奈良県内の史跡を対象に，すでに失われた建影画像をリアルタイムに生成・提示するという造物を CG で復元し，先に述べた幾何的位置合ものです (図 8 参照)。仮想カメラのパン・チわせ法により現場で AR 合成を行うことによっルト・ロール・ズーム操作を実現し，ビデオ映て，時間を超えてバーチャルに歴史体験を可能像のインタラクティブ視聴を可能にしました。とする複数の拡張現実感システムを開発しましこの空間を超えるテレプレゼンス研究の初期た。明日香村と東大寺境内で行った一般公開のに利用した全方位カメラ HyperOmni Vision を実証実験のときの様子を図 6，図 7 に示します。 図 9 に示します。

― 9 ―立石科学技術振興財団(1) 1 本の全方位ビデオを 4 人が独立に同時視聴できる蓄積再生型システム

図8

全方位画像を用いるテレプレゼンス方式(撮影協力：NHK エンタープライズ)(2) 実時間ネットワークテレプレゼンスシステム (NAIST ― ハワ
イ大学間での実証実験，2007 年 1 月，協力：ハワイ大学)

図9

図 10

全方位ビデオカメラ HyperOmni VisionHyperOmni Vision を用いたテレプレゼンスシステ
ムの事例

テレプレゼンスシステムの開発：千里眼
テレプレゼンスシステムの実装方法として，映像提示に関しては蓄積再生型と実時間型，システム構成に関してはスタンドアロン型，ネッ(1) 無人飛行船と搭載機器の外観トワーク型，放送型の 3 種類を試みました。図10 に 2 つの具体的な事例を示します。
拡張テレプレゼンス：千里眼+タイムマシン
ここでは，飛行船からの空撮全方位映像を用いたバーチャル歴史体験を目的として，前述の拡張現実感とテレプレゼンスを組み合わせた蓄積再生型の拡張テレプレゼンスに関する取り組(2) 機器の搭載位置

図 11

み「フライスルーバーチャル平城京」を紹介し空撮用の無人飛行船と搭載機器ます。

AR 合成を行うための現実世界と仮想世界の幾(1) 全方位空撮システム

何学的位置合せに必要なカメラの位置・姿勢情

空撮に使用した無人飛行船と搭載機器を図報を取得するために，GPS と姿勢センサなど

11 に示します。6 眼の全方位ビデオカメラユを搭載しています。飛行船の操縦は地上からのニット Ladybug に加えて，空撮映像に対するリモコン操作により行います。

― 10 ―

Tateisi Science and Technology Foundation(2) 前処理

空撮映像に対する CG の AR 合成を行う際には，幾何的位置合わせのために，空撮映像の各フレームでのカメラの位置・姿勢情報が必要であり，ここでは，Structure-from-Motion(SfM) 技法と GPS 測位を併用したハイブリッ(1) 通常のディスプレイ

(2) HMD

ド手法によりカメラの位置と姿勢を推定します。 図 14 平城遷都 1300 年祭におけるフライスルーバーチャ

ル平城京のデモ風景 (協力：(社)平城遷都 1300 年記
念事業協会，凸版印刷(株)，文化庁)

一般に，SfM では蓄積誤差が発生するとともに，相対的な位置・姿勢情報しか得られずスケールが未知という問題があります。このため，
GPS 測地座標系という絶対座標系での位置情おわりに報が得られる GPS 測位情報を利用することに本講演では，時空を超える複合現実メディア

よって，絶対座標系上でのカメラの位置・姿勢として，拡張現実感とテレプレゼンスおよびそを推定します。この情報を用いて，飛行船の揺れらを統合した拡張テレプレゼンスに関する取れに伴う全方位映像の歪みの補正と死角領域の組をご紹介しました。現在，これらの技術は本補完を行った後に，全方位映像の各フレームに格的な実利用の時代に入ったと感じていますが，CG の AR 合成を行います。

ここでは触れなかった厳密な光学的整合性の実(3) フライスルーバーチャル平城京：タイムマシン

時間での確保など，解決が難しい問題が残っています。また，リアルとバーチャルをシームレ+千里眼

平城遷都 1300 年祭に合わせて，平城宮跡をスに融合する技術の進歩に伴って，フェイク映上空から全方位カメラで空撮し，往時の平城京像などの新たな問題も現れてきますので，今後の建物の CG を AR 合成した映像をもとに，上は，これらの問題に取り組む必要があります。

空から 1300 年前の都を鳥瞰できる拡張テレプ

最期に，本講演内容に関係する研究を中心的レゼンスシステム「フライスルーバーチャル平に担った研究室の元学生・スタッフおよび協力城京」を開発し，1300 年祭において一般公開いただいた奈良先端大の同僚に感謝いたします。

を行いました (図 12，図 13，図 14 参照)。

図 12

図 13

全方位 AR 画像

フライスルーバーチャル平城京のユーザ提示画像― 11 ―