情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163A07
2016/3/4

Real oriented Virtuality:
現実に基づく仮想空間没入ゲーム
山田 献二朗†1 伊澤 嘉峻†2 兼島 雄史†2實廣 貴敏†2 加藤 真平†3 武田 一哉†3 石黒 祥生†4
概要：本研究は Real oriented Virtuality を用いることにより、自動運転車の状況を楽しみながら理解するシステムを提案する．Real oriented Virtuality は現実空間と仮想空間を同期させ、双方の間でやり取りする情報を取捨選択することで、より高く幅のある表現を生み出す技術である．本稿ではその一例として，自動運転車両において、現実を実時間で反映した仮想空間内での体験により、車両の状態・周囲の状況を楽しみながら理解することが可能なシステムを提案する。また，このシステムの詳細とデモンストレーションについて述べる．

Real oriented Virtuality:
Immersive Game with Real oriented Virtuality
KENJIRO YAMADA†1 YOSHITAKA IZAWA†2 YUSHI KANESHIMA†2TAKATOSHI JITSUHIRO†2 SHINPEI KATO†3KAZUYA TAKEDA†3 YOSHIO ISHIGURO†4Abstract: This paper presents a system that enables the autonomous vehicle to perceive environment situation and provides aform of entertainment taking advantage of the "Real oriented Virtuality." With its function to synchronize the real and virtual
scenes, the "Real oriented Virtuality" provides a way to exchange information between them, so as to produce high quality andvarious types of virtual representation of a real environment. Therefore, its application in the autonomous vehicle can present theenjoyable experience in a virtual space for drivers to understand the surrounding situation. In this paper, we present ourimmersive game system and utilize our autonomous vehicle to demonstrate its performance in some real experiments.

1. はじめに本研究は Real oriented Virtuality (RoV) を活用することにより，自動運転車現実空間の情報を仮想空間の表現に変換し，自動運転車の状態を理解するシステムを提案する．本稿で提案する RoV は，現実環境をあたかも仮想空間の中にいるように感じさせることで，情報量の操作や周辺状況の的確な理解などに繋がるのではないかという仮説のもとで研究を行っているシステムであり，これにより現実に基づきながらも，仮想環境のように高い表現力と自由度を持つ

図 1 自動運転車両環境を生成することを目指している．
その適用例として自動運転車両におけるインタフェースとしてデモシステムを作成した．自動運転車(図 1)には多くのセンサが搭載されている．これらのセンサ情報をもとに自動運転システムは認知・判断・操作を行う．物体認識，自己位置推定，経路計画など，膨大なセンサ情報をリアル †1 名古屋大学工学部電気電子情報工学科
Department of Electrical, Electronic Engineering and Information
Engineering, Information Engineering Course, School of Engineering, Nagoya
University†2 愛知工科大学工学部情報メディア学科
Department of Media information, School of Engineering, Aichi University ofTechnology†3 名古屋大学大学院情報科学研究科
Graduate School of information Science, Nagoya University†4 名古屋大学未来社会創造機構
Institute of Innovation for Future Society, Nagoya University© 2016 Information Processing Society of Japan

タイムに処理することで安全な自動運転を実現している[1][2][3]．
そこで本稿ではこれらの情報に基づいた仮想空間を構築し，「止まる」「曲がる」「走る」などの自動運転車両の情報を楽しみながら理解できるシステムを提案する．

2. Real oriented Virtuality
2.1 Real oriented Virtuality
Real oriented Virtuality (RoV) は仮想現実感 (Virtual Reality)，複合現実感 (Mixed Reality)，拡張現実感 (Argument Reality)
を組み合わせたものである[4][5]．RoV では高精度なセンサによる計測データをもとに，高精度実時間での環境認識を行い，目的に応じた情報のみを抽出，仮想空間に反映させ

800

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163A07
2016/3/4

図 2 Real oriented Virtuality

る．このため現実に基づきながらも，仮想環境のように高い表現力と自由度を持つ環境を生成する．
現実環境から切り離された仮想環境では，現実では不可能なシミュレーションや体験を可能にするが， 仮想空間内での行動は現実に直接反映されない．複合現実環境では，現実環境に対し，CG 画像などの情報を付加することで現実空間を拡張することが可能であるが，人は現実環境にいると感じるように設計される．RoV ではこれとは異なり，人を仮想環境に没入させる．(図 2)
高精度センサによって収集される情報量は人間の認知の限界を超えるため，どのように情報を削減，変換するかが重要である．また，この削減変換方法は目的に応じて異なると考えられる．さらに仮想環境内で行ったユーザ操作のフィードバック情報を，

図 3 現実空間と仮想空間の同期

1．仮想環境でのインタラクションにのみ必要な情報
2．現実に反映させる必要がある情報の２つに分類し，必要な情報のみを現実環境に出力するという識別も必要である．このように得られる情報に対し，
a. 目的達成のために必要な情報
b. 環境構築における演出として追加可能な情報
c. 無視して良い情報

没入型ゲームのシステムを構築した．ゲームをプレイすると，ゲームを自由に楽しみながら自動運転車の判断・行動を理解することができる．
2.3 現実環境仮想化処理の流れ
この自動運転車用ゲームを作成するにあたり，現実を仮想空間に反映させる．このためにという，カテゴリ分類及び変換ルールが必要である．これ

1.

周辺環境計測らが一般化できれば，この現実環境仮想化技術の汎用性を

2.

現実環境情報の変換

3.

情報提示とユーザフィードバックの取得高めることができる．今後増えると予想される高性能な知能システムの出力を現実環境と混ぜ合わせ，仮想空間として自在にデザインし提示することで，利用するユーザの負荷を低下させることが可能になると期待できる.
2.2 Autonomous Driving with RoV
自動運転車は乗員が運転する必要がないので，睡眠，読書，仕事など自由な行動を取ることができる．一方で，自動運転車が判断することができない緊急事態に備える必要や，自動運転車が何を考えているかわからない状況がある．の 3 つが必要である．
まず 1.周辺環境計測では，自動運転車に設置された PCがセンサの情報を解析し，自動運転の判断に必要なデータに変換する．本システムはこれらのリアルタイムな現実空間の情報に基づく仮想空間を構築する．
さらに 2.現実環境情報の変換では，現実に基づく仮想空間を構築する上で，双方の同期が重要である．例えば，仮想空間内で壁が目の前に現れると．止まらなければならな人間の判断を必要とする状況もあり，その行動が制限されいという心理が働く．HMD を外して現実の世界を見てみてしまう．そこで RoV を用いた解決方法を提案する．RoVると信号が“赤”であることに気づく．このように，ゲームは現実に基づいているので，仮想空間を通して実際の周辺をプレイしているだけで自然に現実の行動に結びついてい状況を判断することが可能である．今回は自動運転車内用る．つまり，現実空間と仮想空間が同期しているというこ© 2016 Information Processing Society of Japan801

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163A07
2016/3/4とである（図 3）．これにより意識せずに現実の状況把握を自動運転車の挙動は「止まる」
・「曲がる (避ける)」・「進することができ，自動運転の状況に注意を向けるという制む」に抽象化した．また，それらの操作を引き起こす要因

限に縛られない空間を演出することが可能である．

が，規則に基づいた予測や判断が容易かどうかにおいても現実環境の情報をいかに適切に仮想空間に結びつけるか区別する．予測が容易な要因においては，その予想に即しが本システムの中核である．そこでまずは自動運転車がどた状況を発生させることが可能である．例えば，信号機ののような現実環境の情報を扱うのかをまとめ，走行に関わ変化はある程度の予測が可能であるので状況の開始・終了

る情報を大きく 4 つの分類に分ける（図 4）．

時間を決めることができるが，歩行者は予測できない行動

次にこれらの現実空間の情報を仮想空間に反映させる方を取るので．状況を終了させるには自動運転車の判断が必要である（表 1）．
また運転操作には直接関与しないと判断されている情報
表 1 自動運転に必要な現実環境情報と予測可能性
操作

曲がる

止まる

予測

信号

容易

(a)

困難

(b)

踏切

道路工事
(c)

歩行者
他車

進む

（避ける）

路上駐車

(e) 制限速度

歩行者
(d)

他車

―も使うことができる．例えば，歩道を歩く人や分離帯向こうの対向車線にいる車などである．
これらの分類にそれぞれ適した仮想空間内の状況を考える必要がある．3.情報提示とユーザフィードバックの取得
図 4

自動運転車が扱う現実空間の情報とそれを反映した仮想空間のために，今回のゲームで考えた状況の例を図 5 にまとめた．図 5 の (a-d) は表 1 と一致している．これらの例はそ

法を示 す． 地形 ・建 物 (Structure)や 路面 表示 ・交 通標 識(Limitation)などの静的な情報は，自動運転システムで使用されている高精度 3 次元地図情報に内包されている．このため，反映した仮想空間を作成しておくことが可能である．
今回作成したデモ用ゲームでは地形・建物はゲームにおけるマップに変換し，路面標示・交通標識はゲームのルール

れぞれ下記の状況を想定し、適切な変換を行う．
(a) 進路を防がれ止まる必要がある状況を表現するために、壁を出現させて進めないようにする．
(b) 飛び出してきた歩行者を岩に見立てて、急停止する状況を演出する．
(c) 障害物（人や物）を避ける状況を、地面に穴が開くことで回避させるようにする．に変換した．
信号表示(Sequence)や歩行者(Avoidance)など動的な情報(d) 歩行者を避ける状況を、敵に変換している．

はリアルタイムに仮想空間に反映しなければならない．これらの情報は多様で複雑であると考えられるので，抽象化してそれぞれに変換規則を設ける．

図 5

現実空間の状況と仮想空間の状況の実時間での対応の様子© 2016 Information Processing Society of Japan802

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163A07
2016/3/4

3. システム概要
3.1 自動運転用機器a) 車両(RoboCar ZMP)b) 全方位レーザーライダー (HDL-64e Velodyne)c) 単眼カメラ(Grasshopper3 PointGrey)d) 自動運転ソフトウェア(Autoware NagoyaUniversity)a) はコンピュータによりステアリング，アクセル，ブレーキが制御できる車両である．b) は全方位をスキャンし三次元点群イメージを提供する．自己位置推定や高精度三次元地図作成に用いられる．c) は車の前方を撮影し，画像認
図 6

識による物体検知によって，歩行者・他車・信号といった本システムの通信構成データを取得する．d) は自動運転システムのソフトウェアであり，b)，c) のセンサから得た情報を解析し，自動運転実際にデモをして気づいたことが，HMD を用いた VR 体験の判断に必要なデータに変換する．そして，判断データをで起こりやすい VR 酔いが起きなかったことである．これ用いて自動運転車両の操作・制御を行う．

は視点移動と実際の体の動きとのずれによって引き起こさ

3.2 RoV システムれると言われている．今回の RoV システムでは仮想空間のRoV システムの没入型仮想空間は，主にゲームエンジン身体動作や振動などの車両の動きが現実と同期されている(UnrealEngine4) を導入した PC で実装した．プレイヤーはので，酔いが起きにくいと推測できる．これについては評仮想空間に没入するためにヘッドマウントディスプレイ

価実験をして定量的な評価を行う必要がある．

(Oculus Rift DK2) を装着し，頭部の姿勢とキー入力により今後の展望として，RoV の体験を複数人や複数車両で共ゲーム操作を行う．

有し，より高い表現力を実現させる．自動運転の発達によ

3.3 通信り検出可能な現実空間の情報の増加，精度の向上，これに本システムの通信の構成について図 6 に示す．自動運転シより体験の幅の拡大，質の向上が可能になる．また一例とステム用 PC と RoV システム用 PC は UDP による通信を行してゲームを作成したが，それ以外の魅力的な空間の実現う．この通信では自己位置推定による車両の座標・姿勢や，も目指す．

歩行者などの障害物の情報，車の予定進路など本来自動運

参考文献

転車の制御に用いられる情報を送受信する．

1) Christopher Urmson, Christopher R. Baker, John M. Dolan, PaulRybski, Bryan Salesky, William (Red) L. Whittaker, David Ferguson ,and Michael Darms, "Autonomous Driving in Traffic: Boss and theUrban Challenge ," AI Magazine, Vol. 30, No. 2, pp. 17-29, June, 2009.
2) Manato Hirabayashi, Shinpei Kato, Masato Edahiro, Kazuya Takeda,
Taiki Kawano, and Seiichi Mita. ”GPU implementations of object
detection using HOG features and deformable models”. In
Cyber-Physical Systems, Networks, 42 and Applications (CPSNA),2013 IEEE 1st International Conference on, pp. 106–111. IEEE, 2013.
3) Peter. Biber and Wolfgang. Straßer. The normal distributionstransform: A new approach to laser scan matching. In IEEE/RSJ
International Conference on Intelligent Robots and Systems (IROS2003), pp. 2743–2748, 2003
4) Jun Rekimoto and Katashi Nagao. 1995. The world through thecomputer: computer augmented interaction with real world
environments. InProceedings of the 8th annual ACM symposium on
User interface and software technology (UIST '95). ACM, New York,NY, USA, pp. 29-36
5) 1992. Research directions in virtual environments: report of an NSF
Invitational Workshop, March 23-24, 1992, University of North
Carolina at Chapel Hill.SIGGRAPH Comput. Graph.26, 3 (August1992), pp. 153-177

4. 実際のデモの流れ
本システムの体験の流れは以下の通り．
1.

体験者は助手席または後部座席に座る．

2.

HMD，ヘッドホンを装着する．

3.

車両走行開始．現実を反映した仮想環境内でのゲームが始まる．

4.

現実空間情報が仮想環境に変換，反映される様子をゲームを通して体験する．

5.

規定のルートを走行後，終了する．

なお，本デモンストレーションでは，デモスペースの制約等を考慮し，運転は手動で行う．運転手は決められたコースを走行する．その際自動運転システムは周辺環境のセンシングと位置姿勢推定のみを行い，RoV システムの動作に必要な情報を収集する．

5. まとめ自動運転車内で自由な空間を演出するために RoV 技術の活用を提案し，その一例としてゲームを作成した．仮想空間内に現実を反映させることで，体験者に楽しみながら自動運転車の判断・行動を知覚させるシステムを実現した．

© 2016 Information Processing Society of Japan803