NAIST-IS-MT1151019

修士論文

拡張自由視点画像を用いた
移動ロボットの遠隔操縦インタフェース

上田優子

2013 年 3 月 12 日

奈良先端科学技術大学院大学
情報科学研究科 情報科学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
上田

優子

審査委員：
横矢
小笠原

直和 教授

佐藤

（主指導教員）

司 教授（副指導教員）智和 准教授（副指導教員）拡張自由視点画像を用いた
移動ロボットの遠隔操縦インタフェース∗
上田

優子

内容梗概
本論文では，人間が立ち入ることが難しい極限環境や遠く離れた場所に配置した移動ロボットを安全に操縦するための新しいロボット操縦インタフェースを提案する．ロボットを遠隔地から操縦する際，操縦者はロボットに搭載されたカメラからの映像などをもとに遠隔地の状況を把握する必要がある．このような場合，ロボットに搭載されたカメラで獲得される映像をそのまま提示する主観視点映像
による操縦インタフェースが広く用いられている．しかし，主観視点映像による操縦インタフェースには以下の問題がある．(1) ロボット自身が遮蔽物となり死角が生じる，(2) ロボットと周辺物体との距離の把握が難しい．これらの問題を解決するために，ロボットを後方から眺めた客観視点映像を提示する操縦インタ
フェースが従来提案されているが，観察視点位置がロボットの後方に固定されているため，操作上重要となるロボットの進行方向に関する上記の問題 (1),(2) は解決されない．そこで本研究では，操縦者自身が頭の動きによって観察視点位置の変更を可能とすることで，ロボットの進行方向を含む周辺状況の把握を容易にする
操縦インタフェースを提案する．ロボットと周辺物体との距離の把握を十分に行える視点への観察視点位置の変更を可能とすることで，従来の操縦インタフェー
スにおいて観察視点位置が固定されることで生じていた (1),(2) の問題を解消する．本研究では，観察視点位置の変更を実現するために，全方位カメラと距離画像センサ 4 台をロボットに搭載し，各センサから得られる全方位画像と三次元点∗

奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻 修士論文, NAIST-IS-MT1151019,
2013 年 3 月 12 日.

i群を用いた自由視点画像生成を行う．生成した自由視点画像は操縦者が装着する
ヘッドマウントディスプレイに提示され，観察視点の位置・姿勢を操縦者の頭部
位置・姿勢と連動させることにより，直観的な視点位置の変更を実現する．提案
手法の有効性を検証するために，まずシミュレーション環境において主観視点映像，客観視点映像，自由視点映像を提示する操縦インタフェースを用いて操縦実験を行った．次に，実際に拡張自由視点画像による操縦インタフェースを用いた移動ロボット遠隔操縦システムを試作し，実環境における被験者実験を行った．
実験より，自由視点画像生成を提示画像とした操縦インタフェースは従来インタ
フェースと比較し，ロボットと周辺環境との距離の把握が容易に行え，操縦の正確性の面で優れていることを確認した．

キーワード
遠隔操縦, 移動ロボット, インタフェース, 自由視点画像生成, 全方位画像センサ，
拡張現実感

ii

Mobile Robot Control Interface Using
Augmented Free-viewpoint Image∗
Yuko Ueda

Abstract
This thesis proposes a novel interface for safely controlling a mobile robot froma remote site. When controlling a mobile robot from a remote site, human operator needs to understand the surrounding environment of the mobile robot suchas road conditions and obstacles, using information acquired by sensors mounted
on the robot. Most existing interfaces for controlling remote robot employ aﬁrst-person view, in which the video stream from the camera is presented as is
to a human operator. There are two problems in the ﬁrst-person view interface;(1) there exist invisible regions occluded by robot itself and (2) it is diﬃcult forhuman operators to accurately estimate the distances between the mobile robot
and obstacles existing around the robot. One approach for these problems is toshow a third-person view image to the operator. However, the occlusion problem
for the front direction of the robot, which is important for the operation, has notbeen solved because the observation viewpoint position is ﬁxed behind a robot
in conventional researches. In order to allow human operators to easily recognize
the 3-D environment around the mobile robot, our new interface provides images of free viewpoint, whose position and orientation is synchronized with thoseof operator’s head. Sensors attached on the robot for our new interface are anomni-directional camera and four range image sensors. A free-viewpoint image is∗Master’s Thesis, Department of Information Science, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT1151019, March 12, 2013.

iii

generated using omni-directional images and 3-D point cloud obtained from thesesensors. The generated free-viewpoint image is presented to the human operator
through a head mounted display where magnetic sensor is attached for measuring the pose of the operator’s head. To verify the eﬀectiveness of the proposed
method, we ﬁrst have evaluated three types of interfaces with (a) a ﬁrst-personview, (b) a third-person view, and (c) a free-viewpoint view, in a simulation environment. We then have actually built a prototype remote robot control systemwith free-viewpoint view interface, for evaluating its eﬀectiveness for safe robot
operation in a real environment. These experimental results demonstrated thatthe number of collisions against obstacles was reduced by the proposed interface. From these results, we conﬁrmed that the proposed interface has a clear
advantage over the baseline interfaces in terms of reliability of the operation.

Keywords:
remote control, mobile robot, interface, free-viewpoint image, omni-directional
image sensor, augmented realityiv

目次
1. はじめに1

2. 関連研究と本研究の位置づけ

3

2.1

2.2

2.3

移動ロボットの遠隔操縦における提示映像に関する従来研究 . . .

3

2.1.1

主観視点映像を提示する遠隔操縦インタフェース . . . . .

3

2.1.2

客観視点映像を提示する遠隔操縦インタフェース . . . . .

5

自由視点画像生成に関する研究 . . . . . . . . . . . . . . . . . . .

10

2.2.1

モデルベースドレンダリング法 . . . . . . . . . . . . . . .

10

2.2.2

イメージベースドレンダリング法 . . . . . . . . . . . . . .

11

2.2.3

ハイブリッドレンダリング法 . . . . . . . . . . . . . . . .

12

本研究の位置づけと概要 . . . . . . . . . . . . . . . . . . . . . . .

14

3. 遠隔操縦インタフェース

17

3.1

操縦インタフェースの概要 . . . . . . . . . . . . . . . . . . . . . .

17

3.2

提案システムの機器構成 . . . . . . . . . . . . . . . . . . . . . . .

20

3.2.1

ロボット側 . . . . . . . . . . . . . . . . . . . . . . . . . .

20

3.2.2

操縦者側 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

4. 拡張自由視点画像生成を用いた画像提示
4.1

4.2

24

入力情報の取得と統合 . . . . . . . . . . . . . . . . . . . . . . . .

24

4.1.1

全方位画像と距離画像の取得 . . . . . . . . . . . . . . . .

24

4.1.2

複数地点で取得した距離画像群の統合. . . . . . . . . . .

26

拡張自由視点画像生成 . . . . . . . . . . . . . . . . . . . . . . . .

28

4.2.1

観察視点に依存した環境のメッシュモデル生成. . . . . .

28

4.2.2

観察視点に依存したテクスチャマッピング . . . . . . . . .

29

4.2.3

ロボットの AR 重畳による拡張自由視点画像生成 . . . . .

30

5. 実験
5.1

31
シミュレーション環境における評価実験 . . . . . . . . . . . . . .

v

31

5.2

5.1.1

実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

5.1.2

評価実験の結果と考察 . . . . . . . . . . . . . . . . . . . .

32

実環境における遠隔操縦の評価実験 . . . . . . . . . . . . . . . . .

35

5.2.1

実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

5.2.2

実験条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

38

5.2.3

評価実験の結果と考察 . . . . . . . . . . . . . . . . . . . .

40

6. おわりに

44

謝辞

45

参考文献

46

vi

図目次
1

遠隔移動ロボットと提示映像. . . . . . . . . . . . . . . . . . . .

42

米田ら [4] の手法 . . . . . . . . . . . . . . . . . . . . . . . . . . .

43

福島原発で用いられたロボットと操縦画面 [5] . . . . . . . . . . .

6

4

カメラの位置を工夫した客観視点映像 [3] . . . . . . . . . . . . . .

7

5

客観視点映像を用いた操縦インタフェースの従来研究 . . . . . . .

7

6

客観視点映像と環境情報を用いた操縦インタフェースの従来研究 .

87Hine ら [11] の手法 . . . . . . . . . . . . . . . . . . . . . . . . . .

98MBR 法による三次元モデル生成 . . . . . . . . . . . . . . . . . .

11

9

IBR 法による自由視点画像生成 . . . . . . . . . . . . . . . . . . .

1210

HR 法による自由視点画像生成 . . . . . . . . . . . . . . . . . . . .

13

11

提案システムの構成図 . . . . . . . . . . . . . . . . . . . . . . . .

1712

仕様した機器（写真） . . . . . . . . . . . . . . . . . . . . . . . .

1913

環境情報の例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2014

試作したロボット操縦システムの外観. . . . . . . . . . . . . . .

21

15

拡張自由視点画像生成の流れ. . . . . . . . . . . . . . . . . . . .

25

16

L0 ノルムを用いた点群の位置合わせの例 . . . . . . . . . . . . . .

26

17

二次元平面投影した 2 つの点群 . . . . . . . . . . . . . . . . . . .

27

18

2 地点から取得した三次元点群の統合結果 . . . . . . . . . . . . .

28

19

メッシュモデルの各頂点の座標 . . . . . . . . . . . . . . . . . . .

29

20

観察視点位置に応じた画像の選択基準. . . . . . . . . . . . . . .

29

21

自由視点画像を背景としたロボットの AR 提示 . . . . . . . . . . .

30

22

シミュレーション環境での HMD 提示画像 . . . . . . . . . . . . .

32

23

実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

24

シミュレーション実験 1 の到達時間 (平均) . . . . . . . . . . . . .

34

25

シミュレーション実験 2 の結果 . . . . . . . . . . . . . . . . . . .

3426

実環境での HMD 提示画像 . . . . . . . . . . . . . . . . . . . . . .

35

27

使用した移動ロボット . . . . . . . . . . . . . . . . . . . . . . . .

36

28

走行環境の俯瞰図 . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

vii

29

走行環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

30

俯瞰視点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

31

斜め後ろからの視点. . . . . . . . . . . . . . . . . . . . . . . . .

39

32

横からの視点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

33

ステージ 1 の到達時間 (平均) . . . . . . . . . . . . . . . . . . . . .

41

34

ステージ 2 の到達時間 (平均) . . . . . . . . . . . . . . . . . . . . .

42

35

ステージ 3 の結果 . . . . . . . . . . . . . . . . . . . . . . . . . . .

42

36

アンケートの結果 (平均) . . . . . . . . . . . . . . . . . . . . . . .

43

viii

表目次
1

遠隔操縦インタフェースにおける提示映像の特徴 . . . . . . . . .

16

2

自由視点画像生成手法の特徴. . . . . . . . . . . . . . . . . . . .

16

3

試作システムに使用した機器. . . . . . . . . . . . . . . . . . . .

18

4

自由視点画像生成時に使用したパラメータ . . . . . . . . . . . . .

38ix

1. はじめに人間が立ち入ることが難しい極限環境や遠く離れた場所で，人間に代わり作業を行うことを目的として，数多くの遠隔移動ロボットが開発されている [1] [2]．遠隔移動ロボットの活躍の場は，原子力発電所内等における危険個所の保全作業や，海洋，宇宙空間等の活動する人数や作業時間に制限のある環境における探索作業，災害現場でのレスキュー作業，建設環境における支援作業など多岐にわたる．このような環境下に投入されたロボットを遠隔地から操縦する際，操縦者はロボットに搭載されたカメラからの映像などをもとに遠隔地で活動するロボットの周辺
状況を把握する．ここで，操縦者がロボット周辺の環境およびロボット自身の状態を正確に把握することが，遠隔操縦の効率性や正確性の向上に繋がる．そのため操縦者にどのような映像を提示するかは重要な技術課題となっている [3]．
操縦者に提示される操縦映像として，ロボットに搭載されたカメラで獲得される主観視点映像を提示する操縦インタフェースが広く用いられている [4]．しかし，主観視点映像による操縦インタフェースには以下の問題がある．

(1) ロボット自身が遮蔽となり死角が生じる．
(2) ロボットと周辺物体との距離の把握が難しい．
上記の問題を緩和するために，ロボットを後方から眺めた客観視点映像を提示す
る操縦インタフェースが研究されている [5–9]．これらの手法では客観視点映像
を操縦画面として用いることで周辺物体との距離の把握が比較的容易となるものの，観察視点位置がロボットの後方に固定されるため，操作上重要となるロボッ
トの進行方向に関する上記の問題 (1), (2) は解決されない．
そこで本研究では，屋内で活動するロボットを対象とした上記の問題 (1),(2) を解消する操縦インタフェースを提案する．具体的には，操縦者自身の頭の動きと遠隔地における観察視点位置の動きを連動させ，任意視点からのシーンの観察を可能とすることで，ロボットの進行方向を含む周辺状況の把握を容易にする操縦
インタフェースを実現する．周辺物体との距離の把握を十分に行える視点への観察視点位置の変更を可能とすることで，観察視点位置が固定されることで生じていた問題 (1)，(2) を解消する．
観察視点位置の変更を可能とするために，本研究ではロボットに搭載した全方

1

位カメラと距離画像センサ 4 台から得られる全方位画像と三次元点群を用いたハ
イブリッドレンダリング法による自由視点画像生成を行う．さらに生成した自由視点画像を背景として，ロボットの 3D モデルを拡張現実感（Augmented Reality:AR) 技術により重畳する拡張自由視点画像生成を行うことで，操縦者による移動ロボットと周辺環境の相対関係の把握を支援する映像提示を行う．
本論文では，2 章で移動ロボットの遠隔操縦システムに関する従来研究と自由視点画像生成の従来研究を概観し，本研究の位置づけと方針を述べる． 次に 3 章
で拡張自由視点画像を用いた遠隔移動ロボットの操縦インタフェースの設計方針と概要について述べる．4 章では拡張自由視点画像の生成手法について詳述する．

5 章では提案システムの有効性を確認するためのシミュレーション環境での実験と実環境での実験について述べ，実験結果を考察する．最後に 6 章で本論文のまとめと今後の課題について述べる．

2

2. 関連研究と本研究の位置づけ
本章では，まず移動ロボットの遠隔操縦に関する従来研究について概観し，次に本研究で用いる自由視点画像生成に関する従来研究を紹介する．最後に関連研究に対する本研究の位置づけを述べる．

2.1 移動ロボットの遠隔操縦における提示映像に関する従来研究
本研究では，災害地や危険な場所を含む屋内で活動するロボットを遠隔操縦することを想定している．ロボットの活動環境下には，狭い通路を通る可能性や地面に障害物等が落ちている可能性がある．このような環境下においては，壁や障害物への衝突を避け，できるだけ早くタスクを遂行することが必要であり，安全かつ効率的なロボットの操縦が求められる．操縦者が遠隔地で活動するロボットを操縦するためには，遠隔地の状況を理解する必要があるが，人間は一般に周囲の情報の 80%以上を視覚により確保しているといわれており [10]，操縦者に提示する操縦映像にどのような映像を用いるかが操縦の安全性や効率性に深くかかわってくる．これら安全性や効率性の高い遠隔操縦を実現するために，操縦者への提示映像に求められる要件として，以下の項目が挙げられる．

(1) 地面の障害物の確認が容易(2) 周囲の壁や設置物との距離の把握が容易(3) 遅延を補償している
以下では，従来提案されている様々なロボット操縦インタフェースを，主観視点
映像を提示するインタフェースと客観視点映像を提示するインタフェースに分類
し，各々の研究における上記 (1)〜(3) の実現可能性について述べる．

2.1.1 主観視点映像を提示する遠隔操縦インタフェース
操縦者に提示される操縦映像として，従来ロボットに搭載されたカメラで獲得される主観視点映像を提示する操縦インタフェースが広く用いられている．図 1(a)に示す Rovio は市販されている遠隔操縦できる移動ロボットであり，ロボットに3

(a) Rovio(b) 主観視点映像を用いた提示映像

図 1: 遠隔移動ロボットと提示映像(a) 操縦風景(b) 主観視点映像を用いた提示映像

図 2: 米田ら [4] の手法搭載された単眼カメラにより撮影される主観視点映像 (図 1(b) 参照) を見ながら操縦を行う．しかし，このような主観視点映像を提示する遠隔操縦インタフェー
スでは，ロボット自身が遮蔽となり死角が生じる場合があり，またロボットと周辺物体との距離の把握が難しいという問題が存在する．加えて，一般的なカメラからの映像をそのまま操縦者に提示するインタフェースでは，ロボット周辺環境の見回しに，時間を要する機械的動作が伴うことで見回しの遅延が生じ，効率的にロボット周囲の状況把握を行うことが難しい．このような問題に対して，米田ら [4] は全方位カメラを移動ロボットの回転中心から少しずらした位置に設置し，ロボットを回転させることで，撮影した主観視点映像から両眼ステレオ画像を生成し，近景の奥行きを把握できる操縦インタフェースを提案している．また，全4方位カメラによる映像から，操縦者の視線方向に応じた範囲を切り出して，ヘッドマウントディスプレイ (HMD) 上に提示することで (図 2 参照)，操縦者の頭の動きに合わせた遅延のない見回しが可能な主観視点映像を提供している．
これら提示映像に主観視点映像を用いた遠隔操縦インタフェースでは，人が日常的に用いている視点と同じ主観視点映像が操縦画面に提示されるため，直観的にロボットの操縦が行える．しかし，主観視点の映像のみを提示する操縦インタ
フェースでは，カメラの画角による制限やロボット自身による死角によって，前述した操縦者への提示映像に求められる要件のうち，(1) 地面の障害物が確認できること，(2) 周囲の壁や設置物との距離が把握できること，に関して問題がある．文献 [4] では，両眼ステレオ画像を用いることで周囲との距離把握を容易にする工夫がなされているが，視点位置が固定されているため，(1)，(2) の問題は解消されていない．

2.1.2 客観視点映像を提示する遠隔操縦インタフェース
主観視点映像における上記 (1)，(2) の問題に対して，ロボットを上方や後方から眺めた客観視点映像を提示する操縦インタフェースの研究が行われている．2011
年におきた福島第一原子力発電所事故における原発建屋の屋内調査では，図 3 に示す同一のロボットを 2 台投入し，先行する１台目のロボットを追従する 2 台目のロボットから撮影した映像を操縦者に提示することで，客観視点映像による遠隔操縦を行った [5]．Shiroma ら [3] は，ロボット上部にロボット本体が写るようにカメラを取り付けること (図 4 参照) で客観視点映像による操縦インタフェースを実現し，主観視点映像を用いた操縦インタフェースとの比較により，目的地までの所要時間，壁への接触回数ともに減少することを示している．これらの手法
はカメラの取り付け位置の工夫やロボットを増やすなどのハードウェア的な工夫によって実現されている．
一方，ハードウェア的な工夫によらず，客観視点映像による操縦を実現する手法として，画像処理によるアプローチが提案されている．Sugimoto [6] らは撮影された過去の映像内に現在のロボットの位置・姿勢を示す CG を描画することで客観視点映像を生成する手法を提案している．撮影した画像と撮影時の位置・姿5

(a) 投入された 2 台のロボット(b) 2 台のロボットを用いた客観視点映像

図 3: 福島原発で用いられたロボットと操縦画面 [5]
勢情報を関連付けしバッファ内に保存しておき，現在のロボットの位置・姿勢とカメラ視点が望ましい相対位置関係になるような過去の画像をバッファ内から選択し，画像内にロボットの CG を重畳することで客観視点映像 (図 5(a) 参照) を提示している．福本ら [7] は，カメラに加えレンジセンサをロボットに搭載することで，ロボット後方からの俯瞰視点画像を生成し操縦者に客観視点映像 (図 5(b)参照) を提示している．文献 [7] では，ロボットへ与える操作入力から，現在のロボットの位置・姿勢を推定し CG の合成に用いるとともに，生成する俯瞰視点画
像の視点位置も推定されたロボットの位置に合わせたることで前述の要件 (3) で挙げられた画像伝送に伴う遅延の影響を除去している．
ロボット後方からの客観視点映像を提示映像とする操縦インタフェースでは，
主観視点映像のみを用いた操縦インタフェースと比較し，ロボットと周辺物体の隙間を直接視認できるため，周辺物体との距離の把握が比較的容易となるものの，観察視点位置がロボットに対して後方に限定されているため，ロボットの進行方
向に存在する壁や障害物との距離が把握しづらく，ロボット自身が死角となる場
合は視認できない．そのため，要件 (1)，(2) に関する問題が解消されたとは言い難い．一方，ロボットの上方からの客観視点映像では，周辺物体の高さの把握が難しく，やはり要件 (2) に問題が残される．

6

(b) 撮影された客観視点映像(a) ロボット上部下向きに搭載されたカメラ

図 4: カメラの位置を工夫した客観視点映像 [3](b) 福本ら [7] の手法(a) Sugimoto ら [6] の手法

図 5: 客観視点映像を用いた操縦インタフェースの従来研究

7

(b) Saitoh ら [9] の手法(a) Nielsen ら [8] の手法

図 6: 客観視点映像と環境情報を用いた操縦インタフェースの従来研究
客観視点映像を提示するのみにとどまらず，様々な環境情報を付加した操縦映像を提示することで，操縦効率の改善を目指したインタフェースの研究も行われている．Nielsen ら [8] はロボット周辺環境の三次元情報をレンジセンサにより取得し，生成した環境モデル内にロボットモデルを表示することで客観視点映像を提示し，加えてロボットモデルの前方に設定した仮想的なスクリーンにカメラで撮影した主観視点映像を提示することで，主観・客観視点の両視点の映像を提示
する操縦インタフェース (図 6(a) 参照) を提案している．Saitoh ら [9] は，ロボッ
ト前方の主観視点映像を操縦画面に提示し，画面下部にレンジセンサにより計測した環境モデルを提示するとともに，画面上部に全方位カメラで撮影したパノラ
マ画像を提示する操縦インタフェース (図 6(b) 参照) を提案している．文献 [9] では，操縦映像を提示するディスプレイとしてドームディスプレイを使用すること
で，広視野に多くの情報を提示している．
また，客観視点映像を自由に変更できる，自由視点映像を提示映像とする操縦
インタフェースの提案もされている．Hine ら [11] は，ロボットの活動が想定される環境を CG で再現し，観察視点位置を自由に変更可能な操縦インタフェース(図 7 参照) を用いて CG 環境内で遠隔操縦の訓練を行うことで，技能の習熟が効
率的に行えることを示している．
提示映像に客観視点映像と環境情報を用いた操縦インタフェースでは，操縦者が主観視点映像と客観視点映像の両方を見ながら操縦が行えるため，単独の映像

8

(a) CG 環境での操縦訓練(b) 操縦風景

図 7: Hine ら [11] の手法を用いる手法と比較し操縦効率は向上している．これはロボットの遠隔操縦において主観視点映像と客観視点映像の双方が必要であることを示している．しかし，これらの手法で使用している客観視点映像は，前述した客観視点映像のみを用いる手法と同様に，後方から固定されている客観視点映像を使用しているためロボッ
トの進行方向についての (1)，(2) の問題はいまだ存在する．一方，提示映像に自由視点映像を用いた操縦インフェースでは，操縦者が周辺環境とロボットの距離の把握が行える観察視点位置に変更が可能なため，(1)，(2) に関する問題は解決される．しかし，実環境において自由視点映像を提示する操縦インタフェースは実現していない．
本研究の方針：ロボットの遠隔操縦において，ロボット周辺の環境を十分に認知することは重要である．例えば，ロボットの移動時においては，障害物とロボッ
トとの距離を把握することで衝突を避けることが出来たり，ロボットの作業時には，周辺環境との距離を把握することで作業効率を向上させることが出来る．そこで本研究では，観察視点位置が限定されることで生じる (1), (2) に関する問題を解消するために，実環境での任意視点からのシーンの観察を可能とする操縦イ
ンタフェースを提案する．提案インタフェースでは，任意視点からのシーンの観察を可能とすることで，操縦者は自らの意思により視点位置および視線方向をロ
ボット周囲で自由に決定し，移動できる．ロボット周辺の環境や障害物の状況に

9

応じ，操縦者が最も好ましいと判断する視点位置に移動することで，ロボットの進行方向を含む (1)，(2) に関する問題を解消する．加えて，遅延を考慮して観察
視点位置からの画像を生成することで，ロボットの遠隔操縦において求められる(1)，(2)，(3) を満たした操縦インタフェースを提案する．

2.2 自由視点画像生成に関する研究
本節では，任意の視点からのシーンの観察を可能とするための実現方法について述べる．ハードウェアによる任意視点からの映像の撮影は，装備が大掛かりになり難しく，また視点移動に遅延が生じるため，本研究では画像処理を用いて任意視点からの観察を実現する．従来，CG および画像処理分野において，実際に撮影された画像群を用いて，任意位置に設定された仮想視点からの情景を推定す
る技術は自由視点画像生成と呼ばれており，本研究においても自由視点画像生成
により提示画像を生成する．従来，自由視点画像生成に関する様々な手法が提案されているが，自由視点画像をロボットの操縦映像に用いる本研究においては，
以下のような特徴を持つ自由視点画像生成手法が望ましいと考えられる．

(A) 実時間で画像生成が可能である(B) 事前の環境構築や画像撮影を必要としない(C) 生成される画像の欠損や歪みが少ない
以下では上記条件を踏まえて，自由視点画像生成の従来研究を概観し，本研究の方針を述べる．

2.2.1 モデルベースドレンダリング法
モデルベースドレンダリング法 (MBR 法) は，自由視点画像を生成するために対象環境の三次元形状を直接用いる手法である [12–17]．Izadi ら [12] は距離画像
センサ Kinect を用いて，物体や周囲の環境をリアルタイムで 3D モデル化する手法を提案している．様々な角度から Kinect により物体を撮影することで，Kinectで得られるノイズが多い三次元情報から図 8(a) 左に示すような三次元復元を行っ10

(a) レンジセンサを用いた三次元モデル生(b) 画像群を用いた三次元モデル生成
成 [12][13]

図 8: MBR 法による三次元モデル生成ている．MBR 法の特徴には，同図右に示すように，仮想化された環境内に他の物体を追加表示することが容易であるという特徴がある．レンジセンサを用いな
い MBR 法として，Merrell [13] らは車載カメラにより撮影された画像群からステ
レオ視の原理により奥行情報を復元し，GPU を用いて高速に奥行情報を統合することで，図 8(b) に示すような広域屋外環境の三次元形状をリアルタイム推定している．MBR 法は，モデルが存在すれば視点移動の距離に制限がなく，視点移動に伴う物体の隠蔽関係の表現に優れている．また，近年の三次元復元処理の高速化により，実時間での自由視点画像生成が可能である．そのため，前述の (A)，(B) について有利なアプローチであると言える．しかし，MBR 法で高品位な自由視点画像を生成するためには，対象とする環境の三次元形状を高精度に計測する必要があり，複雑な形状に対する推定誤差やオクルージョン等が，そのまま画像の欠損や歪みとして現れる．従って，要件 (C) に関して，課題が残されている．

2.2.2 イメージベースドレンダリング法
イメージベースドレンダリング法 (IBR 法) は，対象とする環境の三次元形状を明示的に復元することなく，物体やシーンを撮影した画像群を入力とし，これらを変形・合成することにより自由視点画像を生成する手法である [18–21]．Seitz
ら [18] は入力となる複数の画像間で対応点を与え，仮想視点位置において対応点
がどの位置にあらわれるかを計算し入力画像を変形させることで自由視点画像を生成している (図 9(a) 参照)．画像間の対応点を必要としない IBR 法として，苗村

11

(a) 入力画像の変形による自由視点画像生成 [18] (b) 光線情報を用いた自由視点画像生成 [19]図 9: IBR 法による自由視点画像生成ら [19] は光線情報を用いた自由視点画像生成手法を提案している．この手法では空間中を伝搬する光線を低い次元の情報として記述し，任意視点において視界画
像面を通過する光線をリサンプリングすることで自由視点画像を効率的に生成している (図 9(b) 参照)．IBR 法では対象物体の形状を直接利用しないため，MBR
法では正確な幾何形状の推定が難しい複雑な形状を持つ木などの物体に対しても，欠損の生じない自由視点画像を生成可能である．しかし，IBR 法で高品位な自由視点画像を生成するためには，環境を様々な地点で撮影した大量の画像が必要であり，本研究で扱う課題においてこれを事前に用意することは難しい (要件 (B)に関する問題)．また，撮影される画像が十分でない場合に，環境の形状に関する情報を用いないため視点移動に伴って生成画像上で幾何学的な歪みが発生しやす
い (要件 (C) に関する問題)．そこれらの問題により，IBR 法をそのまま本研究に適用することは難しい．

2.2.3 ハイブリッドレンダリング法
MBR 法と IBR 法のそれぞれの問題を解消するために，2 つのアプローチを組み合わせたハイブリッドレンダリング法 (HR 法) による手法が多数提案されている [22–26]．Irani [22] らは，仮想視点からの光線を設定した上で、その光線上の12

(a) Irani ら [21] の手法(b) 伊吹ら [22] の手法

図 10: HR 法による自由視点画像生成
点を入力画像に投影した際に最も色が一致する点を探索し，その色をその光線の色とすることで自由視点画像を生成している．図 10(a) 左図が生成した自由視点
画像，右図が真値となる画像である．この手法は，環境を密に撮影することなく，
比較的広範囲にわたり写実的な自由視点画像を生成可能という特徴がある．しかし，仮想視点を決定後に，すべての画素，奥行に対する photo consistency を算出する必要があるため，計算コストが高く，高速な処理を前提としているアプリ
ケーションへの適用は難しい．伊吹ら [23] は，事前に形状復元された三次元モデルを用い，仮想視点位置に応じてモデルを変形し，さらに仮想視点位置に応じたテクスチャマッピングを行うことで，MBR 法におけるモデルの欠損の問題を解消しつつ，IBR 法における視点移動に伴う画像の歪みの問題を軽減している．図10(b) 左図が生成した自由視点画像，右図が生成時に使用した仮想視点位置に応じたモデル生成に使用する奥行情報である．この手法では，予め求めておいた複数の奥行情報を統合することで，比較的高速なレンダリングを実現している．
本研究の方針：本研究では，生成される画像の欠損や歪みが少ない HR 法である伊吹らの手法 [23] を応用して操縦映像を生成する．文献 [23] では事前に復元された三次元形状モデルが用いられ，さらに実時間の画像生成が実現されていない．
そのため本研究では距離センサを用いた実時間での三次元形状復元を行うとともに，処理を簡略化することにより実時間処理での自由視点画像生成を実現する．

13

2.3 本研究の位置づけと概要
本研究では，遠隔地で活動する移動ロボットの効率的で安全な操縦が行えるイ
ンタフェースの開発を目的としている．そのためには前述した (1)，(2)，(3) を満たす操縦映像の提示が求められている．2.1 節で述べた各映像提示手法の (1)，(2)，(3) に関する実現可能性を表 1 にまとめる．
・ 主観視点映像
主観視点映像を提示する操縦インタフェースでは，カメラの画角による制限やロボット自身による死角があり，またロボットが操縦映像に写っていないため，(1)，(2) に関する問題が存在する．また，視点移動に伴う遅延も存在するため，(3) にも問題が残されている．
・ 客観視点映像
客観視点映像を提示する操縦インタフェースでは，主観視点映像を提示する操縦インタフェースと比較し，周辺物体との距離の把握が比較的容易となるものの，観察視点位置がロボットに対して後方に限定されているため，ロボットの進行方向に存在する壁や障害物との距離が把握しづらく，要件 (1)，(2) に関する問題は改善されるもの，解消されない．ただし，視点移動に伴う遅延を考慮し，提示映像内にロボットを AR 表示することで，遅延を補償した映像提示 (3)を実現している．
・ 自由視点映像
自由視点映像を提示する操縦インタフェースでは，任意視点からのシーンの観察を可能とすることで，ロボットの進行方向を含む，周辺状況の把握を容易に行える視点への観察視点位置の変更が可能となり，観察視点位置が固定される事で生じていた (1)，(2) に関する問題が解消する．また，客観視点映像を提示
する操縦インタフェースと同様に視点移動による遅延を考慮してロボットを AR表示することで，遅延を補償した映像提示 (3) を実現する．
一方，観察視点位置の変更を可能にするために，本研究では自由視点画像生成を行う．2.2 節で述べた各自由視点画像の生成手法の (A)，(B)，(C) に関する実現可能性を表 2 にまとめる．

14

・ MBR 法

MBR 法を用いた自由視点画像生成では，実時間での画像生成 (A) が可能であり，
レンジセンサ等を用いることで事前の環境構築や画像撮影を必要とせず (B) 自由視点画像が生成できる．しかし，生成したモデルに存在する推定誤差やオク
ルージョン等が，そのまま画像の欠損や歪みとして現れるため，(C) の要件に関して課題が残されている．
・ IBR 法IBR 法を用いた自由視点画像生成では，実時間での画像生成 (A) が可能であるが，高品位な自由視点画像を生成するためには，対象環境を様々な地点で撮影した大量の画像が必要であり要件 (B) に関する要求を満たしていない．また，撮影される画像が十分でない場合には，視点移動に伴って生成画像上で幾何学的な歪みが発生しやすいため要件 (C) に関して課題が残されている．
・ HR 法HR 法を用いた自由視点画像生成では，MBR 法と IBR 法のアプローチを併用することで，(C) 生成される画像の欠損や歪みが少ないという特徴がある．しかし，従来研究では，実時間での画像生成 (A) は行えず，事前に環境構築や画像撮影を必要とする (B) という課題が残されている．
本研究では，観察視点位置の移動に伴う画像の欠損や歪みを防ぐために，伊吹らが提案する HR 法を応用し自由視点画像生成を行う．HR 法に存在した (B) の課題を解決するために，レンジセンサをロボットに搭載し，事前の環境構築の必要性をなくす．また，伊吹らの処理を簡略化し実時間での処理を実現することで，要件 (A)，(B)，(C) を満たした自由視点画像生成を行う．
以上をまとめると，本研究では，(A)，(B)，(C) を満たした自由視点画像生成を行い，観察視点位置の変更を可能とすることで，ロボットの進行方向を含む (1)，(2) を満たした操縦インタフェースを実現する．また，生成した自由視点画像を背景として，遅延を考慮した位置にロボットの 3D モデルを AR により重畳する拡張自由視点画像生成を行うことで，遅延を補償した (3) 映像提示を実現する．また，観察視点位置の変更の操作として，人間が視点を変更する動きである頭部の15

表 1: 遠隔操縦インタフェースにおける提示映像の特徴求められる要件

主観視点映像客観視点映像

自由視点映像(1) 地面の障害物の確認が容易

×

△

○

(2) 周囲の壁や設置物との距離の把握が容易

×

△

○

(3) 遅延を補償している

△

○

○

表 2: 自由視点画像生成手法の特徴求められる要件MBR 法(A) 実時間で画像生成が可能である

○

○

△

(B) 事前の環境構築や画像撮影を必要としない

○

△

△

(C) 生成される画像の欠損や歪みが少ない

△

△

○

動きと連動させることで直観的な視点操作を実現させる．

16

IBR 法 HR 法

3. 遠隔操縦インタフェース
3.1 操縦インタフェースの概要
本章では，後述する実験で用いた試作システムを具体例として提案システムの概要を述べる．システムの構成図を図 11 に，試作システムの構築に用いた機器を表 3，図 12 に示す．提案システムでは，図 13 に示すようなロボット側で取得した環境情報 (全方位画像，距離画像) と環境情報取得時のロボットの位置・姿勢
情報を無線通信により操縦者側に伝送し，その情報を用いて拡張自由視点画像を生成する．生成した拡張自由視点画像は操縦者が装着するヘッドマウントディス
プレイ (HMD) に提示される．ここで，観察視点の位置・姿勢を操縦者頭部の位
置・姿勢と連動させることにより，直観的な視点位置の変更を実現する．ロボットの操縦にはジョイパッドを用いる．以下，ロボット側と操縦者側それぞれの構成について詳述する．

B.全方位カメラ
C.距離画像センサ

G.磁気センサ

F.PC

全方位画像

操縦者の
位置・姿勢

距離画像

D.PC
H. HMD
J.無線
送受信機

ロボットの
位置・姿勢
E.無線
送受信機

I.コントローラ
操作命令

A.ロボットロボット側

操縦者側
図 11: 提案システムの構成図

17表 3: 試作システムに使用した機器
機器

モデル

詳細

移動ロボット (A)

前川製作所

高さ：290cm

リファレンスハードウェア 1 号機

横幅：500cm
長さ：543cm

全方位カメラ (B)
距離画像センサ (C)ロボット側 PC(D)

Point Grey Research

解像度：768 × 512 画素

Ladybug2搭載カメラ：6 個

Microsoft

解像度：768 × 512

Kinect × 4 台

水平画角：57 度

TOSHIBA

CPU：Intel Centrion

dynabook RX1/S7E
画像無線送受信機 (E)(J)

Sanwa

伝送距離：20m

ワイヤレス HDMI エクステンダー
操縦者側 PC(F)
磁気センサ (G)CPU：Intel Core i7
Polhemus転送レート：115200

Fastrak
HMD(H)Sony
HMZ-T1

ジョイパッド (I)

Logicool F710

水平画角：45 度
解像度：1280 × 720 画素
右スティック：前進
左スティック：回転

18

(a) リファレンスハードウェア
1 号機(b) Ladybug2(c) Kinect(d) ワイヤレス HDMI エクステ
ンダー(e) Polhemus(f) エミッタを取り付けた HMD(g) ジョイパッド

図 12: 仕様した機器（写真）19

(b) 距離画像(a) 全方位画像

図 13: 環境情報の例

3.2 提案システムの機器構成
3.2.1 ロボット側
図 11 に示した，提案システムでは遠隔地を移動できるロボット (A) に全方位カメラ (B) と距離画像センサ (C) を搭載する．センサ (B)，(C) はロボットに固定し，センサ間の位置関係はキャリブレーション済みで既知とする．センサ (B)，(C) で取得した環境情報 (図 13 参照) とオドメトリにより推定されたロボットの位置・姿勢情報は，PC(D) を介して操縦者側に無線伝送できるハードウェア (E)により操縦者側に伝送される．図 14(a) に試作したロボット操縦システムにおけるロボットの外観を示す．以下，機器 (A)〜(E) について詳しく述べる．

A. ロボット
複数地点からの環境情報を統合するために，オドメトリによるロボットの位置・姿勢計測が可能な移動ロボットを用いる．試作システムでは前方 2 輪動輪と後方
キャスタ 2 輪を備えた 4 輪移動ロボット (図 14(a)，図 12(a) 参照) リファレンス
ハードウェア 1 号機 (前川製作所社製) を使用した．リファレンスハードウェア 1
号機は前進後退および方向転換が可能であり，方向転換は左右の車輪に回転速度差を与えることにより実現する．

20

(b) 操縦者側(a) ロボット側

図 14: 試作したロボット操縦システムの外観

B. 全方位カメラ
任意の視線方向に対する自由視点画像を生成するために，ロボットに全方位カメ
ラ (図 12(b) 参照) を固定し，全方位画像を取得する．試作システムでは，高解像な全方位画像を取得するために，6 台のカメラユニットで構成される全方位型マ
ルチカメラシステム Ladybug2(Point Grey Research 社製) を用いた．

C. 距離画像センサ
環境の三次元情報を取得するために，ロボット上の固定された距離画像センサで距離画像を取得する．試作システムでは距離画像センサとして Kinect(Microsoft
社製)(図 12(c) 参照) を使用した．1 台の Kinect の画角では測定できる範囲が限られるため，試作システムでは Kinect を 4 台使用することで広範囲な環境の三次元
情報を取得する．

D. PC
全方位カメラ (B) と距離画像センサ (C) から取得した画像群を無線送受信機 (E)で伝送できる形式に変換する．具体的には，無線送受信機 (E) は一度に HD 画質の画像を 1 枚伝送することが可能なため，取得した全方位画像と距離画像を 1 枚の画像として統合し送信する．また，操縦者側から伝送されるロボットへの操作
情報を用いてロボットを制御する．

21

E. 無線送受信機
PC により変換された全方位画像および距離画像，オドメトリにより推定したロボットの位置・姿勢情報を操縦者側に無線伝送する．また，操縦者側から伝送されるロボットへの操作命令を受信する．試作システムでは，データ量の小さいロ
ボットの位置・姿勢情報とロボットの操作情報は無線 LAN を通して，データ量の大きい環境情報は低遅延で伝送を行うことができる画像無線送信機 HDMI エク
ステンダー (Sanwa 社製)(図 12(d) 参照) を用いて伝送する．

3.2.2 操縦者側
提案システムでは，ロボット側から伝送される全方位画像および距離画像とロボットの位置・姿勢情報に加え，操縦者の位置・姿勢情報を用いて，操縦者側の PC(F) で拡張自由視点画像生成を行う．操縦者は磁気センサ (G) を装着した

HMD(H) を通じて，生成した拡張自由視点画像を見ながら，頭部の動きにより観察視点位置を変更する．ロボットの操縦にはジョイパッド (I) を用いる．図 14(b)に試作したロボット操縦システムにおける操縦者側の様子を示す．以下，機器 (F)〜(J) について詳しく述べる．

F. PC
ロボット側から伝送される全方位画像および距離画像とロボットの位置・姿勢情報，計測した操縦者の位置・姿勢情報を入力として拡張自由視点画像生成を行う．
具体的な拡張自由視点画像の生成手法については 4 章で述べる．

G. 磁気センサ
頭部の動きによる観察視点位置の操作を実現するために操縦者の頭部の位置・姿勢情報を計測する．試作システムで用いた磁気センサ Fastrak(Polhemus 社製)(図12(e) 参照) は，環境に設置するエミッタと位置・姿勢を計測する機器に取り付けるレシーバからなり，本研究ではレシーバを HMD(図 12(f) 参照) に取り付けることで操縦者の頭部の位置・姿勢を計測した．

H. HMD
頭部の動きに連動した操縦映像を提示するために，PC(F) で生成した拡張自由
視点画像を没入型の HMD(図 12(f) 参照) を通して操縦者に提示する．使用する

22

HMZ-T1(Sony 社製) の視野角は 45 度であり，1280 × 720 画素の映像提示が可能である．

I. ジョイパッド
操縦者はジョイパッド (図 12(g) 参照) を用いてロボットを操縦する．試作システ
ムでは，ジョイパッドのジョイスティックにより左スティック入力で回転と右ス
ティック入力で移動からなる操作命令をロボットに送る．

J. 無線送受信機
操縦者がジョイパッドにより入力した操作命令をロボット側に，ロボット側から送信されるロボットの位置・姿勢をを無線 LAN を通して送受信する．また，ロ
ボット側から送られてくる全方位画像と距離画像を画像無線受信機 HDMI エクス
テンダー (Sanwa 社製) を用いて受信する．

23

4. 拡張自由視点画像生成を用いた画像提示
本章では，観察視点位置の変更を可能とするための拡張自由視点画像の生成手法ついて述べる．生成手法は，観察視点位置の移動に伴う画像の欠損や歪みを防ぐために HR 法の一種である文献 [23] の手法を基礎とし，処理の簡略化を行うことで実時間での自由視点画像生成を実現する．図 15 に，提案手法による拡張自由
視点画像生成の処理の流れを示す．本研究ではまず，環境情報とその情報取得時のロボットの位置・姿勢情報をロボット側で取得し，複数地点で取得される距離
画像群を統合する．次にこれらの入力情報を用い，操縦者が設定した視点位置・
視線方向に対する拡張自由視点画像の生成を行う．

4.1 入力情報の取得と統合
本研究では，ロボットの周辺環境を，広範囲の情報を効率的に一度に取得可能な全方位カメラと距離画像センサ Kinect4 台を用いてロボットを移動させながら撮影する．本節では，全方位画像と距離画像取得の条件と，データ取得時の撮影
カメラ位置・姿勢の推定方法，また取得した複数地点からの距離画像群の統合手法について述べる．

4.1.1 全方位画像と距離画像の取得
本研究では，ロボット側から伝送される環境情報 (全方位画像，距離画像) を以下に示す条件を用いて間引くことにより処理データの削減を行い，実時間での自由視点画像生成を実現する．
・ ロボットの移動距離が一定以上
・ ロボットの回転角度が一定以上
・ 時間経過が一定以上
上記の条件を 1 つでも満たした場合，新しく環境情報を取得し統合処理を行う．

24

入力情報の取得と統合
全方位画像と距離画像の取得
距離画像群の統合
操縦者の視点位置・方向の取得
拡張自由視点画像生成
観察視点に依存したメッシュモデルの生成
観察視点に依存したテクスチャマッピング
ロボットのAR提示
No
環境情報を
取得する
Yes
図 15: 拡張自由視点画像生成の流れ

25

E(R, t) = 2

E(R, t) =0

図 16: L0 ノルムを用いた点群の位置合わせの例

4.1.2 複数地点で取得した距離画像群の統合
複数地点で取得した距離画像群を統合することで，死角領域の少ない自由視点
画像を生成する．複数地点で取得した距離画像の統合を行うためには，各取得地
点でのロボットの位置・姿勢情報が必要となる．これらの情報は，ロボット側で計算したオドメトリにより推定可能である．オドメトリとは，ロボットの車輪の回転角度から移動量を求め，自己位置を推定する手法である．ただし，オドメト
リで計算した位置・姿勢には，車輪のスリップや物体への乗り上げなどが原因で誤差が生じる．そこで本研究では，オドメトリにより得られる点群の位置合わせ
結果を初期値として，点群間の L0 ノルム最小化 [27, 28] を行うことでロボットの位置・姿勢を最適化する．ここでは L0 ノルムとして一定距離内の近傍に他方の点が存在しない点の数を用いる．図 16 は点群間の L0 ノルム算出の例である．注
目する赤い点の半径 ϵ 以内に，青い点群が存在しない点の数を数えることで点群間の位置合わせを行う．図 16 の例では，近傍に青い点が存在しない赤い点が左
図では 2 点，右図では０点であり，点群が正しく位置合わせされていればこの数は小さくなる．
本研究では，過去に撮影された距離画像群から得られる点群と最新の距離画像群から得られる点群を重ね合わせ，L0 ノルムにより以下の式で定義される評価関数 E(R，t) を最小化することで点群を位置合わせし，これによりロボットの位
置・姿勢を推定する．ここでは実時間での処理を実現するために，計測した三次

26

(b) 最適化を行った統合結果(a) オドメトリを用いた統合結果

図 17: 二次元平面投影した 2 つの点群
元点群全てを用いた位置合わせは行わず，三次元空間の高さ方向の一定区間に存在する点群を二次元平面上に投影し，これを用いて回転 1 自由度，並進 2 自由度の合計 3 自由度での位置合わせを行う (図 17 参照)．

E(R，
t) =

n
∑

f (Rpi + t，{q j })

(1)

i=1

{
f (pi ，{q j }) =0 (∃j ，||pi − q j || ≤ ϵ)(2)

1 (otherwise)

ここで，pi は最新の距離画像から得られる点群，q j は過去の距離画像群から得られる点群，n は点群 pi の点の総数，R はロボットの回転を表す 2 × 2 行列，t はロボットの平行移動を表す 2 次元ベクトルである．また，距離の閾値 ϵ は，オド
メトリによる計測誤差に基づいて設定される任意の実数である．L0 ノルムを用いた最小化は連続関数ではないため，勾配等を用いた非線形最小化手法を適用するのは難しい．そのため本研究では，オドメトリにより得られた回転行列と平行移
動ベクトルの値を中心とする一定範囲内を全探索することで，大域最適解となる回転行列と並行移動ベクトルを求める．この時，全探索する範囲をオドメトリによる計測誤差を考慮した適切な値に設定することで，ロボットの位置・姿勢を最適化する．異なる 2 地点から取得した三次元点群を，オドメトリによるロボットの位置・姿勢を用いて統合した結果と，L0 ノルム最小化を行い最適化したロボッ

27

(a) オドメトリを用いた統合結果(b) 最適化を行った統合結果

図 18: 2 地点から取得した三次元点群の統合結果
トの位置・姿勢情報を用いて統合した結果の比較を図 18 に示す．同図中においては，距離画像の取得地点の違いを，点群の色の違いで表している．同図より，最適化処理によってオドメトリによる位置合わせの誤差が抑えられていることが分かる．

4.2 拡張自由視点画像生成
前節で述べた手法で位置関係が推定された複数地点の全方位画像群および距離
画像群を入力とし，観察視点に依存したメッシュモデル生成と観察視点に依存したテクスチャマッピングを行うことで自由視点画像を生成する．最後に生成した
自由視点画像を背景として，現在のロボットの位置・姿勢を表すロボットの CGを重畳することで拡張自由視点画像を生成する．以下，具体的な手順を述べる．

4.2.1 観察視点に依存した環境のメッシュモデル生成
前節で述べた手法により統合した三次元点群を用い，観察視点位置に依存した幾何形状のメッシュモデルを生成することで，モデル上の欠損を解消する．具体的な手順を以下に述べる．

1. 画像面を三角形に分割し，格子点を頂点 P i とするメッシュモデル (図 19 参照) 構成する．

2. 観察視点の画像面上に三次元点群を投影する．
28

観察視点

図 19: メッシュモデルの各頂点の座標

メッシュ
∝

∝

視点1
視点
視点2
視点
観察視点
図 20: 観察視点位置に応じた画像の選択基準

3. 各格子点の近傍に投影された点群から，奥行き値が最小のものを選択し，これを P i の奥行き値 di とする．

4. 投影点が存在しない場合は，距離画像センサで取得できる奥行き値の最大値を P i の奥行き値 di とする．

5. メッシュの頂点 P i を，格子点と観察視点位置を結ぶ直線上の奥行き値 di の位置に移動させる．

4.2.2 観察視点に依存したテクスチャマッピング
作成したメッシュモデルに対する適切なテクスチャを選択し，視点位置に依存したテクスチャマッピングを行う．具体的には，図 20 に示すように，観察視点位置

29

(b) 拡張自由視点画像(a) 自由視点画像

図 21: 自由視点画像を背景としたロボットの AR 提示と各三角メッシュの重心を結ぶ直線と，入力画像の光学中心と各三角メッシュの重心を結ぶ直線のなす角 (図中の α1 ，α2 ) を基準とし，なす角が最小となる視点の画像をマッピングする画像として選択する．

4.2.3 ロボットの AR 重畳による拡張自由視点画像生成
前節で述べた手法により生成した自由視点画像 (図 21(a) 参照) 上に，あらかじめ作成したロボットの CG モデルを用いて，現在のロボットの外観を合成することにより拡張自由視点画像 (図 21(b) 参照) を操縦者に提供する．ロボットの外観を合成するには，ロボットの位置・姿勢が必要となる．提案手法では，距離画像の統合により最適化された推定結果を基準値として利用する．ただし，距離画像の統合処理によってロボット位置・姿勢を高頻度に更新することは難しいため，オ
ドメトリから得られる相対移動量を用いて現在のロボット位置・姿勢を推定する．

30

5. 実験
前章までに述べた移動ロボットの遠隔操縦システムを用いて遠隔操縦実験を行った．ここでは，まずシミュレーション環境を用いて提示映像の違いによる遠隔操縦の効率と正確性を調査する実験を行った．次に，実環環において実際に生成される拡張自由視点画像を提示映像とした操縦インタフェースの評価実験を行った．
以下，それぞれの実験について詳述する．

5.1 シミュレーション環境における評価実験
理想的な環境下において，提示映像ごとの遠隔操縦の効率と正確性を比較する
実験を，シミュレーション環境を用いて行った．本実験では，主観視点映像，固定された客観視点映像，拡張自由視点映像（提案手法）の 3 種類の画像提示手法
による操縦インタフェースを比較した．各手法の提示映像の例を図 22 に示す．
なお，提示映像の違いによる影響のみを評価するために，本実験では 4 章で述
べた画像生成手法は用いず，実験環境として遠隔地の環境を想定した CG モデル
を操縦者の視点位置に設定した仮想カメラで描画することで各提示画像を生成した．操縦インタフェースには 3 章で述べた HMD とコントローラを用いた．上記の環境下で，20 代〜30 代の被験者 10 名に対し事前に操作方法の説明を行ったうえで以下 2 つの実験を行った．なお，本実験では，AR 提示するロボットを透過させることで，進行方向に対するロボット自身の遮蔽を解消し，ロボットの進行
歩行を示す矢印を AR 重畳することで，よりロボットの状況の把握できるようにした．また，自由視点映像の初期位置はロボットを俯瞰した客観視点とし，操縦者は直立した状態で操縦を始めることとした．

5.1.1 実験環境
実験 1： 移動操縦における操縦の速さと正確性を検証する．曲がり角や細い道などを含む経路 (図 23(a) 参照) において，できるだけ早く，衝突せずにゴール地点までロボットを操縦することをタスクをとし，衝突回数とタスクの完了時間を計測した．

31

(a) 主観視点映像(b) 客観視点映像(c) 自由視点映像

図 22: シミュレーション環境での HMD 提示画像
実験 2： 物体への接近操作の正確性を検証する．ロボットを前方の壁 (図 23(b)参照) に衝突させずになるべく接近させることをタスクとし，ロボット
停止後における壁までの距離を計測した．

5.1.2 評価実験の結果と考察
各手法を用いた場合のタスク完了までの時間，および壁までの距離の平均値と標準偏差を図 24，25 に示す．図中の＊は，各評価項目について t 検定 (有意水準5%) を用いて統計的検定を行った結果，有意な差が認められたものを表す．
実験 1 の結果より，主観視点を提示映像とした操縦インタフェースは，固定された客観視点を提示映像とした操縦インタフェースよりタスク完了に時間を要し

32

(a) 実験 1(b) 実験 2

図 23: 実験環境た．これは，主観視点映像はロボットと周辺物体との距離を視認することが難し
く，固定された客観視点映像はこれを視認することが可能なため，障害物等が存在する環境での移動において時間を要する結果となったと考えられる．提案手法
を用いた移動操縦において，多くの被験者は固定された客観視点と同様の位置からの操縦を行ったが，固定された客観視点映像を用いた場合よりタスク完了に時間がかかった．この理由として，アンケートへの回答より，「視点を操作する作業に慣れが必要であった」，「観察視点を変更できるため様々な確認が行え，慎重になった」等の意見が得られた．衝突回数に関しては，周辺物体との距離を視認できない主観視点映像を用いた場合には，衝突する被験者が存在したが，固定された客観視点映像と自由視点映像を用いた場合は，周辺物体との距離を視認できる
観察視点位置のため，衝突せず操縦を行えた．
実験 2 の結果より，提案手法は他の手法と比較し，より壁の近くまで移動できた．これは，図 22(c) 右下のようにロボットと壁までの距離が判断しやすい視点
からの操作が可能であることの利点である．以上の結果より，拡張自由視点画像
による操作は，他の手法と比較し操縦の正確性の面で優れていることを確認した．

33

（秒）
140
120
100
80
60
40
20
0

主観視点

客観視点

自由視点

＊
図 24: シミュレーション実験 1 の到達時間 (平均)

（秒）

（cm）

140

60

120

50

100

40

80

30

60

20

40

10

20
0

主観視点

客観視点

＊
＊

0

自由視点

(a) 到達時間 (平均)

主観視点

客観視点

＊ ＊ ＊

自由視点

(b) 壁までの距離 (平均)図 25: シミュレーション実験 2 の結果

34

(b) 客観視点映像(a) 主観視点映像(c) 拡張自由視点映像

図 26: 実環境での HMD 提示画像

5.2 実環境における遠隔操縦の評価実験
実環境における，提示映像ごとの遠隔操縦の効率と正確性を調べるために被験者実験を行った．本実験においても，主観視点映像，客観視点映像，拡張自由視
点映像（提案手法）の 3 種類の画像提示手法による操縦インタフェースを比較した．各手法の提示映像の例を図 26 に示す．本実験では，主観視点映像は全方位カメラで撮影した最新の画像を提示し，客観視点映像と自由視点映像は 4 章で述
べた画像生成手法により生成した．操縦インタフェースには 3 章で述べた機器を用いた．上記の環境下で，20 代〜30 代の被験者 10 名に対し実験を行い，タスク
完了時間等を計測するとともにアンケート形式で主観評価を行った．アンケート
は，質問１：「地面の障害物の確認が容易に行えた」，質問 2：「周囲の壁との距離の把握が容易に行えた」，質問 3：「画像表示の遅延を感じなかった」に対する 5段階の評価値 (1. 全く思わない，2. あまり思わない，3. どちらでもない，4. やや思う，5. 非常にそう思う) と自由記述により被験者に回答させた．なお，本実験ではシーンに対する学習の影響を抑えるために，事前に操縦者に一度，対象環境下においてロボットを直接目視しながら操縦させた．

35

(a) 横から(b) 上から

図 27: 使用した移動ロボット

5.2.1 実験環境
本実験で使用した移動ロボットを図 27 に，実験に用いたロボットの走行環境
を図 28 に示す．図 28 に示した走行シーンは 3 つのステージから構成されている．
各ステージにおけるタスクとステージの特徴を以下に示す．
ステージ 1

タスク：チェックポイントまで移動
特徴：細い経路内での前進操縦が必要 (図 29(a) 参照)

ステージ 2

タスク：チェックポイントまで移動
特徴：足元に障害物が存在する環境での旋回操縦が必要(図 29(b) 参照)
ステージ 3

タスク：目標物体まで可能な限り近づく
特徴：進行歩行に存在する物体への接近操縦が必要 (図 29(c) 参照)

ステージ 3 では，被験者が可能なかぎり物体に接近し，接近が不可能と被験者が判断した時点で走行実験を終了する．実験では，できる限り衝突しないよう被験者に事前に指示し，各ステージにおける，タスク完了時間，衝突回数を計測した．
加えて，ステージ 3 では目標物体とロボットの距離を計測した．実験中にロボッ
トが障害物等に衝突した場合には，実験を中断し，現在走行しているステージの初めから走行をやり直す．やり直し回数には上限を設定し，各経路において 2 回衝突した場合は，次のステージから実験を再開した．

36

ステージ2
ステージ2のチェックポイント
ステージ2
ステージ2

障害物

ステージ3
ステージ3
接近する
目標物体

ステージ1
ステージ1のチェックポイント
ステージ1
ステージ1
スタート地点
図 28: 走行環境の俯瞰図(a) ステージ 1(細い道)(b) ステージ 2(障害物がある道)(c) ステージ 3(進行方向に存在する物体)

図 29: 走行環境37

表 4: 自由視点画像生成時に使用したパラメータ
環境情報取得の条件

前回の環境情報取得時から・ロボットが 60cm 移動・ロボットが 20 度回転
・200 秒経過

位置合わせに使用する点のサンプリング範囲

床から高さ59cm〜61cm
L0 最小化を行う際の並進：5cmオドメトリを中心とした探索範囲

回転：5 度

探索範囲内を探索する間隔

並進：1cm
回転：1 度

L0 ノルム算出の閾値 (ϵ)

5cm

5.2.2 実験条件
本実験で使用した拡張自由視点画像を生成するためのパラメータを表 4 に示す．
上記のパラメータで統合した複数地点からの点群データから 4.2 節で述べた手法
で生成した拡張自由視点画像の例を図 30，31，32 に示す．なお，本実験でもシミュレーション環境と同様に，AR 提示するロボットを透過させ，ロボットの進行歩行を示す矢印を AR 重畳した．また，自由視点映像の初期位置はロボットを俯瞰した客観視点とし，操縦者は直立した状態で操縦を始めることとした．

38

(a) 拡張自由視点画像(b) 操縦風景

図 30: 俯瞰視点(a) 拡張自由視点画像(b) 操縦風景

図 31: 斜め後ろからの視点(a) 拡張自由視点画像(b) 操縦風景

図 32: 横からの視点

39

5.2.3 評価実験の結果と考察
各ステージにおけるタスク完了時間，タスク完了時における目標物体までの距
離の平均値と標準偏差を図 33，34，35 に，アンケートの各設問に対する評価値の平均値を図 36 に示す．
ステージ 1 の結果 (図 33 参照) より，固定された客観視点と自由視点での操縦手法は，主観視点を用いた手法より短い時間で走行を行うことができた．この理由は，シミュレーション環境での実験と同様に，主観視点映像はロボットと周辺
物体との距離を視認することが難しく細い道での移動が慎重となり時間を要したが，一方で，固定された客観視点映像と自由視点映像では，周辺物体との距離を視認することが容易となり，短時間でタスクを完了できたためである．
ステージ 2 の結果 (図 34 参照) より，自由視点を用いた操縦手法は，固定された客観視点を用いた操縦手法よりタスク完了に時間を要した．この理由として，
自由視点は様々な観察視点から確認が行え，足元に障害物が存在する環境では，障害物とロボットの距離の把握を慎重に行い時間を要したことが挙げられる．
ステージ 3 の結果 (図 35 参照) より，提案手法は他の操縦映像を用いた手法に対してより物体に接近することが可能であった．これは，図 31(a) のようにロボットと物体までの距離が判断しやすい視点からの操作が可能であることの利点である．
アンケートによる主観評価の結果 (図 36 参照) より，提案手法は地面の障害物
や周囲の壁との距離の把握が，他手法と比較し容易に行えることが分かる．また，
画像表示の遅延に関して有意差は確認できなかった．
以上の結果より，拡張自由視点画像による操作は，他の手法と比較し操縦の正確性の面で優れていることを確認した．実験環境より，提案インタフェースは，細い道を含む通路での移動，足元に障害物が存在する場所での旋回動作や物体への接近など，屋内で想定される環境において活用できると考えられる．ただし，図31(a) に示す赤丸で囲んだ部分のように，生成されたメッシュモデルが実際の物体形状とは異なることが原因で，生成した拡張自由視点画像に歪みが生じる場合が見られた．これは，Kinect で得られる距離画像上に生じるノイズや，位置合わせの誤差が要因であると考えられる．また，図 32(a) においても，赤丸の箇所で誤ったテクスチャマッピングが行われているが，この原因は視点依存のテクスチャを選択する際に，物体の遮蔽を考慮していないためであると考えられる．提示画像

40

（秒）
140
120
100
80
60
40
20
0

主観視点

＊

客観視点

拡張自由視点＊

図 33: ステージ 1 の到達時間 (平均)の歪みは，遠隔操縦において衝突などの危険な操縦に繋がる可能性を含む．しかし，本手法ではモデル生成の際に，観察視点位置から最も近い奥行き値を利用するため，生成される誤ったモデルは実際の環境よりもロボットに対し近傍に生成される．そのため操縦者は，歪みを含む画像を提示された場合でも，衝突を回避する方向に向かうと考えられる．今後は，ノイズの影響を考慮したメッシュモデ
ル生成や，物体の遮蔽を考慮したテクスチャ選択を行い，自由視点画像の品質を向上させる必要がある．

41

（秒）
140
120
100
80
60
40
20
0

主観視点

客観視点

＊

拡張自由視点＊

図 34: ステージ 2 の到達時間 (平均)

（秒）

（cm）

140

60

120

50

100

40

80
30

60

20

40

10

20
0

主観視点

0

拡張自由視点客観視点＊＊(a) 到達時間 (平均)

主観視点

＊

客観視点

＊

拡張自由視点＊(b) 壁までの距離 (平均)図 35: ステージ 3 の結果

42

図 36: アンケートの結果 (平均)43

6. おわりに本研究では，拡張自由視点画像を用いた遠隔移動ロボットの操縦インタフェー
スの構築と評価実験について述べた．観察視点位置を操縦者が任意に変更可能とすることで，従来インタフェースでは十分に実現していなかった，ロボットの周
辺環境の把握を容易に行える操縦インタフェースを提案した．観察視点位置の変更を可能とするために自由視点画像を生成し，生成した自由視点画像上に現在のロボットの状態を表す CG を AR 重畳することで，任意の観察視点位置からの映像提供を実現した．操縦者が任意に変更可能な観察視点位置の操作方法として，操縦者の頭部の動きと連動させることで，直観的なインタフェースを提供した．
シミュレーション環境を用いた評価実験，実環境における評価実験を行い，実験の結果から本システムはロボットの遠隔操縦において，操作の正確性の面で従来手法よりも優れていることを確認した．拡張自由視点画像を提示映像に用いることで，操縦者はロボットの周辺環境の把握を容易に行え，正確な操縦を実現した．また，実験結果から明らかになった今後の課題として，物体の遮蔽を考慮したテクスチャ選択や画像の歪み解消を含む拡張自由視点画像の品質の向上が挙げられる．
今後の展望として，周辺環境との距離の把握をより正確に行えるようにするために，操縦者に提示する映像として，立体視可能な拡張自由視点映像を提示する
インタフェースが考えられる．

44

謝辞
本研究を進めるに当たり，始終暖かくご指導，ご鞭撻頂いた視覚情報メディア研究室 横矢 直和 教授に心より感謝申し上げます．また，本学での研究におけるあらゆる面で，多大なご助言，ご協力を賜りましたことを深く感謝致します．副
指導教官として有益なご助言を頂き，本研究で使用したロボットをお貸しいただ
いたロボティクス研究室 小笠原 司 教授，ならびに本研究を進めるに当たりご助言頂いた視覚情報メディア研究室 佐藤 智和 准教授に厚く御礼申し上げます．
本研究へのご助言，研究環境の整備にご協力を頂いた視覚情報メディア研究室
河合 紀彦 助教， 中島 悠太 助教，ロボティクス研究室 竹村 憲太郎 助教に深く感謝致します．あらゆる面において，多大なるご指導ご助言を頂いた視覚情報メ
ディア研究室 大倉 史生 氏に深く感謝いたします．本研究の遂行にご助言をくだ
さり，実験等にご協力して頂きました，粂 秀行 氏， 青砥 隆仁 氏， 宇野 祐介
氏に心より感謝申し上げます．また，お忙しい中被験者として協力してください
ました方々に深く感謝致します．最後に，始終暖かく見守ってくださいました両親に熱く感謝の意を表します．

45

参考文献
[1] 田所諭. 文部科学省大都市大災害軽減化特別プロジェクト：レスキューロボッ
ト等次世代防災基盤技術の開発. 日本ロボット学会誌, Vol. 23, No. 5, pp.

541–543, 2005.
[2] B. Yamauchi. Packbot: A versatile platform for military robotics. In Proc.
SPIE, Vol. 5422, pp. 228–237, 2004.
[3] N. Shiroma, N. Sato, Y. Chiu, and F. Matsuno. Study on eﬀective camera
images for mobile robot teleoperation. In 13th IEEE Int.Workshop on Robotand Human Interactive Communication (ROMAN2004), pp. 107–112, 2004.
[4] 米田美里, 竹村治雄, 横矢直和. 全方位動画像からの両眼ステ レオ画像生成による移動ロボットの遠隔操縦. 電子情報通信学会 技術研究報告. PRMU2000-

107, 2000.
[5] K. Nagatani, S. Kiribayashi, Y. Okada, S. Tadokoro, T. Nishimura,T. Yoshida, E. Koyanagi, and Y. Hada. Redesign of rescue mobile robot
Quince. 2011 IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR), pp. 13–18, 2011.
[6] M. Sugimoto, G. Kagotani, H. Nii, N. Shiroma, M. Inami, and F. Matsuno.
Time follower’s vision: A tele-operation interface with past images. IEEE
Computer Graphics and Applications, Vol. 25, No. 1, pp. 54–63, 2005.
[7] 福本隆弘, 竹村憲太郎, 高松淳, 小笠原司. 遠隔操縦のための特徴点を用いた
俯瞰視点画像の生成. 電子情報通信学会総合大会講演論文集, Vol. D-12-11,

No. 2, 2011.
[8] C. Nielsen, M. Goodrich, and R. Ricks. Ecological interfaces for improving
mobile robot teleoperation. IEEE Trans. on Robotics, Vol. 23, No. 5, pp.
927–941, 2007.

46

[9] K. Saitoh, T.Machida, K.Kiyokawa, and H.Takemura. A 2D-3D integrated
interface for mobile robot control using omnidirectional images and 3D geometric models. In Proc. the 5th IEEE and ACM Int. Symposium on Mixed
and Augmented Reality (ISMAR 2006), pp. 173–176, 2006.
[10] 信之大武, 靖彦小川, 義道米沢. アクセシビリティ向上化システム : 視覚障害者のためのコミュニケーション環境. 電子情報通信学会論文誌 A, 基礎・境界, Vol. 79, No. 2, pp. 302–309, 1996.

[11] B. Hine, P. Hontalas, T. Fong, L. Piguet, E. Nygren, and A. Kline. VEVI: A
virtual environment teleoperations interface for planetary exploration. Proc.
the 25th SAE Int l Conf. on Environmental Systems, pp. 173–176, 1995.
[12] S. Izadi, D. Kim, O. Hilliges, D. Molyneaux, R. Newcombe, P. Kohli, J. Shotton, S. Hodges, D. Freeman, A. Davison, and A. Fitzgibbon. Kinectfusion:
real-time 3D reconstruction and interaction using a moving depth camera.
In Proc. the 24th annual ACM symposium on User interface software andtechnology, pp. 559–568, 2011.
[13] P. Merrell, A. Akbarzadeh, L. Wang, P. Mordohai, J. M. Frahm, R. Yang,
D. Nister, and M. Pollefeys. Real-time visibility-based fusion of depthmaps.
In Proc. Int. Conf. on Computer Vision, 2007.
[14] 浅井俊弘, 神原誠之, 横矢直和. 全方位距離画像と全方位カラー画像の統合による屋外環境の三次元モデル化. 画像電子学会誌, Vol. 34, No. 5, pp. 529–538,

2005.
[15] M. Pollefeys, R. Koch, M. Vergauwn, A. A. Deknuydt, and L. J. V. Gool.
Three-dimensional scene reconstruction from images. In Proc. SPIE, Vol.
3958, pp. 215–226, 2000.
[16] 上原将文, 塩崎剛志, 全炳東. 数値地図と動画像解析による都市空間モデリ
ング. 画像の認識・理解シンポジウム (MIRU2000) 論文講演集, 第 2 巻, pp.

373–378, 2000.
47

[17] Y. Furukawa, B. Curless, S. M. Seitz, and R. Szeliski. Reconstructing building interiors from images. In Proc. Int. Conf. on Computer Vision, pp.
80–87, 2009.
[18] S. M. Seitz and C. R. Dyer. View morphing. In Proc. SIGGRAPH ’96, pp.
21–30, 1996.
[19] 苗村健, 原島博. Ray-based creation of photo-realistic virtual world. In Proc.
Virtual Systems and MultiMedia, pp. 59–68, 1997.
[20] M. Levoy and P. Hanranhan. Light ﬁeld rendering. In Proc. SIGGRAPH’96, pp. 31–42, 1996.
[21] S. J. Gortler, R. Grzeszczuk, R. Szeliski, and M. F. Cohen. The lumigraph.
In Proc. SIGGRAPH ’96, pp. 43–54, 1996.
[22] M. Irani, T. Hassner, and P. Anandan. What does the scene look like froma scene point? In Proc. European Conf. on Computer Vision ’02, Vol. 2, pp.
883–893, 2002.
[23] 伊吹拓也, 佐藤智和, 松下康之, 横矢直和. 視点位置に依存して変形する三次
元メッシュモデルを利用した自由視点画像生成における違和感の低減. 電子
情報通信学会 技術研究報告. PRMU2009-307, 2010.

[24] P. Debevec, C. Taylor, and J. Malik. Modeling and rendering architecturefrom photographs: a hybrid geometry- and image-based approach. In Proc.
SIGGRAPH ’96, pp. 11–20, 1996.
[25] 篠原秀俊, 八木康史, 谷内田正彦. IBR と MBR を併用した空間モデリングとウォークスルー環境. 情報処理学会 技術研究報告, No. 2. CVIM2002-136,

2003.
[26] K. Tomite, K. Yamazawa, and N. Yokoya. Arbitrary viewpoint renderingfrom multiple omnidirectional images for interactive walkthroughs. In Proc.
48

the 16th IAPR Int. Conf. on Pattern Recognition (ICPR2002), Vol. 3, pp.
987–990, 2002.
[27] 日永田佑介, 末永剛, 竹村憲太郎, 高松淳, 小笠原司. L0 ノルム最小化による動的環境下に適用可能な SLAM. 第 11 回計測自動制御学会システムインテ
グレーション部門講演会 (SI2010), 第 2O1-3 巻, pp. 1648–1651, 2010.

[28] G. C. Calaﬁore. On 3-D point set matching with MAE and SAE cost criteria.
In IEEE Trans. on Systems, Man, and Cybernetics, Part A, Vol. 38, pp. 443–
450, 2006.

49