全方位視覚センサ HyperOmni Vision に関する研究-移動ロボットのナビゲーションのために山澤 一誠
博士論文
平成 9 年 8 月 5 日

平成 9 年度 博士学位論文

全方位視覚センサ HyperOmni Vision に関する研究-移動ロボットのナビゲーションのために 山澤 一誠

内容梗概
移動ロボットをナビゲーションするには，ロボットの周囲の環境がどのような状況にあるかをセンサ情報から知る必要がある．本論文では筆者が考案した全方位視覚センサ HyperOmni
Vision と HyperOmni Vision を使用してロボットをナビゲーションするために必要な情報を取り出す手法について述べる．
従来の全方位視覚センサは，光学系の特性から画像が歪められるため独自の視覚情報の獲得方法が必要だった．しかし HyperOmni Vision は双曲面ミラーの焦点にカメラのレン
ズ中心をおく工夫により，得られた全方位画像から一般のカメラで直接とった画像などに変換できるため，処理に応じた画像に変換でき，独自の手法だけでなく従来の画像処理技術も利用できる利点がある．
HyperOmni Vision を用いた移動ロボットのナビゲーションとして遠隔誘導に必要な画像を実時間で生成する方法と自律ロボットに必要な運動推定と環境認識の方法について，さらに実際に視覚誘導を行なう方法について述べ，さらに HyperOmni Vision を用いた案内ロボットシステムについて述べる．

目 次
1 はじめに1

2 全方位視覚センサ HyperOmni Vision

3

2.1
2.2
2.3
2.4
2.5

2.6
2.7

従来の全方位視覚センサ : : : : : : : : : : : : : : : : : : : : : : : : : : : :HyperOmni Vision のセンサ構成 : : : : : : : : : : : : : : : : : : : : : : :HyperOmni Vision の特長 : : : : : : : : : : : : : : : : : : : : : : : : : : :HyperOmni Vision の光学特性 : : : : : : : : : : : : : : : : : : : : : : : : :HyperOmni Vision の設計法 : : : : : : : : : : : : : : : : : : : : : : : : : :2.5.1 設計仕様 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :2.5.2 カメラの選択 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :2.5.3 ミラーパラメータの計算 : : : : : : : : : : : : : : : : : : : : : : : :2.5.4 構成の決定 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :HyperOmni Vision の試作 : : : : : : : : : : : : : : : : : : : : : : : : : : :2.6.1 試作した HyperOmni Vision の角度特性 : : : : : : : : : : : : : : :考察 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :3 HyperOmni Vision によるテレプレゼンス
3.1
3.2

3.3
3.4

従来のテレプレゼンス : : : : : : : : : : : : : : : : : : : : : : : : : : : : :透視投影画像の実時間生成 : : : : : : : : : : : : : : : : : : : : : : : : : : :3.2.1 画像生成アルゴ リズムの概要 : : : : : : : : : : : : : : : : : : : : :3.2.2 イメージワーピング : : : : : : : : : : : : : : : : : : : : : : : : : :3.2.3 実時間テレプレゼンスシステム : : : : : : : : : : : : : : : : : : : :実験 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :考察 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

3
4
7
8
11
11
11
12
12
13
17
18

20
20
21
22
23
24
24
28

29

4 HyperOmni Vision による移動量推定
4.1 床面方向への変換画像 : : : : : : : : : : : : : : : : : : : : : : : : : : : : :4.2 ロボットの移動量推定 : : : : : : : : : : : : : : : : : : : : : : : : : : : : :4.3 実験 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :4.4 考察 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

i

29
30
30
33

目次

ii

5 HyperOmni Vision による環境認識

35

5.1

5.2

5.3

逆透視変換による障害物検出 : : : : : : : : : : : : : : : : : : : : : : : : :5.1.1 障害物検出方法 : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.1.2 実験 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.1.3 考察 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :縦視差による全方位ステレオ視 : : : : : : : : : : : : : : : : : : : : : : : :5.2.1 全方位ステレオ視 : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.2.2 実験 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.2.3 考察 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.2.4 両眼ステレオ画像の作成 : : : : : : : : : : : : : : : : : : : : : : : :全方位ハフ変換による３次元情報の獲得 : : : : : : : : : : : : : : : : : : :5.3.1 全方位 Hough 変換 : : : : : : : : : : : : : : : : : : : : : : : : : : :5.3.2 線分の三次元再構築 : : : : : : : : : : : : : : : : : : : : : : : : : :5.3.3 実験 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.3.4 考察 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :6 HyperOmni Vision による経路誘導と障害物回避
6.1 従来の視覚誘導 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :6.2 システム構成 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :6.3 スネークモデルを用いた経路誘導 : : : : : : : : : : : : : : : : : : : : : : :6.4 スネークモデル : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :6.5 移動可能領域の発見 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :6.6 ロボットの走行制御 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :6.7 実験 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :6.8 考察 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7 HyperOmni Vision による案内ロボットシステム
7.1 システム構成 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.2 案内ロボットシステム : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.2.1 前提条件 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.2.2 処理の流れ : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.3 実験 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.4 考察 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

35
35
36
36
37
37
42
43
43
48
48
55
56
58

62
62
63
64
65
65
67
68
74

75
75
76
76
76
81
83

8 おわりに

87

謝辞

89

参考文献

90

目次

iii

研究業績
学術論文 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :国際会議 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :国内会議 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

93
93
93
94

図 目次
2.1 全方位視覚センサの視野領域 : : : : : : : : : : : : : : : : : : : : : : : : :2.2 ２葉双曲面 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :2.3 視覚系の構成 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :2.4 点の射影水平方向 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :2.5 点の射影鉛直方向 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :2.6 球面収差 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :2.7 非点収差 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :2.8 HyperOmni Vision の設計図 : : : : : : : : : : : : : : : : : : : : : : : : : :2.9 ミラーの設計図 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :2.10 HyperOmni Vision Ver.1 : : : : : : : : : : : : : : : : : : : : : : : : : : : :2.11 入力画像 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :2.12 変換画像（透視投影画像） : : : : : : : : : : : : : : : : : : : : : : : : : : :2.13 変換画像（パノラマ画像） : : : : : : : : : : : : : : : : : : : : : : : : : : :2.14 HyperOmni Vision Ver.2 : : : : : : : : : : : : : : : : : : : : : : : : : : : :2.15 入力画像 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :2.16 変換画像（透視投影画像） : : : : : : : : : : : : : : : : : : : : : : : : : : :2.17 変換画像（パノラマ画像） : : : : : : : : : : : : : : : : : : : : : : : : : : :2.18 HyperOmni Vision の角度分解能 : : : : : : : : : : : : : : : : : : : : : : :2.19 ピラミッド ミラーを用いた全方位視覚センサ : : : : : : : : : : : : : : : : :

5
6
7
9
9
10
10
14
14
15
15
15
15
16
16
16
16
17
19

3.1 可動カメラを用いたテレプレゼンス : : : : : : : : : : : : : : : : : : : : : :3.2 全方位画像と透視投影画像の関係 : : : : : : : : : : : : : : : : : : : : : : :3.3 3 自由度の頭の向きと 2 つの画像間の対応 : : : : : : : : : : : : : : : : : :3.4 イメージワーピング : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :3.5 テレプレゼンスシステムプロトタイプの構成 : : : : : : : : : : : : : : : : :3.6 テレプレゼンス実験における動画像系列の一例 : : : : : : : : : : : : : : : :

21
22
23
25
26
27

4.1 床面方向への変換 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :4.2 床面方向への変換（鉛直断面） : : : : : : : : : : : : : : : : : : : : : : : :4.3 鉛直下方を光軸とする変換画像 : : : : : : : : : : : : : : : : : : : : : : : :4.4 ロボットの移動量推定方法 : : : : : : : : : : : : : : : : : : : : : : : : : : :4.5 真下を向いた画像に変換 : : : : : : : : : : : : : : : : : : : : : : : : : : : :

31
31
32
32
34

iv

v

図目次

4.6
4.7
4.8

放射方向に微分 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :マッチング度 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :２枚の画像間の相関（ X OR ） : : : : : : : : : : : : : : : : : : : : : : : : :

34
34
34

5.1 障害物検出方法 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.2 障害物検出結果 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.3 全方位画像間の関係 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.4 極座標表現 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.5 対応点探索範囲 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.6 3 次元ワールド 座標系の設定 : : : : : : : : : : : : : : : : : : : : : : : : : :5.7 全方位ステレオ画像 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.8 全方位視差画像 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.9 全方位奥行き画像 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.10 全方位高さ画像 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.11 透視投影画像 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.12 奥行き画像 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.13 高さ画像 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.14 ミラー焦点 OM と実対象 P との直線距離 L と奥行き Dの関係 : : : : : : : :5.15 両眼視差を基に作成した両眼ステレオ画像 : : : : : : : : : : : : : : : : : :5.16 平面上の線分の投影 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.17 直線上の点の投影 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.18 大円の交点 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.19 ガウス球上の直交座標 : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.20 極座標 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.21 円柱座標 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.22 立方体座標 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.23 正 20 面体座標 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.24 各画素の立体角 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.25 エッジの間違った偏り : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.26 線分の三次元再構築の基本原理 : : : : : : : : : : : : : : : : : : : : : : : :5.27 入力画像 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.28 抽出されたエッジ点 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.29 Hough 変換により作成された頻度表 : : : : : : : : : : : : : : : : : : : : :5.30 フィルタ処理の結果 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.31 検出された極大値 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.32 検出されたエッジ : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.33 実験環境 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.34 ２枚目より検出されたエッジ : : : : : : : : : : : : : : : : : : : : : : : : :5.35 ３枚目より検出されたエッジ : : : : : : : : : : : : : : : : : : : : : : : : :5.36 ４枚目より検出されたエッジ : : : : : : : : : : : : : : : : : : : : : : : : :

36
36
38
38
39
41
44
45
45
45
46
46
46
47
48
50
50
50
53
53
53
53
53
54
54
55
57
57
57
57
57
57
58
59
59
59

図目次

vi

5.37 2,3,4 枚目より計算された線分（ 視点１） : : : : : : : : : : : : :（ 視点２） : : : : : : : : : : : : :5.38 2,3,4 枚目より計算された線分
5.39 2,3,4 枚目より計算された線分（ 視点３） : : : : : : : : : : : : :（ 視点４） : : : : : : : : : : : : :5.40 2,3,4 枚目より計算された線分
5.41 2,3,4 枚目より計算された線分（ 視点５） : : : : : : : : : : : : :5.42 計算された線分（視点１） : : : : : : : : : : : : : : : : : : : : : : : : : : :5.43 計算された線分（視点２） : : : : : : : : : : : : : : : : : : : : : : : : : : :5.44 計算された線分（視点３） : : : : : : : : : : : : : : : : : : : : : : : : : : :5.45 計算された線分（視点４） : : : : : : : : : : : : : : : : : : : : : : : : : : :5.46 計算された線分（視点５） : : : : : : : : : : : : : : : : : : : : : : : : : : :

60
60
60
60
60
61
61
61
61
61

6.1 システム構成 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :6.2 Nomad200 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :6.3 システム構成（ a:実環境 b:シミュレータ） : : : : : : : : : : : : : : : : : :6.4 HyperOmni Vision の入力画像 : : : : : : : : : : : : : : : : : : : : : : : : :6.5 内部エネルギー : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :6.6 慣性主軸と領域の重心 : : : : : : : : : : : : : : : : : : : : : : : : : : : : :6.7 (1) 廊下での移動 (2)HyperOmni Vision の画像（道の真ん中） : : : : : : :6.8 (1) 廊下での移動 (2)HyperOmni Vision の画像（道の脇） : : : : : : : : : :6.9 (1) 廊下での移動 (2)HyperOmni Vision の画像（曲り角） : : : : : : : : : :6.10 (1) 廊下での移動 (2)HyperOmni Vision の画像（障害物あり） : : : : : : :6.11 障害物がある場合 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :6.12 直角の曲り角の場合 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :6.13 実験環境 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :6.14 Snakes を用いた床面の切り出し : : : : : : : : : : : : : : : : : : : : : : : :6.15 ロボットの移動経路 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

63
63
64
65
66
67
69
69
70
70
71
71
72
72
73

7.1 処理の流れ : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.2 人物の発見 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.3 人物方向の算出 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.4 ロボットの移動速度 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.5 ロボットの回転速度 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.6 実験環境の環境マップ : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.7 人の移動軌跡 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.8 実験結果 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.9 ロボットの移動軌跡 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

77
78
80
82
82
84
84
85
86

表 目次
2.1
2.2

HyperOmni Vision Ver.1 パラメータ
HyperOmni Vision Ver.2 パラメータ: : : : : : : : : : : : : : : : : : : : :

15
16

3.1

使用した機器: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

25

5.1
5.2

両眼ステレオ画像作成に用いたパラメータ値 : : : : : : : : : : : : : : : : :各表現法の特長 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

47
52

vii

: : : : : : : : : : : : : : : : : : : : :Chapter 1
はじめに
人間は昔から道具を使い様々な作業をしてきた．近代になり人間の科学が進み様々な機械が生み出されるようになった．それらの機械のうち人間の代わりとして作業する機械はロボットと呼ばれている．ロボットは単純な繰り返し作業，非常に力がいる重労働，非常に精度の必要な作業，人間が行なうには危険な作業などを行なうことができる．もともと「ロボット」という言葉は作家チャペックによる造語であったが今では誰もが知っている言
葉になった．このことからもわかるように人間はロボットに対して様々な作業や動作を要求し，また期待している．そのためロボットに関する研究が盛んに行なわれ，実用されてきた．今日になりロボットの作業範囲がさらに広がり，移動ロボットのナビゲーションは重要な研究課題となっている．
移動ロボットを実際の環境内でナビゲーションするためには，移動経路の計画や目標の発見，未知物体との衝突回避などが重要な課題である．それらの課題を実行するためには，ロボットの位置姿勢速度や目標までの方向距離，障害物の位置，移動物体の位置速度など，ロボットが現在どのような状況にあるかの情報が必要である．それらの情報を獲得するた
めにはロボットにセンサを搭載し，このセンサ情報を基に上にあげたような情報を取り出す必要がある．センサとして，触覚センサ，赤外線センサ，超音波センサ，レーザーレンジ
ファインダ，視覚センサなどがあるが，中でも視覚センサはロボットの周辺の状況を知る上で有効なセンサとして有望視されている．
視覚センサからロボットに必要な情報を取り出す研究はロボットビジョンと呼ばれ盛んに研究されている [1]．近年，ロボットビジョンの研究成果が花開き，視覚センサを搭載した素晴らしいロボットが登場し始めている．しかし，従来のロボットには視覚センサとして標準レンズを取り付けたカメラが多く利用されていた．そのため，従来の視覚センサはレンズの画角により制限され，ロボットの前方だけなど局所的な情報しか得られなかった．
しかし，ロボットのナビゲーションでは先に述べたような課題を実行する必要があり，そのためには分解能は粗くても環境全体の大局的情報が実時間で獲得できる方が望ましい．これらの問題に対し，周囲 360 度の情報を一度に観測できるさまざまな全方位視覚センサが提案されてきた [2, 3, 4, 5, 6, 7, 8, 9]．詳細は 2章で述べるが，これらのセンサには実時間
で全方位画像が得られない，透視投影でないなどの欠点があった．
本論文では筆者が考案した全方位視覚センサ HyperOmni Vision と HyperOmni Vision1

2
を使用してロボットをナビゲーションするために必要な情報取り出す手法について述べる．
HyperOmni Vision は周囲 360 度の画像が実時間で得られる全方位視覚センサであるため，
移動ロボットなど広い視野を必要とするロボットにとって有効な視覚センサである．それだけでなく，従来の全方位視覚センサにない特徴として従来の視覚センサと同じ透視投影の光学的特性を HyperOmni Vision は持っている．そのため，HyperOmni Vision で行なえる画像処理は従来の全方位視覚センサと比べて大きく広がった．
詳しくは，2章で従来の全方位視覚センサとその問題を解決した HyperOmni Vision のセンサ構成，特長，光学特性について述べ，さらに実際に試作しセンサを示しその設計法について述べる．
次に 3章でロボットのナビゲーションの中で現在最も多く使われている手法である遠隔操作のための画像を HyperOmni Vision から実時間で生成する方法について述べる．この方法によりどれだけロボットが遠隔地にあっても操作者が自由に任意の方向の画像を実時間で見ることができるようになる．
ロボットを遠隔操作でなく自律的にナビゲーションするためにはロボットの自己位置，障害物の位置などの情報が必要であり，4章でロボットの運動推定について，5章で環境認識について述べる．具体的にはテンプレートマッチングを用いた HyperOmni Vision の移動量推定について 4章で，障害物検出と周囲環境までの奥行き高さ情報抽出，環境中の線分
再構築について 5章で述べる．
次に 6章で HyperOmni Vision を搭載したロボットを実環境でナビゲーションする方法について述べ，最後に 7章で HyperOmni Vision を搭載したロボットのアプリケーションとして案内ロボットシステムについて述べる．

Chapter 2
全方位視覚センサ

HyperOmni Vision

従来，移動ロボット用の視覚センサとして標準レンズ 1をとりつけたカメラが多く利用されてきた．しかし，この方法では観測視野がレンズの画角により制限され，環境全体の情報を実時間で観測することはできなかった．例えばロボットなどが環境の中を移動する場
合，必ずしも移動物体は前方より接近してくるとは限らない．側方，後方からの移動物体の接近による危険も生じうる．事実，人間は車を運転する時に前方だけでなく側方や後方，
さらに足元をミラーや首を動かすことにより確認を行なっている．また，目標物の探索など環境全体の情報を必要とするタスクが移動ロボットには生じる．よって移動ロボットにおいても環境全体の情報が得られることが望ましい．そのため，環境全体の情報を得る視覚センサとしていくつかの全方位視覚センサが提案された．
筆者も移動ロボット用の全方位視覚センサとして HyperOmni Vision を提案した．このセンサは従来の全方位視覚センサにない特長を持つため様々なタスクに適用できる．
以降，この章では全方位視覚センサ HyperOmni Vision について説明をする．

2.1

従来の全方位視覚センサ

従来までに提案されてきた周囲 360 度の情報を一度に観測できる全方位視覚センサを以下に示す．

 カメラを回転する方法 [2, 3, 4]
Sarachik は，上下２台のカメラによるステレオ視で，室内を旋回走査することで，室の大きさ，形状を決定し，ロボットが自己の位置を同定するための視覚情報を獲得する方式を提案した [2]．最終目標は，オフィスなどの環境マップを構築するためであっ
た．Zheng らや Ishiguro らは，１台のカメラを回転することで全方位画像（パノラ
ミックビュー）を得ている [3, 4]．いずれの方法にせよカメラを回転する方法は，解像度の高い全方位画像を得られるが，１シーンの撮像に時間を要するため，リアルタ
イムでの応答を必要とする衝突回避などの問題には不向きである．
1 画角 30{45 度程度のレンズ

32.2. HYPEROMNI VISION のセンサ構成

4 魚眼レンズを用いた方法 [5, 6]
魚眼レンズを利用する方法は，米国の Cincinnati 大学で研究されている [5, 6]．彼らの提案した視覚センサでは，魚眼レンズを鉛直上向きに取付け，上方半球の視野領域を一度に撮像することができる．作業領域に予め LED などの光源を複数個取付け，これらをランド マークとしてロボットの位置制御を行なっている．しかし魚眼レンズ
で全方位の視野画像を得た場合，得られる画像情報は室内で言えば天井ばかりを観測することになりやすい．即ち，必ずしも観測する必要のない上方の領域が多く，本来衝突回避に必要なロボット自身の側方の観測が不十分となりやすい欠点がある．

 球面ミラーを用いる方法 [7]図 2.1（ b ）に示すように球面のミラーとカメラから構成され，ミラーに写った環境を下からカメラでとる方法である．この方法は上記魚眼レンズを上下反転した場合の視野領域と類似し，天井などのかわりにカメラ自身の像や床面を画像に多く含み，側方の解像度が低い欠点を持つ．

 円錐ミラーを用いる方法 [8, 9]
円錐ミラーを用いた方法 COPIS（ COnic Projection Image Sensor ）は，今まで八木らが行なってきた全方位視覚系である．図 2.1（ c ）に示す様に鉛直下向きの円錐面のミラーと鉛直上向きのカメラから構成され，側方中心の情報が実時間で観測でき衝突回避などには有効なセンサであるが，足元の情報を得るためには，光学系（ミラーとレンズの関係）を十分考慮する必要がある．また，この方法では，円錐ミラーを用いることで全方位画像が得ることができ，垂直エッジが画像面上で放射状に射影される特徴があった．しかしその反面，他の直線エッジは非線形な変換となり，それらの検出が困難となる．更に画像中心の近傍では，画像歪みが大きく，角度分解能も低いため，画像理解の目的には不十分であった．
なお，以上で述べた全方位視覚系は，カメラを回す方法を除き光学系の特性が透視投影でないため独自の画像変換を必要とし，利用できる特徴が制限された．

2.2

HyperOmni Vision のセンサ構成

2.1節で述べた従来の全方位視覚センサに対し，筆者は双曲面ミラーを用いた全方位視覚
センサ HyperOmni Vision を提案した．図 2.1（ a ）に示す様に HyperOmni Vision は，鉛直下向きの双曲面ミラーと鉛直上向きのカメラから構成され，従来のミラーを利用した全方位視覚センサと同じくセンサの周囲 360 度の画像を一度に撮像できる．更に，本センサ
は次に述べるように従来センサにおける視野及び光学系に関する問題点を改善できる．
円錐ミラーを用いる方法では側方中心の視野領域を持つ反面，足元を写すためには光学系に工夫が必要であった．それに対し，本センサは上方視野は，円錐ミラーを用いる方法と同様に双曲の漸近面により制限されるが下方視野については，球面ミラーを用いた方法

2.2. HYPEROMNI VISION のセンサ構成

5

ミラー
水平線
ミラーの焦点
視野領域
カメラ(a) 双曲面ミラー(HyperOmni Vision)

ミラー

水平線

視野領域
カメラ
(b) 球面ミラー
ミラー
水平線

視野領域

視野領域
カメラ

(c) 円錐面ミラー(COPIS)

図 2.1: 全方位視覚センサの視野領域

2.2. HYPEROMNI VISION のセンサ構成

6と同様に制限がない．従って，HyperOmni Vision は，側方中心でかつ足元視野も得られるという円錐ミラー及び球面ミラーを用いた両方法の視野における利点を持つ．
また HyperOmni Vision は，その光学特性が透視投影であるため入力画像をミラーの焦点から見た画像（一般のカメラで撮像した画像）やカメラを鉛直軸周りに回転して得られる画像（円筒状の全方位画像）に簡単に変換できる．そのため従来の全方位視覚センサと比べ多様な画像処理が可能となる．
HyperOmni Vision では双曲面として２葉双曲面を用いる．図 2.2に示すように２葉双曲
面とは双曲線を実軸（ Z 軸）周りに回転することで得られる曲面である．そして，以下の双曲線が持つ特長も双曲面において保持される．

 (0; 0; +c) と (0; 0; 0c) の２つの焦点を持つ．
p(c = a2 + b2 )ここで図 2.2に示すように Z 軸を鉛直軸とする３次元座標系 O 0 X Y Z を考える．この時２葉双曲面は次式で表わせる．
X

2

+Y2
2

a

0

Z

2

2

b

= 01

(2:1)

なお a，b は双曲線の形状を定義する定数である．
本視覚系では，２葉のうち Z > 0 の領域にある双曲面をミラーとして利用する．
Z
焦点

c

漸近面

a

b

Y
O
b
X

c

焦点

図 2.2: ２葉双曲面
全方位視覚センサ HyperOmni Vision は，図 2.3に示すように鉛直下向きに設置した Z > 0の領域にある双曲面ミラーとその下に鉛直上向きに設置したカメラから構成される．この時，

2.3. HYPEROMNI VISION の特長

7

ミラーの焦点 OM 及びカメラのレンズ中心 OC は各々２葉双曲面の二焦点 (0; 0; +c),(0; 0; 0c)に位置し，画像面 xyは X Y 平面に平行でカメラのレンズ中心 OC からカメラの焦点距離 f
だけ離れた平面とする．ミラー面とその焦点 OM ，カメラのレンズ中心 OC は次式で表わされる．

X +2Y 0 Z2 = 01(Z > 0)
ミラー面
ab
ミラーの焦点 OM(0; 0; +c)
カメラのレンズ中心 OC (0; 0; 0c)
2

Z

2

2

(2:2)

ミラーの焦点双曲面ミラー

OM

c

b
Y
O

X

x

c

y
p(x,y)f
OC

P(X,Y,Z)
画像面

カメラのレンズ中心

図 2.3: 視覚系の構成

2.3

HyperOmni Vision の特長

空間内の任意の点 P (X; Y ; Z ) に対する画像上での写像点を p(x; y ) とした時，点 P の方
位角は次式で表わされる．

tan  = Y =X = y=x(2:3)

即ち Y =X で定まる点 P の方位角は，y=x で定まる写像点 p の方位角を算出することで得られる（図 2.4 ）．この様に 360 度パノラマ状の領域内にある対象物体の方位角が，その物体の画像面上の写像の方位として直接現われる．
また図 2.5の様に点 P と Z 軸を含む鉛直断面を想定すると，点 P と写像点 p の間には次式の関係が成り立つ．

2.4. HYPEROMNI VISION の光学特性

Z

8

p
2
2
=
X + Y tan+c20
1 (b +c2 ) sin 02bc
= tan
(b2 0c2 ) cos
0
1 p f
= tan
2
2

(2:4)

x +y

即ちミラーの焦点 OM からの点 P の方位角 及び伏角 は，カメラのレンズ中心 OC を双曲面の焦点位置にすることで，写像点 p(x; y ) より，一意にもとまる．このとき，ミラーの焦点 OM は固定なため，入力画像をミラーの焦点 OM からみたカメラを鉛直軸周りに回転して得られる画像や一般のカメラの画像に変換できる．
また，式 2.3,2.4を x; yを求める形に変形したのが次の式 2.5である．

(b2 0pc2 )(b2 + c2 )Z 0 2bc X 2 + Y 2 + Z 2(b2 0pc2 )y = Y 2 f 2
22(b + c )Z 0 2bc X 2 + Y 2 + Z 2
x= X 2f 2(2:5)

式 2.5には三角関数が含まれておらず，式 2.5を利用することで，高速に 3 次元環境中の点 P (X; Y; Z ) に対応する全方位画像上の点 p(x; y ) を求めることができる．

2.4

HyperOmni Vision の光学特性

HyperOmni Vision は双曲面ミラーとカメラからという簡単な構成であるが，曲面ミラー
を介してみた画像は平面ミラーと違い一点に虚像を結ばず，ぼけが生じる．その原因として以下に示す球面収差及び非点収差が挙げられる．
球面収差 とは，図 2.6に示すように光線の広がる方向により結像する位置がずれるために生じるぼけである． 一般にこのぼけはミラーの曲率を小さくするかカメラの口径比を大きくすることにより少なくできる．
非点収差 とは，図 2.7に示すようにミラーの断面の曲率が断面の方向により違うために生じるぼけである． このぼけは各断面の曲率差を小さくするかカメラの被写界深度（対象物がぼけない範囲）を深くすることにより少なくできる． ここで，被写界深度を深くするとは，口径比を大きくすることと比例関係にあり，一般に口径比は，焦点距
離 f と口径 Dとから，f =Dで表現される．従って 1 ）カメラの絞りを絞り込む即ち Dを小さくすること，並びに 2 ）焦点距離 f を短くすることで口径比を大きくすることができる．
以上まとめると，両収差によるぼけの影響を軽減する方法としては，カメラの絞り，ミ
ラー曲率，焦点距離を調整する方法が考えられる．一般にカメラ絞りを絞り込むことは，撮像面への入射光量が減り，像面の明るさが暗くなる．従って画像処理を行うなど 実用面から考えると，ある程度（環境光に依存するが ）以上絞り込むことはできない．ミラー曲率を小さくする，またミラーの各断面での曲率差を小さくする方法は，ミラーを平面化す

2.4. HYPEROMNI VISION の光学特性

9

Y
θ

y
p(x,y)x

P(X,Y,Z)X

画像面
図 2.4: 点の射影水平方向

焦点

双曲面ミラー

OM

Z
−α

c

b

a

P(X,Y,Z)
画像面
p(x,y)c

γ

OC

カメラのレンズ中心

図 2.5: 点の射影鉛直方向

2.4. HYPEROMNI VISION の光学特性

10

曲面ミラー

平面ミラー
図 2.6: 球面収差

垂直断面





水平断面

図 2.7: 非点収差

2.5. HYPEROMNI VISION の設計法

11ることを意味する．ミラー平面化は，結像の問題だけでなく，側方視野領域（仰角）を狭めることにつながるため，ミラー曲率を小さくする方法にはある程度限界がある．実際には，側方視野は，ミラー曲率とカメラレンズの関係で決定されるため，曲率の小さい双曲面
ミラーを用いる場合は，ミラー曲率に合わせた広角のカメラレンズを用いることで側方に視野領域を確保することができる．また広角レンズの使用は，焦点距離を短くすることになり，結果として，被写界深度を深くすることにつながる．以上のことから，HyperOmni
Vision では，曲率の小さい双曲面ミラーと広角のレンズ（焦点距離の短いレンズ）を用いることで，鮮明な全方位画像を結像させることができた．

2.5

HyperOmni Vision の設計法

HyperOmni Vision を設計するにあたりミラーのパラメータ a; b; c とミラーの直径，カメラの選択が必要である．本節ではそれらの決定方法について述べる．

2.5.1

設計仕様

まず，用途に合わせた仕様の決定を行なう．設計に必要な仕様としては以下のものがある．
上限画角 HyperOmni Vision は視野に上限がある．用途に合わせて必要な視野の上限を決める．必要な視野の上限を水平より上に (radian) とする．
使用可能な環境の明るさ カメラは暗い環境で使用すると被写界深度が小さくなりぼけやす
くなる．HyperOmni Vision のパラメータを決定するにあたり，使用するカメラの被写界深度が必要なため，環境の明るさが必要になる．

2.5.2 カメラの選択
HyperOmni Vision に使用するカメラの決定を行なう．HyperOmni Vision に必要なカメ
ラのパラメータは以下の通りである．
画角 カメラの入力画像は円でなく長方形である．そのため，カメラの画角は一つでなく最小と最大の画角が存在する．最小の画角とは垂直画角であり，最大の画角とは対角の画角である．ここで，それぞれの画角を min ; max (radian) とする．
被写界深度 カメラはピントのあっている前後の距離でも対象物がぼけずに写る．この対象物がぼけずに写る範囲を被写界深度という．HyperOmni Vision に必要なパラメータは過焦点距離 H (被写界深度の遠い方の端が無限遠となる距離) で次式で計算される．
H

=

f
C

2

2F

(2:6)

2.5. HYPEROMNI VISION の設計法
f
C

F

12

: カメラの焦点距離: 最小錯乱円(カメラのイメージセンサのサイズに依存)
2=300 I T : 0:02mm; 1=200 I T : 0:015mm: 口径比 (絞り)

画角は使用するカメラだけでなく画像入力装置にも依存するためカタログデータから計算するのではなく実測する方が望ましい．また，カメラの性能や使用する環境の明るさにより絞りが変化するため，設計仕様において決められた環境の明るさで被写界深度を実測する方が望ましい．

2.5.3 ミラーパラメータの計算以上で決まった各値よりミラーのパラメータを計算する．HyperOmni Vision の構成と特徴より以下の方程式が成り立つ．

 c+b= ( 0 min )=2(cos 0 cos )c = (cos sin 0 sin cos )b

H

(2:7)

ここで，H  c + b は入力画像がぼけないようにするための条件式であり，ミラーが被写界深度の中に入っていることを表わしている．この条件が成り立ちかつ，ミラーを最小にす
るには H = c + b となる．以上の式 2.7を解くことにより，b; c および a が決定し，ミラーの形状が決まる．

2.5.4

構成の決定

以上でミラーの形状が決定したので HyperOmni Vision の設計図を書く．図 2.8にその設計図を示す．
HyperOmni Vision のカメラは上を向いているため太陽や照明などが写りやすい．太陽や照明が入力画像に写るとサチレーションを起こし画像の一部が使えなくなる．そのため，ミラーもしくはその他の治具を写り込みが少なくなるように大き目に作る必要がある．写り込みを完全に消すためには入力画像全体にミラーもしくはその他の治具が写るようにしなければならない．ミラーの場合は以下の方程式を Rについて解くことによりミラーの直
径が出る．
!2
2
R
1
R
0 2
0 c = 01
(2:8)
2
a
b
tan( max =2)
その他の治具の場合はミラーの焦点からの HyperOmni Vision の視野を遮らないように注意して考える．
次に，ミラーを支えるための治具について考える．ミラーとカメラをつなぐためこの治具
は透明でなければならない．よって，ガラスかアクリルで作ることになる．この治具につい2.6. HYPEROMNI VISION の試作

13ても写り込みに注意し，また歪みについても注意しなければならない．HyperOmni Vision
はミラーの焦点に向かっていく光を捉えるため，この光が歪まないような治具が望ましい．
そのため，ミラーの焦点を中心とする球形の治具が最も望ましいと考えられる．また，この形ならば治具での反射による写り込みも少ない．
図 2.8は以上の考えから設計した図である．この設計図とミラーの形状を示す図 2.9を用いて HyperOmni Vision を制作する．
ここで述べた方法ではぼけを防ぐためにカメラの被写界深度に余裕を持たせたが，実際に必要な被写界深度は少ないと思われる．今後は必要な被写界深度の計算方法について研究し，HyperOmni Vision の小型化を目指す．

2.6

HyperOmni Vision の試作

実際に全方位視覚センサ HyperOmni Vision を試作した．表 2.1に試作した HyperOmni
Vision Ver.1 のパラメータを示す．
図 2.10が試作した HyperOmni Vision Ver.1 である．HyperOmni Vision では，双曲面ミラーをカメラの上部に固定するためにガラスの治具が必要となる．そこで本センサではガラス面での屈折を最小化するために，入射光がガラス面と直行するようにガラスの治具を
ミラー焦点 OM を中心とした球面にした．
図 2.11は HyperOmni Vision Ver.1 の入力画像の一例である．この入力画像の一部（ 図2.11左部）をミラー焦点 OM からみた画像に変換したものが図 2.12である．また入力画像
をカメラを鉛直軸周りに回転させてえられるパノラマ画像に変換したものが図 2.13である．
一般のカメラで撮った画像と比べ解像度は落ちるが，視覚誘導の目的では十分な画像が得られたと考える．
試作した HyperOmni Vision Ver.1 の角度特性については次節 2.6.1で述べる．
HyperOmni Vision Ver.1 は水平より５度上まで見えるように設計した．しかし，さらに水平より上の情報を獲得したいという要求が出たため HyperOmni Vision Ver.2 を試作することにした．今回は水平より上 20 度まで見えるように設計し，さらに使用するカメラをズーム機能のついたものにすることにより入力画像内のミラーサイズを調整できるようにした．表 2.2に試作した HyperOmni Vision Ver.2 のパラメータを示す．
図 2.14が試作した HyperOmni Vision Ver.2 である．図 2.15は HyperOmni Vision Ver.2の入力画像の一例である．この入力画像の一部（図 2.15左部）をミラー焦点 OM からみた
画像に変換したものが図 2.16である．また入力画像を先ほどと同様にパノラマ画像に変換したものが図 2.17である．HyperOmni Vision Ver.2 は HyperOmni Vision Ver.1 と比較してさらに水平より上まで見ることができ，ミラーのサイズが小さく，カメラの機能が高い
ため操作性が向上した．

2.6. HYPEROMNI VISION の試作

14

光軸
ガラス球の中心

φ150
Z
焦点

焦点

a

漸近面
b

c

X,Y

原点

βmax
双曲面ミラーc

ガラス治具
焦点
カメラの第1主点

カメラ

焦点(カメラの第1主点)
Z
X +Y
双曲面ミラー a2 − b 2 = −1
2

2

2

2

2

a=42.1,b=42.7,c= a + b =59.9
焦点位置は (0,0,± c)

図 2.8: HyperOmni Vision の設計図

図 2.9: ミラーの設計図

2.6. HYPEROMNI VISION の試作

15

表 2.1: HyperOmni Vision Ver.1 パラメータ
カメラ
焦点距離 f撮像素子サイズ

3mm
1/2 inch

双曲面ミラーa41.7mmb
21.4mmc
46.87mm
ミラーの直径200mm

図 2.10: HyperOmni Vision Ver.1

図 2.11: 入力画像

図 2.12: 変換画像（透視投影画像）

図 2.13: 変換画像（パノラマ画像）

2.6. HYPEROMNI VISION の試作

16

表 2.2: HyperOmni Vision Ver.2 パラメータ
カメラ
焦点距離 f3.54{28.32mm
撮像素子サイズ 1/3 inch
双曲面ミラーa42.1mmb
42.7mmc
59.97mm
ミラーの直径150mm

図 2.15: 入力画像

図 2.14: HyperOmni Vision Ver.2

図 2.16: 変換画像（透視投影画像）

図 2.17: 変換画像（パノラマ画像）

2.6. HYPEROMNI VISION の試作

2.6.1

17

試作した HyperOmni Vision の角度特性試作した HyperOmni Vision Ver.1 は，ミラーの焦点 OM から見て水平より５度上まで見えるように設計した．これにより，式 2.4 の の有効範囲が -90 度から 5 度となる．図 2.18に仰角 における角度分解能の関係を示す．図 2.18の縦軸は角度分解能を対数で表現した．
また，仰角 については図 2.5を参照されたい．なお，図 2.18の放射方向の角度分解能は X
軸または Y 軸方向の画素数とミラーの焦点 OM から見た時の角度分解能との関係である．
また，回転方向の角度分解能は中心からの距離を半径とした時の円周長（円周上の画素数）を概算しもとめた．
球面ミラーを用いた場合は，放射方向については足元で分解能が高いが，側方では角度分解能が悪い．実環境を考えた場合，物体までの距離は，一般に足元では床面が最大長である場合が多く，側方の方が物体までの距離が遠い． 従って，側方での分解能が悪いと言うことは，移動ロボット用としては不適切と言える．円錐ミラーを用いた方法では，放射，回転両方向とも視野の角度分解能は側方で高くなり，側方の物体を観測する上では有利であるが，足元（鉛直下向き）に近づくほど，分解能が下がるため，高さの低い物体や近くの障害物の検出精度が悪くなる．それに対し，本センサは，図 2.18からもわかるように，側方に向かうに従い，画素に対しなめらかに分解能が上がるため，側方の物体並びに足元の物体に対しても，ある程度均一な情報が得られる．従って，光学的に見ても，本センサが視覚誘導用として有用なセンサと言える．
なお，球面ミラーを用いた場合と円錐を用いた場合は，試作した HyperOmni Vision と同じカメラと画像入力装置を使うと回転方向の角度分解能は同じになるが放射方向の角度
分解能については両者とも光学系の特性が透視投影でないため比較できない．

1000.00
100.00
10.00
1.00
0.10

角度（度）

角度分解能（放射方向）

角度分解能（回転方向）

図 2.18: HyperOmni Vision の角度分解能

2.7. 考察

2.7

18

考察

本章では双曲面ミラーを利用した全方位視覚センサ HyperOmni Vision について述べた．
HyperOmni Vision には以下に示す特徴がある．

 HyperOmni Vision は円錐ミラーや球面ミラーによるものと同じく実時間でセンサの周囲 360 度の観測ができる．
 HyperOmni Vision は円錐ミラーを用いた方法と同様に側方中心の視野領域を持ち，更に下方視野については球面ミラーを用いた方法と同じように制限なく写る．このよ
うに，HyperOmni Vision は円錐ミラーを用いた方法と球面ミラーを用いた方法の２つの視野における利点を持つ．
 HyperOmni Vision は入力画像をミラーの焦点 OM からみた，カメラを鉛直軸周りに回転して得られる画像や一般のカメラの画像に簡単に変換できる．
同様の特徴を持つ視覚センサとして放物面ミラーを用いた全方位視覚センサが HyperOmni Vision の後に提案された [10, 11] が，正射影の像が撮れる特殊なカメラを必要とし，HyperOmni Vision に使用するカメラの焦点距離を無限大にしたものと同じなのでこの方法は HyperOmni Vision の一種といえる．
HyperOmni Vision は全方位視覚センサとして優れていると考えるが，センサの周囲 360
度の情報を１台のカメラで撮像するために解像度が低い．図 2.12, 2.16を見ると，全方位画像の一部を拡大して一般のカメラで撮像したような画像に変換しているため画像の荒さがわかる．これは使用しているカメラが NTSC のビデオ信号を出力するため，垂直解像度に制限があるからである．この解像度の低さを改良するには使用するカメラをハイビジョン
カメラなどの高解像度のものにするか，複数のカメラを用いて全方位の画像を撮像する方法が考えられる．前者は HyperOmni Vision のカメラを置き換える方法だが，後者は新し
い撮像方法が必要になる．HyperOmni Vision と同じく透視投影の全方位画像を得るには複数のカメラの視点を重ねる必要があり，そのためには図 2.19のようにピラミッド ミラー
を用いて全方位視覚センサを構成すれば可能である [12, 13, 14]．この方法は新たに他の問題が出てくるが高解像度の全方位画像を撮像する必要がある場合には適当だと考える．高解像度のカメラについてはカメラメーカーに期待し，複数のカメラを用いる方法については今後の研究とする．

2.7. 考察

19

カ
メ
ラ

カ
メ
ラ

カ
メ
ラ

レンズ中心

カ
メ
ラ

カ
メ
ラ

上部構造
重ねられたレンズ中心
ピラミッド型ミラー
下部構造

カ
メ
ラ

カ
メ
ラ
横から見た図カメラ

カメラ

上から見た図

図 2.19: ピラミッド ミラーを用いた全方位視覚センサ

Chapter 3
HyperOmni Vision によるテレプレゼンス
移動ロボットのナビゲーションの中で最もよく使われる手法として遠隔操作がある．また，移動ロボットの遠隔操作や遠隔通信会議などにおいては，遠隔地の画像を獲得したいという要求がある．遠隔地の画像を獲得することによって，前者においては移動ロボットの周囲の状況の理解が深まり，後者においてはより良いコミュニケーションをはかることが出来る．遠隔地の情景を提示し，その場にいるのと同様の感覚を与える仮想現実技術はテレプレゼンスと呼ばれる．
従来の移動ロボットの遠隔操作などでは固定カメラが用いられることが多く，カメラの視野が限定されている．遠隔操作の操作性を向上させるためには，カメラの視野を限定せず周囲の様子を伝えることが必要不可欠である．このため，人間の視線の変化に追従可能な可動カメラを用いる試みもあるが，通常のカメラでは視線の変化から画像提示までの時間遅れの問題点と一人の視線にしか追従できないという欠点がある．
多人数に遠隔地の様子を時間遅れなく伝えるのは難しいが，その解決策の一つに，移動ロボットや会議参加者の周囲の全方位画像を伝送することが考えられる．
本章では，側方視野 360 度の全方位画像を実時間で獲得し，伝達・提示する手段としてHyperOmni Vision を使用した実時間テレプレゼンスシステムについて述べる．

3.1

従来のテレプレゼンス

遠隔地の画像を獲得するためには，CCD カメラなどの視覚センサの使用が一般的である．しかし従来は標準レンズを取り付けたカメラが多く利用されており，観測視野がレンズの画角により制限され，環境全体の画像を同時に取得することが困難である．
この解決策として，カメラを回転する方法が考えられる．これは方向が制御できる回転台の上にビデオカメラをおいて，カメラからの画像を獲得するものである (図 3.1)．例えば
利用者が右を見たいと思ったときに，回転台に「右を向け」という動作信号を出し，その方向を向いたビデオカメラからの画像を獲得する．この方法では利用者が右を見たいと指20

3.2. 透視投影画像の実時間生成21

示を出してから，回転台がビデオカメラを動かすため，機械的な時間遅延が生じてしまう．
また，ビデオカメラと利用者が遠く離れている場合，例えば地球と火星の間でテレプレゼ
ンスを行うと，利用者が視線を変更してから数十分間の時間遅れがあったのち，その方向の画像が提示されるというビデオカメラと利用者の間の通信時間の遅延が問題になる．そのほかの問題点として，多人数でテレプレゼンスを行うときに，一台のビデオカメラでは複数人がそれぞれ異なる方向を見渡すことができないことが挙げられる．
一方，利用者の見たい方向を自由に提示する手法として，静止画を利用した QuickTime
VR[15] が知られている．この中で利用者はパノラマ静止画像を用いて，上下・左右任意の方向を見渡せる．テレプレゼンスではこのように任意の方向を見渡せることが望まれる．しかし QuickTime VR では静止画を用いているため，パノラマ画像を，回転カメラや何枚ものスチル写真のつなぎ合わせで作成していた．動画像系列を作成しようとした場合，ビデオカメラを回転させる方法は，機械的な時間遅れがあるためシーン内に移動物体が存在す
る動的環境では使用できない．また複数のビデオカメラを使う方法は，1 つの視点から周囲 360 度の画像を撮像するのが困難である．すなわち，QuickTime VR は蓄積再生型テレプレゼンスには利用できるが実時間テレプレゼンスには不向きである．
実時間でテレプレゼンスを行なうために Virtual Dome[16] では，カメラを常時回転させて全方位の画像を撮影し，利用者が装着した HMD に利用者の視線方向の画像を提示している．この方法では見回しに関する時間遅延は少ないものの，画像の更新レートが遅いという問題点がある．

図 3.1: 可動カメラを用いたテレプレゼンス

3.2

透視投影画像の実時間生成

テレプレゼンスにおいて観察者が遠隔地の情景を的確に把握するためには，広範囲の遠隔画像を見渡せることが望ましい．また実時間テレプレゼンスにおいて，時間遅れなく見渡すためには，全方位の画像を一度に取得して，利用者の視線に追従した画像を実時間で生成する方法が必要である．

3.2. 透視投影画像の実時間生成22

HyperOmni Vision で得られた全方位画像は，幾何学的変換によって，ミラー焦点から見た透視投影画像に変換が可能である．この変換を実時間で行なうことにより，以下の特長が得られる．

 視野が限定されない．
 視線の変更から画像提示までの時間遅れが少ない．
 複数人がそれぞれ異なる方向を見渡せる．
本手法では，実時間で全方位画像から透視投影画像に変換する投影アルゴ リズムを開発することによって上記の特長を有する実時間テレプレゼンスを実現した．

3.2.1

画像生成アルゴリズムの概要

HyperOmni Vision で得られた全方位画像は任意の方向の透視投影画像に変換することができる．本来この変換は図 3.2で，透視投影画像上のすべての画素に対応する全方位画像上の対応点の位置を式 2.5のような専用の変換式により求めることで実現される．しかしこれでは，計算量が膨大なものになり，実時間で任意の方向の透視投影画像を得ることができない．このため本手法では次節に示すアルゴリズムを用いて，簡易的な画像変換を行なう．

(a) 全方位画像(b) 透視投影画像

図 3.2: 全方位画像と透視投影画像の関係
本手法では，画像変換を実時間で行ない，かつ人間が不自然さを感じない程度に正確な透視投影画像を生成する必要がある．そのため，生成画像上に図 3.3のような格子をもうけ，格子点ではソフトウェアにより正確に座標計算を行ない，格子の中は次節で述べるイメージワーピング [17] をハード ウェアにより行ない近似的な画像変換を行なう．視線に追従した透視投影画像生成の概要は以下の通りである．

1. 磁気トラッカーにより視線を表す回転行列 K を得る．

3.2. 透視投影画像の実時間生成23

2. 以下のステップ 2a,2bにより，変換画像上の格子点 (図 3.3右) に対応する入力画像上の格子点 (図 3.3左) を計算する．
(a) 回転行列 K と変換画像上の格子点 W (u; v ) を次式 3.1に代入して，3 次元座標系
での点 P (X; Y ; Z ) を求める．

0 1
0 1
X
u
B
C
B
C
B
C
B
@ Y A=K@ v CAZfh
ただし fh : 視点と変換画像の間の焦点距離(3:1)(b) 3 次元座標系での点 P (X; Y; Z ) を式 2.5に代入して，全方位画像上の点 p(x; y )を求める．
3. 入力画像を計算された格子で切り出す．
4. 変換画像上の各格子にイメージワーピングによって対応する全方位画像の一部を張り付ける．

図 3.3: 3 自由度の頭の向きと 2 つの画像間の対応

3.2.2

イメージワーピング

先に述べたように，実時間画像生成を行なうために，格子の内部はイメージワーピング
によって近似的な透視投影変換を行なう．各格子に対するイメージワーピングのアルゴ リ
ズムは以下の通りである．

3.3. 実験

24

1. 変換画像内の格子 (図 3.4右上 E F GH ) を，入力画像内の格子に対応させる (図 3.4左上 E 0 F 0 G0 H 0 )．
2. 格子 E F GH 内の全ての点について以下のステップ 2a,2b, 2cを繰り返す．
(a) 変換画像内の格子 E F GH の上の点 Q を図 3.4右上で示されるように s; t で表し，次式 (3.2) に代入して入力画像内の点 Q0を求める．
P

0 = (1 0 s)(1 0 t)E 0 + (1 0 s)tF 0+s(1 0 t)G0 + stH 0(3.2)(b) ステップ 2 で求めた点 Q0を取り囲む入力画像上の画素を考える (図 3.4左下
A; B; C; D )．
(c) 点 Q0の輝度を次式 3.3によって求める．
I

0= (1 0 Rx )(1 0 Ry )IA + (1 0 Rx )Ry IB0:

点 Q0の輝度A B C D;I:

それぞれ画素 A; B; C; Dの輝度

;I

;I

(3.3)

+Rx Ry IC + Rx (1 0 Ry )ID

ただし，IQ

I

3.2.3

Q

実時間テレプレゼンスシステム

前述の視点追従型画像生成提示手法を実装し，実時間テレプレゼンスシステムのプロトタイプを構築した．
プロトタイプシステムの構成を図 3.5に示す．また，実際に使用した機器を表 3.1に示す．
全体の処理の流れは以下の通りである．

1. 全方位視覚センサ HyperOmni Vision で撮影した全方位画像を，計算機に無線伝送
する．
2. 利用者の装着する HMD に取り付けた 3D 磁気トラッカーで視線を計測する．
3. 計算機で視線に応じた透視投影画像を生成し，HMD に表示する．

3.3

実験

格子数が多くなるほど ，一枚あたりの画像生成時間は長くなる．また，格子の数が少なくなるほど変換画像の歪みが大きくなる．よって，この実験では秒間 30 枚の画像を提示できかつ格子を最も細かくするために格子点の数を 64 x 64 にした．

3.3. 実験25

図 3.4: イメージワーピング

表 3.1: 使用した機器
全方位視覚センサ
画像無線送受信器
計算機
磁気トラッカー

HMD

HyperOmni Vision ver.2
Premier Wireless CS-200
SGI Indigo2 Impact(R4400, 250MHz)
POLHEMUS
3SPACE FASTRAKOLYMPUS Mediamask

3.3. 実験26

図 3.5: テレプレゼンスシステムプロトタイプの構成
また HyperOmni Vision で撮影された 720 2 486 の画像から，720 2 486 の画像を生成しHMD に投影した．
図 3.6に実験結果の一例を示す．左が全方位画像で右がそのときの利用者の視線に追従して生成された画像である．この場合，シーン内には 2 人の人物が存在し，利用者の視線は 1
人の動きを追っているのが分かる．全方位の画像を一台のカメラで獲得して，その一部分を拡大して表示しているために解像度自体は粗くなっているが，遠隔環境の状況把握には十分である．また，正確な平面透視投影画像変換ではないが，ほとんど違和感はない．表
示遅れを決定するパラメータ [18] は以下の通りである，画像更新レートは秒間 30 枚であり，通信時間を考慮しない場合の画像更新時間は 28ms である．また，視線方向の変化に対する画像提示の時間遅れは 37ms であり，機械的にビデオカメラを回転させて見回すよ
りも遥かに高速である．この時間遅れはセンサと観察場所間の距離には依存しない．
また，従来の可動台の上においたカメラからの画像を用いる方法では，多数の利用者がそれぞれ異なる方向を見渡すためにカメラを複数台用意しなければならない．しかし，本手法の場合，図 3.5において点線で示された増設システムを複数用意することにより，視覚センサは一台で複数人が同一視点から異なる方向を見渡すことができる．

3.3. 実験27(a) 全方位画像 (b) 透視投影画像
図 3.6: テレプレゼンス実験における動画像系列の一例

3.4. 考察

3.4

28

考察

従来のような固定ビデオカメラを用いたシステムでは，利用者が任意の方向を見渡すことはできない．また，移動ロボットの遠隔操作などでは，瞬時に周りの状況が理解できないことや，多人数で行う遠隔地会議などでは，臨場感が乏しく伝えたいことがうまく伝わらないことが挙げられる．そういった問題点から，本手法では，全方位画像を獲得し視点に追従しながら，その方向の透視投影画像を提示する実時間テレプレゼンスシステムのプロトタイプを開発した．
このシステムの特長として以下のことがいえる．

 側方 360 度全方位を自由に見渡せる．
 一度に全方位画像を得て透視投影に変換しているため，見渡しに関して時間遅れがほ
とんどない．
 全方位画像を送り，それを利用者側で変換して提示しているために一台の視覚センサ
で複数人が同時に異なる方向を見渡せる．
本システムにより移動ロボットの遠隔操作においては，時間遅れなく周囲を見渡せ，遠隔操作がスムーズに行えるものと期待できる．また，遠隔通信会議においては，多人数がある一点からの周囲をそれぞれ自由に見渡せる．よって実時間テレプレゼンスにおいて有効であると考えられる．しかし，根本的に通信に時間がかかる場合，離れた地点にいるロボットや他人に影響を与えるまでには時間遅延が起こる．この時間遅延をなくなすのは不可能である．テレプレゼンスにおいては通信遅延はかかるものとして考え，それ以外の部分でユーザーの意志を反映しなければならない．
また，提案手法では一台の NTSC 規格のビデオカメラで全方位の画像を撮影し，その画像の一部を変換して透視投影画像を提示しているため解像度には限界がある．使用するビ
デオカメラを Hi-Vision 規格等のカメラに代えることにより解像度をあげれば鮮明な画像が得ることが可能だと考える．
今後の課題としては，以下のことがあげられる．

 全方位ステレオ画像を用いての 3 次元情報の獲得
上下の視差がある 2 枚の全方位画像を用いて両眼ステレオ視を適用し，3 次元情報を獲得する．また視点の変化に応じて，その方向の両眼ステレオ画像を計算し表示することによって 3 次元的な知覚を可能にする．これは視線方向変化だけでなく視点移動にも対応可能である．
 移動物体検出に基づく移動物体追跡型画像表示
本手法では視線追従型ということで，利用者の視線方向にあった画像を生成・提示したが，移動物体を自動的に検出・追跡し，その物体の動きに追従した画像を提供することによる監視・サーベイランス等への応用も考えられる．

Chapter 4
HyperOmni Vision による移動量推定
ロボットを自律的にナビゲーションするためには，まずロボット自身の位置をロボット
自身が知る必要がある．本章では，HyperOmni Vision による運動推定としてテンプレート
マッチングを用いたロボットの移動量を推定する手法について述べる．
移動ロボットをナビゲーションするためにはロボットの移動量の情報が必要になる．移動量の情報を得る方法としては，タイヤにエンコーダをつける方法やＧＰＳを用いる方法などがある．しかし，前者の方法はタイヤが空転しやすい床や絨毯などの床などの上では誤差がのりやすい．また，後者の方法は電波が届かない屋内環境では使用できず，小さい
移動量については誤差が大きい．以上のような問題に対して，本手法では周囲の環境に対して相対的に移動した距離を画像から求める方法として HyperOmni Vision を移動ロボットに搭載し，テンプレートマッチングを用いてロボットの水平方向の移動量推定を行なう．
テンプレートマッチングは一般には時系列間での照合方法として用いられている．テン
プレートマッチングでは，画像間で特長不変であるということを前提としている．しかし，ロボットが移動する場合，対象までの距離が変化するため，一般にはそのスケールが変わる．そこで本手法では，スケールが変化しないように，床面を静止環境の特徴量とし，この特徴量が時系列間で不変な画像，つまり床面と平行な画像面へ入力画像を変換し，床面と平行な変換画像間で照合を行なうことでロボットの移動量を推定する．本手法はテンプ
レートマッチングの際にスケールが変化してはつかえないため，ロボットの移動は平面上で，傾くような移動はしないと仮定している．

4.1

床面方向への変換画像

図 4.1のように，変換画像面が床面と同一になるように，変換画像の光軸を鉛直下向きにし，床面からミラーの焦点までの距離 Hr を変換画像の焦点距離とする．
この時，変換画像面は式 2.3，2.4でつかわれている座標系で Z = c 0 Hrで表せる面である．図 4.2のように，変換画像面上の任意の点 P (X; Y ) に対する入力画像上での写像点をp(x; y ) とした時，式 2.3，2.4より次式が成り立つ．

29

4.2. ロボット の移動量推定30tan  =
RP
=

Y =X

= y=x

0(b2 0c2 )p
Hr r p2(b +c2 )f 02bc rp 2 +f 2
p

P = p 2+ 2
2+ 2=p
( P ) :(
) の極座標表現( p ) : () の極座標表現

R
r

R

;

r ;

X

Y

x

y

(4:1)

P X; Yp x; yこの変換式により床面方向への変換画像を作る．

4.2 ロボット の移動量推定
ロボットが移動しながら取り込んだ時系列画像を変換，変換画像間で静止物体の環境を照合，ロボットの移動量を推定する．

1. ロボットは水平面上を移動するため，床面からの高さは一定である． そこで入力画（ 図 4.3 ）この時，像をミラー焦点 OM から鉛直下方を光軸とする変換画像に変換する．
変換画像面は床面と並行になる． この変換画像上では，高さ一定のためロボットの位置に関わらず床面は同一スケールで射影される． そこで時系列間の照合はこの変換画像間で行なう．
2. マッチングは変換画像を微分しエッジ間で行なう．この時，図 4.1のように床面上のエッジは高さ一定のため，テンプレート照合により一致するが，その他のエッジはス
ケールが異なり一致しない．その他のエッジとして代表的なものに床面に垂直なエッジがある．この床面に垂直なエッジは変換画像中では放射状に現れる．そこでマッチ
ングの信頼性をあげるため，テンプレート照合は放射方向に１次微分し，垂直エッジを除去した画像間で行なう．
3. 微分した２枚の画像を二値化しテンプレートマッチングを行なう．マッチングには２枚の画像を重ねた領域の X ORを計算する．マッチング度が最大の位置を照合位置として，ロボット移動量を推定する．
（ 図 4.4 ）なお，マッチング度は次式で計算する。
10

により１になった領域の面積２枚の画像の重なった領域の面積

X OR

(4:2)

また，照合位置は最急降下法により探索する．

4.3

実験

図 4.5から図 4.8で，実験結果を示す．図 4.5は HyperOmni Vision Ver.1 を搭載したロボットが前方に 30cm 移動した前後での入力画像を鉛直下向き画像に変換した結果である．それ

4.3. 実験

31

OM

変換画像面＝床面

カメラ

障害物A

Hr

床面の模様
Aを逆透視変換した像

図 4.1: 床面方向への変換

焦点

双曲面ミラー

OM

Z
−α

c

rp

入力画像面

Hr

p(x,y)
f

γ

OC

変換画像面

P(X,Y)
RP

図 4.2: 床面方向への変換（鉛直断面）

4.3. 実験32

床面に垂直なエッジ

床面上のエッジ
ロボット






障害物






図 4.3: 鉛直下方を光軸とする変換画像

XORを取る領域

ロボットの移動量

図 4.4: ロボットの移動量推定方法

4.4. 考察33

ぞれの画像の真中にロボット自身が写っている．また，右がロボットにとって前方である．
障害物としてロボットの前方，右側方，左側方に障害物をおいた．左前方，右前方の，白黒の長方形は床面の模様である．図 4.6に図 4.5を放射方向に１次微分した結果を示す．図4.7に両画像間でのマッチング結果を示す．真値が (x; y ) = (33; 0) に対し (x; y ) = (33; 1) の位置で，マッチングが最大値（ 0.954888 ）となった．なお，マッチングは回転も考えて行なったが，図 4.7には回転運動が 0 の時のマッチング結果のみを示す．図 4.8にマッチング度が最高の時の X ORを示す．

4.4

考察

本章では HyperOmni Vision の画像からテンプレートマッチングを用いてロボットの水
平方向の移動量推定を行なう手法について述べた．この手法は床と同じ高さにあるエッジの情報のみを使うためにその他のエッジが写らない HyperOmni Vision を低くつけたロボッ
トに適している．また本手法は，床面がある程度の大きさ（広さ）で画像面内に投影されている必要があるため，円錐ミラーを用いた全方位視覚センサのようにその視野領域が側方中心のセンサでは，視野領域が遠方また側方となり，十分な精度でテンプレート照合を行うことが困難になる．従って，HyperOmni Vision のように側方と下方の両方の情報を使えるセンサに対してこの処理は向いているといえる．

4.4. 考察34

図 4.5: 真下を向いた画像に変換

図 4.6: 放射方向に微分

match rate

Match rate
0.95
0.945
0.94
0.935
0.93
0.925
0.92
0.915
10
5
-60

-50

0
-40

-30
X

-20

-5
-10

0

Y

-10

図 4.7: マッチング度

図 4.8: ２枚の画像間の相関（ X OR ）

Chapter 5HyperOmni Vision による環境認識
ロボットを自律的にナビゲーションするためには障害物回避や経路計画のためにも周囲の環境の状況を知る必要がある．視覚センサは周囲の状況を知るセンサとして有効なセンサであり，視覚センサから得られる２次元画像より３次元情報を抽出する多くの手法の研究がなされている [19, 20, 21, 22]．また，HyperOmni Vision は全方位視覚センサである
ため周囲の環境全体の状況を一度に知るには有効なセンサである．本章では HyperOmni
Vision から得られる２次元画像情報から３次元情報の獲得の方法について述べる．

5.1

逆透視変換による障害物検出ロボットが移動する際，必要なタスクとして衝突回避がある．衝突回避をするためには
障害物の位置を知らなければならない．本節では 4章において求められたロボットの移動量をもとに障害物を検出する．この障害物検出は，Storjohann により報告された両眼視から得られた２枚の画像を逆透視変換することで障害物を検出する方法 [23] を，ロボット移動に伴う全方位時系列画像に応用した方法である．

5.1.1

障害物検出方法

ロボットにとって障害物とは高さのある物体である．床面の模様と違い，高さのある物
体は，変換画像上では違う位置に投影される．図 5.1に示すように，この障害物の高さを
Hobj とし，床面からミラーの焦点までの距離を Hr ，ロボットの移動量を Mr としたとき，変換画像上での投影される位置のずれ Mobj は次式で表される．
M

obj = r 0obj obj r
H

H

H

M

(5:1)

このとき，図 4.1のようにロボットにとって障害物とならない高さ Hobj = 0 の物体は，
Mobj = 0 となり変換画像上での投影される位置のずれがない．
そこで，前節で推定したロボットの移動量分２枚の変換画像をずらし，差分をとることにより障害物を検出する．

35

5.1. 逆透視変換による障害物検出

36

Mr

OM

カメラ

カメラ

Hr

OM

Hr

Hobj
Mobj

図 5.1: 障害物検出方法

5.1.2

実験

図 5.2に障害物の検出の結果を示す．
（ a ）が２枚の画像を差分した結果，（ b ）がその画像を二値化した結果である．前方，右側方，左側方の高さのある物体は検出できた．図中右
中央に床面への環境照明光（蛍光灯）の映り込みが検出された．

（ a ）差分画像（ b ）二値化画像

図 5.2: 障害物検出結果

5.1.3

考察

本節では移動中のロボットに搭載された HyperOmni Vision からとられた２枚の画像から逆透視変換により障害物を検出する手法について述べた．実験では環境照明光の映り込みが検出されたが，マッチングをとったあとの位置関係で両画像からオプティカルフロー

5.2. 縦視差による全方位ステレオ視37を計算し，検出された領域内のオプティカルフローの方向がロボットの進行方向に対して，
前方にでているかそれとも後方にでているかを評価することで，床面に対し，検出領域が上方か下方かの評価を行なえば，床面への映り込みと障害物が識別できるものと考える．

5.2

縦視差による全方位ステレオ視

3 次元環境全体を理解するには，環境全体の大局的な情報の取得および対象までの奥行
き情報の獲得が必要である．本手法では，測定対象に影響を与えることなく 3 次元情報を獲得するために，受動的手法の代表であるステレオ視を適用する [19]．ステレオ視は，画像の入力が容易，自然光での 3 次元情報の獲得が可能などの理由から，数多くの研究がなされている [20, 21, 22]．本節では 3 次元環境全体の大局的な情報抽出を行なうために，全方位視覚センサ HyperOmni Vision を用いて高さの異なる位置で 2 枚の全方位画像を取得
し，得られた全方位ステレオ画像間で対応点探索を行なうことにより，全方位の 3 次元情報を獲得する手法について述べる．

5.2.1

全方位ステレオ視本手法では，HyperOmni Vision を用いて得られた全方位ステレオ画像間において対応
点探索を行ない，全方位での視差を抽出することで観測対象の 3 次元情報を獲得する．以下では，全方位ステレオ画像の取得方法，全方位ステレオ画像上の対応点間の関係，全方位の視差を抽出するための対応点探索手法，得られた全方位の視差と 3 次元情報の関係について順に述べる．

(a)

全方位ステレオ画像の取得

全方位ステレオ画像を取得するには，全方位視覚センサ HyperOmni Vision を水平方向に配置する方式と垂直方向に配置する方式が考えられる．水平方向に配置した場合，全方位ステレオ画像間で対応関係が求まる領域がかなり制限される．また，水平方向に配置することで，探索ラインの設定ならびに探索範囲の設定が複雑になるという問題点がある．
垂直方向に配置した場合は，上に配置する HyperOmni Vision に下側の HyperOmni Visionが写り込むために，全方位画像の中心部において対応関係を求められない領域が存在する．
しかし，画像の中心部分を除けば全方位において対応関係を求めることが可能な全方位ス
テレオ画像を取得できる．また，センサを垂直方向 (図 2.3の Z 軸方向) に配置し高さの異なる位置で 2 枚の全方位画像を取得することで，全方位ステレオ画像の画像中心からの放射線上でエピポーラ拘束を成立させることが可能となる．放射線上でエピポーラ拘束が成立することにより，全方位ステレオ視における対応点探索を直線上で効率的に行なうことが可能となる．これは通常の縦方向の両眼ステレオ視に相当する．
以上の点から，本研究においては，HyperOmni Vision を高さの異なる位置で垂直方向に配置することにより全方位ステレオ画像を取得する．

5.2. 縦視差による全方位ステレオ視(b)

38

全方位ステレオ画像間の関係

全方位ステレオ画像を取得する際の HyperOmni Vision の位置関係を図 5.3に示す．相対的に低い位置で取得される全方位画像を Il ，高い位置で取得される全方位画像を Iuとする．
以下では，全方位画像上での写像点 p を画像中心からの半径 r ならびに写像点が存在する
放射線のなす方位角 を用いて極座標 p(r;  ) で表現する (図 5.4)．

Z

p u(r2,θ)

画像 Iu

原点O

Z
画像 Il

P(X,Y,Z)p l(r1,θ)視差d
図 5.3: 全方位画像間の関係

半径 rθ
p(r,θ)

図 5.4: 極座標表現
全方位ステレオ画像間では画像中心から伸びる放射線上でエピポーラ拘束が成立しているので，3 次元環境中の点 P (X; Y; Z ) の全方位画像 Il ，Iu 上に対する写像点は同一の方位角

5.2. 縦視差による全方位ステレオ視39を持つ．このとき，全方位画像上での写像点の座標をそれぞれ pl (r1 ;  )，pu (r2 ;  ) とすると，式 (5.2) の関係が得られる．d は全方位画像上での位置ずれを表す視差である．
r2= r1 0 d(5:2)

式 (5.2) ならびに図 5.3から分かるように，3 次元環境中の同一対象が全方位画像 Iu 上に写像される位置は，全方位画像 Il 上に写像される位置よりも画像中心に近い内側の位置にある．つまり，3 次元環境中の同一対象物体が写像される際の画像中心からの半径は，全方位画像 Iu 上の方が全方位画像 Il 上に比べて必ず小さいという関係にある (r2 < r1 )．

(c) テンプレート マッチングによる対応点探索
全方位ステレオ視により 3 次元情報を獲得するためには，下側の画像中に見えている注
目点が上側の画像のどの部分に見えているかを求める必要がある．
以下では，下側の全方位画像 Ilを基準画像として対応点探索を行なう方法について述べる．(b)節から分かるように，基準画像を Ilとすることで，全方位画像 Il 上に存在する注目領域は HyperOmni Vision のカメラ自身が写り込む画像中心を除けば，オクルージョンがない場合は上側の全方位画像 Iu 上に必ず存在することになる．このとき，全方位ステレオ画
像間では中心から伸びる同一の方位角をなす放射線上においてエピポーラ拘束が成立しているので，対応点探索を行なう際には探索ラインならびに探索範囲が限定できる (図 5.5)．

y
探索ライン
テンプレートW
探索範囲

p(r,θ)

θx

図 5.5: 対応点探索範囲
図 5.5に示したように，探索ラインは全方位画像 Il 上での注目画素 (r;  ) が存在する方位
角の放射線と同一の方位角をなす全方位画像 Iu 上の放射線上に設定している．また，探索範囲は画像中心からの半径が r 以下となる内側の範囲 (r 0 d : 0 < d  r ) のみに限定でき

5.2. 縦視差による全方位ステレオ視

40

る．全方位ステレオ画像間において以下のような対応点探索の評価式 Eが定義できる．ここで，Il (r;  )，Iu (r;  ) は各全方位画像上の画素 (r; ) における画像輝度値を表している．

(

; )=

E r;  dX
fIu (r 0 d;  ) 0 Il (r;  )g2
r;2W

(5:3)

式 5.3は全方位画像 Il 上の注目画素 (r; ) において，探索窓領域内における画像輝度値の最小自乗誤差和を評価基準とした評価式で，探索窓 W を設定して対応点探索を行なうことを意味している．この評価式を最小とする全方位画像 Il 上の注目画素に対する全方位画像
Iu 上の対応画素を 0 < d  rの範囲で探索することにより，視差 d を求める．

(d)

3 次元情報の獲得

実際の 3 次元環境を理解するには対応点探索で得られた全方位の視差情報そのものではなく，視差を基に対象物体の 3 次元座標を計算する必要がある．以下では，全方位ステレ
オ視によって得られた視差 d と 3 次元環境中における対象物体の奥行き Dと高さ Z の関係について述べる．
先ず，座標系の設定を行なう (図 5.6参照)．3 次元ワールド 座標系の原点は相対的に低い位置に配置する HyperOmni Vision の光学系の原点とする．相対的に高い位置に配置する
HyperOmni Vision の光学系の原点は，3 次元ワールド 座標系ではカメラ間の基線長であp
る B を考慮して (0; 0; B ) の位置になる．奥行き D (= X 2 + Y 2 ) は HyperOmni Vision の双曲面ミラーの焦点とカメラレンズ中心を通る Z 軸から対象物体までの水平方向の距離とする．このとき，3 次元環境中の点 P (X; Y; Z ) を対象物体とすると，2.3節で述べた関係式(2.3,2.4) より全方位ステレオ画像対 Il ，Iuの各々に対して

 低い位置に配置した HyperOmni Vision では，Z= D tan+c(5:4)

 高い位置に配置した HyperOmni Vision では，
基線長 B を考慮して
Z = D tan+c+B0が成立する．
ただし， Z：実環境中での対象物体の高さ
D：実環境中での対象物体までの奥行き
B：カメラ間の基線長c：双曲面ミラーのパラメータ，：ミラー焦点と対象物体との伏角
0以上の関係より，奥行き Dはカメラ間の基線長 Bと 3 次元環境中における対象物体と下側の HyperOmni Vision のミラー焦点との伏角 ならびに上側でのミラー焦点との伏角 を用いて次のように表せる．
0

D

=

B

tan

0 tan

0

5.2. 縦視差による全方位ステレオ視41

D =X2 + Y2

Z

-α’

c

画像I u

p u(r2,θ)r2=r1-d

基線長 B

Z-α P(X,Y,Z)

c

Z
O
画像 I lp l(r1,θ)d

図 5.6: 3 次元ワールド 座標系の設定

5.2. 縦視差による全方位ステレオ視42

ここで，全方位ステレオ画像対 Il ，Iu 上での写像点を各 pl (r1 ;  )，pu (r2 ; ) とすると, ミ
ラー焦点との伏角 および は視差 d と注目画素の半径 r1を用いて以下の式で表される (式2.3,2.4参照)．
0(b2 + c2 ) sin(tan01 rf1 ) 0 2bc
0
1
= tan
(b2 0 c2 ) cos(tan01 f )r1

0= tan01(b2 + c2 ) sin(tan01 r1f0d ) 0 2bc(b2 0 c2 ) cos(tan01 r1f0d )ただし， b，c：双曲面ミラーのパラメータf：カメラの焦点距離
上式から奥行き Dは注目画素の半径 r1と視差 d から計算できることが分かる．また，奥行
き Dを求めることによって，高さ Z も式 (5.4) から求めることができる．

5.2.2

実験

以上で述べた全方位ステレオ視により，観測位置において全方位の 3 次元情報が獲得できることを確認する．さらに，得られた 3 次元情報の獲得結果から本手法が有効であることを示す．
実験に用いた画像の例を図 5.7に示す．入力には HyperOmni Vision Ver.2 を使用した．
図 5.7は照明条件一定のもとで実験室内を撮影したものである．図 5.7(a) が上側の全方位
画像で，図 5.7(b) が下側の全方位画像である．グレースケール 256 階調の画像で，画像サイズは 640 2 486 である．HyperOmni Vision 間のカメラの基線長は 242.0(mm) に設定している．
対応点探索を行なうに当たり，基準画像は下側の全方位画像 (図 5.7(b)) とする．この対応点探索には注目画素を中心にした 5 2 5 の矩形領域の探索窓を用いる．対応点探索の範囲は注目画素の位置における半径以下で画像中心方向にエピポーラ拘束の成立している放射線上のカメラ自身の写り込み部分を除いた全領域に設定している．
図 5.7に示した全方位ステレオ画像から，提案手法を用いて全方位での視差を求めた結果を図 5.8に示す．図 5.8は，得られた視差を基準画像である下側の全方位画像に対して，視差が大きいほど 輝度値が高く (画像上で明るいところほど輝度値が高いことを表している)なるように表示したものである．
図 5.8から分かるように，提案した探索手法により HyperOmni Vision を中心にして周囲360 度の全領域で視差が抽出できていることが分かる．対応づけの精度に関しては，定量的な評価は行なっていないが，各対象の相対的な位置関係を理解するには十分である．しかしながら，画像中で輝度，テクスチャの変化が少ない部分とエピポーラ線と同じ方向をもつエッジ部分において誤対応が生じている．
視差と 3 次元情報の関係を用いて，得られた視差から奥行きと高さを計算した結果を順に示す．

5.2. 縦視差による全方位ステレオ視

43

全方位で得られた視差から全方位での奥行きを計算した結果を図 5.9に示す．また，全方位の奥行き情報から，全方位の高さ情報を計算した結果を図 5.10に示す．図 5.8と同様に基
準画像である下側の全方位画像上に表示し，奥行きならびに高さの値が大きいほど輝度値が高くなるように表示している．
得られた全方位での 3 次元情報が，実際の 3 次元環境を理解する上で有用であることを示すために，以下に，全方位画像の一部を平面上に透視投影変換した画像 (通常のカメラで得られる画像) の形で同様に奥行きと高さを示す．この透視投影画像は，HyperOmni Visionの双曲面ミラー焦点の位置から，通常のカメラを用いて 3 次元環境中の対象を撮影した画像に相当する．図 5.11が図 5.7(b) の一部を平面上に透視投影変換した画像であり，図 5.12，
5.13がそれぞれ図 5.9，5.10の同じ部分を同様に平面上に透視投影変換した奥行き画像と高さ画像である．したがって，図 5.12，5.13は図 5.11に対する奥行きならびに高さを示している．これらの結果は，実際の 3 次元環境の状況に合致しており，提案手法により 3 次元情報が獲得できていることが分かる．
以上の結果から，提案した全方位ステレオ視により 3 次元環境全体を理解する上で必要となる対象物体までの全方位での奥行き情報のみならず全方位での高さ情報が獲得できていることが確認できる．

5.2.3

考察

実験により，全方位の 3 次元情報を獲得できることを確認し，本手法が有効であることを示した．本手法の問題点として以下の点があげられる．従来のステレオ視は，画像中で特徴の目立ったエッジ部分やテクスチャのはっきりした部分でしか正確な対応を求められない．また，画像中で同じような特徴を持った領域では，誤対応を生じることがある．実験結果から分かるように，全方位ステレオ視においても同様の傾向が確認できる．これらの問題を解決するために，注目領域だけでなく近傍領域の情報を考慮に入れた探索を行なうことなどが考えられる．
また，全方位ステレオ視に固有の問題として，以下の点が考えられる．全方位ステレオ
画像間において，3 次元環境中の注目対象は異なる大きさで写像される．そのために，注
目画素の位置での探索窓領域中に含まれる視野範囲と，対応画素の位置での窓内に含まれる視野範囲が異なる．この問題を解決するために，対応点探索を行なう際の探索窓の設定に関して検討していく必要があると考えている．

5.2.4

両眼ステレオ画像の作成

人工現実感などへの応用においては，人間が立体視することのできる通常の横方向視差を有する両眼ステレオ画像を提示する必要がある．5.2.1節で述べたように，全方位ステレ
オ視は通常の縦方向のステレオ視に相当する．このことから，得られた全方位の視差は縦方向の両眼視差に相当する．
図 5.14から分かるように，得られる奥行き Dを用いて，双曲面ミラーの焦点 OM から対象 P までの距離 L を計算することができる．このとき，両眼ステレオ画像を作成する際の5.2. 縦視差による全方位ステレオ視(a) 上側の全方位画像(b) 下側の全方位画像
図 5.7: 全方位ステレオ画像

44

5.2. 縦視差による全方位ステレオ視

図 5.8: 全方位視差画像

図 5.9: 全方位奥行き画像

図 5.10: 全方位高さ画像45

5.2. 縦視差による全方位ステレオ視図 5.11: 透視投影画像

図 5.12: 奥行き画像

図 5.13: 高さ画像

46

5.2. 縦視差による全方位ステレオ視47

両眼間隔を Bb ，焦点距離を fb ，両眼視差を dbとすると，L との間に式 (5.5) の関係が成り立つ．Bb ，fbを設定することで，作成したい両眼ステレオ画像の各対応画素での両眼視差dbを求めることができる．式 (5.5) を用いて，図 5.11の画像の各画素で求まった両眼視差を基に左右の両眼ステレオ画像を生成した例を図 5.15に示す．また，このときに設定したパラメータ値を表 5.1に示す．
d

ミラー焦点 OM

b= b b
B

f

(5.5)

L

Z
奥行き D
-α

c
原点

P(X,Y,Z)O
画像 I l注目点 p l(r1,θ)距離 L
焦点 OC :レンズ中心

図 5.14: ミラー焦点 OM と実対象 P との直線距離 L と奥行き Dの関係

表 5.1: 両眼ステレオ画像生成におけるパラメータの値
両眼ステレオ画像作成に用いたパラメータ値
両眼間隔 Bb
60.0 mm
焦点距離 fb
300.0 mm
このように，ユーザの視点方向での両眼ステレオ画像を作成することで，ユーザは 3 次
元環境の理解を行なう上で重要な観測対象の配置，形状などを知覚できる．

5.3. 全方位ハフ変換による３次元情報の獲得

48

図 5.15: 両眼視差を基に作成した両眼ステレオ画像

5.3

全方位ハフ変換による３次元情報の獲得

人工物が多い環境では垂直なエッジや水平なエッジなど線分エッジが多く存在し，環境を計測・認識する上で線分エッジの位置を計測することは重要である．一般に画像から線分エッジを検出する方法として Hough 変換 [24] があるが，従来の Hough 変換は標準レンズを取付けたカメラで撮像した一般の透視投影画像を対象としているものが大半であった．
本節では全方位画像のための Hough 変換手法並びに全方位 Hough 変換と移動視を用いた環境内のエッジの三次元再構築の方法について述べる．全方位画像に対し Hough 変換を行
なう上で Hough 空間の表現方法は精度，処理速度に大きく左右する．本節は高速でかつエッジ勾配を用いない全方位 Hough 変換の手法として立方体の Hough 空間を用いる方法について述べる．
本節ではまず提案した全方位 Hough 変換の方法について述べ，その Hough 空間として立方体が適していることを示し，次に HyperOmni Vision の入力画像に適用する際の問題と解決法について示す．また，全方位 Hough 変換と移動視を用いて，複数視点からのHyperOmni Vision の入力画像より環境中の線分の三次元再構築をする方法について述べる．

5.3.1
(a)

全方位 Hough 変換

全方位 Hough 変換の基本原理

ここでは，エッジ勾配を用いない全方位 Hough 変換の方法について述べる．
図 5.16のように視点を含むある平面上のすべての直線は全方位画像上では同一線上に投影される．同様に視点を通るある直線上のすべての点は全方位画像上では一点に投影される．
（ 図 5.17 ）5.3. 全方位ハフ変換による３次元情報の獲得

49

視点を含む平面は視点を原点とした場合，以下の式で表すことができる．

x + y + z =0
(ただし x2 + y2 + z2 = 1)
V x

V y

V z

V

V

V

(5:6)

これにより視点を含む平面をガウス球上の点 (Vx ; Vy ; Vz ) （ 平面の法線ベクトル ）で表現できる．
（ 図 5.16 ）また，視点を通る直線を含むすべての平面を同様に表現するとガウス球上の大円（球の中心を通る平面で切るとできる球面上の円）になる．
（ 図 5.17 ）つまり三次元環境中の直線が投影された全方位画像上の線はガウス球上の点で表現でき，全方位画像上の点はガウス球上の大円で表現できる．
三次元中の線分が投影された全方位画像上の線の上にあるすべての点をガウス球上の大円で表現すると，それらすべての大円はその三次元中の線分と視点を含む平面をガウス球上で表現した点で交わる．
（ 図 5.18 ）
よって，このガウス球を Hough 空間とし，全方位画像上のエッジの各点をガウス球上の大円に Hough 変換し頻度表を作成すれば視点と三次元環境中の線分を含む平面に対応するガウス球上の点でピークを示す．
したがって，この頻度表を作成した後，高いピークを持つガウス球上の点を検出し，検出されたガウス球上の点を (Vx ; Vy ; Vz ) として式（ 5.6 ）に代入すると，エッジと視点を含む平面の式を表すことになる．

(b)

全方位 Hough 空間の表現法(a)節では， Hough 空間をガウス球とした．しかし， Hough 変換では頻度表を作成する
ため Hough 空間を計算機のメモリ上に配列として持たなければならない．ここではガウ
ス球上の点を計算機のメモリ上で表現する方法について考える．
まず，ガウス球上の点を 図 5.19のようにガウス球上の直交座標で表す方法が考えられる．しかしこの方法は頻度表を３次元で持つ必要があるため，計算機上で頻度表を持つ方法に工夫が必要である．また，この表現法によりガウス球上の大円を表現すると以下の式
になる．
2
2
2
Vx x + Vy y + Vz z = 0; x + y + z = 1(5:7)
しかし，この式を x; y; zについて解き頻度表を作成することは困難である．
次に，ガウス球上の点を 図 5.20のように経度 ，緯度 の極座標で表す方法が考えられる．この方法は頻度表を計算機上では一つの２次元配列で持つことができる．また，この表現方法によりガウス球上の大円を表現すると以下の式になる．

x

V coscos+ Vy sincos + Vz sin = 0(5:8)

しかし，この式をと について解き，曲線を描くには非常に計算量がかかる．また，;のそれぞれを等間隔にくぎると図 5.20からわかるように，分解能はガウス球上で極に近い
ところが細かく赤道に近いところが粗くなり，Hough 空間の表現法としては分解能の偏りが大きい．

5.3. 全方位ハフ変換による３次元情報の獲得

50

全方位画像(ガウス球)
平面を表現した点(法線ベクトル)























 














 


























 視点

全方位画像(ガウス球)投影された線(大円)

同一平面上の線分

直線を表現した大円





































投影された点 















 視点
同一直線上の点視点を含む直線

線分と視点を含む平面

図 5.16: 平面上の線分の投影

図 5.17: 直線上の点の投影

三次元中の線分と視点を含む平面を表現した点投影された線上の点を表現した大円


































三次元中の線分 

































視点
投影された全方位画像上の線

全方位画像(ガウス球)

図 5.18: 大円の交点

5.3. 全方位ハフ変換による３次元情報の獲得

51

この極座標で表す方法に対して球面投影で表す方法 [25] がある．この方法は以下の式のように極座標の; を s; t で表す方法である．

= tan01 t=sp= =2 0 s2 + t2



(5:9)

この方法は極座標で表す方法に比べて分解能の偏りが少なくなるが，式がさらに複雑になり計算量がさらに大きくなる．
以上のようにガウス球上の点を直接座標で表したものは Hough 空間として適していな
い．しかし，ガウス球上の点は球の中心からの方向を決定できれば一意に定まる．よって球の中心からの方向を表現する方法が望ましい．
その方法として，ガウス球上の点の方向を 図 5.21のように円柱座標で表す方法が考えられる．この方法は頻度表を円柱の側面と上下二つの底面の３つの２次元配列で持つことができる．また，この表現方法によりガウス球上の大円を表現すると以下の式になる．

+ y+ z =0(円柱側面)x
x + y + z = 0( = 6 ) (円柱底面)

V cos
V x

V sin

V y

V z

V z

z

r

(5:10)

このとき，大円は円柱側面では正弦曲線になり，底面では直線になる．しかし，正弦曲線を描くには計算量がかかる．また，円柱側面のみを用いて計算できる場合はいいが，本論文で提案した全方位 Hough 変換のようにガウス球上のすべての点を使う手法の場合，側面と底面で式が違うため場合分けが必要になる．また，z ，xyを等間隔に区切ると図 5.21のように，底面と側面で表現法が違うため分解能に違いが出てしまう．
次に，ガウス球上の点を 図 5.22のように立方体上の直交座標で表す方法が考えられる．
この方法は頻度表は６つの２次元配列で持つことができる．また，この表現方法によりガ
ウス球上の大円を表現すると以下の式になる．

x + y + z =0

V x

V y

V z

(ただし (x; y; z ) は立方体上の点)(5:11)

このとき，大円は立方体の各面上では直線になり，立方体の各辺との交点を求めれば容易に立方体上で大円を描くことができる．また，立方体上の直交座標を X Y Z のそれぞれについて等間隔にくぎると分解能は場所により少し偏りはでるが極座標に比べずっと少ない．
次に，ガウス球上の点を 図 5.23のように正 20 面体で表す方法 [26] が考えられる．この方法は頻度表は 20 個の２次元配列で持つことができる．また，この表現方法によりガウス球上の大円を表現すると以下の式になる．

x + y + z =0

V x

V y

V z

(ただし (x; y; z ) は正 20 面体上の点)(5:12)

このとき，大円は正 20 面体の各面上では直線になり，正 20 面体の各辺との交点を求めれば正 20 面体上で大円を引くことができる．しかし，面が 20 個，辺が 30 本になり，さらに各面の座標系と xyz 座標系を直交させることができないため，立方体に比べ交点を求め

5.3. 全方位ハフ変換による３次元情報の獲得

52

る方法が複雑になる．また，各面が正三角形であるため画素を六角形にするなど配列の持ち方に工夫が必要である．しかし，ガウス球に最も近い正多面体であるため分解能の偏りは最も少ない．
以上の各表現法の特長を表 5.2にまとめる．一般にエッジ勾配を用いない Hough 変換は，
画像中の各エッジ点ごとに Hough 曲線を描くため計算量が多い．しかし，立方体上の直交座標を Hough 空間とした場合，その Hough 曲線は多くても六本の直線1になり，以上の各表現法の中で計算量が最も少ない．また，各表現法の中で分解能の偏りも小さいため，全方位 Hough 空間として立方体上の直交座標の表現法が最も適していると考えられる．
表 5.2: 各表現法の特長
座標系
直交座標
極座標
球面投影
円柱
立方体
20 面体

(c)

頻度表 計算量 分解能の偏り
3D
×
○
2D
×
×
2D
×
○
2D 2 3×△2D 2 6◎○
2D 2 20○◎多い × $ ◎ 少ない

HyperOmni Vision の入力画像における全方位 Hough 変換

HyperOmni Vision の入力画像について全方位 Hough 変換をする上で生じる問題について考える．
本手法の全方位 Hough 変換では HyperOmni Vision の入力画像から得られた各エッジ点を立方体の Hough 空間に大円として描く．だが，HyperOmni Vision の入力画像は 2.6.1節
でわかるように各画素において角度分解能が違う．そのため，各エッジ点をそのまま Hough
変換して頻度表を作ると偏りが出てしまう．よって，各エッジ点に角度分解能により重みをつけ Hough 変換をすることにする．その重みをここでは 図 5.24のように各画素の立体角とした．これにより，角度分解能の偏りによるエッジ検出の偏りが小さくなる．正確には大円を描く時に一つの大円の中でも各点で重みを変えなければならないが，それは計算量が非常に増えてしまうためここではしないことにする．
次に，HyperOmni Vision の入力画像だけでなくエッジ勾配を用いないすべての Hough
変換についていえることだが，環境の中でエッジが偏っているために検出されるエッジに
間違った偏りが出てしまうという問題がある．例えば，環境の中で水平方向に見える垂直
エッジが多いと逆に頻度表の上では水平エッジの値が大きくなる．
（ 図 5.25 ）そのため本来検出されるべき垂直エッジの値が小さくなってしまう．この問題は入力画像を全方位画像
1 実際は Hough 空間は球の半分で十分なため Hough 曲線は多くても３本になる．

5.3. 全方位ハフ変換による３次元情報の獲得

53
全方位画像(ガウス球)

全方位画像(ガウス球)
Vxx+Vyy+Vzz=0x2+y2+z2=1

Vxcosθcosγ+ Vysinθcosγ+Vzsinγ=0

Z















(x,y,z) 


























X
Y
 





 視点





































































(θ,γ) 




















































γ


































θ




























視点










図 5.19: ガウス球上の直交座標

図 5.20: 極座標

Vxx+ Vyy+Vzz=0 (z=± r)

Vxx+Vyy+Vzz=0(ただし(x,y,z)は立方体上の点)zVxcosθ+ Vysinθ+Vzz=0
y 










x




















(θ,z) 







z














θ 















 視点







y
x
z
y
z
x
y
視点
x
(y,z)

図 5.21: 円柱座標

図 5.22: 立方体座標

Vxx+ Vyy+Vzz=0(ただし(x,y,z)は20面体上の点)
z

u
v

s
x

y

t

視点
(s,t)

図 5.23: 正 20 面体座標

5.3. 全方位ハフ変換による３次元情報の獲得

54とする Hough 変換に顕著に現れる．この問題を解決するため，頻度表に以下の式で表されるフィルタ（ DOG フィルタ）をかけることにより，周囲に比べて値が大きいところが検出されるようにした．これにより検出されるエッジに間違った偏りが小さくなった．

) = 0:51G(x; y; 0:5) 0 G(x; y; 5)x2 +y2
1
G(x; y;  )= 2
2 exp(0 2 2 )(05  x  5; 05  y  5)(

F ilter x; y(5:13)

これらの処理を行なった頻度表の中で極大値を持つ点を検出されたエッジとした．



























 視点










各画素の立体角HyperOmni Vision 入力画像

図 5.24: 各画素の立体角

水平エッジの値が大きくなる原因の点










 



























 



 









視点










短い水平エッジ
垂直エッジ
全方位画像(ガウス球)

図 5.25: エッジの間違った偏り5.3. 全方位ハフ変換による３次元情報の獲得

5.3.2

55

線分の三次元再構築

5.3.1節で，１枚の HyperOmni Vision の入力画像から三次元環境中の線分と視点を含む平面を出すことができた．ここでは移動視により HyperOmni Vision の入力画像から３次
元環境中の線分を再構築する方法について述べる．
図 5.26のように異なる視点で HyperOmni Vision により画像をとり，全方位 Hough 変
換によりそれぞれの視点と環境中の線分を含む平面を計算する．さらにそれぞれの視点の位置がわかっていれば，求めた平面の交線として線分を含んだ直線を計算できる．しかし，２つの視点の画像からでは対応問題が生じるため，対応の検証にもう１つの視点の画像を用いることにする．
以上により３次元環境中の線分を含む直線を計算できる．
この直線を計算に使用した３枚の HyperOmni Vision の画像に投影し，Canny オペレー
タにより抽出されたエッジ点と重なるところのみを線分とする．３枚すべてにエッジ点がある場合にそこを線分の一部とし，いずれかの画像でエッジ点が抽出されていなければそこは線分としない．
以上により HyperOmni Vision の３枚の画像から３次元環境中の線分を再構築することができる．

２つの視点から線分を計算
対応の検証のための視点計算された線分
図 5.26: 線分の三次元再構築の基本原理

5.3. 全方位ハフ変換による３次元情報の獲得

5.3.3
(a)

56

実験

全方位 Hough 変換の実験

図 5.27から 図 5.32に提案した全方位 Hough 変換の実験結果を示す．図 5.27が HyperOmni
Vision から得られた入力画像である．図 5.27に Canny オペレータを行ないエッジ点を抽出した結果が 図 5.28である．図 5.28の抽出された各エッジ点に立体角で重みをつけ 20122012201に分割した立方体の Hough 空間に Hough 変換して頻度表を作成したものが図 5.29である．
この図は立方体の面のうち上の面を除く５面を開いて示したものである．実際は Hough 変換の結果は向かい合う面では対称の結果が得られるため，立方体の面のうち３面のみで計算している．これを見てもわかるように中心部の値が大きく，この結果より値の大きなエッジを検出すると間違った偏りが出ることがわかる．
図 5.29に式（ 5.13 ）のフィルタをかけた結果が図 5.30である．この結果からわかるように値の偏りがなくなっている．
図 5.30で極大値を持つ点のうち値の大きなもの 15 個を検出したものが 図 5.31である．
これにより線分と視点を含む平面を表現したガウス球上の点が得られた．また，図 5.28を立方体の５面に同様に変換した画像上に，図 5.31から得られたエッジをプロットしたもの
が 図 5.32である．この結果からも各エッジを間違った偏りがなく検出できた．
以上の計算は SGI 社の ONYX（ R4000 1CPU 使用）上で行なった．各計算時間は Hough
変換に約 100 秒，フィルタ処理に約 1000 秒，極大値を求めるのに約 80 秒の時間がかかった．Hough 変換では直線の描画，フィルタ処理はコンボリューションの計算がほとんどであるため画像処理装置などハード ウェアを用いればどちらの処理も実時間で行なうことが可能であると考える．

(b)

線分の三次元再構築の実験

図 5.33のような室内環境で HyperOmni Vision を動かしながら 16 枚の画像をとった．このとき，16 個の視点の位置は既知とした．16 枚の画像のうち 2,3,4 枚目から Hough 変換により検出された線分を含む平面が図 5.34〜図 5.36である．また，それらの結果を用いて線分を計算した結果が図 5.37〜図 5.41で各々異なる視点から見た結果である．それぞれの結果の視点は 図 5.33に示す．また，これらの図において高さ 0 にある点線は HyperOmni
Vision の軌跡であり，高さ0100 が床面の高さである．この結果から，エレベータにある垂直な線分，壁と床の境にある水平な線分，案内版にあるななめの線分が３次元再構築されていることがわかる．
次に，1,2,3 枚目より求めた線分から 14，15，16 枚目より求められた線分まですべての線分を同じ空間にプロットしたものが図 5.42〜図 5.46である．図 5.43より垂直な線分が床面（高さ0100 ）から視点（高さ 0 ）より少し高いところまで出ているのがわかり，さらに水平な線分が床面に多く出ているのがわかる．また，高さ0200 辺りから下に天井にある蛍光灯の映り込みが検出されているのがわかる．そして，HyperOmni Vision を動かした
線（ベースライン ）と平行に近い線分は計測原理のためど うしても誤差がでるがかなり正確に計測できているのがわかる．

5.3. 全方位ハフ変換による３次元情報の獲得

57

図 5.27: 入力画像

図 5.28: 抽出されたエッジ点

図 5.29: Hough 変換により作成された頻度表

図 5.30: フィルタ処理の結果

図 5.31: 検出された極大値

図 5.32: 検出されたエッジ

5.3. 全方位ハフ変換による３次元情報の獲得

58

この実験により， HyperOmni Vision と全方位 Hough 変換を用いることにより，全方位の線分の３次元再構築が可能であることを示した．
センサのコース
垂直エッジ
水平エッジ
案内板 (斜めのエッジを含む)
エレベータ

電灯
視点3
プリンター室
階段

曲線
視点2,4

応接セット
W.C.

窓

視点1
視点5

図 5.33: 実験環境

5.3.4

考察

本節では高速でエッジ勾配を利用しない全方位 Hough 変換として 立方体の Hough 空間を提案した．また，提案した全方位 Hough 変換を HyperOmni Vision の入力画像に適用
し実験を行ない，本手法の有効性を示した．また，複数視点からの HyperOmni Vision の入力画像より移動視に基づき環境中の線分の三次元再構築をする方法を示し，実験により本手法が有効であることを確認した．これにより，本手法を用いロボットが移動しながら人工物が多い環境全体を計測し，３次元構造を復元できるものと考える．
今後の課題としては３枚の画像から線分を計測するのではなく時系列の画像から線分を計算することにより，さらにロバストな結果を得ることが考えられる．また，線分エッジだ
けでなく三眼視の原理を用いて曲線を含むエッジを計測することも考えられる．また，計測された線分より参考文献 [27] の方法などを用いて面同定をすることが考えられる．

5.3. 全方位ハフ変換による３次元情報の獲得

図 5.34: ２枚目より検出されたエッジ

図 5.35: ３枚目より検出されたエッジ

図 5.36: ４枚目より検出されたエッジ

59

5.3. 全方位ハフ変換による３次元情報の獲得

60

100
0
0
100
0
-100
-200
-300
-750

0

-100
0
-200
0
-300
00
-1000
-750
-500
-250
250

-500

0

-500

-500
-250
0

-1000
250

図 5.37:

2,3,4 枚目より計算され た 線分 図 5.38: 2,3,4 枚目より計算され た 線分
（ 視点１）（ 視点２）
100
0
-100
-200
-300

-750

0

-500
-250
0
-500
0

-1000

-500

0

250
1
100
0
-100
-1
-200
-20
-300
-30

-1000
0
-750

図 5.39:

-500

-250

0

250

2,3,4 枚目より計算され た 線分 図 5.40: 2,3,4 枚目より計算され た 線分
（ 視点３）（ 視点４）

0

-500
500

-1000
0

-750

図 5.41:

-500

-250

0

250

100
0
-100
-200
-300

2,3,4 枚目より計算され た 線分
（ 視点５）

5.3. 全方位ハフ変換による３次元情報の獲得

61

100
0
0
100
0
-100
-200
-300
-750

0

-100
0
-200
0
-300
00
-1000
-750
-500
-250
250

-500

0

-500

-500
-250
0

-1000
250

図 5.42: 計算された線分（視点１）

図 5.43: 計算された線分（視点２）

100
0
-100
-200
-300

-750

0

-500
-250
0
-500
0

-1000

-500

0

250
1
100
0
-100
-1
-200
-20
-300
-30

-1000
0
-750

-500

-250

0

250

図 5.44: 計算された線分（視点３）

0

-500
500

-1000
0

-750

-500

-250

0

250

100
0
-100
-200
-300

図 5.46: 計算された線分（視点５）図 5.45: 計算された線分（視点４）Chapter 6
HyperOmni Vision による経路誘導と障害物回避
本章では実際に HyperOmni Vision を用いた自律的ナビゲーションの一例として動的輪郭モデルを用いた経路誘導について述べる．
移動ロボットが未知環境を自律的に移動するためには，障害物や壁，他の移動物体等との関係から総合的に判断し，安全に目的地に移動する必要があり，視覚センサは，これらの行動を行う上で必要な外界情報を獲得する入力手段として有望視されている．
本手法では，建物内の廊下や市街地の道路といった経路（床面にはテクスチャはなく一様な明るさを持つ環境）を対象に移動環境の持つ性質と HyperOmni Vision の持つ光学的な特性を活用することで，障害物を回避し経路誘導を行う．実際には，動的輪郭モデルを用い，全方位画像から移動可能空間を検出，検出された領域の形状からロボットの走行制
御を行う．

6.1

従来の視覚誘導

一般に，視覚誘導を行うためには，周りの物体との衝突検知・回避，経路に沿った誘導，
環境内での自己位置の同定などの機能を実現する必要があり，従来より，様々な方法が提案されている．例えば，CMU では自律走行を行うためにニューラルネットを用い，走行路の画像面への投影パターンと走行制御の関係を記憶することで，走行制御を行う方法を提案している [28]．また Sandini ら [29] は，ロボットの両側面（ 壁）を流れるオプティカル
フローに着目して，両壁からの距離が同じになるように誘導を行う方法を提案している．
また衝突回避の方法としては，地面を仮定し逆透視変換の方法を利用する方法 [23] やオ
プティカルフローや Snakes モデルなどから得られる Divergence と衝突時間を利用した方法などが提案されている [30]．八木らも，移動ロボットの誘導に適した全方位視覚センサ
を用い，ロボット移動に伴う観測エッジの移動軌跡から，衝突危険性を評価，回避行動を行う方法を提案した [31]．
これらの方法は，道路，側壁の射影パターンの性質を利用しているだけで，特別な知識は

62

6.2. システム構成

63

利用していない特長を持つ．特に，未知環境や環境変化がある場所を移動する場合は，特別な事前知識を必要としない方法が望ましい．

6.2 システム構成
本手法で用いたシステム構成の概要を図 6.1に示す．本システムは，移動ロボット Nomad200（図 6.2 ）・RadioEthernet などからなる移動ロボット部，HyperOmni Vision Ver.1・
画像送信機からなる全方位視覚部そして画像受信機・画像処理プロセッサ・Work Station
等からなるデータ処理部から構成される．全方位視覚センサ HyperOmni Vision で撮像された画像は，画像送信機により，UHF 無線で地上部の画像処理プロセッサ ITI150/40 に送信され，640 × 480 画素各点 8bit のディジタル画像に変換される．この視覚情報を基に，ロボットの制御は RadioEthernet で遠隔接続された Work Station 上の制御用プログラム
Nserver で行われる．
HyperOmni Vison
全
方
位
視
覚
部

データ処理部

画像受信機

32bit
Work
Station

移
動
ロ
ボ
ッ
ト
部

Radio
Ethernet
BridgeNomad200

図 6.1: システム構成

図 6.2: Nomad200

また本システムでは，実ロボットシステムの環境を模擬したシミュレーション環境を持
ち，環境の違いに対する評価などをシミュレーション環境を用いることで用意に行うこともできる．
図 6.3が，実ロボットシステム（図 6.3(a) ）と，シミュレーション環境（図 6.3(b) ）のシ
ステム構成である．
本シミュレータでは，仮想環境をワ−クステ−ション上に構築し，環境内のロボットの位置で得られる HyperOmni Vision からの画像を作成することができる．またロボット制
御用プログラム Nserver も，元々ロボットシミュレ−タを兼ねているため，ロボットへの6.3. スネークモデルを用いた経路誘導

64

環境情報
(map)

環境情報

HyperOmniVision

Nomad200

HyperOmniVision
simulator

Nserver(Nomad200
simulator)

Nserver

本システム

本システム

WorkStation

WorkStation

(a)

(b)

図 6.3: システム構成（ a:実環境 b:シミュレータ）移動命令，ロボットからのエンコ−ダ情報は Nserver のシミュレ−ションモ−ドを用いることで．模擬できる．

6.3 スネークモデルを用いた経路誘導
HyperOmni Vision の光学特性から，入力画像には，以下のような射影特性がある．図
6.4は，本学校内の廊下で撮像した入力画像の一例である．

 全方位の情報が一つの画像で得られる．
 物体方位は，その物体の画像面上の写像の画像中心からの方位として直接現れる．
 対象物体の高さが一定の場合，ロボットからの距離は，その物体の射影位置と画像中
心との長さに比例する．即ち，図 6.4からもわかるようにロボット自身は画像中心近傍に射影され，またロボットの側方より足元のほうが画像の中で中心近くに写る．
以上より，画像中においてロボットの移動可能な空間（床領域）を考えた場合，図 6.4のようにロボット自身の写像を包む閉領域として現れる．そこで，本手法では，この射影特性を利用し，局所ノイズに強い輪郭抽出方法であるスネークモデルを用い，ロボットの移
動可能空間の検出を行う．

6.4. スネークモデル

65

図 6.4: HyperOmni Vision の入力画像

6.4 スネークモデル
スネークモデルは，Kass ら [32] の提案したエネルギー最小化原理に基づく動的輪郭モデ
ルで，前方の物体（車）などとの衝突発見，人などの追跡などの目的に利用される手法である．一般にスネークモデルは，変形可能なスプライン曲線で，線分やエッジのような画像の特長によって形状が制御される．実際には，いくつかのエネルギー項から構成されており（式 6.1 ），それらのエネルギーを最小化していくことによって対象物体の輪郭に収束していく．

snake (v(s)) =

E

Z1
0

(Eint (v (s)) + Eext (v (s)))ds(6.1)（ v (s) は輪郭線の位置ベクトル ）スネークモデル自身の曲線の持つエネルギーを内部エネルギー，画像の特長やその他の作用によって外部より曲線を制御するエネルギーを外部エネルギーと呼ぶ．内部エネルギーは曲線の滑らかさなどの拘束力を生じ，スネークモデルの形状により決定される．外部エ
ネルギーは画像中のエッジなどの特長へスネークモデルを引きつける力を生じさせる．ス
ネークモデルは，従来の輪郭抽出法に比べてノイズに強く，滑らかに連続した輪郭線が得られる特長を持つ．

6.5

移動可能領域の発見

本手法では，画像中心が必ず移動可能空間に含まれるなどの射影の性質がある．そこで本手法では，センサの性質を考慮し，さらに計算コストも考慮し，以下に示す内部，外部
エネルギーを用いた．

6.5. 移動可能領域の発見

66

内部エネルギーは，３つのエネルギーからなり．曲線の滑らかさを仮定して，滑らかでないと大きくなるエネルギー（以下 int1 ），閉曲線が楕円であると仮定して，現在の閉曲線から最小２乗近似計算される楕円との差に比例するエネルギー（ 以下 int2 ），連続画像
中での閉曲線の位置の変化が微小であるとして，前回の収束位置との差に比例するエネル
ギー（以下 int3 ）の３つである．具体的には，図 6.5に示すように，int1 は両隣のコント
ロールポイントを結ぶ直線と，自身の移動できる直線との交点位置との差（すなわち，3 点
が 1 直線上にあればエネルギーは 0 ），int2 は全コントロールポイントが，楕円の二次元での一般式 ax2 + by 2 + cxy + dx + ey + f = 0 を満たすと仮定して，最小２乗近似計算して求められる楕円の輪郭位置との差である．
前節でも述べたように経路のような環境では，射影される移動可能領域は，経路に沿った長円状の形状となるため，従来のような均一な形状変化だけでなく，楕円のように軸を持つような形状をモデルとして用いた．最後に int3 は前フレームでの，同一方向のコント
ロールポイントの収束位置との差である．また，外部エネルギーには，画像における輝度の一次微分の大きさを用いた．なお一次微分には sobel オペレータを用いた．
床面の写像

コントロールポイント
ロボットの写像
内部エネルギー
int1

内部エネルギー
int2

図 6.5: 内部エネルギー
また画像の特長から，Snakes の探索方向を次のように決める．

 画像中心を原点とした極座標を用いる．
 コントロール・ポイントは一定角度毎に全方位に放射方向にのみ動く．
 各点の初期位置はロボット自身の写像の周りとする．

6.6. ロボット の走行制御

67

そして，次式の条件式を収束情念とすることで移動可能空間を決定する．

ext ext( ( )) + int1 int1 ( ( ))+ int2 int2 ( ( )) + int3 int3 ( ( ))
w

w

E

v s

w

E

v s

E

v s

w

E

v s

< E

threshold(6:2)(v (s) は位置ベクトル

ext int1 int2 int3は重み係数
thresholdは定数)

w

;w

;w

;w

E

6.6 ロボット の走行制御検出された床面領域情報を用い，ロボットの経路に沿った走行制御を行う．
分岐路のない道で構成された環境でのロボットの移動を考える．図 6.7(1) のようにまっ
すぐな道の中心にロボットがあった場合の移動を考える．HyperOmni Vision より得られる
画像は図 6.7(2) のように経路に沿った方向に検出された領域は，対称系となる．一方，図6.8(1) のようにロボットの位置が道の中心から少しずれた場合，図 6.8(2) のように床面領域の対称性がくずれる．即ち，経路の中心を走行するようにロボットを制御するためには，検出された領域が対象となるような行動を行えばよい．
そこで本手法では，経路方向の対称性を評価するために検出領域の重心位置と重心点周りの慣性主軸の情報を利用する（図 6.6 ）．

慣性主軸

切り出された領域の重心

図 6.6: 慣性主軸と領域の重心
即ち，図 6.7(1) の例では，経路方向は矢印の方向となり，この方向への走行は，慣性主軸の方向と一致する．また図 6.8(2) の場合では，丁度ロボットがよった方向の床領域が狭くなるため，重心位置は，その逆方向により，また移動したい方向は床面領域の慣性主軸と直交する方向の成分を持つようになる．

6.7. 実験

68

その他，図 6.9(1) のような曲り角，図 6.10(1) のように障害物がある場合でも，図 6.9(2)，6.10(2) のように曲がり角や障害物により検出領域の対称性がくずれることを利用し，慣性
主軸方向成分と直交方向成分を移動方向とすることで障害物回避が可能となる．
即ち，検出された領域の慣性主軸と重心位置を制御パラメータとすることでロボットの経路誘導を行うことができる．
具体的には，移動方向は，次式に示すロボットの自己位置から床面領域の重心へのベク
トルの慣性主軸と直交する方向成分 dg と，領域の長軸方向のベクトル di ，壁からの斥力ベ
クトル dr の重み付き合成ベクトル dsの方向で表す．wi ; wg ; wrは重み係数である．
d6.7

s= i i+ g g+ r r
w d

w d

w d

(6:3)

実験

提案手法の評価のために，シミュレーション実験並びに実際のロボットを用いた実環境
内での実験を行った．
図 6.11,6.12は，ロボットが障害物を回避する場合と，直角の曲り角に沿って移動する場
合についてのシミュレーション実験結果である．シミュレーションで用いたセンサのパラ
メータは，実際の全方位視覚センサと同じ値である．またスネークにおけるコントロールポ
イントは，全周 3 度毎に全 120 点とし，int1,int2,int3 の重み係数および閾値は，各々120，
1，1，580 とした．これらの値は，すべて実実験で用いた値と同じである．
なお，このシミュレータでは，センサからの画像はノイズのない状態を想定している．床面が正しく得られたときの移動方向の決定方法の検証を行うのが本実験の目的である．図
中の丸がロボットの軌跡，塗りつぶされているのが最終位置である．直角の曲がり角に沿って移動する場合は，特に検出領域の形状が直進路と異なる場合であるが，図のように問題なく経路誘導を行うことができている．
次に障害物を含む場合について，実環境内で実験を行った結果を以下に示す．実験環境
は，本学内の廊下（図 6.13 ）で，約 10m 弱の経路に複数の障害物を設置した．ロボットの移動速度は 1inch/sec とした．計算サイクルは 8sec である．
図 6.14は，図 6.4の画像に対するスネークによる移動可能空間検出結果である．求められた床面領域の境界と慣性主軸を元画像に重ねて表示している．
図 6.15は，本手法を用いロボット誘導を行った時のロボットの移動経路である．複数の障害物があるが，回避しながら経路を誘導することができた．図 6.14にも現れているが，実環境中では，ライトの映り込みの影響で床面領域とならなかったものの，長軸等の特徴量はその影響を大きく受けなかった．

6.7. 実験69

図 6.7: (1) 廊下での移動 (2)HyperOmni Vision の画像（道の真ん中）

図 6.8: (1) 廊下での移動 (2)HyperOmni Vision の画像（道の脇）6.7. 実験70

図 6.9: (1) 廊下での移動 (2)HyperOmni Vision の画像（曲り角）










図 6.10: (1) 廊下での移動 (2)HyperOmni Vision の画像（障害物あり）

6.7. 実験71

図 6.11: 障害物がある場合

図 6.12: 直角の曲り角の場合

6.7. 実験

72

9.2m

2.0m

図 6.13: 実験環境

図 6.14: Snakes を用いた床面の切り出し6.7. 実験

73

ロボット
初期位置

図 6.15: ロボットの移動経路

6.8. 考察

6.8

74

考察

本章では，建物内の廊下や市街地の道路といった経路を対象に移動環境の持つ性質と全方位視覚センサ HyperOmni Vision の持つ光学的な特性を活用することで，障害物を回避
し経路誘導を行う方法について述べた．
シミュレーションと実環境双方の実験から，本手法の有用性が示せた．しかし，スネー
クモデルでは，複数のエネルギーの重み付き総和で表現されるため，実際にはパラメータ・
チューニングの問題があると考えられる．特に床面との境界が曖昧な場合，ただしい移動
可能空間が検出されるとは限らない．従って，画像の質に合わせたパラメータ調整機能を持つ必要があり，今後の課題とする．
また実際の道路環境では，横断歩道や停止線などの標識が路面上にあるため，現状のよ
うに外部エネルギーとして輝度値のみを利用していたのでは，適用できない場合がある．
従って，高さ情報を持つ特長をエネルギーとして含める必要があると考える．

Chapter 7
HyperOmni Vision による案内ロボットシステム
本章では HyperOmni Vision を搭載した自律移動ロボットのアプリケーションの一例を示す．
ホームロボットや介護ロボット，案内ロボットなど 人間が生活する空間で人間と共存するロボットのように実世界を意識した場合，環境内には，構造物だけでなく人間が存在する．従って，人間を含む環境内を対象とした移動ロボットは，単に環境に対する位置関係を把握するだけではなく，人間−環境−ロボット三者間の関係を考慮に入れた観測，並びに人との協調行動を行なわなくてはならない．そのためには，人を移動物体として扱うだ
けでなく，ロボットが人の意図を理解することが必要不可欠な機能として要求される．ロ
ボット（計算機）による人間の意図理解に関する研究としては，視覚情報からの人のジェ
スチャ認識や表情認識や音声情報からの話者の行動理解に関する研究などがあるが，実世界にロボットが使われることを考慮すると，人間とロボット間の関係だけでなく，本来，人間−環境−ロボット三者間の関係を考慮する必要がある．
本手法では，人間−環境−ロボット三者間の関係に重点を置き，人間の意図をロボッ
トの行動の中から理解する自律移動ロボットシステムの構築を目的とした．具体的には，HyperOmini Vision を搭載した自立移動ロボット Nomad200 が，美術館のような建物内に絵などのパネルが複数かかっている環境において，人間とともに歩き回り，ユーザの希望するパネルを推定する案内ロボットシステムを構築した．

7.1 システム構成
本システムのハードウェア構成は 6章で使用したものである．ただし，移動ロボット Nomad200 は，上部に超音波センサ，下部に赤外線センサを各々16 個持っており，ロボットの回りの距離情報を得ることができる．本手法ではこの距離情報も利用することにした．

75

7.2. 案内ロボットシステム

7.2

76

案内ロボットシステム

人間とロボットの共存を考えた場合，人間−環境−ロボット間の関係を意識したロボットシステム造りが必要となる．本手法では，人間−環境−ロボット三者間の観測とロボッ
トの行動からユーザの意図を理解する．具体的には，ユーザとロボット間の距離を一定に保った定間隔動作をロボットが能動的に行うことで，ユーザの行動をロボットの行動として扱い，行動の変化からユーザが希望する説明内容を察知し，案内ロボットはその内容についての説明を行う．以下，実際に構築した案内ロボットシステムの詳細について述べる．

7.2.1

前提条件

本手法では，環境，移動ロボット，ユーザに対して以下のような前提条件を置く．

 ロボットは床面が水平で壁や柱が垂直に立っている室内等の人工環境を移動する．
 ロボットは，予め環境内の垂直エッジ情報，サブゴール位置，ロボットの初期位置からなる環境地図を持っている．
 初期状態で環境内に動物体は存在しない．ユーザは後から環境に入り，案内を受ける．

7.2.2

処理の流れ

本システムの処理の流れを図 7.1に示す．当初，ロボットは初期位置で待機している．この状態でユーザとなる人間が環境内に入ってくると，入力画像と背景画像との差分を取る
事により，人物を発見する．この発見された人物をユーザとして案内を行う．
本システムでは，環境−人−ロボットの三者間の関係を扱うことを特徴とする．具体的には，環境とロボットの関係は，予め与えられた環境マップと入力画像との対応付けを行うことで環境に対するロボットの自己位置の同定を行う．人とロボットの関係では，上記の発見されたユーザ領域を時系列間で追跡し，超音波センサから得られる距離情報と合わせることで，ユーザとロボット間の距離を一定に保った動作をロボットは行う．そして，定間隔行動を行うことで，人の行動をロボットの動作変化としてとらえる．
そして環境と人との関係は，上記の人ーロボット，環境−ロボットの両関係から，ロボットを介して記述することができる．例えば，あるパネルがある場所の近辺でユーザが立ち止まった場合，ロボットの移動速度の減少とパネル（環境）に対するロボットの位置関係から，ユーザがそのパネルに興味をしめしているのではないかという予測を行うことができる．以下，各処理内容について説明する．

(a)

人物の発見

前提条件より，図 7.2のように，未知移動物体のない初期状態の輝度画像を記録しておき，現在の輝度画像との差分を取る．人間が環境内に入ってくると，人物領域のみが差分の結果としてあらわれる．２値化して差分領域の重心を求めることで画像中での人物の位

7.2. 案内ロボットシステム

77

人物の抽出

人物の方位角抽出

自己位置同定人物追跡と協調動作

サブゴール判断と説明
図 7.1: 処理の流れ置を推定する．次に重心を中心とする人物領域の面積に比例した大きさの正方形領域について，輝度・色相・彩度の色情報を抽出する．
以上の処理をユーザが近づいてくる間，くり返し継続して行い，計測された各色情報を累積加算し，輝度・色相・彩度のヒストグラムを作成する．そして頻度の高い（所定のしきい値以上の）特徴をユーザを表す特徴として，人物追跡のため色テンプレートとする．

(b)

人物の方位角抽出

移動中にロボットから見て人物がどの方位にいるかは，全方位視覚センサの特徴により，
画像中で人物が中心からどの方位に見えるかを調べればよい.
具体的には，図 7.3に示すように，前節で得られた色テンプレートにより入力画像を２値化し，方位角を求める。１つの要素ではノイズの影響を受けやすく，人物の方位を正確に抽出することが困難である．そこで，色相・彩度の２要素をそれぞれについて２値化しAND を取る．こうすることで，ノイズを防ぐことが出来る。さらに，得られた２値化画像の中で面積がある程度以上の領域のみの重心点を求めて方位角の抽出を行うことで，確実に人物の重心点を求める．得られた画像の画像中心を原点とした重心点を (Xm ; Ym ) とすると，全方位視覚の性質により，人物方向は，
tan

=

Y

m
m

X

(7:1)

7.2. 案内ロボットシステム

78

初期画像

人物を含む画像

差分
二値化
色情報を抽出図 7.2: 人物の発見

7.2. 案内ロボットシステム

79

で表わすことができる．

(c)

環境に対する自己位置の同定

ロボットのエンコーダから大まかな移動量はわかるが正確にはわからない．そこで自己位置の同定には環境内の垂直エッジを用いる．予め作られた環境地図と観測された垂直エッジとを対応付けることで自己位置の同定を行う．
まず，あらかじめ与えられた環境マップと大まかな移動量から観測されるエッジ方位が予測できる．次に入力画像から得られるエッジの方位角と環境マップから得られた予想方位角との比較により対応位置を推定する．環境と対応付いたエッジからロボットの自己位置を同定する．また，対応が得られなかったエッジは未知物体として検出し環境マップに登録する．なお，詳細は参考文献を参照されたい [9]．

(d)

人物追跡と協調動作-定間隔動作-

本手法では，HyperOmni Vision からの色情報並びに方位情報，超音波センサと赤外線センサからの距離情報を融合することで，人物の追跡を行う．
HyperOmni Vision は，(a)節の方法により人物領域の色情報を切り出し，その色情報の領域を追跡することで，ロボットが移動しながらでも，人物の方向を抽出することが容易に行えるが，HyperOmni Vision は通常の単眼カメラと同様に，相対的に移動している場
合，スケールファクタがないため，正確な距離の計測は困難である．一方，環境にも依存するが一般に，赤外線センサは近距離を測定するのに適しており，超音波センサは数メー
トルから 10 メートル程度の中距離を測定するのに適している．即ち，各々可観測範囲は異なるが超音波センサ，赤外線センサは能動的に対象までの距離情報を獲得できる利点がある．しかし，超音波センサ，赤外線センサ共，距離計測した対象が何であるかということは判らない．そこで，性質の異なる複数のセンサを用い，それぞれのセンサの得意とする情報を融合することで，より確実で安定した人間の追跡を行う．つまり，視覚センサの色情報から人物の方位を抽出し，距離センサで人物までの距離や周囲環境の距離を測定し，これらのセンサ情報の融合により，人物の追跡を安定に行う．
具体的には，(b)節で求められた人物の方位角から，現在のロボットの進行方向との角度差を求める．次に，ロボットの進行方向に対し左右 60 度以内に人物が観測されるようにロボットは旋回行動を行う．この旋回動作時には，環境中の障害物との干渉チェックのためにロボットの回りの超音波，赤外線両センサの距離情報を利用する．特に，赤外線センサの値は非常に近い距離しか検出できないので，反応があれば衝突の危険があると判断し，回避動作を行う．以上の行動により，目標人物が進行方向に対して左右 60 度以内に観測できればロボットは人物方向に前進し，一定間隔の動作に入る．
具体的には，Nomad の運動は，前進速度と回転速度により定義され，図 7.4に示すように，前進速度は，最大ロボット移動速度に距離センサからの距離情報を 0 から 1 までに正規化したセンサ値と人物方位角と進行方向の角度差とにより式 7.2で定義する．また図 7.5に示すように回転速度は，最大回転速度に人物方位角と進行方向の角度差と距離センサの7.2. 案内ロボットシステム

80

入力画像

色テンプレートによる二値化
彩度

色相

AND

重心の方向を算出
図 7.3: 人物方向の算出

7.3. 実験81

情報 を掛け合わせた式 7.3で表現する．速度がプラスなら左回り，マイナスなら右回りとなる．左右の距離センサの情報は，旋回時の衝突危険性の評価を行っている．
前進速度 = 最大速度 2 cos 2 センサ値8>
<   015 度なら右回りに最大速度
回転速度 =
015 <  < +15 度なら最大速度 2 =15 2>: 15 度  なら左回りに最大速度(7.2)

2 sin

(7.3)

以上の処理を行い，ロボットはユーザとの間隔を一定に保った定間隔動作を実現し，定間隔動作時のロボットの移動速度の変化を観測することで，ユーザの行動を理解する．

(e) サブゴールの判断と説明
一般に，環境内で絵画等が展示されている場所では，人間は興味があれば立ち止まるし，興味がない場合は，通り過ぎる．即ち，人の歩き方の変化（減速，停止）は，人間の周囲環境に対する興味度を知るために手がかりとなる．本節では，人間と環境との観察の一例
として，ロボットの速度変化を観測することで，人間の興味が環境内のどの部分にあるのかを推定する方法について述べる．
本システムでは，ロボットと人物間の距離を一定に保つ定間隔動作を行っている．従ってロボットが人物を追跡する際，人物に近づくにつれて両者の相対移動速度は小さくなり，
最終的にはロボットは一定間隔を保ちながら人物を追跡しようとする．即ち，この定間隔
動作は，安全距離を保った走行だけでなく，ロボットの移動速度が人間の移動速度となる
ので，人間の歩き方（ここでは歩行速度）の変化は，ロボットの移動速度の変化を観察することで知ることができる．例えば，サブゴールの近辺で人物が立ち止まっていれば，そのサブゴールに対し，興味を示していると推察し，ロボットは音声で，サブゴール（絵）の説明を行う．

7.3

実験

案内ロボットシステムの機能を実際に検討するために，実験を行った。ロボットには図7.6の様な環境地図を与える．□印は垂直エッジ位置を表わし，濃い○印はロボットの初期
位置，薄い○印はサブゴールの位置を表わす．
ユーザは初期状態でロボットが静止している環境に進入し，図 7.7の様な軌跡でサブゴールであるパネルの元に移動した．ユーザの移動速度は約 10cm/sec である．
ロボットが自己位置を同定しながら追跡する様子を図 7.8に示す．図中の太い□印は与えられた垂直エッジの内で，現フレームで自己位置の同定に使用しているものであり，細い□印は使用していないものである．濃い○印はロボットの現在位置を，薄い○印はサブ
ゴールの位置を示している．また，実際のロボットが移動した軌跡を図 7.9に示す．ロボッ
トの最大移動速度は 15inch/sec，最大回転速度は 100deg/sec である．また，画像のサンプ
リング周期はロボット移動時 1frame/sec，その場回転時 4frame/sec である．人間とロボッ
トは約 50cm の間隔を保つように設定した．

7.3. 実験82

角度差θ進行方向（０度方向）
人物方向

Robot

）
）センサ値（距離情報）））

最大距離より大きければ１
進行方向のセンサ値＝最少距離より小さければ０
間なら０〜１に正規化
図 7.4: ロボットの移動速度

Robot
センサ値
（距離情報）

進行方向（０度方向）
人物方向
角度差θ

））

））

最大距離より大きければ１
左右方向のセンサ値＝最少距離より小さければ０
間なら０〜１に正規化
θ＜―0.2度なら右回りに最大速度
θ＞0.2度なら左回りに最大速度
回転速度＝―0.2度＜θ＜0.2度なら最大速度×θ/0.2×α
プラスならば左回り、マイナスならば右回り
図 7.5: ロボットの回転速度

7.4. 考察83

図 7.8と図 7.9からロボットは，大まかではあるが，人を追跡し，サブゴールに到達したことを同定することができた．しかし実際の人間の行動軌跡との比較においては，図 7.7のように人は大きく蛇行しながら移動したのに対して，ロボットの移動軌跡は人の移動軌跡にくらべ滑らかであった．この原因としては，人物の方位推定では，最初に抽出した色テンプレートと同じ色領域を抽出し，その色領域の重心位置から求めているため，照明条件などに影響されやすいためと思われる．濃淡またカラーテンプレートマッチングなどの方法で領域としての対応位置を見つければ，より安定した方位推定ができ，今後改良する予定である．
ところで，図 7.7と図 7.9からもわかるようにロボットの移動軌跡の方が滑らかであり，両者の移動軌跡に差があるが，移動方向のみに着目すれば，同様の変化をしている．このことから，人がどのような行動をとるかは，程度の違いはあるが，ロボットの行動軌跡からも推察できるものと考えることができる．
次にロボットの自己位置推定に関しては，対応付けの誤りなどにより推定誤差が現れた．
観測のサンプリング周期を短くすることでより密に観測を行えば，誤差を軽減することができるが，図 7.8と図 7.9からもわかるように案内ロボットの目的からすると十分な精度と
言える．

7.4

考察

本章では，環境−人−ロボット三者の関係をロボットの観測を通し獲得し，人間と協調的に行動する自律移動ロボットシステム，特に美術館のような建物内に絵などのパネルが複数かかっている環境において，人間とともに歩き回り説明をする案内ロボットシステム
について述べた．人のロボット間の関係表現では，HyperOmini Vision と全方位超音波距
離センサ及び全方位赤外線近接センサを加えた全方位センサ融合により，人の位置推定を行った．そして，ロボットとユーザ間の距離を一定に保つ定間隔行動を行うことで，ユーザの行動をロボットの行動を通して表現した．
今後はより安定した人物の追跡のための改良を行い，人物のジェスチャの認識などより密なコミュニケーションを通したシステムを実現したいと考える．

7.4. 考察84

図 7.6: 実験環境の環境マップ

図 7.7: 人の移動軌跡

7.4. 考察85

4 フレーム目

15 フレーム目

27 フレーム目
図 7.8: 実験結果

7.4. 考察86

図 7.9: ロボットの移動軌跡

Chapter 8
おわりに
本論文では，移動ロボットのナビゲーションを目的として，双曲面ミラーを用いた全方
位視覚センサ HyperOmni Vision と HyperOmni Vision を用いた移動ロボットに必要な情報獲得手法，また HyperOmni Vision を用いた視覚誘導方法について述べた．
一般の視覚センサは画角に問題があり，また従来の全方位視覚センサはその光学的特性に問題があったが，双曲面ミラーの焦点にカメラのレンズ中心を設置するという工夫によりそれらの問題を解決した全方位視覚センサ HyperOmni Vision について 2章で述べた．
HyperOmni Vision は全方位視覚センサでありながら透視投影の性質があるため，従来の画像処理技術や全方位視覚センサの技術が使えるだけでなく新しい技術がこのセンサにより実行できることを示した．
つぎに HyperOmni Vision を用いた移動ロボットのナビゲーションに必要な情報獲得の一つとして移動ロボットの人間による遠隔操作に必要な画像を生成する方法について 3章で述べた．この方法は操作者が装着している HMD に取り付けたセンサより頭の方向を検出し，その方向の平面透視投影画像をソフトウェアとハード ウェアの組合せにより全方位
画像から実時間で生成，HMD に投影できる．これにより遠隔ロボットの操作者は見回しの時間遅れなく任意の方向を見ることができるようになった．
さらに移動ロボットが自律的に移動するにはロボットが自己の動きを把握する必要がある．4章では移動ロボットの自己位置を視覚センサから得るためにテンプレートマッチングを用いた移動量推定について述べた．移動前と移動後の全方位画像を床面に逆透視投影した画像についてテンプレートマッチングを行なうことによりロボットの並進運動を推定する方法であり，HyperOmni Vision で全方位の足元と遠方を観測することにより安定した移動量を取り出すことができた．
そして移動ロボットが自律的に移動するには周囲の状況を観測する必要がある．5章では移動ロボットの周囲の環境を復元する方法について逆透視変換による障害物検出と縦視差によるステレオ視，全方位 Hough 変換による線分復元について述べた．逆透視投影による障害物検出では簡単な差分により障害物の大まかな方向と距離を出すことができた．この情報でも移動ロボットの障害物回避に使用できるが大まかな情報であるために経路計画や対象物の発見には不十分である．それに対して縦視差によるステレオ視は周囲の状況をさらに細かく復元することができる．しかし，この情報はノイズが多くそれを考慮して使用87

88
しなければならない．それに対して全方位 Hough 変換による線分復元では画像処理の中で安定して情報を取り出す手法のひとつである Hough 変換を拡張した．これにより環境全体の線分を安定してとり出すことができた．
次に移動ロボットが自律的に移動する方法として 6章では動的輪郭モデルを用いた経路誘導について述べた．この方法は廊下や道路といった経路を対象に環境の持つ性質と HyperOmni
Vision の特長を活用することで床面領域を切りだし，その切り出した領域の形状によりロボットの移動方向を決定した．これにより移動ロボットが自律的に廊下や道路に沿って移動することができる．
最後に HyperOmni Vision を搭載した移動ロボットのアプリケーションの一例として 7
章では案内ロボットシステムについて述べた．この案内ロボットシステムは環境−人−ロ
ボット三者の関係をロボットの観測を通し獲得し，人間と協調的に行動する自律移動ロボットシステム，特に美術館のような建物内に絵などのパネルが複数かかっている環境において，人間とともに歩き回り説明をするロボットシステムである．
2章でも述べたが HyperOmni Vision には以下の特長がある．

 HyperOmni Vision は実時間でセンサの周囲 360 度の観測ができる．
 HyperOmni Vision は円錐ミラーを用いた方法と同様に側方中心の視野領域を持ち，更に下方視野については球面ミラーを用いた方法と同じように制限なく写る．こ HyperOmni Vision は透視投影の光学的特性を持つ．
以上より，HyperOmni Vision は従来の標準的なレンズをとりつけた視覚センサや全方位視覚センサと比べて，両者の利点を持っている非常に有用なセンサであり，HyperOmni Vision
によりロボットに可能な作業が増えることを示した．
HyperOmni Vision は移動ロボットだけでなくバーチャルリアリティーなどの分野でも有用なセンサである．今後は HyperOmni Vision とさらに新しい全方位視覚センサについて研究開発され，様々な分野で普及するようになるだろう．

謝 辞
私の提案を取り上げていただき，本研究を行なう環境と機会を与えていただいた指導教官の，大阪大学谷内田正彦教授に心より深く感謝致します．
本研究の全体を通して御指導，御教示，議論など数多くの御助力をいただいた，大阪大学八木康史助教授には心より深く感謝致します．
また，本研究を高く評価していただき，就職してから御指導，御助力をいただいた，奈良先端科学技術大学院大学横矢直和教授，同竹村治雄助教授に心から深く感謝致します．
私と共に研究し，本論文の元となった研究成果をあげてくれた，佐藤和也氏（現キャノン ），茶園篤氏（現日本電気），長井宏之氏（谷内田研修士課程２回生），尾上良雄氏（横矢研修士課程２回生）に深く感謝致します．
そして，研究やその他の事で様々な相談，議論，応援をしていただいた大阪大学山口智浩
助手，同大澤幸生助手，奈良先端科学技術大学院大学岩佐英彦助手，に深く感謝致します．
同じく，様々な相談，議論，応援をしていただいた，大阪大学辻本浩幸講師，同北村喜文助教授，同早瀬敏夫技官，立命館大学徐剛助教授に深く感謝致します．
日頃の討論，雑談などを通じ同輩として助けていただいた，岩井儀雄氏（現大阪大学助手），呉海元女史（現京都工芸繊維大学助手），魏世杰氏（谷内田研博士課程）に深く感謝致します．
研究室で様々な応援をしていただいた，内田美幸女史，大隈和代女史，福永博美女史，前田祥子女史に非常に感謝致します．
そして，谷内田研究室，横矢研究室で激励，助力をいただき，雰囲気を明るくしていた
だいた，内海章氏，西澤慶満氏，嶺直道氏，奥村仁氏，久森芳彦氏，吉田貴裕氏，林涯氏，
脇谷康一氏，清川清氏，大隈隆史氏，その他多くのＯＢ，学生の皆さんに非常に感謝致します．
また，様々な御助力と応援をいただいた西村拓一氏（ RWC ）に大変感謝致します．
また，HyperOmni Vision の製作にあたり協力していただいた，山田光学工業社に大変感謝致します．
最後に，様々な助力と応援，励まし，導きなどをいただいた胡内美穂女史，両親，同期の友人，私を応援していただいたその他の人々，そして神に感謝致します．
１９９７年 山澤 一誠

89

参 考文献[1] 谷内田：\ロボットビジョン ", 人工知能シリーズ, 昭晃堂 (1990).
[2] K. B. Sarachik: \Characterizing an indoor environment with a mobile robot anduncalibrated stereo", Proc. Int. Conf. Robotics and AutomationIEEE, pp. 984{989(1989).
[3] J. Y. Zheng and S. Tsuji: \Panoramic representation of scenes for route understanding", Proc. of the 10th Int. Conf. on Pattern Recognition, pp. 161{167 (1990).
[4] H. Ishiguro, M. Yamamoto and S. Tsuji: \Omni-directional stereo for making global
map", Proc. 3rd Int. Conf. Computer VisionIEEE (1990).
[5] Z. L. Cao, S. J. Oh and E. L. Hall: \Dynamic omnidirectional vision for mobile
robots", J. Robotic Systems, 3, 1, pp. 5{17 (1986).
[6] S. J. Oh and E. L. Hall: \Guidance of a mobile robot using an omnidirectional visionnavigation system", Proc. Mobile Robots IISPIE 852, pp. 288{300 (1987).
[7] J. Hong, X. Tan, B. Pinette, R. Weiss and E. M.Riseman: \Image-based homing",
Proc. Int. Conf. Robotics and AutomationIEEE, pp. 620{625 (1991).
[8] 八木, 川戸：\円錐ミラーを用いた全方位視覚センサによる位置情報の獲得", 信学論(D-II), J74-D-II, 1, pp. 19{26 (1991).
[9] Y. Yagi, Y. Nishizawa and M. Yachid: \Map-based navigation for a mobile robot withomnidirectional image sensor COPIS", Trans. on Robotics and Automation, 11, 5, pp.
638{648 (1995).
[10] V. N. Peri and S. K. Nayar: \Generation of perspective and panoramic video from
omnidirectional video", Proc. Image Understanding Workshop, pp. 243{245 (1997).
[11] S. K. Nayar: \Catadioptric omnidirectional camera", Proc. Computer Vision and
Pattern Recognition, pp. 482{488 (1997).
[12] 吉澤：\全方位撮影装置及び全方位画像合成装置", 公開特許広報 特開平８− 125835,
日本国特許庁 (1996).

90

参考文献

91

[13] \Bell labs solid-state video invention, ccd, comes full circle", news release of Lucent
Technologies (1996). http://www.lucent.com/press/0196/960103.bla.html.
[14] 山澤, 岩佐, 竹村, 横矢：\ピラミッド 型ミラーを用いた高分解能全方位ステレオ画像センサ", 信学会総合大会, D-12-146, Suita, p. 353 (1997).
[15] S. E. Chen: \QuickTime VRR - an image-based approach to virtual environment
navigation", SIGGRAPH 95, pp. 29{38 (1995).
[16] 広瀬, 佐藤：\人工現実感技術を用いた臨場感の合成とその伝達", 9th Symposium on
Human Interface, Kobe, pp. 111{116 (1993).
[17] J. Neider, T. Davis and M. Woo: \OpenGL Programming Guide", Addison-Wesley
Publishing Company (1993).
[18] 佐藤, 伴野, 岸野：\運動視における表示遅れの影響と高速画像生成表示方法", テレビ
ジョン学会誌, 46, 9, pp. 1179{1188 (1992).
[19] 井口, 佐藤：\三次元画像計測", 昭晃堂 (1990).
[20] Y.OHTA and T.Kanade: \Stereo by intra- and inter-scanline search using dynamic
programming", IEEE Trans. Pattern Anal. Mach. Intell., 7, 2, pp. 139{154 (1985).
[21] 横矢：\多重スケールでの正則化によるステレオ画像からの不連続を保存した曲面再構
成", 信学論 (D-II), J76-D-II, 8, pp. 1667{1675 (1993).
[22] T.Kanade and M.Okutomi: \A stereo matching algorithm with an adaptive window :theory and experiment", IEEE Trans. Pattern Anal. Mach. Intell., 16, 9, pp. 920{932(1994).
[23] K. Storjohann, T. Zielke, H. Mallot and W. von Seelen: \Visual obstacle detection forautomatically guided vehicles", Proc. Robotics and Automation, pp. 761{766 (1990).
[24] 松山, 輿水：\Hough 変換とパターンマッチング ", 情報処理, 30, 9, pp. 1035{1046(1989).
[25] T. Morita, Y. Yasukawa, Y. Inamoto, T. Uchiyama and S. Kawakami: \Measurementin three dimensions by motion stereo and spherical mapping", Proc. Int. Computer
Vision and Pattern RecognitionIEEE, pp. 984{989 (1989).
[26] 木室, 長田：\球面六角形画像ピラミッドを用いた球面投影による全方位画像処理", 日
本ロボット学会誌, 14, 6, pp. 809{819 (1996).
[27] 内海, 八木, 谷内田：\視覚センサにより得られた３次元線分情報からの面情報の獲得",
日本ロボット学会, 13, 8, pp. 1145{1152 (1995).

参考文献

92

[28] C. Thorpe: \Machine learning and human interface for the CMU Navlab", Proc.
Computer Vision for Space Applications (1993).
[29] G. Sandini, F. Curotto and S. Garibaldi: \Divergent stereo in autonomous navigation:from bees to robots", Int. Journal of Computer Vision, 14, pp. 761{766 (1995).
[30] R. Cipolla and A. Blake: \Surface orientation and time to contact from image divergence and deformation", Proc. 2nd European Conf. on Computer Vision, pp. 187{202(1992).
[31] Y. Yagi, S. Kawato and S. Tsuji: \Collision avoidance using omnidirectional image
sensor", Int. Conf. on Robotics and Automation, Vol. 1, pp. 910{915 (1994).
[32] A. W. M. Michael Kass and D. Terzopoulos: \Snakes:active contour models", Int.
Journal of Computer Vision, pp. 321{331 (1988).

研 究業績
学術論文[1] 山澤, 八木, 谷内田：\移動ロボットのナビゲーションのための全方位視覚系 HyperOmni
Vision の提案", 信学論 (D-II), J79-D-II, 5, pp. 698{707 (1996). (論文賞受賞).
[2] 佐藤, 山澤, 八木, 谷内田：\全方位視覚を用いた案内ロボットシステム", 電気学会 (1997).
(採録決定).
[3] 茶園, 山澤, 横矢, 竹村：\全方位ステレオ視による３次元情報の獲得", 映像情報メディア学会誌 (1997). (条件つき採録).
[4] 山澤, 八木, 谷内田：\Hyperomni vision と全方位 hough 変換を用いた線分の三次元再構築", 日本ロボット学会 (1997). (投稿中).
[5] 長井, 山澤, 八木, 谷内田：\全方位観測情報の対称性評価による移動ロボットの経路誘導", 日本ロボット学会 (1997). (照会中).

国際会議[1] K. Yamazawa, Y. Yagi and M. Yachida: \New real-time omnidirectional image sensor
with hyperboloidal mirror", Proc. The 8th Scandinavian Conf. on Image Analysis,
vol.2, Tromso, pp. 1381{1387 (1993).
[2] K. Yamazawa, Y. Yagi and M. Yachida: \Omnidirectional imaging with hyperboloidal
projection", Proc. Int. Conf. on Intelligent Robots and Systems, Vol. 2, Yokohama,IEEE/RSJ, pp. 1029{1034 (1993).
[3] K. Yamazawa, Y. Yagi and M. Yachida: \Omnidirectional image sensor - HyperOmni Vision -", Proc. 3rd Int. Conf. on Automation Technology, Taipei, Taiwan(1994).
[4] K. Yamazawa, Y. Yagi and M. Yachida: \Obstacle detection with omnidirectional image sensor HyperOmni Vision", Proc. Int. Conf. on Robotics and Automation, Nagoya,
IEEE, pp. 1062{1067 (1995).

93

研究業績

94

[5] Y. Yagi, W. Nishii, K. Yamazawa and M. Yachida: \Rolling motion estimation formobile robot by using omnidirectional image sensor HyperOmni Vision", Int. Conf.
on Pattern Recognition, Vol. 1, pp. 946{950 (1996).
[6] Y. Yagi, W. Nishii, K. Yamazawa and M. Yachida: \Stabilization for mobile robot
by using omnidirectional optical ow", Int. Conf. on Intelligent Robots and Systems,
Vol. 2, pp. 618{625 (1996).

国内会議[1] 山澤, 八木, 谷内田：\双曲面ミラーを用いた全方位視覚系の提案 - HyperOmni Vision-", システム制御情報学会講演会, 大阪, pp. 405{406 (1993).
[2] 山澤, 八木, 谷内田：\双曲面投影による全方位視覚系の提案 - HyperOmni Vision -",第３回ロボットシンポジウム, 大阪, pp. 145{150 (1993).
[3] 山澤, 八木, 谷内田：\全方位視覚センサ HyperOmni Vision を用いた視覚誘導", 修士
学位論文, 大阪大学基礎工学部制御工学科 (1994).
[4] 山澤, 八木, 谷内田：\全方位視覚センサ HyperOmni Vision を用いた視覚誘導", 画像の認識・理解シンポジウム (MIRU'94), 第 II 巻, 熊本, 情報処理学会コンピュータビ
ジョン研究会 and 電子情報通信学会パターン認識・理解研究会, pp. 151{158 (1994).
[5] 山澤, 八木, 谷内田：\全方位視覚センサ hyperomni vision による障害物検出", 第 13回日本ロボット学会学術講演会, Kawasaki, 日本ロボット学会, pp. 473{474 (1995).
[6] 山澤, 八木, 谷内田：\全方位視覚センサ HyperOmni Vision による移動量推定と障害物検出", 第３９自動制御連合講演会, 奈良, pp. 411{412 (1996).
[7] 茶園, 山澤, 竹村, 横矢：\HyperOmni Vision における両眼ステレオ視", 信学会情報・システムソサイエティ大会, 金沢, p. 400 (1996).
[8] 茶園, 山澤, 竹村, 横矢：\HyperOmni Vision を用いた全方位ステレオ", 技術報告書,
画像電子学会 (1996).
[9] 茶園, 山澤, 竹村, 横矢：\HyperOmni Vision による全方位ステレオ視", 技術報告書,
信学会 (1997).
[10] 茶園, 山澤, 竹村, 横矢：\HyperOmni Vision による全方位ステレオ視", 技術報告書,
映像情報メディア学会 (1997).
[11] 尾上, 山澤, 横矢, 竹村：\Hyperomni vision からの実時間での視点追従型画像表示", 信学会総合大会, D-12-149 (1997).

研究業績

95

[12] 尾上, 山澤, 横矢, 竹村：\全方位画像からの視線追従型実時間画像生成によるテレプレ
ゼンス", 技術報告書, 信学会 (1997).
[13] 長井, 山澤, 八木, 谷内田：\全方位観測情報の対称性評価による移動ロボットの経路誘導", 技術報告書 96-CVIM-102-7, 信学会 (1996).
[14] 長井, 山澤, 八木, 谷内田：\全方位観測情報の対称性評価による移動ロボットの経路誘導", 第 41 回システム制御情報学会講演会, 第 ISCIE 巻, pp. 673{674 (1997).
[15] 長井, 山澤, 八木, 谷内田：\全方位観測情報の対称性評価による移動ロボットの経路誘導", 第 2 回ロボティクス・シンポジア (1997). (投稿中).
[16] 長井, 山澤, 八木, 谷内田：\動的な経路環境内での視覚誘導のための行動基準", 第 15回日本ロボット学会学術講演会 (1997). (投稿中).
[17] 長井, 山澤, 八木, 谷内田：\全方位視覚センサを用いたロボットの誘導における行動の表現", 情報処理学会第 55 回全国大会 (1997). (投稿中).