平成 22 年度
中部大学大学院工学研究科情報工学専攻

博士学位論文グラフカットセグメンテーションを用いた
前景と背景の共起性に基づく画像分類の高精度化に関する研究

永橋 知行

論

文

要

旨

本論文は，一般物体認識の実現を目的として，グラフカットによる画像セグメンテーションと前景と背景領域を用いた画像分類の高精度化と，それらをインタラクティブな画像分類に応用したものである．制約のない実世界シーンの画像に対して，計算機がその中に含まれる物体を一般的な名称で認識することを一般物体認識と呼ぶ．特に，画像分類問題では，Bag-of-features モデルが提案され，多くの研究が取り組まれている．Bag-of-features は，画像を局所特徴量の集合とみなし，画像全体から得られた局所特徴量のヒストグラムをその画像の特徴量としてカテゴリを認識する手法である．近年では，Bag-of-features に局所特徴量の位置情報を考慮することによる認識精度の向上が試みられており，前景領域のみから特徴抽出することで高い認識精度が得られることが報告されている．そのため，認識の前処理として前景領域を抽出する必要がある．
そこで本論文では，前景領域の抽出法として複数の平滑化画像を用いて繰り返し処理によるグラ
フカットセグメンテーション法を提案する．従来のグラフカットによる画像セグメンテーションでは，複雑なエッジ情報を含んだ画像に対しては正確な物体領域を抽出することが困難という問題点がある．そこで，提案手法では，平滑化度合いを変化させることで，大域的なセグメンテーションか
ら段階的に局所的なセグメンテーションを実現し，画像に複雑なエッジが存在する場合でも高精度なセグメンテーションが可能となる．
次に，Bag-of-features における識別に有効な特徴量を調査する．我々は予め用意した前景領域を用いて，AdaBoost の弱識別器で選択された特徴量から有効な特徴量を調査する方法を提案し，前景
特徴と背景特徴がどのように捉えられているかを確認する．実験結果から，前景領域のみで特徴量を記述した場合，前景と背景を用いた Bag-of-features より識別精度が低下した．選択された特徴量を調べた結果，Bag-of-features による画像分類では前景特徴だけでなく背景特徴も識別に使用しており，画像中のシーン全体をモデリングする手法であることが判明した．

Bag-of-features による画像分類では前景情報だけでなく，背景情報も使用されており，それぞれの領域で記述する方法が有効であることがわかった．そこで，前景と背景の共起性を用いて画像分類精度を向上させる手法を提案する．評価実験により，従来法と比較し提案手法は 3.8%の認識精度向上を確認した．
さらに本論文では，画像セグメンテーションと画像分類手法を組み合わせたインタラクティブ操作による画像分類を用いた画像検索システムを提案する．提案システムでは，クエリ画像に類似した画像を検索結果の上位にすることが可能となり一般物体認識の実用化への貢献が期待できる．

i

目次
第 1 章 序論

1

1.1

本研究の背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

1.2

本研究の目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

1.3

本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

第 2 章 グラフカットによる画像セグメンテーション

2.1

グラフカットとエネルギー最小化問題 . . . . . . . . . . . . . . . . . . . . . . . . . .

8

ラベリング問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8グラフカットアルゴリズム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

2.2.1

画像の領域セグメンテーション . . . . . . . . . . . . . . . . . . . . . . . . .

11

2.2.2

従来法：グラフカットを用いた画像セグメンテーション . . . . . . . . . . . .

12

2.2.3

従来法の問題点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

2.1.1
2.2

7

第 3 章 平滑化処理の繰り返しによるグラフカット

17

3.1

提案手法の流れ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

3.2

平滑化画像の作成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

3.3

繰り返し処理によるグラフカット . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

3.3.1

色分布確率の更新 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

3.3.2

空間的確率の更新 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

3.4

繰り返し処理とその効果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

3.5

セグメンテーション評価実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

3.5.1

実験概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

3.5.2

実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

3.5.3

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

3.6

第 4 章 動画像に対するグラフカットによるセグメンテーション

31

4.1

従来法の問題点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

4.2

Spatio-temporal volume を用いた繰り返し処理によるグラフカット . . . . . . . . .

33

提案手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

4.2.1

iii

4.3

4.4

4.2.2

Spatio-temporal volume の作成 . . . . . . . . . . . . . . . . . . . . . . . . .

35

4.2.3

対応点探索によるエッジの追加 . . . . . . . . . . . . . . . . . . . . . . . . .

36

4.2.4

繰り返し処理による Graph Cuts . . . . . . . . . . . . . . . . . . . . . . . .

37

評価実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

4.3.1

実験概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

4.3.2

従来法との比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42

4.3.3

グラフサイズと計算時間の比較 . . . . . . . . . . . . . . . . . . . . . . . . .

47

まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

第 5 章 画像分類における Bag-of-features による識別に有効な特徴量の傾向

5.1

5.2

5.3

5.4

5.5

一般物体認識の歴史的背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

5.1.1

一般物体認識とその発展 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

5.1.2

画像分類問題とその問題点 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

Bag-of-features と画像局所特徴量 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51

5.2.1

局所特徴量の抽出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51

5.2.2

ベクトル量子化ヒストグラムの作成 . . . . . . . . . . . . . . . . . . . . . . .

55

5.2.3

AdaBoost によるマルチクラス識別 . . . . . . . . . . . . . . . . . . . . . . .

55

AdaBoost を用いた有効な特徴量の調査手法 . . . . . . . . . . . . . . . . . . . . . .

56

5.3.1

背景情報の有効性の調査法 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

5.3.2

選択された特徴量の可視化 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

Bag-of-features における有効な特徴量の調査 . . . . . . . . . . . . . . . . . . . . . .

58

5.4.1

実験概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

58

5.4.2

データセットの概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

60

5.4.3

調査項目 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

60

5.4.4

認識率から得られる有効な特徴の傾向. . . . . . . . . . . . . . . . . . . . .

60

5.4.5

背景情報の有効性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

5.4.6

選択された特徴量の可視化 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

第 6 章 前景と背景情報の共起表現による Bag-of-features による画像分類の高精度化

6.1

6.2

6.3

49

69

前景と背景の共起表現による画像分類 . . . . . . . . . . . . . . . . . . . . . . . . . .

70

6.1.1

キーポイント識別器の構築 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

70

6.1.2

2+1 次元ベクトル量子化ヒストグラムの作成 . . . . . . . . . . . . . . . . . .

74

評価実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

74

6.2.1

従来手法との比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

75

6.2.2

共起表現する範囲の傾向 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

75

2 次元ヒストグラムの効果と有効な特徴量の調査 . . . . . . . . . . . . . . . . . . . .

76

2 次元ヒストグラムの効果 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

76

6.3.1

iv

認識に利用された特徴量の調査 . . . . . . . . . . . . . . . . . . . . . . . . .

78

インタラクティブ操作による画像分類システム . . . . . . . . . . . . . . . . . . . . .

78

6.4.1

検索技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

80

6.4.2

インタラクティブ操作による画像分類を用いた類似画像検索の流れ . . . . .

81

まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

83

6.3.2
6.4

6.5

第 7 章 結論

89

謝

辞

91

参考文献

93

研究業績一覧

99

v

図目次
1.1

本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.1

ラベリング問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

2.2

ネットワーク . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

2.3

グラフ例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

2.4

s-t cut . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

2.5

Interactive Graph Cuts によるセグメンテーション例 (文献 [1] より)．赤い線は前景
seed，青い線は背景 seed である． . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

2.6

Lazy Snapping によるセグメンテーション例 (文献 [2] より) . . . . . . . . . . . . .

14

2.7

Grabcut によるセグメンテーション例 (文献 [3] より) . . . . . . . . . . . . . . . . .

14

2.8

複雑なエッジを含む画像でのグラフカットによるセグメンテーション . . . . . . . .

15

3.1

平滑化画像に対するグラフカットセグメンテーション . . . . . . . . . . . . . . . . .

18

3.2

手法の流れ

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

3.3

繰り返し処理によるセグメンテーション例 . . . . . . . . . . . . . . . . . . . . . . .

20

3.4

ダウンサンプリングを用いた平滑化 . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

3.5

空間的確率と色分布確率の更新の流れ . . . . . . . . . . . . . . . . . . . . . . . . . .

22

3.6

各平滑化画像に対する n-link と t-link の変化とセグメンテーション結果例 . . . . . .

24

3.7

GrabCut database 例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

3.8

セグメンテーション例と誤検出率 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

3.9

セグメンテーション例と誤検出率 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

28

3.10 λ の変化によるセグメンテーション結果の違い . . . . . . . . . . . . . . . . . . . . .

29

4.1

従来法によるグラフカットによる動画像セグメンテーション . . . . . . . . . . . . .

32

4.2

Spatio-temporal volume を用いた大まかなセグメンテーションから精密なセグメン
テーション. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

4.3

手法の流れ

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

4.4

Spatio-temporal volume の作成例 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

4.5

対応点探索によるエッジの追加例 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

4.6

繰り返し処理によるセグメンテーション結果 . . . . . . . . . . . . . . . . . . . . . .

40

vii

4.7

セグメンテーション結果例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

41

4.8

セグメンテーション率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43

4.9

セグメンテーション結果例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

44

4.10 距離変換によるセグメンテーションの成功例 . . . . . . . . . . . . . . . . . . . . . .

45

4.11 フレームレートを変化させたときのセグメンテーション精度の比較. . . . . . . . .

46

5.1

Bag-of-features の流れ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

52

5.2

重み付き方向ヒストグラム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

5.3

SIFT 特徴量の記述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

5.4

ﬁlter bank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

54

5.5

ベクトル量子化ヒストグラム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

5.6

前景特徴と背景特徴の調査方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

58

5.7

選択された特徴量の可視化の流れ . . . . . . . . . . . . . . . . . . . . . . . . . . . .

59

5.8

特徴抽出法

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

59

5.9

Caltech256 データセットと作成したマスクデータ例 . . . . . . . . . . . . . . . . . .

61

5.10 各手法の認識率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

62

5.11 特徴量の比率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

64

5.12 選択された特徴量の可視化例 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

65

5.13 選択された特徴量の可視化例 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

66

5.14 選択された特徴量の可視化例 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

67

6.1

提案手法の流れ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

71

6.2

キーポイント識別による前景と背景の識別の流れ . . . . . . . . . . . . . . . . . . .

72

6.3

キーポイント識別による前景と背景の識別結果例 . . . . . . . . . . . . . . . . . . .

73

6.4

2+1 次元ベクトル量子化ヒストグラムの作成 . . . . . . . . . . . . . . . . . . . . . .

74

6.5

各手法の認識率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

75

6.6

前景と背景の対応付ける範囲による認識率 . . . . . . . . . . . . . . . . . . . . . . .

76

6.7

コンフュージョンマトリクス . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

77

6.8

ベクトル量子化ヒストグラム例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

78

6.9

選択された特徴量の可視化例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

79

6.10 インタラクティブ操作による画像分類を用いた画像検索の流れ . . . . . . . . . . . .

81

6.11 インタラクティブ操作による画像分類例 . . . . . . . . . . . . . . . . . . . . . . . .

82

6.12 セグメンテーションと画像分類結果例 . . . . . . . . . . . . . . . . . . . . . . . . . .

85

6.13 画像検索結果例 1(airplane). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

86

6.14 画像検索結果例 2(butterﬂy) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

87

6.15 画像検索結果例 3(car) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

88

viii

表目次
2.1

エッジに与える重み

3.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

誤検出率 [%]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

3.2

誤検出率 [%]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

3.3

各手法の処理時間 [s]（繰り返し回数） . . . . . . . . . . . . . . . . . . . . . . . . .

30

4.1

グラフのサイズ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

4.2

各手法の平均処理時間の比較 [s] . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

6.1

キーポイント識別結果 [%] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

72

6.2

各クエリにおける検索結果の比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

83

ix

第1章

序論
本章では，本論文中の研究における背景および目的，構成について述べる．

1

1.1

本研究の背景今日のデジタルカメラの普及に伴い，デジタル化された写真や動画像が我々の日常に大量に存在し，それらのデジタル画像にはさまざまなシーンや物体が撮影されている．このように実世界シーンを制約のない状態で撮影された画像中から，どのような物体が画像内に存在するか，どのようなシーンであるかを一般的な名称でコンピュータが認識することを一般物体認識と呼ぶ [4]．一般物体
認識の最終的な目標はセグメンテーションされた各領域に対して物体カテゴリのラベルを付けることであるといえる．そのため，セキュリティやマーケティング，ロボットビジョンシステムなどさま
ざまな分野への応用が可能であり，実用化が期待されている．
一般物体認識を困難にしている大きな要因として，一般的な名称を指すカテゴリが膨大であることと，同一物体カテゴリ内のバリエーションの多様さが挙げられる．一般的な名称によるカテゴリ
分類を行う場合，そのカテゴリ数は 10,000 から 30,000 になるといわれている．また，カテゴリ内にはサブクラスが存在する場合がある．例えば，「車」というカテゴリには「セダン」
「ワゴン」
「トラッ
ク」のような形状の違い，「ヘッドライト」「フロントガラス」のような部位の違いによるサブクラスに分けられると考えられる．そのため，どこまでを対象のカテゴリとするのかを明確に定義することが困難である．一方，同一の物体においても視点の変化，照明変化，オクルージョン，スケール変化，物体の変形などによりアピアランスが大きく変化するため，このような条件下で認識することは難しい問題である．また，認識対象の物体が画像中のどこに存在しているかを検出する必要もある．一般物体認識問題では，アピアランスの変化に不変で，かつ，物体以外の背景情報に影響を受けない特徴抽出法と識別器の作成が重要となる．
近年では，コンピュータの発展により大量のデータを高速に処理することが可能となり，さらに機械学習の分野で研究された学習手法が一般物体認識へ適用できるようになったため，一般物体認識の研究が躍進した．一般物体認識問題の１つである，画像中の物体が何の物体カテゴリであるかを分類する Object categorization（画像分類）では，Bag-of-features[5] が有効とされており，さまざ
まな改良手法が提案されている．Bag-of-features では，画像特徴を局所特徴量のヒストグラムで記述するため，局所特徴量の位置情報は利用しないアプローチである．近年では，Bag-of-features に
局所特徴量の位置情報を考慮することによる認識精度の向上が試みられており，画像中の空間的な位置関係を記述する手法 [6] と画像中の前景領域から特徴量を記述する手法 [7][8][9] が提案されている．局所特徴量の空間的な位置情報を記述する手法として，Lazebnik らは，多重解像度ヒストグラ
ムで表現する Spatial Pyramid Matching[6] を提案した．Spatial Pyramid Matching は，画像をグリッド分割し，その小領域単位の位置関係を記述することができる．一方，前景領域の局所特徴量を利用する手法として，Marcin ら [7] は，学習データのマスク画像を用いて，特徴量の関係から入力
画像の前景領域に合わせて重み分布を求め，この重み分布を利用してベクトル量子化ヒストグラムを作成することで，背景情報を抑制する手法を提案した．また，鈴木ら [8] は，抽出された特徴量をSVM により前景と背景に識別し，前景特徴のみで特徴量を記述することで認識精度を向上させている．Bosch ら [9] は，学習画像との特徴量の類似度が高くなる注目領域（ROI）を決定し，その領域からシェイプやアピアランス特徴を Multiple Kernel Learning により学習する手法を提案している．

2

これらの前景領域から特徴記述する手法では，背景情報はノイズと考え，背景を除去し，前景のみで特徴量を記述することで認識率が向上するという考えに基づいている．しかしながら，一方では物体間の関係をコンテキストとして利用することで，認識精度を向上させる手法 [10] や背景のみの情報だけでも認識が可能 [11] といった報告がされている．
この場合，対象カテゴリでない物体は背景に属していることになる．このように，画像分類問題において，Bag-of-features がどのような特徴を捉え，有効に働くかは明確でないといえる．また，前景と背景の情報を利用するには前処理として画像セグメンテーションを行う必要があるが，対象領域のセグメンテーションは非常に難しい問題とされている．
より正確なセグメンテーションを実現する手法として，近年では画像セグメンテーションをエネ
ルギー最小化問題として解く手法が有効とされ，Snake などの動的輪郭モデル [12] や Level Sets[13],グラフカット [14, 15, 1, 16, 2, 3] など多くの手法が提案されている．特にグラフカットは，エネル
ギー最小化の大域解を求めることができるため，高精度なセグメンテーションが可能であり，静止画のフレームワークをそのまま動画像へ拡張することができるというメリットがある．しかし，画像に複雑なエッジが存在する場合，局所的なエッジを乗り越えてセグメンテーションすることができない，動画像へ拡張する場合，動画像を一括処理するためグラフサイズが大きくなり処理が困難になるといった問題点がある．

1.2

本研究の目的

本研究では，画像分類の精度向上のために，前景領域セグメンテーションの高精度化と前景と背景情報に着目した Bag-of-features による認識精度向上を目的とする．
前景領域に着目した Bag-of-features では，はじめに画像中から前景領域を高精度に抽出する必要がある．そこで本研究では，前景抽出手法として，複数の平滑化画像を用いた繰り返し処理によるグラフカットセグメンテーションを提案する．本手法では，平滑化度合いの大きな画像から徐々に平滑化度合いを小さくしていくことで，大域的なセグメンテーションから段階的に局所的なセグメン
テーションを実現する．このフレームワークの拡張として，Spatio-tempral volume を用いた繰り返
し処理によるグラフカットセグメンテーションを提案する．バンド幅を変化させた Spatio-temporal

volume を繰り返し処理することで，初期段階での大まかなセグメンテーションから段階的に精密なセグメンテーションを実現し，グラフサイズを削減しつつ高精度なセグメンテーションを実現する．
次に，Bag-of-features において，前景と背景の局所特徴が認識にどのように利用されているかを調べる．通常の Bag-of-features，前景のみから特徴記述した Bag-of-features，前景と背景からそれぞれ特徴記述した Bag-of-features の比較をする．AdaBoost により選択された弱識別器の解析と，特徴量を可視化した結果から認識に有効な特徴量の傾向を調査する．さらに，調査結果に基づき，前景と背景情報の共起性に着目した 2+1 次元ベクトル量子化ヒストグラムによる Bag-of-features を提案する．
最後に，これまで得られたインタラクティブセグメンテーションと前景と背景を用いた Bag-of-features を用いて，画像分類への応用について述べる．

3

1.3

本論文の構成

本論文の内容は，図 1.1 に示すように 8 つの章で構成されている．まず 1 章は，序論である．2 章
では，グラフカットによる画像セグメンテーションについて述べる．グラフカットによる画像セグ
メンテーションの問題点は，複雑なエッジ情報を含んだ画像に対しては正確な物体領域を抽出することが困難ということが挙げられる．3 章では，従来のグラフカットの問題点を，複数の平滑化画
像と繰り返し処理により解決する手法を述べる．評価実験により，従来手法より高精度なセグメン
テーションが可能であることを示す．4 章では，3 章で提案した手法を動画像に展開する．平滑化画
像を，spatio-temporal volume に置き換え，その分割数を制御することで，大域的なセグメンテーションから徐々に局所的なセグメンテーションを実現する．評価実験より，従来法よりグラフサイズを抑制しつつ，高精度なセグメンテーションが可能であることを示す．5 章では，Bag-of-features
における認識に有効な前景と背景の局所特徴を調査する．画像全体から特徴記述する方法，前景領域のみから特徴記述する方法，前景と背景それぞれから特徴記述する方法の認識率を比較すること
で，前景と背景にどの程度の有効な特徴量が存在するかを確認する．また，有効な特徴量を可視化することで位置に対する有効性を確認する．6 章では，5 章で得られた調査結果に基づき，前景と背景の共起性に着目した Bag-of-features による画像分類手法について述べる．前景と背景の共起表現
として，2 ＋ 1 次元ベクトル量子化ヒストグラムを提案する．評価実験により，従来法と比較し提案
手法は約 3.8%の精度向上することを示す．また，インタラクティブ操作による画像分類を類似画像
検索への応用を示す．最後の章は，結論である．

4

図 1.1: 本論文の構成

5

第2章

グラフカットによる画像セグメンテー
ション
画像処理における重要な問題の一つに一枚の画像から対象となる領域を抽出する画像セグメンテー
ションの問題がある．画像セグメンテーションは，一般物体認識，合成画像の生成などの前処理として利用されるため，高精度なセグメンテーションが求められる．
近年，画像セグメンテーション問題をエネルギー最小化問題として解く手法が提案され有効とされている．このような手法として，Snake などの動的輪郭モデル [12] や Level Sets[13], グラフカット [14, 15, 1, 16, 2, 3] などが挙げられる．Snake や Level Sets では，境界線に対してのエネルギー関数を作成し，エネルギー関数が小さくなるように境界線を変化させる手法である．これらの手法では，初期値周辺からエネルギーが小さくなるように繰り返し処理するため，局所解しか求めることができないというデメリットがある．一方，Graph Cuts では各領域からエネルギー関数を定義し，それらの大域解を求めることが可能である．本章では，グラフカットアルゴリズムによるセグメン
テーションについて述べる．

7

2.1

グラフカットとエネルギー最小化問題

コンピュータビジョンの問題として，画像特徴からエネルギーを定義しそれを最小化する問題がある．例えば，ピクセルの輝度，視差，領域分割などをラベルとし，そのラベルに対するエネルギーを最小化する問題が挙げられる．実画像に対してこのようなラベリングを行う場合，画像のノイズなどの影響により不明確な部分が存在する可能性があり，最適なラベリングを行うことは困難である．
このようなエネルギー最小化問題に対して，Boykov らは minimum cut/maximum ﬂow algorithmsを利用してエネルギーを最小化する方法 [14] を提案している．彼らの手法では，問題設定に合うよ
うにグラフを作成し，そのグラフの minimun cut を求めることにより，エネルギー関数の最小化を行う．この minimum cut は max ﬂow algorithm を用いることにより，効率的に計算することが可能である．近年，minimum cut/maximum ﬂow algorithms に基づいた手法が提案されており，

image restoration [17, 18, 19], stereo and motion [20, 21, 22, 23], image segmentation [15, 1, 24],
multi-camera reconstruction [25] などさまざまな分野に応用されている．本章では，ラベリング問
題，グラフカットアルゴリズムについて述べ，そして，グラフカットアルゴリズムを用いた画像の領域セグメンテーションついて述べる．

2.1.1

ラベリング問題

ラベリング問題とは，画像 P の各ピクセル p に対して，ラベル Lp をつけていく問題である．このラベリングを何に対して行うかは，求める問題により異なる．例えば，ステレオでは depth に対してラベリングをし，セグメンテーションでは各物体に対してラベリングする．図 2.1 では，輝度値に対してラベリングを行った結果である．このようなラベリング問題に対する，解法の１つとして

図 2.1: ラベリング問題

エネルギー関数 E(L) を以下のように定義し，これを最小化する方法がある．

E(L) =∑p∈P

Dp (Lp ) +∑V(p,q) (Lp , Lq )(2.1)(p,q)∈N

ここで，N は近傍領域のピクセル，Dp (Lp ) は観測データに対してのペナルティー関数，V(p,q) (Lp , Lq )は近傍ピクセルとの相互関係を表した関数である．

8

■ エネルギー最小化モデル
エネルギー関数 E は，同一のもののラベリングや境界が不連続なものなど，どのような問題に対して行うかにより決定される．このエネルギー関数のモデルとして， Potts Interaction Energy Modelと Liner Interaction Energy Model の 2 つが提案されている．

■ Potts Interaction Energy Model

Potts Interaction Energy Model では，エネルギー関数を以下のように定義している．
E(I) =∑∑||Ip − Ip◦ || +p∈PK(p,q) · T (Ip ̸= Iq )(2.2)(p,q)∈N

ここで，I = {Ip |p ∈ P } は正解データの集合で，ここでは，ラベルの事を指す．I ◦ = {Ip◦ |p ∈ P } は
ノイズが混入している観測データである．この項では，入力されたデータとの差が小さくなるようなラベルが付けられるようにしたものである．また，K(p, q) は近傍ピクセルとのラベルの不連続性を表したペナルティー関数，T (Ip , Iq ) は Ip と Iq を比較する指標関数であり，Ip と Iq が異なる場合
は 1, それ以外は 0 を返す．この K(p, q) は，p と q が似ている場合は大きくなる関数であるが，同じラベルが付いている場合は T (Ip , Iq ) が 0 となる為反映されない．そのためこの項では，近傍で異なるラベルがつけられており，かつ似ていないほど小さくなるといえる．この Potts Energy は 2 値のラベリングでは max ﬂow を用いることにより最適解を得ることが可能であるが，多値のラベリング
では NP hard 問題となるため，最適解を得られない可能性がある．

■ Liner Interaction Energy Model
次に，Liner Interaction Energy Model は以下のように定義される.

E(I) =∑
p∈P||Ip − Ip◦ || +∑A(p,q) · |Ip − Iq |(2.3)(p,q)∈N

このモデルと Potts Model では A(p,q) と K(p,q) の項が異なる．A(p,q) は近傍ピクセルである p と qの重要性を表す関数である．このエネルギー関数は，Potts Energy よりも多くのラベルを扱う際に有効である．

2.2

グラフカットアルゴリズム

定義したエネルギー関数 E に基づきグラフを作成し，min-cut/max-ﬂow algorithm より最適解を求める．このようにして最適解を求める手法はコンピュータビジョンでは Graph Cuts Algorithm と呼ばれている．もともとの min-cut/max-ﬂow algorithm は以下のようなネットワークに対して，フ9

ローをどの程度の量を最大流すことができるかを求める手法である．この章では，min-cut/max-ﬂow

algorithm について述べる．

図 2.2: ネットワーク■ グラフ
重み付き有向グラフを G = (E, V ) と定義する．このとき，V はノード (node)，E はエッジ (edge)
である．このグラフをコンピュータビジョンの問題で使用する場合はピクセルやボクセルなどがノードとなる．またピクセルやボクセル以外のノードとして，ソース (source)s ∈ V とシンク (sink)t ∈ Vと呼ばれる特殊なターミナル（ラベル）を追加する．エッジはノード間の関係を表現しており，周辺のピクセルやボクセルとの関係を表したものを n-link，各ピクセルやボクセルと s，t との関係を表したものを t-link と呼ぶ．n-link のコストは，周辺ピクセルとの連続性を表現したペナルティ関数により決定され，t-link のコストは各ピクセルがそのラベルである確率を表したペナルティ関数により決定される．n-link と t-link は，式 (2.1) の Vp,q と Dp に相当する．作成されるグラフをネットワー
クグラフと呼ぶ（図 2.3(a)）．作成されたネットワークグラフを図 2.3(b) のように 2 つのグラフに分割することでを考える．

図 2.3: グラフ例

10

■ 最小カットと最大フローネットワークグラフを s ∈ S と t ∈ T = V − S となる 2 つのグラフへの分割を考える．分割する
際に切断されるエッジを s-t カットと呼ぶ（図 2.4）．その切断されるカットのうち S から T へ接続されているエッジのコストの総和を s-t カットの容量という．この s-t カットの容量が最小となる s-t
カット（最小カット）を求めたい．この最小カットは，最大フロー最小カットの定理を用いることによって，ネットワークグラフの最大フローから求めることが可能である．

図 2.4: s-t cut

最大フローを求める手法の代表的なものとして，Ford-Fulkerson Method[26] と Push-Relabel

Method[27] がある．Ford-Fulkerson Method はフローの増分路が存在しないとき，そのフローは最大であるという考えに基づいている．はじめに，フローを 0 として s から t への増分路を探索し，フローを増加させる．この作業を増分路がなくなるまで繰り返すことにより，最大フローを求める．

Push-Relabel Method では，s から近傍のノードへ可能な限りフローを流し，それをすべてのノードに対して繰り返すことにより最大フローを求める．

2.2.1

画像の領域セグメンテーション

グラフカットアルゴリズムを用いて画像の領域セグメンテーションを行う．作成するグラフはノードを各ピクセルに対応させ，Potts Interaction Energy Model に従い以下のように定義する．

E(L) =
R(L) =

λ · R(L) + B(L)∑
Rp (Lp )

(2.4)
(2.5)

p∈P

B(L) =∑

B{p,q} · δ(Lp , Lq)(2.6){p,q}inN

δ(Lp , Lq ) = 1

if Lp ̸= Lq

 0otherwise

11

(2.7)

ここで，R(L) は領域情報，B(L) は境界情報，λ は R(L) のパラメータ係数である．このエネルギー関数 E(L) に基づき，グラフのエッジのコストを計算する（表 2.1）．
表 2.1: エッジに与える重みedge

weight(cost)for{p, q}

B{ p, q}{p, q} ∈ N

λ · Rp (”bkg”)

p ∈ P, p ∈/O ∪ B

K

p∈O

0

p∈B

λ · Rp (”obj”)

p ∈ P, p ∈/O ∪ B

0

p∈O

K

p∈B

{p, S}{p, T }

ここで，Rp (“obj”)= − ln Pr(Ip |O)(2.8)

Rp (“bkg”)= − ln Pr(Ip |B)()(Ip − Iq )2
1∝ exp −·
2σ 2dist(p, q)∑= 1 + max
B{p,q}(2.9)

B{p,q}
Kp∈P(2.10)(2.11)

q:{p,q}∈Nとなる．O は物体, B は背景を意味し, また，Ip はピクセル p の輝度値である．ユーザは一部のピ
クセルに対して O, B を入力する．このとき入力された O, B を seed と呼ぶ．Pr(Ip |O), Pr(Ip |B) はseed 以外のピクセルの t-link に設定する物体と背景の尤度である．dist(p, q) はピクセル p, q のユー
クリッド距離を用いる．作成したグラフに対して，min-cut/max-ﬂow algorithm を用いることで，物体と背景にグラフを分割する．このような処理により，インタラクティブな画像セグメンテーションを実現する．

2.2.2

従来法：グラフカットを用いた画像セグメンテーション

グラフカットを用いた画像セグメンテーション法として，Interactive Graph Cuts, Lazy Snapping,

GrabCut について述べる．

■ Interactive Graph Cuts
グラフカットアルゴリズムをもちた領域セグメンテーション手法として，Boykov らは Interactive

Graph Cuts[15, 1] を提案している．Interactive Graph Cuts では，マウス操作により前景と背景の12

seed を指定する．得られた seed から，前景と背景のヒストグラムを作成する．seed が与えられたピ
クセルは式 (2.11)，それ以外のピクセルは得られたヒストグラムを用いて式 Pr(Ip |O), Pr(Ip |B) により t-link を計算し，グラフを作成する．得られたグラフに，min-cut/max-ﬂow algorithm を用いてグラフを分割することで，前景と背景の領域を決定する．図 2.5 に，Interactive Graph Cuts のセグ
メンテーション例を示す．

図 2.5: Interactive Graph Cuts によるセグメンテーション例 (文献 [1] より)．赤い線は前景 seed，
青い線は背景 seed である．

■ Lazy Snapping

Interactive Graph Cuts の高速化として，Li らは Lazy Snapping [2] を提案している．Interactive
Garph Cuts では，各ノードをピクセルとするのに対し，Lazy Snapping では，スーパーピクセルを用いることで，グラフサイズを削減し，セグメンテーション時の処理速度を向上させている．使いやすいユーザインタフェースを用いることでインタラクティブ性を高めている（図 2.6）．

■ GrabCut

Rother らは，グラフカットセグメンテーションの精度向上として GrabCut[3] を提案している．
GrabCut は，前景と背景の seed の代わりに対象を矩形領域で指定することで，ユーザの操作を軽減している．そこから，矩形内を物体，矩形外を背景として，前景と背景の色分布を GMM にモデル化し，Graph Cuts によりセグメンテーションを行う．得られたセグメンテーション結果から，前景と背景の色分布を再学習し，繰り返し処理することで高精度なセグメンテーションを実現している（図 2.7）．

13

図 2.6: Lazy Snapping によるセグメンテーション例 (文献 [2] より)

2.2.3

従来法の問題点

従来法である Interactive Graph Cuts[15], [1] では，seed が与えられていない t-link のエッジコス
トには，seed の色分布から得られる尤度を利用して計算するか 0 とする．尤度の計算を行う場合，

n-link に比べ t-link が大きくなると，色分布による影響が強くなり，突発的な誤検出が多くなる場合がある．そのため，このような誤検出を抑制するためには，λ によって n-link の影響を強くする必要がある．n-link の影響が強いと，画像中のエッジ情報に対しての依存性が強くなる．そのため，図2.8 に示すように Interactive Graph Cuts では画像に複雑なエッジが存在する場合，局所的なエッジを乗り越えてセグメンテーションすることが困難となる．

図 2.7: Grabcut によるセグメンテーション例 (文献 [3] より)

14

図 2.8: 複雑なエッジを含む画像でのグラフカットによるセグメンテーション

15

第3章

平滑化処理の繰り返しによるグラフ
カット
Bag-of-features などの画像分類で，前景と背景の情報をコンテキストとして利用する認識手法では，前処理として領域セグメンテーションが必要がある．この領域セグメンテーションの精度が低い場合，正確なコンテキストが記述できず，認識精度の低下につながる．そのため，高精度なセグメ
ンテーションを行う必要がある．従来のグラフカットによる画像セグメンテーションでは，複雑なエッジ情報を含んだ画像に対しては正確な物体領域を抽出することが困難という問題点がある．これは，グラフの n-link がピクセル間の輝度値から計算されるため，そのエッジの影響により正確な
セグメンテーションが困難となる．そこで，複数の平滑化画像を用いて繰り返し処理によるグラフ
カットセグメンテーション法を提案する．3.1 で提案手法の流れを述べる．3.2 では，効率的な平滑化画像の作成手法について述べ，3.3 では，繰り返し処理により段階的にセグメンテーション精度を向上させるアルゴリズムについて述べる．3.5 では，評価実験により提案手法の有効性を示す．

17

3.1

提案手法の流れ

従来法のグラフカットセグメンテーションでは，図 3.1(a) に示すような画像内に複雑なエッジが含まれている場合，そのエッジの影響により正確なセグメンテーションが困難となる．このような，エッジは画像内の高周波成分であるため，図 3.1(b) のように画像を平滑化することでエッジの影響を抑制することができる．しかし，平滑化画像に対してのグラフカットセグメンテーション結果は，物体の輪郭がぼけているため，大まかなセグメンテーション結果となり精度が低下する．そこで提案手法では，複数の平滑化画像を用いて繰り返しグラフカットセグメンテーションを行うことで，大域的なセグメンテーションから段階的に局所的なセグメンテーションを実現する．

図 3.1: 平滑化画像に対するグラフカットセグメンテーション

図 3.2 に，提案手法の流れを示す．はじめに，入力画像に対してユーザが物体と背景の seed の入力を行う．次に，平滑化度合いを決定する σ の初期値を決定する．これは画像サイズを半分にダウ
ンサンプリングした際の画像の長辺が一定値 l 以下になる画像を平滑化を開始する画像とし，そこから σ の初期値を決定する．決定した σ を用いてガウシアンフィルタにより平滑化画像を作成し，それを入力画像として Graph Cuts を行う．Graph Cuts により，物体領域と背景領域の色分布に対して GMM(Gaussian Mixture Model) の当てはめを行う．また，物体領域と背景領域に対して距離変換を行い各ピクセルごとに物体と背景の事前確率を更新する．GMM の尤度と距離変換による事前

18

図 3.2: 手法の流れ

確率から各ピクセルごとに物体と背景の事後確率を計算したものをグラフの t-link に設定し，次のGraph Cuts 処理に利用する．この処理を σ < 1 でセグメンテーション結果に変化がないか，σ = 0となるまで繰り返す．この条件を満たさない場合は，σ = α · σ として更新を行い再度 Graph Cut を行う．このときの 0 < α < 1 である．
これらの手順を以下に示す．

Step1. seed の入力
Step2. σ の初期値計算
Step3. 画像の平滑化
Step4. Graph Cuts
Step5. セグメンテーション結果から事後確率の計算
Step6. σ < 1 でセグメンテーション結果が変化しなくなるか，σ = 0 となったら終了，それ以外ならば σ = α · σ(0 < α < 1) と更新し Step 3 へ
このような繰り返し処理により，大域的なセグメンテーションから段階的に局所的なセグメンテー
ションを実現している様子を図 3.3 に示す．以下に平滑化画像の作成方法と繰り返し処理の詳細について述べる．

3.2

平滑化画像の作成

ガウシアンフィルタを用いて，平滑化画像を作成する．画像を I ，ガウス分布を G(σ) としたとき，平滑化画像 L(σ) は以下の式で計算される．

L(σ) = G(σ) ∗ I

19

(3.1)

図 3.3: 繰り返し処理によるセグメンテーション例

大きい σ の場合にはフィルタのウィンドウサイズを大きくする必要がある．ウィンドウサイズが大きくなると，画像の端といった信頼性が低い領域の増加，処理時間の増加という問題点が挙げられる．そこで本手法では，画像のダウンサンプリングにより σ の変化の連続性を保持した平滑化画像を作成する．
はじめに，入力画像 I1 に対して σ を 1 から 2 へ増加させて平滑化画像 L1 (σ) を作成する．次に，
画像 I のサイズを半分にダウンサンプリングしたものを I2 とする．この画像 I2 に対して，σ = 1 として平滑化画像 L2 (σ) を作成する．L1 (σ) と L2 (σ) には以下の式が成り立つ．

. L (σ)L1 (2σ) =
. 2

(3.2)

この関係を利用することにより，ダウンサンプリングを行ったものに対して，σ を 1 から 2 の間で変化させることで，ウィンドウサイズを変化させることなく元の画像サイズに対して σ を連続的に大きくすることができる．これをダウンサンプリング後の画像サイズがある程度小さくなるまで繰り返すことにより，通常のガウシアンフィルタでは不可能なサイズの σ に対しても連続的に平滑化画像を作成することが可能となる．図 3.4 にその流れを示す．

3.3

繰り返し処理によるグラフカット

σ が大きな平滑化画像から Graph Cuts を繰り返し行う．従来の Graph Cuts では，t-link は式(2.8), (2.9) の尤度を用いて計算する．これを本手法では 1 回前の Graph Cuts の結果から事後確率20図 3.4: ダウンサンプリングを用いた平滑化を以下の式により計算し，t-link に用いる．

Rp′ (“obj”)= − ln Pr(O|Ip )(3.3)

Rp′ (“bkg”)= − ln Pr(B|Ip )(3.4)

このとき，Pr(O|Ip ) と Pr(B|Ip ) はベイズの定理から式 (3.3), (3.4) により計算する．

Pr(O|Ip ) =Pr(B|Ip ) =Pr(O)Pr(Ip |O)
Pr(Ip )
Pr(B)Pr(Ip |B)
Pr(Ip )

(3.5)
(3.6)

分母の Pr(Ip ) は Pr(O) と Pr(B) の両方にあるため，これらの大小関係には影響がないので無視することができる．尤度 Pr(Ip |O), Pr(Ip |B) は従来法と同様に色分布確率を用いる．事前確率 Pr(O), Pr(B)には，１つ前のセグメンテーション結果から空間的確率を計算する．空間的確率を用いることで，１つ前のセグメンテーション結果に基づいて，次のセグメンテーションの注目位置を変化させる．この色分布確率と空間的確率を繰り返し処理の中で更新し，t-link に反映させることで，大域的なセグ
メンテーションから局所的なセグメンテーションを行う．図 3.5 に，色分布確率と空間的確率の更新の流れを示す．

21図 3.5: 空間的確率と色分布確率の更新の流れ

3.3.1

色分布確率の更新

色分布確率 Pr(Ip |O), Pr(Ip |B) の計算には，GMM (Gaussian Mixture Model) [28] を用いて色分布を表現する．当てはめる色分布は RGB の 3 次元となるため，以下の式を用いる．

Pr(Ip |·)=

K∑

αi pi (Ip |µi , Σi )

(3.7)

i=1

p(Ip |µ, Σ)=1(2π)3/2 |Σ|1/2
(

exp

·

1
(Ip − µ)T Σ−1 (Ip − µ)
2

)
(3.8)

GMM を物体と背景の各領域の色分布に対して EM(Expectation-Maximization) アルゴリズム [29]を用いて当てはめる．これにより，ヒストグラムでは離散的であった値に対して，GMM を用いることにより連続的に取り扱うことができる．当てはめた GMM のパラメータから式 (3.7) を用いること
により，Ip の色分布確率 Pr(Ip |O) と Pr(Ip |B) を求める．

3.3.2

空間的確率の更新

1 つ前の Graph Cuts のセグメンテーション結果の空間情報を用いて，空間的確率 Pr(O), Pr(B) の更新を行う．物体と背景の境界付近では，次のセグメンテーション時にはどちらになるか不明なため，同程度に物体と背景が生起すると考えられる．一方，境界から離れている位置では，次のセグ
メンテーション時に物体と背景が入れ変わる可能性は低い．このような確率分布を作成するために，物体領域と背景領域に対して距離変換を行う．このとき，境界からの距離 d を 0.5 から 1 に正規化す
る．正規化した物体の距離 dobj と背景の距離 dbkg を用いて空間的確率を以下の式で更新する．

Pr(O)
Pr(B)

=
=


 d

obj

if

dobj ≥ dbkg

 1 − dbkg

if

dobj < dbkg

1 − Pr(O)

22

(3.9)
(3.10)

3.4

繰り返し処理とその効果

GMM により得られた色分布確率 Pr(Ip |O), Pr(Ip |B) と距離変換により得られた空間的確率 Pr(O), Pr(B)を用いて，式 (4.8) により物体の事後確率 Pr(O|Ip )，式 (4.9) により背景の事後確率 Pr(B|Ip ) を計算する．
物体の事後確率 Pr(O|Ip ) から式 (4.8) により {p, T } 間の t-link のコストを，背景の事後確率 Pr(B|Ip )から式 (4.9) により {p, S} 間の t-link のコストをそれぞれ計算し，これを 3.2 に示したように次の平滑化画像を用いた Graph Cuts 処理に利用する．これにより，１つ前のセグメンテーション結果を次のグラフカットへ伝播させることができる．
図 3.6 に，繰り返し処理によるセグメンテーション結果を示す．図 3.6(b) は，従来法である Interactive

Graph Cuts[15] によりセグメンテーションをした例である．図 3.6(c) は，n-link の大きさの分布を表したものである．σ = 0 は入力画像に対しての n-link の分布であり，背景に強い細かなエッジが存在することがわかる．そのため，背景領域が物体と誤検出されている．提案手法では，図 3.6(c) より，平滑化処理により n-link を変化させることで，大域的な情報から局所的な情報へ変化しているのがわかる．一方，t-link では，空間的確率 Pr(O), Pr(B) と色分布確率 Pr(Ip |O), Pr(Ip |B) により計算される．空間的確率により，1 つ前のセグメンテーション結果から次のセグメンテーションでどの位置を注目をするかを表現している．図 3.6(d) より，次のセグメンテーションの注目領域が変化しているのがわかる．また，図 3.6(e) は，物体と背景の色分布確率を表現している．この空間的確率

Pr(O), Pr(B) と色分布確率 Pr(Ip |O), Pr(Ip |B) を t-link に用いることで，1 つ前のセグメンテーショ
ン結果を次のセグメンテーションへ反映させる．これを平滑化度合いを大きな値から小さくしながら繰り返し処理することにより，大域的なセグメンテーションから段階的に局所的なセグメンテー
ションを実現することが可能となる．

3.5

セグメンテーション評価実験

3.5.1

実験概要

本手法の有効性を示すために評価実験を行う．実験に使用する評価用画像データベースには，Grab-

Cut1 にて提供されている 50 枚の人・風景・動物等の画像を用いる．図 3.7 に，データベースの画像例を示す．これらの画像に対し，同じ seed を与えて提案手法と従来法である Interactive Graph

Cuts [15] と GrabCut[3] との比較を行う．評価方法として，物体領域のマスクデータを正解データとし，それに対しての誤検出率により評価する．物体の正解ラベルを O = {O1 , O2 , . . . , Op , . . . , O|P | },背景の正解ラベルを B = {B1 , B2 , . . . , Bp , . . . , B|P | }，得られたセグメンテーション結果を L ={L1 , L2 , . . . , Lp , . . . , L|P | } とする．このとき，物体領域を背景と誤検出したものを over segmentation，背景領域を物体と誤検出したものを under segmentation として各誤検出率を以下の式で求1

http://research.microsoft.com/vision/cambridge/i3l/segmentation/GrabCut.htm

23図 3.6: 各平滑化画像に対する n-link と t-link の変化とセグメンテーション結果例24

図 3.7: GrabCut database 例

25

める．

∑

p∈P δ(Lp − Bp )over seg. =(3.11)|P |∑p∈P δ(Lp − Op )under seg. =(3.12)|P |Graph Cuts のパラメータ λ は，Interactive Graph Cuts では λ = 0.005 として seed が与えられた位置のみ t-link を計算する．Grabcut と提案手法では，λ = 0.02 として実験を行う．

3.5.2

実験結果

表 3.1 に，評価用データベース 50 枚の画像に対するセグメンテーション結果を示す．表 3.1 より，
表 3.1: 誤検出率 [%]従来法Interactive
Graph Cuts[15]

GrabCut[3]

提案手法

over seg.

1.86

3.33

1.12

under seg.

1.89

1.59

0.49

total

3.75

4.93

1.61

提案手法は従来法に比べ 2.14% セグメンテーションの精度を向上させることができた．また実験に用いた画像の中で，従来法で誤検出率が 2% 以下のものを成功画像，2% 以上を失敗画像とした際の実験結果を表 3.2 に示す．表 3.2 より，提案手法は従来法で成功する画像に対しては同程度のセグメ
表 3.2: 誤検出率 [%]従来法Interactive
Graph Cuts[15]成功画像(26 枚)

失敗画像(24 枚)

GrabCut[3]

提案手法

over seg.

0.29

3.54

0.81

under seg.

0.43

1.03

0.22

total

0.72

4.58

1.03

over seg.

3.56

3.10

1.45

under seg.

3.47

2.21

0.79

total

7.04

5.31

2.25

ンテーション精度である．一方，失敗画像に対しては 4.79% セグメンテーション精度を向上させる

26

ことができている．これは，提案手法では，平滑化を行うことにより周波数成分が低い大域的なセグメンテーションから始めることにより大まかなセグメンテーションをする．また，距離変換を考慮した t-link を用いることにより，次のセグメンテーションでの注目位置を考慮するため，大域的な情報を保持することができる．そして，徐々に平滑化度合いを低くしていくことで，大域的な情報を保持しつつ，より細かいセグメンテーションを行うことが可能となる．そのため，提案手法は従来法で失敗した画像に対しても高精度にセグメンテーションを行うことができたと考えられる．図3.8, 3.9 に各手法の画像セグメンテーション例とエラー率 (err) を示す．このエラー率は式 (3.11) のover segmentation と式 (3.12) の under segmentation を足した値である．

図 3.8: セグメンテーション例と誤検出率

27図 3.9: セグメンテーション例と誤検出率

28

3.5.3考察■ λ の変化による影響
式 (2.1) の t-link と n-link の強さを制御するパラメータ λ は，Interactive Graph Cuts では経験的に決定している．Interactive Graph Cuts [15] と提案手法にて λ を 100 から 0 まで変化させた結果を図 3.10 に示す．図 3.10 の λ = 0.005 のように n-link が強い場合，Interactive Graph Cuts と提案

図 3.10: λ の変化によるセグメンテーション結果の違い

手法ともに大まかな物体領域の抽出はできているが，細部に誤検出が存在する．一方，λ の値を大きくして t-link の影響を強くした場合，Interactive Graph Cuts では誤検出領域が多いが，提案手法では安定して物体領域を抽出できていることがわかる．これは，従来法では t-link に色情報のみが使われているため，物体領域の色に似ている色の背景領域が誤検出される．提案手法では繰り返し処理における 1 つ前の Graph Cuts の結果から，大まかな物体領域と背景領域の形を捉えた t-link が得られるため，λ を大きくした場合でも突発的な誤検出を抑制することができる．このことから，提案手法は λ を変化させても，安定したセグメンテーション結果を得ることができる．このように，λに影響を受けにくい提案手法は，パラメータの調整を必要としないため，画像セグメンテーションの自動化に有効であるといえる．

■ 処理時間従来法と提案手法の処理時間の計測を行う．処理時間計測には画像サイズを 150x113, 300x225,

600x450 の 3 種類を用いる．使用した PC は Intel(R) Xeon 2.66GHz × 8，メモリ 4.0GB である．表
3.3 に各手法での処理時間と繰り返し回数を示す．表 3.3 より，提案手法は繰り返し処理が入るため，

29

表 3.3: 各手法の処理時間 [s]（繰り返し回数）

Interactive
Graph Cuts[15]

GrabCut[3]提案手法

150x1130.38

2.91 (4 回)

9.81 (8 回)

300x225

0.94

8.15 (3 回)

37.59 (10 回)

600x450

3.57

98.04 (12 回)

154.70 (12 回)

処理時間が大幅に増加する．解決策として，繰り返し回数の軽減や Lazy Snapping [2] のようにスー
パーピクセルからグラフを作成することによるグラフカットの高速化が考えられる．

3.6

まとめ

平滑化の繰り返し処理による，大域的なセグメンテーションから段階的に局所的なセグメンテー
ションを行う手法を提案した．従来法では，複雑なエッジを含む画像に対しても安定してセグメン
テーションを行えることを確認した．評価実験より，提案手法は従来法と比較し 2.14% セグメンテー
ション精度を向上することができた．従来法で成功した画像は同程度のセグメンテーション精度で，失敗した画像に対しては 4.79% セグメンテーション精度を改善することができた．また，大域的なセグメンテーションから段階的に局所的なセグメンテーションを行うためグラフカットのパラメー
タ λ に対して，安定したセグメンテーションが可能であることを実験により確認した．このセグメ
ンテーション結果を画像分類の前処理として利用することで，認識精度の向上が期待できる．

30

第4章

動画像に対するグラフカットによるセグメンテーション
2 章，3 章では，静止画に対するセグメンテーション手法について述べた．グラフカットによるセグメンテーションでは，静止画などの 2 次元情報だけでなく，多次元への拡張が可能である．時系列
データに対してグラフカットセグメンテーションを適応させることで，動画像のセグメンテーションが可能となる．動画像を用いた物体認識として Video Google[30] など提案されており，動画像に置いても高精度なセグメンテーションが可能となれば，物体認識精度の向上が期待できる．3 章で提案した平滑化処理の繰り返しによるグラフカットも同様に多次元への拡張が可能である．しかし，多次元へ拡張した場合，グラフサイズが大きくなるため処理が困難になるという問題がある．この問題の一般的な解決法として，動画像を時系列のボリュームデータとみなし，属性が似ているピクセルをク
ラスタリングした Spatio-temporal volume を用いて各ボリュームをノードとすることでグラフサイズを削減する手法が用いられるが，ボリューム単位でのセグメンテーションしかできないため，高精度なセグメンテーションは期待できない．そこで本章では，3 章で提案した手法を Spatio-temporal

volume に応用することで，高精度なビデオセグメンテーション手法を提案する．

31

4.1

従来法の問題点

従来法である Interactive Graph Cuts[1] は，各ピクセルをノードとして，グリッド上に n-link を作成し，t-link は，動画像の全てのピクセルに対して作成する．図 4.1 に動画像に対応したグラフを示す．このように動画像からグラフを作成した場合，各ピクセルをノードとするため，グラフのサ

図 4.1: 従来法によるグラフカットによる動画像セグメンテーション

イズが大きくなる．例えば，解像度が 360 × 240, フレーム数が 100 とした時，作成されるエッジは
約 2,500 万本となる．そのため，長時間のシーケンスに対応するには多くのメモリが必要となる．また，計算コストが増加するといった問題が生じる．通常，このような問題を解決する手法として，動画像を時空間ボリュームデータとみなしクラスタリングした Spatio-temporal volume の各ボリュー
ムをノードとすることでグラフのサイズを削減する [31][32]．しかし，ピクセルを Spatio-temporal

volume に変更しただけでは，ピクセルよりも分解能が低いボリューム単位でのセグメンテーションしか行えないため，高精度なセグメンテーションは期待できない．

32

4.2

Spatio-temporal volume を用いた繰り返し処理によるグラフカット

本手法では，3 章で提案した平滑化の繰り返し処理によるグラフカットによるセグメンテーション
を，Spatio-temporal volume に拡張し，ボリュームの大きさを変化させながら繰り返し処理を行う
ことで，初期段階の大まかなセグメンテーションから段階的に精密なセグメンテーションを実現する．これにより，ピクセルを Spatio-temporal volume に変更したのみの手法より同程度の分解能時に高精度なセグメンテーションが可能となる．

4.2.1

提案手法

Spatio-temporal volume とは，動画像を時系列のボリュームデータとして，属性が似ているピクセ
ルをクラスタリングしたものである．本手法では，Mean Shift クラスタリングにより Spatio-temporal

volume を作成する．その際に，異なるバンド幅で作成された Spatio-temporal volume を使用し，バンド幅が大きなものから Graph Cuts を繰り返し行うことにより，大まかなセグメンテーションから段階的に精密なセグメンテーションを実現する（図 4.2）．

図 4.2: Spatio-temporal volume を用いた大まかなセグメンテーションから精密なセグメンテーション

Spatio-temporal volume を用いた場合，移動量が大きい物体はフレーム間で異なるボリュームに分けられる可能性があり，隣接するボリュームのみでは最適なグラフを作成することが困難となる．
この問題を解決するため，本手法は n-link に，隣接するボリュームと，フレーム間の対応に基づくボリュームの 2 種類のエッジを設定する．

33

■ エネルギー関数提案手法では，n-link に隣接するボリューム対とフレーム間の対応点探索によるボリューム対を用いるため，2.1.1 で示した Graph Cuts のエネルギー関数を拡張し，以下のように定義する．

E(L) =
R(L) =

λ · R(L) + BN (L) + BC (L)∑Rp (Lp )

(4.1)
(4.2)

p∈P

BN (L) =∑B{p,q} · δ(Lp , Lq )(4.3)

B{p,q} · δ(Lp , Lq )(4.4){p,q}∈N

BC (L) =∑{p,q}∈C

ここで，p, q ∈ P は Mean Shift クラスタリングにより得られる各 Spatio-temporal volume，N は隣接関係のボリューム対の集合である，C はフレーム間の対応点から得られるボリューム対の集合である．移動量が大きい物体は Mean Shift クラスタリングを行うと，同一物体がフレーム間で異なるクラスタへ分けられ，ボリュームの隣接関係だけでは記述することが困難となる．そこで，フレーム間の対応点である BC (L) を加えることにより，同一物体の関係を記述することができ，頑健なセグ
メンテーションが可能となる．

■ 提案手法の流れ
図 4.3 に，提案手法の流れを示す．はじめに，入力された動画像に対してユーザが物体と背景の

図 4.3: 手法の流れ

seed の入力を行う．次に，入力された動画像に対して，バンド幅 h で Mean Shift クラスタリングを行い，Spatio-temporal volume を作成する．作成された Spatio-temporal volume をノードとしてGraph Cuts によりセグメンテーションを行う．セグメンテーション結果から，物体領域と背景領域の色分布に対して GMM(Gaussian Mixture Model) の当てはめ，色分布確率を計算する．また，物体領域と背景領域に対して距離変換を行い，ピクセルごとに物体と背景の空間的確率を計算する．色34

分布確率と空間的確率から事後確率を計算し，それを次の Graph Cuts 処理の t-link のエッジコス
トに設定する．バンド幅 h を h = α · h として更新し，h が一定値以下になるまで繰り返し処理する．
これらの手順を以下に示す．

Step1. seed の入力
Step2. Spatio-temporal volume の作成
Step3. 対応点探索
Step4. Graph Cuts によるセグメンテーション
Step5. セグメンテーション結果から色分布確率・空間的確率の計算
Step6. h = α · h(0 < α < 1) と更新し h が一定値以下なら終了．それ以外なら Step 2 へ
以下に，各処理の詳細を記述する．

4.2.2

Spatio-temporal volume の作成

Mean Shift クラスタリング [33] を時空間に対して行うことで，Spatio-temporal volume を作成す
る．空間，時間，色情報を持った入力ベクトルを xi = {xsi , xti , xri }，フィルタ結果を zi ，各ピクセ
ルのラベルを Li とする．また，{yj }j=1,2,... を以下のように定義する．

(°° )° yj −xi °2
x
g
°
i=1 i
h °
(
°
°2 )
∑n
g ° x−xi °

∑n
yj+1

=

i=1

g(x)

(4.5)

h

=

(° ° ) (° °2 ) (° ° )° x s °2° t°
° r °2
C° ° k °x ° k °x °kp
° hs °° ht °° hr °
h2s ht hr(4.6)

ここで，hs , ht , hr はそれぞれ空間，時間，色のバンド幅で，C は正規化定数である．k(x) はカーネル関数である．Mean Shift クラスタリング は以下の手順で行われる．

1. j = 0 とし yi,j = xi として初期化
2. yi,j+1 を式 (4.5) により計算し，収束する yi,c まで繰り返し，zi = yi,c として特徴空間の情報を格納

3. 特徴空間において，zi をクラスタ {Cp }p=1,...,m にクラスタリング
4. Li = {p|zi ∈ Cp }5. 空間領域において，M pixel 以下の領域を削除

35

図 4.4: Spatio-temporal volume の作成例

図 4.4 に，各バンド幅における Spatio-temporal volume の例を示す．図 4.4 から，バンド幅を大きな値から小さくすることで，各ボリュームが徐々に細かくなっていることがわかる．本手法では，
このようにバンド幅を変化させることで大域的な情報から局所的な情報を表現する．Mean Shift ク
ラスタリングにより作成された各ボリュームをノードとし，隣接するボリューム間にエッジを設定することで，グラフを作成する．

4.2.3

対応点探索によるエッジの追加

Mean Shift クラスタリングで Spatio-temporal volume を作成した際に，移動量が大きい物体はフレーム間で異なるボリュームに分けられる可能性がある．図 4.5 は，作成された Spatio-temporal

volume を表しており，各ボリュームを色で表現している．図 4.5(a) のように物体の移動量が大きい場合，図 4.5(b) の時系列方向に見たときに同一物体のボリュームが隣接しない．そのため，隣接するボリュームのみでは最適なグラフを作成することが困難となる．本手法では，この問題を解決するために，フレーム間で対応点探索を行い，離れたボリューム間のエッジを設定する．対応点は，

SIFT[34] により特徴点の検出をし，各点の SIFT 特徴量の類似度により求める．図 4.5(a) に示すよ
うに，マッチングにより得られる対応点を含む隣接するボリューム間にエッジを追加する．t フレー
ムから t + 1 フレームで物体が大きく移動した場合，隣接したボリュームだけでは同じ物体領域を繋ぐエッジは作成されないが，対応点探索からボリュームの対応を得ることで，離れているボリューム
間の隣接関係を記述することができる．

36

図 4.5: 対応点探索によるエッジの追加例

4.2.4

繰り返し処理による Graph Cuts

Mean Shift クラスタリングのバンド幅を変化させた Spatio-temporal volume に対し，バンド幅が大きなものから Graph Cuts によるセグメンテーションを行う．セグメンテーション結果から空間的確率と色分布確率を計算し，それを Graph Cuts の t-link に利用することで，大域的な情報を局所的な情報へ伝播させる．以下に，n-link と t-link の更新方法と繰り返し処理の効果について述べる．

■ n-link の更新

n-link は，ノード間の関係を表す項である．本手法では， n-link に 4.2.2 により作成した隣接するボリューム間を表す BN (L) と，4.2.3 により追加した対応点探索により得られるボリューム間を表す BC (L) の 2 つを用いる．BN (L), BC (L) のそれぞれのエッジコストはボリューム間の色の類似度から計算する．ボリューム間の p, q のエッジコスト B{p,q} は以下の式により求める．

(

B{p,q}

2∥I p − I q ∥= exp −
2σ 2

)
(4.7)

ここで，I は Spatio-temporal volume の代表色であり，Mean Shift クラスタリングで求められるク
ラスタの代表ベクトルにより決定する．本手法では，隣接するボリューム BN (L) と，対応点探索により得られるボリューム BC (L) を近傍ノードとしてグラフを作成する．

■ t-link の更新

t-link は，各ボリュームに対応するノードがどちらのラベルが割り当てられるかを表す項である．
従来の Graph Cuts では，t-link は式 (2.8), (2.9) の尤度を用いて計算する．これを本手法では 1 回

37

前の Graph Cuts の結果から事後確率を以下の式により計算し，t-link に用いる．

Rp′ (“obj”) = − ln Pr(O|I p )(4.8)

Rp′ (“bkg”)(4.9)= − ln Pr(B|I p )このとき，Pr(O|Ip ) と Pr(B|Ip ) はベイズの定理から式 (4.10), (4.11) により計算する．

Pr(O|I p ) =Pr(B|I p ) =Pr(O)Pr(I p |O)
Pr(I p )Pr(B)Pr(I p |B)
Pr(I p )(4.10)(4.11)

分母の Pr(I p ) は Pr(O) と Pr(B) の両方にあるため，これらの大小関係には影響がないので無視することができる．尤度 Pr(I p |O), Pr(I p |B) は従来法と同様に色分布確率を用いる．事前確率 Pr(O), Pr(B)には，１つ前のセグメンテーション結果から空間的確率を計算する．空間的確率を用いることで，１つ前のセグメンテーション結果に基づいて，次のセグメンテーションの注目位置を変化させることができる．
色分布確率の更新

色分布確率 Pr(I p |O), Pr(I p |B) の計算には，GMM (Gaussian Mixture Model)[28]を用いて色分布を表現する．当てはめる色分布は L*a*b*の 3 次元となるため，以下の式を用いる．

Pr(I p |·) =K∑

αi pi (I p |µi , Σi )(4.12)

i=1

1·(2π)3/2 |Σ|1/2
(
)
1
exp
(I p − µ)T Σ−1 (I p − µ)2p(I p |µ, Σ) =(4.13)

GMM を物体と背景の各領域の色分布に対して EM アルゴリズム [29] を用いて当てはめる．これにより，ヒストグラムでは離散的であった値に対して，GMM を用いることにより連続的に取り扱うことができる．当てはめた GMM のパラメータから式 (4.12) を用いることにより，I p の色分布確率

Pr(I p |O) と Pr(I p |B) を求める．
空間的確率の更新

1 つ前の Graph Cuts のセグメンテーション結果の空間情報を用いて，空間的確率 Pr(O), Pr(B) の更新を行う．物体と背景の境界付近では，次のセグメンテーション時にはどちらになるか不明なため，同程度に物体と背景が生起すると考えられる．一方，境界から離れている位置
では，次のセグメンテーション時に物体と背景のラベルが入れ変わる可能性は低い．このような確率分布を作成するために，物体領域と背景領域に対して距離変換を行う．時空間の 3 次元に対して
ピクセル単位で，3 次元距離変換 [35] を行う．このとき，境界からの距離 d を 0.5 から 1 に正規化を38

行う．正規化をした物体の距離 dobj と背景の距離 dbkg を用いて空間的確率を以下の式で更新する．

Pr(O)
Pr(B)

=
=


 d

obj

if

dobj ≥ dbkg

 1 − dbkg

if

dobj < dbkg

1 − Pr(O)(4.14)(4.15)

各ピクセルに対して Pr(O), Pr(B) を計算し，Mean Shift クラスタリングにより得られた各 Spatio-

temporal volume 内の平均値をその位置の空間的確率とする．この空間的確率を用いると，色分布確率に空間的な制約を設けることができ，次のグラフカットでは境界に注目したセグメンテーションが可能となるため，色情報だけでは識別が困難である同一物体の誤検出を抑制する効果が期待できる．

■ 繰り返し処理

GMM により得られた色分布確率 Pr(I p |O), Pr(I p |B) と距離変換により得られた空間的確率 Pr(O), Pr(B)を用いて，式 (4.8) により物体の事後確率 Pr(O|I p )，式 (4.9) により背景の事後確率 Pr(B|I p ) を計算する．
物体の事後確率 Pr(O|I p ) から式 (4.8) により {p, T } 間の t-link のコストを，背景の事後確率

Pr(B|I p ) から式 (4.9) により {p, S} 間の t-link のコストをそれぞれ計算し，Graph Cuts 処理に利用する．これにより，１つ前のセグメンテーション結果を次の Graph Cuts へ伝播させることができる．図 4.6 に繰り返し処理によるセグメンテーション結果を，図 4.7 に提案手法のセグメンテー
ション結果を示す．

4.3

評価実験

本手法の有効性を示すために評価実験を行う．

4.3.1

実験概要

ハイビジョンカメラを用いて撮影した動画像 13 シーケンスを評価対象とする．各シーケンスは手持ちによる非固定カメラで撮影している．入力する seed は初期フレームのみに与え，10 フレーム目のセグメンテーション結果と手動により求めた正解データの 2 つを比較する．評価実験として，従来法とのセグメンテーション精度とグラフサイズと計算時間の比較実験を行う．セグメンテーション
精度の比較方法として再現率 (Recall) および適合率 (Precision) により評価する．物体抽出結果から，検出結果で正解した物体領域と背景領域の面積をそれぞれ True Positive(T P )，True Negative(T N )とする．また，背景領域を物体領域とした誤検出の面積を False Positive(F P )，物体領域を背景領域とした誤検出の面積を False Negative(F N ) とする．Recall, Precision, F-measure を以下の式により

39

図 4.6: 繰り返し処理によるセグメンテーション結果

40

図 4.7: セグメンテーション結果例

41

求める．

Recall =Precision =F − measure=

TP
TP + FNTP
TP + FP
2 × Recall × Precision
Recall + Precision(4.16)(4.17)(4.18)

比較対象として，以下の従来手法との比較を行う．
従来法 1 各ピクセルをノードとしてグラフを作成する手法 [1]従来法 2 Spatio-temporal volume をノードとしてグラフを作成する手法
従来法 3 Spatio-temporal volume をノードとしてグラフを作成し，繰り返し処理により色分布確率の更新を行う手法
提案手法 1 バンド幅を変化させた Spatio-temporal volume の繰り返し処理による手法
提案手法 2 提案手法 1 に距離変換による空間的確率を用いた手法
提案手法 3 提案手法 2 に対応点探索によるエッジの追加を導入した手法

Spatio-temporal volume の最小のバンド幅は h = 2 とした．これは，解像度が 360 × 240，100 フ
レームの動画像に対して，Spatio-temporal volume を用いてグラフを作成できる最小値を実験的に
求めた．

4.3.2

従来法との比較

従来法とのセグメンテーション精度の比較をし，提案手法の有効性を示す．図 4.8 に各手法でのセグメンテーション率，図 4.9 に各手法のセグメンテーション結果例を示す．

■ Spatio-temporal volume の導入
図 4.8 の従来法 1 と従来法 2 から，Spatio-temporal volume を用いた場合，Recall が 0.06，Precision
が 0.19，f-measure が 0.15 低下していることがわかる．従来法 2 は，Spatio-temporal volume を用いることで，ピクセルよりも分解能が低下したため，セグメンテーション精度が低下したと考えら
れる．

42

図 4.8: セグメンテーション率■ 繰り返し処理による色分布確率の更新の効果
従来法 2 と繰り返し処理を加えた従来法 3 の比較を行うと，Recall は同程度であるが，Precision
が 0.19 低下していることがわかる．これは，従来法 1 と従来法 2 を比較した場合，Precision が大幅に低下していることから，Spatio-temporal volume を用いると背景を物体と誤検出しやすくなるといえる．そのため，繰り返し処理時に背景の色情報を物体として学習するため，背景の誤検出が徐々に広がると考えられる．図 4.9(c)(d) は，バンド幅 h = 2 で作成した Spatio-temporal volume を用いたときの従来法 2 と従来法 3 でのセグメンテーション結果である．従来法 3 の 1 回目の処理結果
は従来法 2 と同様の結果あるが，繰り返し処理を行うことで，細かな背景の誤検出が徐々に広がっていることがわかる．

■ バンド幅の変化による繰り返し処理の効果
従来法 3 と提案手法 1 との比較をすると，提案手法 1 は従来法 3 と比較し Recall が 0.08，Precision
が 0.21，f-measure が 0.20 向上したことがわかる．繰り返し処理では，セグメンテーション結果から色分布確率を再学習するため，誤検出が多い結果からは物体と背景の色分布確率を正確に学習することができない．しかし，バンド幅を大きくすると大きなボリュームが作成され，誤検出されるような細かなボリュームは大きなボリュームに含まれ，細かなボリュームの誤検出を抑制することができる．誤検出が少ない結果から色分布確率の再学習をするため，正確に学習することができる．
正確に学習された色分布確率を用いて，再度セグメンテーションを行うことでより正確なセグメン

43

図 4.9: セグメンテーション結果例

44

テーションが可能となる．そのため，Spatio-temporal volume 作成時のバンド幅を変化させながら繰り返し処理を行うことは有効である．図 4.9(e) は，Spatio-temporal volume のバンド幅を h = 20から h = 2 まで変化させながら繰り返し処理したセグメンテーション結果である．図 4.9(d) の従来
法 3 と比較し，提案手法 1 では大きな Spatio-temporal volume から処理することで，繰り返しにより細かな背景領域の誤検出を抑制できていることがわかる．

■ 距離変換による空間的確率の効果
図 4.8 の提案手法 1 と距離変換による空間的確率を加えた提案手法 2 を比較すると，Recall は同程度であるが，Precision は 0.06 精度が向上していることがわかる．これは，距離変換によりセグメン
テーションの注目する位置を限定することで，同一物体の誤検出を抑制することができるためだと考えられる．図 4.10 では，同一物体が存在するシーケンスに対して，提案手法 1 と提案手法 2 でのセグメンテーション結果である．1 フレーム目では中央の葉のみを指定しており，提案手法 1 と 2 での最初のセグメンテーション処理では対象物体のみの抽出が可能である．しかし，提案手法 1 では
色情報のみを用いてセグメンテーションしているため，そのほかの葉も検出されていることがわかる．一方，提案手法 2 では，距離変換を加えたことにより，物体と背景の境界に着目するような空間的な制約を設けることで，同一物体の誤検出を抑制できていることがわかる．

図 4.10: 距離変換によるセグメンテーションの成功例

45

■ 対応点探索によるエッジ追加の効果
提案手法 2 と対応点探索によるエッジを追加した提案手法 3 を比較すると，Recall，Precision ともに同程度の精度であると言える．これは，使用したシーケンスで物体が大きく移動しているシーンが少ないため，優位差が出なかったと考えられる．そこで，追実験として，提案手法 2 と提案手
法 3 に対し，フレームレートを変化させたときのセグメンテーション精度の比較を行う．図 4.11 に，
フレームレートを変化させたときの f-measure を示す．図 4.11 より，対応点探索を用いることによ

図 4.11: フレームレートを変化させたときのセグメンテーション精度の比較

り，フレームレートが低下してもセグメンテーション精度の低下を抑制することができているのがわかる．これは，フレームレートが低いため，1 フレームでの移動量が大きくなり，Mean Shift クラ
スタリングの際にフレーム間で同一領域が異なるクラスタに分けられるため，隣接ボリュームのみ
で n-link を記述した場合，フレームレートが小さくなるとセグメンテーション精度が低下する．しかし，対応点探索を用いることで，離れたボリューム間の対応を得ることができるため，セグメン
テーション精度の低下を抑制することができたと考えられる．
以上の結果により，提案手法は，バンド幅を変化させながら繰り返し処理を行うことで，Spatio-

temporal volume を用いた場合でも高精度なセグメンテーションが可能であり，距離変換による空間
的確率を加えることで，繰り返し処理の同一物体の誤検出を抑制することができる．そのため，提案手法は Spatio-temporal volume を用いているが，従来法 1 と同程度のセグメンテーション精度を得ることができる．また，移動量が大きい物体に対しても対応点探索によるエッジの追加を行うことにより安定してセグメンテーションすることができる．

46

4.3.3グラフサイズと計算時間の比較

各手法のグラフサイズの比較を行う．表 4.1 に，画像サイズ 360 × 240，10 フレームの動画象に対してグラフを作成した際の各手法のノード数とエッジ数を示す．従来法は，バンド幅が h = 2 で，提表 4.1: グラフのサイズ
従来法 1[1]従来法 2, 3

提案手法 1, 2, 3

ノード

864,000

52,99343,140 ∼ 52,993

エッジ

2,505,600

81,23917,477 ∼ 81,549

案手法はバンド幅 h を 20 から 2 まで変化させたときの結果である．従来法 1 に比べ，提案手法はノード数を約 6.1%，エッジ数を約 3.3% まで削減することができた．これにより，提案手法 2 は従来法 1 と比較して，同程度のセグメンテーション精度において，グラフサイズを約 1/25 まで削減させることができた．
次に，計算時間の比較を行う．本手法の処理は主に，Spatio-temporal volume の作成，Graph Cuts
によるセグメンテーション，確率の更新の 3 つに分けることができる．ここで，本手法ではインタラ
クティブなセグメンテーションを目的としているため，Graph Cuts によるセグメンテーションと確率の更新の時間が重要である．Spatio-temporal volume の作成は前処理として事前に計算することができるため，インタラクティブな処理の際には関係がない．そこで，Graph Cuts によるセグメン
テーションと確率の更新の時間の計測を行う．使用したシーケンスはセグメンテーション精度実験と同様である．従来法 3 と提案手法 3 の繰り返し回数は 7 回とした．表 4.2 に各手法の平均処理時間を示す．従来法 3 と提案手法は，7 回の処理の合計を表している．表 4.2 より，提案手法 3 は従来法
表 4.2: 各手法の平均処理時間の比較 [s]
従来法 1

従来法 2

従来法 3

提案手法 3Graph Cuts

329.6

10.3

72.4

68.5

確率の更新

—

—

110.3

113.1

合計

329.6

10.3

182.7

181.6

1 と比較し処理時間を約 50%に削減することができた．提案手法と従来法 2 を比較すると，従来法 2
は提案手法 3 の約 5%程度である．これは，提案手法は繰り返し処理による計算時間の増加が原因である．提案手法と従来法 3 を比較すると，提案手法は空間的確率の更新が必要なため，確率の更新
時間が増加しているが，ボリューム数が少ない Spatio-temporal volume から計算するため，Graph

Cuts によるセグメンテーション時間を削減することができている．そのため，提案手法と従来法 3の処理時間は同程度となったといえる．

47

4.4

まとめ

本章ではバンド幅を変化させた Spatio-temporal volume を繰り返し処理することで，初期段階での大まかなセグメンテーションから段階的に精密なセグメンテーションを行う手法を提案した．評
価実験により，各ピクセルをノードとする手法と同程度のセグメンテーション精度において，グラフ
サイズを約 1/25 まで削減できることを示した．また，SIFT を用いた対応点探索結果を n-link に反映させることで，移動量が大きい場合でも頑健にセグメンテーションを行うことができることを確認した．この動画像の高精度なセグメンテーションを，動画像を用いた物体認識へ利用することで認識精度の向上が期待できる．

48

第5章

画像分類における Bag-of-features による識別に有効な特徴量の傾向
3 章，4 章では，グラフカットを用いた大域的なセグメンテーションから段階的に局所的なセグメ
ンテーションを行う手法を提案した．本章では，グラフカットセグメンテーションにより得られた前景と背景領域を用いて，Bag-of-features における識別に有効な特徴量を実験的に検討する．Bag-

of-features は，画像中の主な物体のカテゴリを特定する画像分類問題に有効とされる手法である．
Bag-of-features では，ヒストグラムにより特徴を表現するため物体の位置情報は無視され，対象カテ
ゴリからなる前景領域のみで特徴量を記述することで精度が向上すると考えられる．しかし，実際にどのような特徴量が有効であるかは明確になっていない．そこで，本章では，予め画像セグメンテー
ションにより前景領域を抽出し，その領域のみで特徴量を記述する手法と，通常の Bag-of-featuresとの比較し，認識に有効な特徴の傾向調査をする．AdaBoost の弱識別器に着目した認識に有効な特徴量の調査手法を提案する．

49

5.1

一般物体認識の歴史的背景

5.1.1

一般物体認識とその発展

実世界シーンを制約のない状態で撮影された画像中から，どのような物体が画像内に存在するか，
どのようなシーンであるかを一般的な名称でコンピュータが認識することを一般物体認識と呼ぶ [4]．
一般物体認識を困難にしている大きな要因として，一般的な名称を指すカテゴリが膨大であることと，同一物体カテゴリ内のバリエーションの多様さが挙げられる．一般的な名称によるカテゴリ分
類を行う場合，そのカテゴリ数は 10,000 から 30,000 になるといわれ，すべてのカテゴリを認識することは困難である．また，同一の物体においても視点の変化，照明変化，オクルージョン，スケール
変化，物体の変形などによりアピアランスが大きく変化するため，このような条件下で認識することは難しい問題である．そのため，物体認識に用いる特徴量はこのような要素に不変である必要があり，形状やテクスチャに基づく特徴量が多く利用されている [36, 37, 38]．近年では，コンピュータの発展により大量のデータを高速に処理することが可能となり，さらに機械学習の分野で研究された学習手法が一般物体認識へ適用できるようになったため，一般物体認識の研究が躍進した．中でも，Viola & Jones の顔検出手法 [39], HOG 特徴量による人検出 [40]，Bag-of-features による画像分類 [6]，Randomized Trees による高速な特定物体認識 [41] のように統計的機械学習法を用いた一般物体認識の有効なアプローチが提案されている．また，各手法の客観的評価を行うために共通
データセットが構築され，近年では，一般物体認識の研究が一層盛んに取り組まれている．

5.1.2

画像分類問題とその問題点

一般物体認識問題の１つである，画像中の物体が何の物体カテゴリであるかを分類する Object

categorization（画像分類）では，局所特徴量を用いた Part-based approach が有効とされており，
constellation model[42][43][44] や Bag-of-features[5] がある．constellation model では，局所特徴量の位置関係を用いて認識するのに対し，Bag-of-features では，画像特徴を局所特徴量のヒストグラム
で記述するため，局所特徴量の位置情報は利用しないアプローチである．そのため，Bag-of-features
では，風景などの位置関係をモデリングできない対象に対しても同一のアプローチで認識が可能であるため，constellation model より柔軟な物体認識が可能である．近年では，Bag-of-features に局
所特徴量の位置情報を考慮することによる認識精度の向上が試みられており，画像中の空間的な位置関係を記述する手法 [6] と画像中の前景領域から特徴量を記述する手法 [7][8][9] が提案されている．
局所特徴量の空間的な位置情報を記述する手法として，Lazebnik らは，多重解像度ヒストグラムで表現する Spatial Pyramid Matching[6] を提案した．Spatial Pyramid Matching は，画像をグリッド分割し，その小領域単位の位置関係を記述することができる．一方，前景領域の局所特徴量を利用する手法として，Marcin ら [7] は，学習データのマスク画像を用いて，特徴量の関係から入力画
像の前景領域に合わせて重み分布を求め，この重み分布を利用してベクトル量子化ヒストグラムを作成することで，背景情報を抑制する手法を提案した．また，鈴木ら [8] は，抽出された特徴量を

50

SVM により前景と背景に識別し，前景特徴のみで特徴量を記述することで認識精度を向上させている．Bosch ら [9] は，学習画像との特徴量の類似度が高くなる注目領域（ROI）を決定し，その領域からシェイプやアピアランス特徴を Multiple Kernel Learning により学習する手法を提案している．
これらの前景領域から特徴記述する手法では，背景情報はノイズと考え，背景を除去し，前景のみで特徴量を記述することで認識率が向上するという考えに基づいている．しかしながら，一方では物体間の関係をコンテキストとして利用することで，認識精度を向上させる手法 [10] や背景のみの情報だけでも認識が可能 [11] といった報告がされている．
この場合，対象カテゴリでない物体は背景に属していることになる．このように，画像分類問題
において，Bag-of-features がどのような特徴を捉え，有効に働くかは明確でないといえる．そこで，
本研究では，Bag-of-features においてどのような特徴量が有効であるかを明確にすることを目的と
する．

5.2

Bag-of-features と画像局所特徴量

本節では，Bag-of-features による物体認識について述べる．Bag-of-features は，文書分類手法である Bag-of-words [45] を画像に適用した手法であり，Bag-of-words で文章を単語の集合と見なし，単語の語順を無視してその頻度で文章の分類を行うのと同様に，画像を局所特徴量の集合と見なし，その位置情報を無視して画像を認識する．Bag-of-features では，図 5.1 に示すように，まずはじめに画像から局所特徴量の抽出を行い，ベクトル量子化する．ベクトル量子化に用いるコードブック
を，visual word dictionary と呼び，予め学習画像から作成しておく．ベクトル量子化された特徴量を用いて，ベクトル量子化ヒストグラムを作成する．得られたベクトル量子化ヒストグラムをその画像の特徴量として，識別器に入力することで物体カテゴリを計算する．

5.2.1

局所特徴量の抽出

本研究では，局所特徴量に SIFT 特徴量 [34] と texton 特徴量 [46] を用いる．

■ SIFT 特徴量

SIFT 特徴量 [34, 47] は，あるピクセルの代表輝度勾配方向を決定し，その方向を基準とした輝度
勾配ヒストグラムを作成し，多次元ベクトルで特徴を記述する．はじめに，注目画素の代表輝度勾
配方向を決定する．画像 L(x, y) の輝度勾配方向 θ(x, y) と大きさ m(x, y) は以下の式により求められる．

√
fx (x, y)2 + fy (x, y)2()
fy (x, y)−1
θ(x, y) = tanfx (x, y)m(x, y)

=

51

(5.1)
(5.2)

図 5.1: Bag-of-features の流れ

このとき，

fx (x, y) =L(x + 1, y) − L(x − 1, y)(5.3)

fy (x, y) =L(x, y + 1) − L(x, y − 1)

(5.4)

である．輝度勾配の大きさ m を方向 θ を用いて，各方向のヒストグラムを求める．

w(x, y)hθ= G(x, y, σ) · m(x, y)∑∑w(x, y) · δ[θ, θ(x, y)]
=
x

(5.5)
(5.6)

y

G(x, y, σ) はガウス分布である．また，θ は全方向を 36 分割したものを使用する．このヒストグラ
ムの最大値の方向をその位置での代表輝度勾配方向とする（図 5.2）．この代表輝度勾配方向を基準

52

図 5.2: 重み付き方向ヒストグラムとした周囲の輝度勾配ヒストグラムを作成する．正規分布から得られる領域を 4x4 の領域に分割し，それぞれの位置で 8 方向の輝度勾配ヒストグラムを作成する．4x4 の領域にそれぞれ 8 方向ヒストグ
ラムを作成するため，128 次元ベクトルの特徴量を持つことになる（図 5.3）．SIFT 特徴量は．画像

図 5.3: SIFT 特徴量の記述間の対応点探索を目的とした局所特徴であるため，DoG の極値をキーポイントとするが，画像分類
問題ではキーポイントをグリッド上のサンプリング点を使用することで精度向上することが報告されている [48]．そこで，本手法では，DoG 極値とグリッドサンプリングの 2 種類の手法について調査する．グリッドサンプリングはキーポイントを 10 ピクセルごとのグリッド点とし，その点に対して 10, 20, 30, 40, 50 のスケールから SIFT 特徴量を抽出する．

■ texton 特徴量

texton 特徴量 [46] は，さまざまな種類，方向，サイズのフィルタの応答を特徴量としたものであり，テクスチャを表現することができる．このとき，各フィルタの集合を ﬁlter bank と呼ぶ．
本研究で使用する texton は，Winn ら [49] が用いた ﬁlter bank を使用する．Winn らは，ガウシ
アンフィルタ，LoG フィルタ，ガウシアン 1 次微分フィルタの応答から 17 次元の特徴量を得る．は53

じめに，画像を RGB から CIE Lab 色空間に変換する．そして，各チャンネルに対して，ガウシア
ンフィルタをかける．このとき，ガウシアンフィルタの σ は 1,2,4 の 3 種類用いる．そのため，ガウ
シアンフィルタに基づく特徴量は 9 次元になる．次に，L チャンネルに対して，LoG フィルタをかける．このときのスケールは σ = 1, 2, 4, 8 の 4 種類用いる．そのほかのフィルタとして，ガウシア
ンの x と y の各方向ごとの 1 次微分フィルタを用いる．このときのスケールは σ = 2, 4 の 2 種類用いるため，4 次元の特徴量が抽出される．ガウシアンフィルタ 9 次元，LoG フィルタ 4 次元，ガウ
シアンの 1 次微分フィルタ 4 次元の 17 次元の特徴量が抽出される．図 5.4 に，texton 特徴量の抽出に用いられる ﬁlter bank を示す．texton 特徴量を Bag-of-features に用いることで，画像中にどのよ

図 5.4: ﬁlter bankうなテクスチャが多いかを表現することができる．

54

5.2.2ベクトル量子化ヒストグラムの作成

各カテゴリの画像から得られた局所特徴量をベクトル量子化する．Bag-of-features では，ベクトル量子化に用いられるコードブックを visual word dictionary，コードブックのセントロイドを visual

word と呼ぶ．visual word dictionary は，各カテゴリの学習サンプルから得られる局所特徴量をクラスタリングすることで得る．本手法では，クラスタリング手法に k-means を用いる．入力された局
所特徴量がクラスタリングの結果，visual word dictionary のどのクラスタに属するかを計算することでベクトル量子化し，1 枚の画像から visual word を要素とするヒストグラムを特徴量とする．

5.2.3

AdaBoost によるマルチクラス識別Bag-of-features における識別器には，通常マルチクラス SVM が用いられる．しかし，SVM では
非線形境界に対応するためカーネルトリックによる高次元空間での識別を行うため，入力特徴空間
でどのような特徴が有効かどうかの解析が難しい．そこで本稿では，識別に用いられる特徴量の解析が容易な AdaBboost[50] を識別器に利用する．AdaBoost は T 個の弱識別器 ht (x) の重み付き多数決により強識別器 H(x) を次式のように与えられる．

H(x) = sign

[ T
∑

]
αt ht (x)

(5.7)

t=1

ここで，x は未知サンプルでクラスラベル y ∈ +1, −1，α は弱識別器の重みである．重みは精度の高い弱識別器ほど大きく設定されるため，最終的な結果に対する影響力が大きくなる．また，AdaBoost
は学習時に学習用サンプルに重みを設定する．この重みは初期値は全てのサンプルが同じ値を持ち，弱仮説が 1 つ選ばれるたびに更新される．更新は選ばれた弱仮説によって識別に失敗したものの重みを大きくしていく．そのため識別が困難なサンプルほど学習を重ねるごとに重みが大きくなる．弱仮設の選別にはサンプルデータの重みの獲得が最大になるように行われ，学習を重ねるごとにより間違えやすいサンプルを正答するような弱識別器が構築されるようになる．弱識別器はポジティブとネガティブに分類するような識別器であればどのように設計してもよい．今回は解析を容易にするため，以下のような単純なしきい値処理を弱識別器として利用する．

ht (x) = +1 ifp · z(x) > p · θ −1 otherwise(5.8)

ここで，z(x) は Bag-of-features 表現の 1 つの特徴量であり，p は特徴量 z としきい値 θ の不等号の向きを決定する変数である．以下に AdaBoost のアルゴリズムを示す．

AdaBoost 識別器は，対象カテゴリであるかないかの 2 クラスの分類しかできない．AdaBoost によるマルチクラス識別には，三宅らの手法 [51] と同様に，One-Versus-Rest 法として，カテゴリごと

55

Algorithm 1 AdaBoost
x:学習サンプルデータ
y:学習サンプルのラベル
N :学習サンプルの数
D:学習サンプルデータに対する重み
ht (x):弱識別器
α:弱識別器に対する重み
T :学習回数（弱識別器数）
for i ← 0 to N do
学習サンプルデータに対する重みの初期値を次式で計算 D1,i = N1

end forfor t ← 0 to T do
弱識別器 ht (x) の選択
エラー率を次式で計算 et =∑N

i:ft (xi )̸=yi Dt,it
選択した弱仮説に対する重みを次式で計算 αt = 21 loge ( 1−eet )学習サンプルデータに対する重みを次式で計算 Dt+1,i = Dt,i exp(−αt yi ft (xi ))D

重みの総和が 1 になるように正規化 Dt+1,i = PN t+1,iDj

end for
最終的な識別器を構築 H(x) = sign

t+1,j

]

[∑
T

t=1 αt ht (x)に識別器 Hc (x) を構築し，それぞれの識別器の正規化された応答の最大値からカテゴリを決定する．

(
∑T

1

T
∑

Hc (x)=

H(x)= arg max Hi (c)ct=1 αt t=1)
αt ht (x)c

(5.9)
(5.10)

AdaBoost では弱識別器で表現し，1 つの特徴量のしきい値処理を弱識別器として設計するため，弱識別器に利用されている特徴量が認識に用いられており，その特徴がカテゴリの認識に有効な特徴量であるといえる．そのため，SVM と比較し AdaBoost は特徴解析が容易に行うことができる．

5.3

AdaBoost を用いた有効な特徴量の調査手法

Bag-of-features における有効な特徴量を，AdaBoost を用いて調査する．AdaBoost では，認識に有効な特徴量が弱識別器として逐次的に選択される．そのため，弱識別器に選択された特徴量から認識に有効な特徴を調べることができる．そこで，前景と背景の特徴が識別時にどのように利用されているかを AdaBoost を用いて調査する手法を提案する．はじめに，弱識別器に選択された前景と背景の特徴から背景情報の有効性を調査する．次に，AdaBoost を利用して識別に利用された局所

56

特徴を可視化することで，有効な特徴の位置情報に関する傾向を調査する．以下に，AdaBoost を用いた有効な特徴量の調査手法について述べる．

5.3.1

背景情報の有効性の調査法

一般的な Bag-of-features において，前景と背景の特徴量がどのように利用されているかについて調べる．この手法では，図 5.5 に示すように，ベクトル量子化ヒストグラムの各 visual wordに前景と背景の特徴が混在しているため，弱識別器だけでは背景情報をどのように使用しているかを判断することが困難である．そこで，AdaBoost により選択されたベクトル量子化ヒストグラム

図 5.5: ベクトル量子化ヒストグラムの visual word に対し，学習データに前景と背景が混在しているかを調査する．図 5.6 に，前景と背景特徴の調査方法の概要を示す．はじめに，学習データから AdaBoost 識別器を構築する．もし，Bag-of-features で背景情報が必要でないならば，背景のみで構成されている visual word は弱識別器に選択されないはずである．そこで，弱識別器として選択された特徴量が，学習データの visual

word の構成から前景特徴であるか背景特徴であるかを調べる．各識別器のポジティブデータ 30 枚と弱識別器数 100 から，選択される visual word の総数は 3000 個となり，その中で，前景のみで作成された visual word，背景のみで作成された visual word，投票がない visual word，前景と背景の両方が混在した visual word の比率を求める．この比率により，有効な特徴量として前景特徴を選択したのか背景情報を選択したのかを判断することができる．

5.3.2

選択された特徴量の可視化

AdaBoost の各弱識別器が，どのような位置情報を持つ特徴量を選択しているかを調査する．選択された特徴量を画像上に可視化することで，対象カテゴリに対する位置情報の傾向を確認する．visual

word が画像中のどの位置から抽出された特徴なのかを調べることで，識別に使用されている特徴の57

図 5.6: 前景特徴と背景特徴の調査方法

位置情報を確認することができる．図 5.7 に，Bag-of-features の可視化の流れを示す．入力画像からベクトル量子化ヒストグラムを作成し，それを AdaBoost 識別器に入力する．このとき，識別に利用された visual word がどれであるかを知ることができる．この識別に利用された visual wrod がどの局所特徴から得られたものかを調べ，その局所特徴を入力画像上に記述する．記述された局所特徴から，どのような位置の局所特徴が認識に利用されているかを確認する．

Bag-of-features における有効な特徴量の調査

5.4

本節では，Bag-of-features において前景領域のみで特徴記述する手法と背景情報を含んだ特徴記
述法の比較実験を行う．AdaBoost により選択された弱識別器の解析と，特徴量を可視化した結果から認識に有効な特徴量の傾向を調査する．

5.4.1

実験概要

Bag-of-features において，前景と背景がどのように捉えられているかを確認するために，以下の異なる特徴抽出手法の比較を行う．

• 画像全体画像全体から局所特徴量を抽出し，ベクトル量子化ヒストグラムを作成する (図5.8(a))．

58

図 5.7: 選択された特徴量の可視化の流れ• 前景のみ抽出された局所特徴量の位置が前景領域内にある局所特徴量のみを用いてベクトル

量子化ヒストグラムを作成する (図 5.8(b))．

• 前景/背景領域

局所特徴量の位置により，前景領域と背景領域に分離し，それぞれの領域に対して，ベクトル量子化ヒストグラムを作成する (図 5.8(c))．

図 5.8: 特徴抽出法

SIFT 特徴量と texton 特徴量から，これらの手法により特徴記述をし，AdaBoost により識別器を構築する．また，ベクトル量子化に用いる visual word dictionary のサイズは 100, 500, 1000 とする．
識別器には AdaBoost を使用し，弱識別器の数を 100 とする．評価には，f-measure を用いる．

59

5.4.2

データセットの概要

評価には，画像分類のためのデータベースである Caltech256[52] を用いる．Caltech256 にはセグメンテーションデータがないため，各画像のセグメンテーション領域は手動により求めたものを使用する．すべてのセグメンテーションデータを用意することが困難なため，Caltech256 から，画像枚数が多い butterﬂy, elephant, hawksbill, helicopter, motorbikes, airplanes, car-side, faces-easy, toadの 9 カテゴリを評価実験に用いる．各カテゴリから 30 枚ずつ選びそれらを学習用画像とし，残りを評価用画像とする．図 5.9 に，実験に使用する Caltech256 データセットと作成したマスク画像例を
示す．

5.4.3

調査項目

本研究で調査する内容を以下に示す．

• 認識率から得られる有効な特徴の傾向

各特徴抽出法の認識率を比較し，背景情報を利用する

有効性を確認する．

• 背景情報の有効性

学習データから得られるベクトル量子化ヒストグラムの visual word を調査することで，Bag-of-features において，前景と背景がどのように処理されているかを確認する．

• 選択された特徴量の可視化

認識に利用された特徴量を可視化することで，画像上のどのような特徴量を利用しているかを確認する．

5.4.4

認識率から得られる有効な特徴の傾向

図 5.10 に，DoG 極値とグリッドサンプリングの SIFT 特徴量と texton 特徴量を用いた画像全体
から特徴記述する手法，前景のみから特徴記述する手法，前景と背景から特徴記述する手法の認識率を示す．はじめに，visual word 数の違いによる認識率の変化に着目する．図 5.10 より，DoG 極値による SIFT 特徴量は visual word が 100 の前景と背景から特徴記述する手法で 0.49，グリッドサンプリングによる SIFT 特徴量と texton 特徴量は visual word が 1000 の前景と背景から特徴記述する手法で 0.66 と 0.57 で認識率が最も高いことがわかる．DoG 極値による SIFT 特徴量は，1 枚の画像から得られる局所特徴の数が少ないため，visual word の数が少ないときに高い認識精度が得られたと考えられる．次に，特徴記述手法の違いによる認識率に着目すると，DoG 極値による SIFT 特
徴量と texton 特徴量では，visual word の数に関係なく，前景のみで特徴量を記述するよりも，画像全体から特徴記述する手法は SIFT 特徴量で約 0.03，texton 特徴量で 0.07 認識精度が向上した．前景と背景から特徴記述する手法は，SIFT 特徴量で 0.07，texton 特徴量で 0.11 の精度向上が見られた．グリッドサンプリングによる SIFT 特徴量では，画像全体から特徴記述する方法と前景のみから特徴記述する方法を比較すると，前景のみから特徴記述することで認識率を約 0.07%向上してい60

図 5.9: Caltech256 データセットと作成したマスクデータ例61

図 5.10: 各手法の認識率

ることがわかる．次に，前景のみから特徴記述する方法と前景と背景から特徴記述する方法を比較すると，前景と背景から特徴記述する方法が約 0.06%認識精度が向上していることがわかる．この結果から，前景のみで特徴量を記述する手法よりも前景と背景を用いた手法のほうが高い認識率が得られており，背景にもカテゴリ分類に重要な情報が含まれているといえる．また，前景と背景から特徴記述する手法は，画像全体から特徴記述する手法や前景のみで特徴量を記述した手法と比較し，高い認識率を得ることができた．この手法で得られる特徴は，前景のみで特徴記述する手法に
背景情報を加えた特徴であるため，背景情報を加えることで認識率が向上したといえる．以上より，

Bag-of-features による画像分類では，前景情報だけでなく背景情報も認識に影響を与えていると考えられる．また，認識結果から前景と背景を分けて記述することは認識に有効であるといえる．

62

5.4.5

背景情報の有効性

次に，一般的な Bag-of-features である画像全体から特徴量を抽出する手法において，AdaBoostを用いた有効な特徴量について調べる．図 5.11 に，前景，背景，投票なし，混在した特徴の比率を示す．図 5.11 から，DoG 極値による SIFT 特徴量，グリッドサンプリングによる SIFT 特徴量，

texton 特徴量ともに，前景と背景の特徴が選択されていることがわかる．この結果から，画像全体
から特徴記述をしても，前景だけでなく背景情報も用いた認識を実現しているといえる．以上より，

Bag-of-features では，前景と背景の情報を利用してシーン全体をモデリングしているといえる．そのため，前景のみで特徴量を記述した場合，背景情報であるシーンコンテキストが無視され認識率が低下したと考えられる．

5.4.6

選択された特徴量の可視化

AdaBoost の各弱識別器が，どのような位置情報を持つ特徴量を選択しているかを調査する．図5.12, 5.13, 5.14 に，選択された特徴量の可視化例を示す． ここで，可視化画像の輝度値は AdaBoostの弱識別器の重みを表現しており，輝度値が高いほど有効な特徴となる．SIFT 特徴量の可視化結果
では，各カテゴリにおいて共通性が見られなかった．しかし，texton 特徴量の可視化結果においては，faces-easy では顔の頬等の内部のテクスチャを捉える特徴が多いが，その他のカテゴリは画像中のエッジを捉える特徴が多いことがわかる．

5.5

まとめ

Bag-of-features における識別に有効な特徴量を実験的に検討した．前景領域を既知とし，画像全体から特徴量を抽出する手法，前景領域のみから特徴量を抽出する手法，前景領域と背景領域からそれぞれ特徴量を抽出する手法の認識率を比較した．その結果，すべての特徴量と visual word で前景領域のみで特徴記述する手法より前景と背景からそれぞれ特徴記述する手法の方が認識率が向上することがわかった．このことから，前景にも背景にもそのカテゴリを表現するための特徴量が存在しているといえるため，前景と背景の関係性に着目することで認識精度の向上が期待できる．次に，画像全体から特徴量を抽出する手法の弱識別器を調べた結果，前景と背景のそれぞれの情報を認識に使用しており，Bag-of-features では，前景と背景の情報を利用してシーン全体をモデリングしているといえる．

63

図 5.11: 特徴量の比率

64図 5.12: 選択された特徴量の可視化例 165

図 5.13: 選択された特徴量の可視化例 266

図 5.14: 選択された特徴量の可視化例 3

67

第6章

前景と背景情報の共起表現による
Bag-of-features による画像分類の高精度化
4 章では，Bag-of-features に有効な特徴量を調査した．その結果，前景と背景を分離しそれぞれで特徴記述することで認識精度が向上することがわかった．そのため，前景と背景の関係性を用いることで認識精度の向上が期待できる．そこで，本章では，前景と背景を 2 次元ベクトル量子化ヒ
ストグラムにより共起性を表現する手法を提案する．

69

6.1

前景と背景の共起表現による画像分類

Bag-of-features による画像分類では前景情報だけでなく，背景情報も使用されており，それぞれの領域で記述する方法が有効であることがわかった．そこで，前景と背景の共起性を用いて画像分類精度を向上させる手法を提案する．従来，特徴量の共起性を利用することで認識精度が向上する
ことが知られている [53, 54, 55, 56]．visual word も共起性を利用することで認識精度が向上することが報告されている [57]．提案手法では，前景と背景の visual word の共起性を記述することで認識精度の向上を目指す．提案手法の流れを図 6.1 に示す．学習では，キーポイント識別器とカテゴリ識別器の 2 つの識別器を構築する．キーポイント識別器は，マスク画像を用いて前景と背景のキーポ
イントを学習用データとして使用し，キーポイント識別器を構築する．カテゴリ識別器は，前景と背景のキーポイントから，2 次元と 1 次元のベクトル量子化ヒストグラムを特徴量とし，カテゴリ識別器を構築する．未知入力画像に対しては，グリッドで与えたキーポイントを，予め構築したキーポ
イント識別器を用いて，前景と背景に識別する．そして，識別された前景と背景のキーポイントを
前景と背景の visual word dictionary を参照して，2 次元と 1 次元のベクトル量子化ヒストグラムを作成する．このベクトル量子化ヒストグラム用いて，予め構築したカテゴリ識別器により，画像のカ
テゴリを識別する．

6.1.1

キーポイント識別器の構築

学習データでは，マスク画像からキーポイントを前景と背景に分ける．しかし，未知入力画像にはマスク画像を用いることができないため，キーポイントを前景と背景に識別する手法が必要である．
前景情報を用いた Bag-of-features で用いられている前景と背景の識別手法として，SVM による識別 [8] と矩形による注目領域の検出 [9] が提案されている．SVM による識別 [8] は，キーポイントの局所特徴量を用いて SVM により前景と背景の識別を行う手法である．注目領域の検出 [9] では，学習画像には手動で注目領域が与えられ，入力画像に対しては学習画像の注目領域から得られる特徴
量との類似度が最も高くなる矩形領域を選択している．本手法は 2 次元ベクトル量子化ヒストグラ
ムを用いるため，前景と背景の境界が明確なほどパフォーマンスが良いと考えられる．そこで，鈴木らが提案した局所特徴の識別法 [8] によりキーポイント識別器を構築する．図 6.2 に，キーポイント
識別器による前景と背景の識別法の流れを示す．キーポイント識別器の構築に使用する学習用データ
は，手動により作成したマスク画像を用いる．マスク画像から得られる前景のキーポイントと背景のキーポイントの局所特徴量を用いて SVM によりキーポイント識別器を構築する．今回は SVM のライブラリとして LIBSVM1 を用いた．この SVM を使用して構築したキーポイント識別器により，入力画像のキーポイントを前景のキーポイントと背景のキーポイントに識別する．
キーポイント識別器の性能評価として，Caltech256 から選択した 9 カテゴリ (butterﬂy，elephant，

hawksbill，helicopter，motorbikes，airplanes，car-side，faces-easy，toad) のうち，ランダムで選択した学習画像 30 枚を除いた 2,411 枚を評価用データとしてキーポイント識別の評価を行う．使用
1

http://www.csie.ntu.edu.tw/c̃jlin/libsvm/

70

図 6.1: 提案手法の流れ

71

図 6.2: キーポイント識別による前景と背景の識別の流れ

するデータセットを 4 セット作成し，評価を行った．評価法として下記の式 (6.1) で示す識別率で評
価する．

識別率 =

正解キーポイント数
全キーポイント数(6.1)

表 6.1 にキーポイント識別結果を示す．結果から，平均 77.98%の識別率を得ることができた．図 6.3
表 6.1: キーポイント識別結果 [%]dataset1

dataset2

識別率

77.22

78.97

(正解キーポイント数/全キーポイント数)(273646/354389)(279867/354417)

dataset3

dataset4

77.69

78.06

(275311/354389)(276679/354417)にキーポイント識別による前景と背景の識別結果を示す．

72

図 6.3: キーポイント識別による前景と背景の識別結果例

73

6.1.22+1 次元ベクトル量子化ヒストグラムの作成

キーポイント識別器により前景と背景に分けられた局所特徴を用いて，図 6.4 に示すように 2 次元と 1 次元のベクトル量子化ヒストグラムを作成する．はじめに，識別された前景のキーポイントは前景の visual word dictionary，背景のキーポイントは背景の visual word dictionary を参照することでベクトル量子化する．次に，前景のキーポイントが持つスケールを n 倍した領域に存在する背景のキーポイントと対応付けて，2 次元空間上で交差した visual word に投票することで 2 次元ベクトル量子化ヒストグラムを作成する．このとき，2 次元ベクトル量子化ヒストグラムの投票に使用されなかった局所特徴を用いて前景と背景の 1 次元ベクトル量子化ヒストグラムを作成する．学習では，マスク画像により識別したキーポイントを用いるのに対し，未知入力画像では，キーポイント
識別器を用いて 2 次元ベクトル量子化ヒストグラムを作成する．

図 6.4: 2+1 次元ベクトル量子化ヒストグラムの作成

6.2

評価実験

提案手法の有効性を確認するために，評価実験を行う．比較対象として，従来の Bag-of-features
を従来法 1，前景と背景領域から特徴抽出する Bag-of-features を従来法 2 とし，提案手法である 2+1

74

次元ベクトル量子化ヒストグラムによる Bag-of-features と比較する．評価実験は，5.4.1 章と同様の
データセットと評価法を用いる．学習データは前景と背景のマスクデータを使用し，評価データはキーポイント識別により前景と背景を識別する．visual word dictionary は各手法で共通とする．従来法との比較には，スケールが 4 倍の結果を用いる．

6.2.1

従来手法との比較

図 6.5 に，各手法における認識率を示す．図 6.5 から，通常の Bag-of-features である従来法 1 と図 6.5: 各手法の認識率

前景と背景からそれぞれ特徴抽出する従来法 2 を比較すると，認識率が約 12.6%低下していることがわかる．前景と背景が既知の場合では，前景と背景領域からそれぞれ特徴抽出することで認識率を向上させることができたが，キーポイント識別器の誤識別が含まれるため従来の Bag-of-features
より認識率が低下したと考えられる．しかし，提案手法は，従来法 1 と比較し認識率を約 3.8%向上
させることができていることがわかる．

6.2.2

共起表現する範囲の傾向

提案手法において，前景と背景キーポイントを対応付ける範囲を前景キーポイントが持つスケー
ルを基準として決定している．そこで，対応付ける範囲を前景キーポイントが持つスケールの 2 倍，

4 倍，6 倍，8 倍，10 倍と変化させたときの画像分類精度を調べる．図 6.6 に対応付けする範囲を変化させたときの認識率と 1 次元ヒストグラムに使用される局所特徴の比率を示す．図 6.6 から，対応付けする範囲を大きくすることにより，1 次元ヒストグラムに利用される局所特徴が減少している
ことがわかる．また，キーポイントのスケールの 4 倍のときが最も高い認識率を得ることができた．
対応付けするスケールの範囲を大きくすることで認識率が低下していることから，局所特徴の共起

75

図 6.6: 前景と背景の対応付ける範囲による認識率性の表現には空間的な制約が有効であるといえる．また，1 次元ヒストグラムに使用される局所特徴が減少に伴ない認識率が低下しているため，2 次元ヒストグラムで表現できない特徴を 1 次元ヒスト
グラムが補っていると考えられる．

6.3

2 次元ヒストグラムの効果と有効な特徴量の調査

提案手法の有効性を示すために，2 次元ヒストグラムの効果と認識に利用された特徴量について考
察する．

6.3.1

2 次元ヒストグラムの効果

従来法 2 と提案手法のコンフュージョンマトリクスを図 6.7 に示す．従来法 2 では butterﬂy と誤識別した数が 245，toad と誤認識した数が 196 であるが，提案手法では 135, 95 と誤識別が減少していることがわかる．ここで，提案手法による特徴表現がどのような効果があるかを調査するため，

butterﬂy, elephant, toad の従来法 2 の前景と背景の 1 次元ヒストグラムと，提案手法の 2 次元ヒス
トグラムを図 6.8 に示す．図 6.8 の 1 次元ヒストグラムから，toad と elephant で同じ前景の visual

word で頻度が高く，toad と butterﬂy では同じ背景の visual word で頻度が高いことから，toad の特徴的な visual word は，toad と butterﬂy, elephant を分離することが困難である．しかし，前景と背景を 2 次元ヒストグラムで表現することで，前景と背景の頻度の高い visual word のみで toad とelephant, butteﬂy を分離可能な特徴表現が可能となる．

76

図 6.7: コンフュージョンマトリクス77

図 6.8: ベクトル量子化ヒストグラム例

6.3.2

認識に利用された特徴量の調査

AdaBoost の各弱識別器が，どのような位置情報を持つ特徴量を選択しているかを調査する．visual
word が画像中のどの位置から抽出された特徴なのかを調べることで，認識に使用されている特徴の
位置情報を確認することができる．選択された特徴量の輝度値に AdaBoost の弱識別器の重みを利用し，色が濃いほど有効な特徴として可視化画像を作成する．また，前景と識別された局所特徴を
青，背景と識別された局所特徴を赤とする．従来法で認識に失敗し提案手法で正解した画像の選択
された特徴量の可視化例を図 6.9 に示す．図 6.9(b) から，従来法 1 では，画像全体から多くの特徴
量が抽出されていることがわかる，そのため，visual word にはノイズが多く含まれており，これが誤識別した要因と考えられる．しかし，図 6.9(c) から，提案手法は従来法 1 より識別に利用されている特徴量が少ないことがわかる．提案手法では局所的な 2 つの局所特徴を用いてより分離能力が高い特徴量を表現可能なため，ノイズの影響が少なくなり認識することができたと考えられる．

6.4

インタラクティブ操作による画像分類システム

これまで，前景と背景の共起性に着目した Bag-of-features による画像分類について述べた．3 章で提案したセグメンテーション手法と組み合わせることで，インタラクティブ操作による画像分類
アプリケーションを実現し，類似画像検索への応用について述べる．インタラクティブ操作による画像分類により，画像中の対象物体のセグメンテーションとカテゴリ名を特定できることを示す．ま78

図 6.9: 選択された特徴量の可視化例

79た，画像とキーワードを検索クエリに用いる類似画像検索システムの有効性を示す．

6.4.1

検索技術

インターネットの普及により，Web 上にテキストのみでなく画像や音声．ビデオなど多くのメディ
アが大量に存在するようになった，そのため，このようなメディアに対する検索手法が期待されている．以下に，既存の検索手法について述べる．

■ テキストベースの検索

Web 上のコンテンツの検索にはキーワードをクエリとした検索手法が一般的である．これは，Web上にあるテキストに対して，クエリワードが一致するものを検索結果として出力するものである．
そのため，画像や音楽などのテキスト以外のメディアに対して，直接的に検索することはできない．

Youtube[58] や Flickr[59] では，ユーザがあらかじめコンテンツにタグを付けることでテキストでの検索を可能にしている．また，Google 画像検索 [60] を代表とする既存の画像検索手法では，画像の前後にあるテキストを用いることで，画像のキーワード検索を実現している．しかし，このようなテキストベースの検索手法では，コンテンツ自体の情報を用いていないためユーザが求めている結果が得られないことが多い．特に，類似画像検索でその画像を表現するキーワードが指定しにくい
とき，テキストだけでは類似画像を見つけることは困難である．そこで，画像自体から特徴を記述
し，それらを用いて検索する手法が求められる．

■ 画像特徴を用いた検索
テキストベースの検索では，類似画像検索のような言葉での表現が難しい場合があるため，画像特徴による検索が必要である．画像特徴を用いた類似画像検索として，bing images[61] や Google

Similar Images[62] といったサービスがあり，ある画像検索結果に対して類似した画像を提示することができる．しかし，検索クエリとして選択できる画像は画像検索結果で得られた結果のみであり，ユーザが自由にクエリを選択することはできない．ユーザが画像をアップロードし，その画像と類似した画像を検索するサービスとして，TinEye[63], VisualSeeker[64], Gazopa[65][66] が挙げられる．

TinEye では，クエリ画像と同一画像を検索することができるが，形状や構図が異なるものを検索することはできない．VisualSeeker, Gazopa では，クエリ画像の色，形状，構図が類似した画像を検索することができる．また，キーワードでの検索やスケッチによる検索，画像内の対象を限定した検索が可能である．しかし，キーワード検索と画像検索を同時に行うには，それぞれユーザが指定しなけ
ればならない．そこで，画像分類技術を応用しキーワードに画像分類結果から得られるカテゴリ名
をクエリとし，画像とカテゴリ名を用いて検索することで，類似画像検索の精度向上が期待できる．

80

6.4.2

インタラクティブ操作による画像分類を用いた類似画像検索の流れ

類似画像検索には，画像とキーワードをクエリとすることで検索精度の向上が期待できる．このキーワードに画像分類により得られるカテゴ名を利用することで，画像とキーワードを両方用いた検索を実現することができる．しかし，通常の Bag-of-features のような画像分類手法では，画像内のどの物体を対象としているかが不明である．そこで，インタラクティブグラフカットセグメンテーションと Bag-of-features による画像分類の組み合わ，ユーザが検索したい画像中の物体のカテゴリを認識し，それを検索に利用するシステムを提案する．図 6.10 に，システムの流れを示す．はじめ

図 6.10: インタラクティブ操作による画像分類を用いた画像検索の流れに，検索するクエリ入力画像と前景と背景の seed を指定する．次に，入力画像と seed を用いて 3 章
で提案した平滑化処理の繰り返しによるグラフカットセグメンテーションを用いて前景領域と背景領域に分割する．分割した前景と背景領域から 6 章で提案した前景と背景に着目した Bag-of-featuresによる画像分類を用いて入力画像のカテゴリを決定する．得られたカテゴリと入力画像をクエリとして検索エンジンに入力し検索結果を得る．

■ インタラクティブ操作による画像分類
本システムでは，インタラクティブな操作によりセグメンテーションを行い，その領域を用いて画像分類をする．そのため，セグメンテーションの失敗は，画像分類への影響が大きい．しかし，本シ
ステムはインタラクティブなセグメンテーションであるため，セグメンテーションに失敗した場合は再度ユーザによる seed を入力することで正しいセグメンテーションを得ることができる．図 6.11 に，
インタラクティブ操作による画像分類例を示す．図 6.11 より，インタラクティブ操作によりユーザの

seed を再入力することで，正確なセグメンテーション結果が得らていることがわかる．また，セグ81

図 6.11: インタラクティブ操作による画像分類例

82

メンテーションが正確になることで画像分類結果も正しいカテゴリ名を出力していることがわかる．
図 6.12 に，提案システムにより得られたセグメンテーションと画像分類例を示す．青と赤のライ
ンは seed で，青が物体，赤が背景として指定した seed である．画像内に認識されたカテゴリ名を示している．図 6.12 から，各カテゴリでセグメンテーションと画像分類ができていることがわかる．

■ 画像とキーワードを用いた検索結果
インタラクティブ操作による画像分類により，画像内の対象物体のカテゴリを決定することができた．この決定したカテゴリ名と画像を検索クエリとして利用することで，検索結果の精度向上が期待できる．そこで，画像検索のクエリとしてカテゴリ名のみ，画像のみ，カテゴリ名とセグメン
テーションされた画像の 3 つの検索結果を比較する．画像検索エンジンとして Gazopa[65][66] を用いる．Gazopa では，画像をクエリとし，色や形状，構図が類似している画像を検索することができる Web サービスであり，キーワード検索も行うことができる．図 6.13, 6.14, 6.15 にカテゴリごとの各クエリでの検索結果の上位を示す．カテゴリ名のみをクエリとしたとき，各カテゴリの画像を得ることができるがクエリ画像に似た画像は少ない．一方，画像をクエリとしたとき，色や構図が似ている画像が得られるが検索結果に異なるカテゴリの画像が多く含まれる．しかし，カテゴリ名と画像をクエリとすることで，クエリ画像と似た構図や色，形状をもつ同じカテゴリの画像が多く出力されており，検索クエリにカテゴリ名と画像を用いることは有効であるといえる．
画像検索のクエリとしてカテゴリ名のみ，画像のみ，カテゴリ名とセグメンテーションされた画像の 3 つの検索結果の上位 24 枚を用いて評価する．各クエリに対し，上位 24 枚に対象カテゴリがいくつ含まれているかにより評価する．表 6.2 に，各クエリにおける検索結果の比較を示す．どのカ
表 6.2: 各クエリにおける検索結果の比較
キーワード

画像

キーワード+画像

airplane8218butterﬂy

4

2

9

car

12

16

24

テゴリにおても，キーワードと画像をクエリとすることで検索結果の精度を向上していることがわ
かる．このことから，画像検索には画像とキーワードを同時に用いることは有効であるといえる．

6.5

まとめ

4 章で得られた Baf-of-feateres における有効な特徴量の調査結果から，前景と背景の局所特徴の共起性を表現した 2+1 次元ベクトル量子化ヒストグラムによる Bag-of-features を提案した．実験により，従来法と比較し提案手法は 3.8%の認識精度向上を確認した．共起表現する範囲を変化させて83

実験を行った結果，共起表現は空間的な制約が有効であることがわかった．また，認識に利用された局所特徴を可視化し，従来法と提案手法でどのような特徴量が認識に利用されているかを調査した．
その結果，提案手法では，局所的な 2 つの局所特徴を用いることで，ノイズの影響が少なくなることを確認した．インタラクティブグラフカットセグメンテーションと Bag-of-features による画像分
類を組み合わせたアプリケーションとしてカテゴリ名と画像をクエリとした画像検索へ応用したシステムを提案した．実験により，カテゴリ名と画像をすることで，単体でのクエリを用いるより検索対象が上位にくることを示し，システムの有効性を示した．

84

図 6.12: セグメンテーションと画像分類結果例85

図 6.13: 画像検索結果例 1(airplane)86図 6.14: 画像検索結果例 2(butterﬂy)87

図 6.15: 画像検索結果例 3(car)

88

第7章

結論
本論文では，一般物体認識の実現に向けて前景と背景情報を用いた Bag-of-features の高精度化を目的とし，領域セグメンテーション手法として平滑化処理の繰り返しによるグラフカットについて述
べ，画像分類の高精度化手法として Bag-of-features における有効な特徴量の調査結果に基づく 2+1
次元ベクトル量子化ヒストグラムによる画像分類について述べた．各章のまとめは次のとおりである．

2 章では，グラフカットアルゴリズムによる画像セグメンテーション手法について述べた．セグメ
ンテーションをラベリング問題として定義し，それをエネルギー最小化問題としてグラフカットア
ルゴリズムにより最適化することで，高精度なセグメンテーションを実現する．しかし，グラフカットセグメンテーションでは，画像内に前景と背景以外で複雑なエッジ情報が含まれるシーケンスでは正確なセグメンテーションが困難であることを示した．

3 章では，2 章で述べた問題点を解決するために，複数の平滑化画像を用いて繰り返し処理によるグラフカットセグメンテーション法を提案した．提案手法では，ガウシアンフィルタの平滑化度合いを変化させた画像に対し，平滑化度合いが大きなものから Graph Cuts を行い，そのセグメンテー
ション結果をグラフの t-link に反映させ，次の平滑化度合いのセグメンテーションに利用する．これらを繰り返し処理することにより，大域的なセグメンテーションから段階的に局所的なセグメン
テーションを実現した．評価実験により，従来法で成功した画像は同程度のセグメンテーション精度で，失敗した画像に対しては 4.79% セグメンテーション精度を改善することができた．また，グラ
フカットのパラメータ λ に対して，安定したセグメンテーションが可能であることを実験により確認した．

4 章では，3 章で提案した手法を Spatio-temporal volume へ応用したビデオセグメンテーションを提案した．グラフカットを用いたビデオセグメンテーションでは，動画像を一括で処理するため
グラフサイズが大きくなる問題がある．そこで，Spatio-temporal volume のボリュームの大きさを変化させながら繰り返し処理することでグラフサイズを抑制した高精度なビデオセグメンテーショ
ンを実現する．評価実験により，各ピクセルをノードとする手法と同程度のセグメンテーション精度において，グラフサイズを約 1/25 まで削減できることを確認した．

89

5 章では，Bag-of-features における有効な特徴量を調査した．DoG 極値とグリッドサンプリングの SIFT 特徴量，texton 特徴量において，前景領域を既知とし，画像全体から特徴量を抽出する手法，前景領域のみから特徴量を抽出する手法，前景領域と背景領域からそれぞれ特徴量を抽出する
手法の認識率を比較した．その結果，すべての特徴量と visual word で前景領域のみで特徴記述する
手法より前景と背景からそれぞれ特徴記述する手法の方が認識率が向上することがわかった．次に，画像全体から特徴量を抽出する手法の弱識別器を調べた結果，前景と背景のそれぞれの情報を認識に使用していることがわかった．このことから，Bag-of-features では，前景と背景の情報を利用してシーン全体をモデリングしているといえる．

6 章では，4 章で得られた Baf-of-feateres における有効な特徴量の調査結果から，前景と背景の局
所特徴の共起性を表現した 2+1 次元ベクトル量子化ヒストグラムによる Bag-of-features を提案した．
実験により，従来法と比較し提案手法は 3.8%の認識精度向上を確認した．共起表現する範囲を変化させて実験を行った結果，共起表現は空間的な制約が有効であることがわかった．また，認識に利用された局所特徴を可視化し，従来法と提案手法でどのような特徴量が認識に利用されているかを調査した．その結果，提案手法では，局所的な 2 つの局所特徴を用いることで，ノイズの影響が少なくなることを確認した．また，インタラクティブグラフカットセグメンテーションと Bag-of-featuresによる画像分類を組み合わせとして，画像検索へ応用した．画像検索のクエリとしてカテゴリ名のみ，画像のみ，セグメンテーションされた画像，カテゴリ名と画像，カテゴリ名とセグメンテーショ
ンされた画像の 5 つの検索結果を比較した．その結果，カテゴリ名と画像をすることで，単体でのクエリを用いるより検索対象が上位にくることを示し，システムの有効性を示した

90

謝 辞
本研究を行うにあたり，終始懇切なご指導を賜りました中部大学工学部情報工学科 藤吉弘亘教授に深く感謝の意を表します．
本論文をまとめるにあたり，有益なご討論，ご助言を賜りました中部大学工学部情報工学科 岩堀祐之教授，中野良平教授，山内康一郎教授．名古屋工業大学大学院産業戦略工学専攻 梅崎太造教授に謹んで深謝します．
本研究において，様々なご意見を頂いた Takeo Kanade U.A. and Helen Whitaker University Prof.,

RI/CS に心から厚く御礼申し上げます．
最後に，本研究で用いたプログラムの開発や研究の相談など協力して頂いた藤吉研究室の皆様に感謝致します．

91参考文献[1] Y. Boykov and G. Funka-Lea: “Graph Cuts and Eﬃcient N-D Image Segmentation”, Int. J.
Comput. Vision, Vol. 70, No. 2, pp. 109–131, 2006.
[2] Y. Li, J. Sun, C.-K. Tang, and H.-Y. Shum: “Lazy snapping”, In ACM SIGGRAPH 2004
Papers, SIGGRAPH ’04, pp. 303–308, New York, NY, USA, 2004. ACM.
[3] C. Rother, V. Kolmogorov, and A. Blake: “”GrabCut”: interactive foreground extraction
using iterated graph cuts”, In ACM SIGGRAPH 2004 Papers, SIGGRAPH ’04, pp. 309–314,
New York, NY, USA, 2004. ACM.
[4] 柳井啓司: “一般物体認識の現状と今後”, 情報処理学会論文誌. コンピュータビジョンとイメー
ジメディア, Vol. 48, No. 16, pp. 1–24, 2007.

[5] G. Csurka, C. R. Dance, L. Fan, J. Willamowski, and C. Bray: “Visual categorization withbags of keypoints”, In ECCV International Workshop on Statistical Learning in Computer
Vision, pp. 1–22, 2004.
[6] S. Lazebnik, C. Schmid, and J. Ponce: “Beyond Bags of Features: Spatial Pyramid Matchingfor Recognizing Natural Scene Categories”, In CVPR ’06: Proceedings of the 2006 IEEE
Computer Society Conference on Computer Vision and Pattern Recognition, pp. 2169–2178,
Washington, DC, USA, 2006. IEEE Computer Society.
[7] M. MarszaÃlek and C. Schmid: “Spatial Weighting for Bag-of-Features”, In IEEE Conference
on Computer Vision & Pattern Recognition, Vol. 2, pp. 2118–2125, jun 2006.
[8] 鈴木浩二, 松川徹, 栗田多喜夫: “サポートベクターマシンを用いた Bag-of-Features における局
所特徴の初期特徴選択”, 電子情報通信学会パターン認識・メディア理解研究会, PRMU2008-240,

pp. 7–12, 2009.
[9] A. Bosch, A. Zisserman, and X. Munoz: “Image Classiﬁcation using ROIs and Multiple Kernel
Learning”, IJCV 2008, 2008.
[10] 岡部孝弘, 近藤雄飛, 木谷クリス真実, 佐藤洋一: “カテゴリの共起を考慮した回帰による複数物体認識”, 電子情報通信学会論文誌, Vol. 92-D, No. 8, pp. 1115–1124, 2009.

93

[11] J. Zhang, M. Marszalek, S. Lazebnik, and C. Schmid: “Local Features and Kernels for Classiﬁcation of Texture and Object Categories: A Comprehensive Study”, IJCV, Vol. 73, No. 2,
pp. 213–238, 2007.
[12] A. W. Michael Kass and D. Terzopoulos: “Snakes: Active contour models”, Int. J. Computer
Vision, Vol. 1, No. 4, pp. 321–331, 1988.
[13] M. Sussman, P. Smereka, and S. Osher: “A level set approach for computing solutions toincompressible two-phase ﬂow”, J. Comput. Phys., Vol. 114, No. 1, pp. 146–159, 1994.
[14] Y. Boykov and V. Kolmogorov: “An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision”, IEEE Transactions on Pattern Analysis andMachine Intelligence, Vol. 26, No. 9, pp. 1124–1137, 2004.
[15] Y. Boykov and M.-P. Jolly: “Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images”, ICCV2001, Vol. 01, p. 105, 2001.
[16] 石川博: “グラフカット (チュートリアル)”, 情報処理学会研究報告. CVIM (コンピュータビジョ
ンとイメージメディア), Vol. 1, No. 31, pp. 193–204, 2007.

[17] D. Greig, B. Porteous, and A. Seheult: “Exact Maximum A Posteriori Estimation for Binary
Images”, J. Royal Statistical Soc., Series B, Vol. 51, No. 2, pp. 271–279, 1989.
[18] Y. Boykov, O. Veksler, and R. Zabih: “Fast Approximate Energy Minimization via Graph
Cuts”, Proc. IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 23, No. 11, pp.
1222–123, 2001.
[19] H. Ishikawa and D. Geiger: “Segmentation by Grouping Junctions”, In CVPR ’98: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,
p. 125, Washington, DC, USA, 1998. IEEE Computer Society.
[20] H. Ishikawa and D. Geiger: “Occlusions, Discontinuities, and Epipolar Lines in Stereo”, In
ECCV ’98: Proceedings of the 5th European Conference on Computer Vision-Volume I, pp.
232–248, London, UK, 1998. Springer-Verlag.
[21] J. Kim, V. Kolmogorov, and R. Zabih: “Visual Correspondence Using Energy Minimizationand Mutual Information”, In ICCV ’03: Proceedings of the Ninth IEEE International Conference on Computer Vision, p. 1033, Washington, DC, USA, 2003. IEEE Computer Society.
[22] V. Kolmogorov and R. Zabih: “Computing Visual Correspondence with Occlusions via Graph
Cuts”, In ICCV, pp. 508–515, 2001.

94

[23] M. H. Lin and C. Tomasi: “Surfaces with Occlusions from Layered Stereo”, CVPR, Vol. 01,
p. 710, 2003.
[24] Y. Boykov and V. Kolmogorov: “Computing Geodesics and Minimal Surfaces via Graph
Cuts”, In ICCV ’03: Proceedings of the Ninth IEEE International Conference on Computer
Vision, p. 26, Washington, DC, USA, 2003. IEEE Computer Society.
[25] V. Kolmogorov and R. Zabih: “Multi-camera Scene Reconstruction via Graph Cuts”, In
ECCV ’02: Proceedings of the 7th European Conference on Computer Vision-Part III, pp.
82–96, London, UK, 2002. Springer-Verlag.
[26] L. Ford and D. Fulkerson: Flow in Networks. 1962.
[27] A. V. Goldberg and R. E. Tarjan: “A new approach to the maximum ﬂow problem”, In
STOC ’86: Proceedings of the eighteenth annual ACM symposium on Theory of computing,pp. 136–146, New York, NY, USA, 1986. ACM.
[28] C. Stauﬀer and W. E. L. Grimson: “Adaptive Background Mixture Models for Real-Time
Tracking”, In Proceedings of the IEEE Computer Science Conference on Computer Vision
and Pattern Recognition (CVPR-99), pp. 246–252, Los Alamitos, 1999.
[29] A. P. Dempster, N. M. Laird, and D. B. Rubin: “Maximum Likelihood from Incomplete Data
via the EM Algorithm”, Journal of the Royal Statistical Society. Series B (Methodological),Vol. 39, No. 1, pp. 1–38, 1977.
[30] J. Sivic and A. Zisserman: “Video Google: A Text Retrieval Approach to Object Matchingin Videos”, In Proceedings of the International Conference on Computer Vision, Vol. 2, pp.
1470–1477, October 2003.
[31] J. Wang, P. Bhat, R. A. Colburn, M. Agrawala, and M. F. Cohen: “Interactive video cutout”,
In SIGGRAPH ’05: ACM SIGGRAPH 2005 Papers, pp. 585–594, New York, NY, USA, 2005.
ACM Press.
[32] Y. Li, J. Sun, and H.-Y. Shum: “Video object cut and paste”, In SIGGRAPH ’05: ACM
SIGGRAPH 2005 Papers, pp. 595–600, New York, NY, USA, 2005. ACM Press.
[33] D. Comaniciu and P. Meer: “Mean Shift: A Robust Approach Toward Feature Space Analysis”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 5, pp.
603–619, 2002.
[34] D. G. Lowe: “Distinctive Image Features from Scale-Invariant Keypoints”, Int. J. Comput.
Vision, Vol. 60, No. 2, pp. 91–110, 2004.

95

[35] 斉藤豊文, 鳥脇純一郎: “3 次元ディジタル画像に対するユークリッド距離変換”, 電子情報通信学会論文誌. D-II, 情報・システム, II-情報処理, Vol. 76, No. 3, pp. 445–453, 1993.

[36] A. J. Lipton, H. Fujiyoshi, and R. S. Patil: “Moving target classiﬁcation and tracking fromreal-time video”, pp. 8–14, 1998.
[37] R. Collins, A. Lipton, H. Fujiyoshi, and T. Kanade: “Algorithms for Cooperative Multisensor
Surveillance”, In Proceedings of the IEEE, Vol. 89, pp. 1456–1477, October 2001.
[38] R. Collins, A. Lipton, T. Kanade, H. Fujiyoshi, D. Duggins, Y. Tsin, D. Tolliver, N. Enomoto,and O. Hasegawa: “A System for Video Surveillance and Monitoring”. Technical Report
CMU-RI-TR-00-12: Robotics Institute, Carnegie Mellon University: Pittsburgh, PA: May
2000.
[39] P. Viola and M. J. Jones: “Robust Real-Time Face Detection”, Int. J. Comput. Vision,Vol. 57, No. 2, pp. 137–154, 2004.
[40] N. Dalal and B. Triggs: “Histograms of Oriented Gradients for Human Detection”, In
C. Schmid, S. Soatto, and C. Tomasi, editors, International Conference on Computer Vision & Pattern Recognition, Vol. 2, pp. 886–893, INRIA Rhône-Alpes, ZIRST-655, av. del’Europe, Montbonnot-38334, June 2005.
[41] V. Lepetit and P. Fua: “Keypoint recognition using randomized trees.”, IEEE transactions
on pattern analysis and machine intelligence, Vol. 28, No. 9, pp. 1465–79, September 2006.
[42] M. Weber and M. Welling: “Towards Automatic Discovery of Object Categories”, In International Conference on Computer Vision & Pattern Recognition, pp. 101–108, 2000.
[43] L. Fei-Fei, R. Fergus, and P. Perona: “A Bayesian Approach to Unsupervised One-Shot
Learning of Object Categories”, In International Conference in Computer Vision, p. 1134,
2003.
[44] K. Yasunori, T. Tomokazu, I. Ichiro, and M. Hiroshi: “A Multimodal Constellation Model for
Generic Object Recognition”, The IEICE transactions on information and systems (Japanese
edetion), Vol. 92, No. 8, pp. 1104–1114, 2009.
[45] C. D. Manning and H. Schtze: Foundations of Statistical Natural Language Processing. The
MIT Press: June 1999.
[46] T. Leung and J. Malik: “Representing and Recognizing the Visual Appearance of Materials
using Three-dimensional Textons”, Int. J. Comput. Vision, Vol. 43, No. 1, pp. 29–44, 2001.

96

[47] 藤吉弘亘: “Gradient ベースの特徴抽出 : SIFT と HOG(チュートリアル)”, 情報処理学会研究報
告. CVIM, [コンピュータビジョンとイメージメディア], Vol. 2007, No. 87, pp. 211–224, 2007.

[48] F.-F. Li and P. Perona: “A Bayesian Hierarchical Model for Learning Natural Scene Categories”, In CVPR ’05: Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05) - Volume 2, pp. 524–531, Washington, DC,
USA, 2005. IEEE Computer Society.
[49] J. Winn, A. Criminisi, and T. Minka: “Object Categorization by Learned Universal Visual
Dictionary”, In ICCV ’05: Proceedings of the Tenth IEEE International Conference on Computer Vision, pp. 1800–1807, Washington, DC, USA, 2005. IEEE Computer Society.
[50] Y. Freund and R. E. Schapire: “A decision-theoretic generalization of on-line learning and an
application to boosting”, In EuroCOLT ’95: Proceedings of the Second European Conference
on Computational Learning Theory, pp. 23–37, London, UK, 1995. Springer-Verlag.
[51] 三宅信之, 滝口哲也, 有木康雄: “Multi-class AdaBoost を用いた雑音検出”, 情報処理学会研究報告. SLP, 音声言語情報処理, No. 136, pp. 7–12, 2006.

[52] G. Griﬃn, A. Holub, and P. Perona: “Caltech-256 Object Category Dataset”. Technical
Report 7694: California Institute of Technology: 2007.
[53] T. Mita, T. Kaneko, B. Stenger, and O. Hori: “Discriminative Feature Co-Occurrence Selection for Object Detection”, IEEE Trans. Pattern Anal. Mach. Intell., Vol. 30, No. 7, pp.
1257–1269, 2008.
[54] 三井相和, 山内悠嗣, 藤吉弘亘: “Joint HOG 特徴を用いた 2 段階 AdaBoost による人検出”, 第14 回画像センシングシンポジウム SSII08, pp. IN1–06, 2008.
[55] 山内悠嗣, 藤吉弘亘, H. Bon-Woo, 金出武雄: “アピアランスと時空間特徴の共起に基づく人検出”, 第 10 回画像の認識・理解シンポジウム (MIRU2007), pp. 1492–1497, Jul 2007.

[56] 山下隆義: “統計的学習法を用いた物体認識における特徴量の進化”, 第 14 回画像センシングシ
ンポジウム SSII08, pp. OR4–01, 2008.

[57] N. Herve and N. Boujemaa: “Visual word pairs for automatic image annotation”, In ICME’09:
Proceedings of the 2009 IEEE international conference on Multimedia and Expo, pp. 430–433,
Piscataway, NJ, USA, 2009. IEEE Press.
[58] “Youtube”. http://www.youtube.com/.
[59] “Flickr”. http://www.flickr.com/.

97

[60] “Google Image Search”. http://www.google.com/imghp.
[61] “Bing Images”. http://www.bing.com/images.
[62] “Google Similar Images”. http://similar-images.googlelabs.com/.
[63] “TinEye Reverse Image Search”. http://www.tineye.com/.
[64] “VisualSeeker”. http://visseeker2.yahoo-labs.jp/vs/.
[65] “GazoPa similar image search”. http://www.gazopa.com/.
[66] 松原大輔, 廣池敦: “自己組織化アルゴリズムを用いたデータ配置最適化による高速類似ベクトル検索 (一般セッション 2)”, 情報処理学会研究報告. CVIM, [コンピュータビジョンとイメージ
メディア], Vol. 2008, No. 82, pp. 85–90, 2008-08-29.

98

研究業績一覧

学術論文[1] 永橋知行, 藤吉弘亘, 金出武雄: “平滑化処理の繰り返しによるグラフカットを用いた画像セグ
メンテーション”, 情報処理学会論文誌コンピュータビジョンとイメージメディア, Vol 1, No. 2,

pp.10-20, 2008.
[2] 永橋知行, 藤吉弘亘, 金出武雄: “Spatio-temporal volume を用いた繰返し処理のグラフカット
によるビデオセグメンテーション”, 電子情報通信学会論文誌 D Vol.J92-D No.8 pp.1339-1348,

2009.

国際会議発表論文 (査読あり)[1] S. Shimizu, T. Nagahashi and H. Fujiyoshi: “Robust and Accurate Detection of Object Orientation and ID without Color Segmentation”, RoboCup2005 SYMPOSIUM, pp. 408-419,
2005.
[2] T. Nagahashi, H. Fujiyoshi and T. Kanade: “Object Type Classiﬁcation Using Structure-based
Feature Representation”, MVA2007：IAPR Conference on Machine Vision Applications, pp.
142-145, May, 2007.
[3] T. Nagahashi, H. Fujiyoshi and T. Kanade: “Image Segmentation Using Iterated Graph Cuts
Based on Multi-scale Smoothing”, Asian Conference on Computer Vision 2007, Part II, LNCS
4844, pp. 806-816, 2007.
[4] T. Nagahashi, H. Fujiyoshi, and T. Kanade: “Video Segmentation Using Iterated Graph
Cuts Based on Spatio-temporal Volumes”, Asian Conference on Computer Vision 2009, pp.
655-666, 2009.

99

学会口頭発表 (査読あり)[1] 永橋知行, 藤吉弘亘, 金出武雄: “平滑化処理の繰り返しによる画像セグメンテーションのためのグラフカット”, 第 10 回画像の認識・理解シンポジウム (MIRU2007), pp. 241-248, 2007.

[2] 永橋知行, 藤吉弘亘, 金出武雄: “Spatio-temporal volume を用いた繰返し処理のグラフカットによるビデオセグメンテーション”, 第 11 回画像の認識・理解シンポジウム (MIRU2008), p 570,

2008.
[3] 永橋知行, 伊原有仁, 藤吉弘亘: “前景と背景情報の共起表現を用いた Bag-of-features による画像分類”, 第 13 回画像の認識・理解シンポジウム (MIRU2010), pp. 1356-1363, 2010.

学会口頭発表 (査読なし)[1] 永橋知行, 清水彰一, 藤吉弘亘: “照明変動に頑健な ID 認識とロボットの姿勢検出”, 第 21 回
SIG-Challenge 研究会, pp. 32-37, May, 2005.
[2] 永橋知行, 藤吉弘亘, 金出武雄: “構造に基づく特徴量を用いたグラフマッチングによる物体識別”, 情報処理学会 研究報告 CVIM 154, pp. 69-74, 2006.

[3] 永橋知行, 藤吉弘亘, 金出武雄: “構造情報と大域的な特徴量を用いた物体識別”, 電気関係学会
東海支部連合大会, O-455, Sep, 2006.

[4] 永橋知行, 藤吉弘亘, 金出武雄: “領域分割に基づく SIFT 特徴を用いた物体識別”, 電気学会 シ
ステム・制御研究会 SC-07-8, pp39-44, Jan. 2007.

[5] 永橋知行, 伊原有仁, 藤吉弘亘: “画像分類における Bag-of-features による識別に有効な特徴量の傾向”, 情報処理学会研究報告 CVIM 169, pp. 13-20, 2009.

[6] 永橋知行, 藤吉弘亘, 金出武雄: “前景と背景情報の共起を考慮した画像分類”, 電気関係学会東海支部連合大会, N3-2, 2010.

著書[1] H. Fujiyoshi, T. Nagahashi and S. Shimizu: “Robotic Soccer: Robust and Accurate Detectionof Object Orientation and ID without Color Segmentation”, I-Tech ISBN 978-3-902613-21-9,
pp.395–406, 2007.

100

学術表彰
[1] 2005 年度ロボカップ研究賞
研究題目「Robust and Accurate Detection of Object Orientation and ID without Color Seg-

mentation」[2] 画像の認識・理解シンポジウム MIRU2007 学生賞
研究題目「平滑化処理の繰り返しによる画像セグメンテーションのためのグラフカット」[3] 平成 20 年度情報処理学会東海支部学生論文奨励賞
研究題目「平滑化処理の繰り返しによるグラフカットを用いた画像セグメンテーション」[4] 平成 21 年度情報処理学会論文誌コンピュータビジョンとイメージメディア優秀論文賞
研究題目「平滑化処理の繰り返しによるグラフカットを用いた画像セグメンテーション」

101