論文

局所情報と大域情報を統合する条件付確率場による画像ラベリング
豊田 崇弘† a)

田上 啓介†

長谷川 修††

Conditional Random Fields: Integration of Local Information and Global
Information for Image Labeling
Takahiro TOYODA†a) , Keisuke TAGAMI† , and Osamu HASEGAWA††

あらまし 本研究では画像中のすべての画素にカテゴリーラベルを割り当てる画像ラベリングを行う．提案手法では従来手法のように局所的な特徴のみを用いるのではなく，大域的な特徴も用いてラベルの推定を行う．また，カテゴリー間の同時に起こりやすい関係や起こりにくい関係もモデル化し，ラベルの推定に利用する．局
所的な推定と大域的な推定の統合には条件付確率場（Conditional Random Field: CRF）を利用する．従来のCRF は局所的な関係をモデル化するのには優れているが，大域的な関係は十分にモデル化できない．そこで複数の確率場を用いたモデル化が行われているが，モデル構造が複雑となるという欠点がある．これに対し提案手
法では一つの確率場において推定を統合するためモデル構造が簡単である．また，従来手法では局所的な特徴への依存が大きいという問題があったが，提案手法では大域的な特徴も利用するためこの問題にも対応している．
提案手法の有効性は 2 種類の屋外シーン画像のラベリング実験により確認した．大域的な特徴を用いることで認
識精度は 10%程度向上し，大域的な視点から明らかな誤りは大きく減少した．
キーワード

画像ラベリング，シーン画像，条件付確率場，局所情報，大域情報

1. ま え が き
現在，画像認識技術は広く実用化され，特定の条件下において特定の対象を認識する精度は非常に高くなっている．今後も更に画像認識の応用は広がり，それとともに一般的な条件下で多様な対象の認識が必要とされるようになる．現在，認識手法の多くは主に色やテクスチャなど局所的な画像特徴を利用している．
しかし，対象とする画像が多様となるにつれ，大域的な画像特徴の重要性も増す．例えば，図 1 の例では局所的なパッチの情報のみではその領域の認識は困難である．しかし，そのパッチが下の画像の一部であるこ

図 1 局所的な情報のみではパッチを認識するのが困難であるが，大域的な情報を用いることで容易に認識できるようになるFig. 1 Global information helps to recognize thepatches that are diﬃcult to recognize from local information.

とが分かれば認識が可能となる．この例のように一般的な画像の認識では大域的な特徴から得られる情報が†られる情報と大域的な特徴から得られる情報を効果的
東京工業大学大学院総合理工学研究科，横浜市
Interdisciplinary Graduate School of Science and Engineering, Tokyo Institute of Technology, R2–52, 4259 Nagatsutacho, Midori-ku, Yokohama-shi, 226–8503 Japan††

大きな役割を果たす．本論文では局所的な特徴から得に統合するための新しい枠組みを提案する．
本論文では提案手法を応用範囲の広いシーン画像の東京工業大学像情報工学研究施設，横浜市

ラベリングに適用し，その有効性を評価する．画像ラImaging Science and Engineering Laboratory, Tokyo Insti-

ベリングは画像中のすべての画素に意味のあるカテゴ

tute of Technology, R2–52, 4259 Nagatsuta-cho, Midori-ku,

リー（空，建物，車等）を割り当てる処理で，画像のYokohama-shi, 226–8503 Japana) E-mail: toyoda@isl.titech.ac.jp1542

電子情報通信学会論文誌 D Vol. J90–D

領域分割と分割した領域についてのカテゴリー認識を
c （社）電子情報通信学会 2007
No. 6 pp. 1542–1554 論文／局所情報と大域情報を統合する条件付確率場による画像ラベリング

図 2 標準の CRF，従来手法の多重スケール CRF [1]，提案手法の CRF．丸は変数を表すノードで，灰色ノードは観測データを表す．
Fig. 2 Standard CRF, Multiscale CRF [1] (Conventional method) and Proposed
CRF. Nodes represent variables and gray nodes represent observations.

行う．これにより画像中のどの位置に何があるかが記の関数が利用される．ψij も同様に任意の関数が用い述される．画像ラベリングの応用としては物体の検出

られ，i と j におけるラベルの関係を表す．MRF では
ラベル間の関係 P (L)（式 (1)）は入力画像に依存しなや認識，シーン理解などが挙げられる．
画像ラベリングではマルコフ確率場（Markov Ran-dom Field：MRF）[2] がしばしば利用される．MRF

いのに対し，CRF では依存した形で表現される点が異なる．

を利用する手法では入力画像 X に対応するラベリ

CRF は図 2 左（Standard CRF）のように表現でング L = {li }i∈S の事後確率 P (L|X) を，同時確率

きる．灰色のノードは観測データを表し，ここでは各P (L, X) を用いて表す．

格子点における画像特徴を表す．灰色ノードと連結しP (L|X) ∝ P (L, X) = P (L)

P (xi |li ).

ている白色ノードは各格子点に対応するラベルを表し

(1)

i∈S

ており，ノード間のエッジは二つの関係を表す．

MRF は同時確率 P (L, X) をモデル化するのに対

ここで xi は格子点集合 S 内の格子点 i における入力

し，CRF は事後確率 P (L|X) をモデル化する．一般

画像の特徴，li は i のラベルを示す．

に同時確率 P (L, X) は複雑な分布となる可能性が高MRF では各格子点における特徴 xi とラベル li の関係 P (xi |li ) とともに，近傍に割り当てられるラベル間の関係 P (L) も考慮する．近傍格子点同士はなるべ

いため，求めたい事後確率 P (L|X) を直接モデル化す
る CRF の方が識別精度は高くなる．本論文でも CRFを利用した手法を提案する．

く同じラベルになるようにモデル化することで滑らか

一般の画像では近傍ラベル間の相関が強い．そこでなラベルの分布が得られる．MRF に基づいた手法には木構造を利用した手法もある [3]．木構造を利用する

CRF では，各ラベルはその近傍のラベルのみに依存するというマルコフ性を仮定し，P (L|X) をモデル化

ことで局所的なラベル間の関係のみでなく，大域的なする．このとき局所的なラベル間の関係はモデル化さ関係もモデル化される．

れるものの，大域的なラベル間の関係はモデル化され画像ラベリングでは生成モデルと呼ばれる MRF のない．そこで画像ラベリングでは，大域的な関係も表

ほか，識別モデルと呼ばれる条件付確率場（Condi-

現できるように標準の CRF [4] を改良した手法 [1], [5]tional Random Field：CRF）[4] も利用される．CRF
はポテンシャル関数 φi ，ψij を用いて事後確率 P (L|X)

が利用される． [1] では低解像度のラベル分布と高解を直接モデル化する．

ラベル間の関係をモデル化する（図 2 中央）．また，

P (L|X) =

1 
Z

i∈S

φi (li |X)ψij (li , lj |X).

i∈S j∈Ni(2)

像度のラベル分布のモデルを用いて，局所的・大域的[5] では CRF を階層化し，1 階層目で各画素から抽出した画像特徴を観測データとする CRF，2 階層目で 1
階層目の出力を観測データに対応させた CRF を用いてモデル化を行う．

ここで j は i の近傍 Ni の格子点，Z は正規化項であ

従来の CRF を利用したラベリング手法 [1], [5] は，る．φi は i におけるラベルの推定を行うもので，任意局所的なラベル間の関係と大域的なラベル間の関係を
1543

電子情報通信学会論文誌 2007/6 Vol. J90–D No. 6

表現するのに，複数のモデルや確率場を用いる．そのている．これに対し，提案手法では画像ラベリングをためモデルの構造が複雑となり，ラベリング処理に伴行うため，複数のカテゴリーを同時に扱う．そして大う計算コストも大きくなる．これに対し，本論文で提域的な特徴からは各カテゴリーについて画像上での二案する手法は一つの確率場において局所的な関係と大次元の分布を推定する．また推定の統合は，局所的・域的な関係の両方をモデル化するため，モデル構造が大域的整合性，カテゴリー間の整合性，二次元分布と簡単である．その結果，ラベリング処理に伴う計算コしての整合性を考慮して行うため，物体検出と比べてストが抑えられる．

難易度が高くなっている．一方，手法の一般性も高く

従来手法の問題点として，観測データに局所的な画なるため，物体検出を含め応用範囲は広くなる．

像特徴しか使用しない点が挙げられる．このために，

以下，2. で提案手法のモデルを述べ，3. で局所レ

大域的なラベルの分布を表現するのに複雑なモデル構

ベル，4. で大域レベルのモデル表現を述べる．5. で造が必要とされる．またモデル全体が局所的な特徴には大域的なラベル間の関係，6. では局所的なラベル間大きく依存しており，局所的な特徴がもつ誤りやあいの関係について述べ，7. ではラベリング処理の方法をまいさがモデル全体に影響を与えるという問題点もあ述べる．8. でラベリング実験を示し，最後 9. で結ぶ．

る．更に，「建物領域中に空がある」というように大域的な視点からは明らかな誤り方をすることも問題である．

2. 提案手法のモデル提案手法では入力画像 X に対するラベリング L の提案手法では以上のような問題点を解決するために，

エネルギー E(L|X) を用いて事後確率 P (L|X) を定

局所的な画像特徴と大域的な画像特徴の両方を抽出し，義する．E(L|X) が小さいほど整合性のある安定した二つの特徴を観測データとして明示的に含んだモデル

ラベリングであることを示し，P (L|X) の値は大きくを設計する（図 2 右）．提案手法は一方の特徴のみになる．E(L|X) は四つの関数 fi ，gi ，gL ，hij を用い依存することがなく，また一つの確率場でモデルを表て計算する．

現するため，全体のモデル構造も簡単である．更に大域的な画像特徴の抽出処理や，それらから各画素のラベルを推定する処理を簡便にしたため，改良に伴う計算コストの増加はわずかである．
提案手法のモデルでは，局所的な特徴から例えば

P (L|X)1=
exp {−E(L|X)/T }Z

=「この画素は青だから空だろう」とか「このようなテ

1
exp
Z

クスチャだから道路だろう」という推定を行う．一方，+β

大域的な特徴からは，例えば「このような構図のシーi∈S

ンだから，画像の下部は道路でその両脇は建物だろう」という推定を行う．これらの推定は局所的・大域的という異なる視点からのもので，相補的な役割を果たす．
更に近傍のラベル間の整合性や 1 枚の画像に同時に存



Z=





(3)

fi (li |X) + αi∈SgL (li |X) + γ

gi (li |X)

i∈S




hij (li , lj |X) ,i∈S j∈Ni(4)
exp {−E(L|X)/T }.

(5)

L

在するラベル間の整合性を考慮し，最終的なラベリン

ここで Z は正規化項，T は温度（本研究では T = 1

グ結果を決定する．これにより局所的にも大域的にもに固定）を表す．li ，lj は画素 i とその近傍領域 Ni 内

整合性あるラベリングが実現される．

の画素 j に割り当てられているカテゴリーラベルを表関連研究に，局所的な物体検出器とともに大域的なす．α，β ，γ は関数の重み付けをする．

画像特徴を利用した物体検出がある [6]．この手法で

fi は局所レベルの関数，gi は大域レベルの関数を表

は，大域的な画像特徴をもとに目的の物体の画像上でし，それぞれ局所的な画像特徴，大域的な画像特徴をの位置と大きさを推定する．ただし推定する位置は垂もとに画素 i のラベルを推定する．gL は大域的な特徴

直方向のみである． [6] では着目する物体は一つだけをもとにカテゴリーの共起確率を推定し，画像全体のなので，検出器による推定と大域的な特徴からの推定

カテゴリーの分布にバイアスをかける関数である．すは容易に統合できる．具体的には，二つの推定の位置

なわち，1 枚の画像で同時に生じやすいカテゴリーのと大きさの隔たりに応じてペナルティを科して統合し関係（例えば車と道路）や，同時に生じにくいカテゴ1544

論文／局所情報と大域情報を統合する条件付確率場による画像ラベリング

リーの関係（例えばカバと雪）をモデル化する．

hij は近傍ラベル li ，lj の相互作用を表す関数で，二あり，知覚的な色の違いが空間上での距離に相当する
ため，カラー画像を扱うのに適している．

つのラベルの整合性を評価する．なるべく近傍のカテ

テクスチャ特徴は，色の変化やカテゴリー内の色のゴリーラベルが同じになるように hij は作用し，結果多様性に対応するために，RGB 値をグレースケール

としてカテゴリーラベルの分布を平滑化する役割を果に変換した画像から抽出する．提案手法では照明条件

たす．ただし，提案手法のモデルでは hij は入力画像
X に依存し，画素間の特徴の類似度が高いほど相互作の変化に頑健な local binary pattern（LBP）[7] を用

用が強く働く．その結果，カテゴリー分布の境界は画不変への拡張が提案されているが，本研究では回転不素間の特徴の類似度の低いエッジ部分に重なりやすく変性を必要としないので回転不変ではない LBP を用

なる．

いる．

いてテクスチャ特徴を抽出する． [7] では LBP の回転提案手法のモデルは図 2 右のように表現される．他

半径 R，近傍画素数 P の LBP（LBPP,R ）は以下のの CRF との大きな違いは，観測データに局所的な画ように定義される（詳細は [7] の式 (6)，(7) を参照）．

像特徴のみでなく，大域的な画像特徴も含めている点である．これにより一つの確率場による簡単な構造のモデル化が可能となっている．また，2 種類の相補的

な特徴からの独立な推定経路をもつため，一方の特徴のみに依存することもなくなっている．

3. 局所レベルの表現
局所レベルでは画像中の各画素を色とテクスチャにより特徴づけ，それらをもとにカテゴリーラベルを推



P −1

LBPP,R =s(x) =s(gp − gc )2p ,

(6)

x≥0
x < 0.

(7)

p=0

1,
0,

ここで gc は着目している画素 c の輝度値，gp は c を中心とする半径 R の円周上に等間隔に並んだ近傍画
素 p の輝度値である．

定する．色特徴は「空」や「草木」のように特徴的な

LBP は着目画素と P 個の近傍画素との輝度値の色をもつカテゴリーを識別するのに有効である．しか大小関係により，2P 通りの局所的なパターンに識別し一方で光源の変化や視点の変化による影響を受けやする． [7] では ‘uniform’ パターンと呼ばれる代表的

すいという問題もある．また，同じカテゴリーの対象

な局所パターンを導入し，‘uniform’ パターン以外はであっても，「白い雪」や「灰色の雪」のように色に多すべて ‘その他’ のパターンとして一つにまとめてい様性がある場合も多い．そこで提案手法では色特徴のる．具体的には以下のように U (LBPP,R ) を定義し，ほかに，照明条件の変化に頑健なグレースケールのテ

U (LBPP,R ) ≤ 2 である LBPP,R を ‘uniform’ パター

クスチャ特徴も利用する．

ンとしている．

局所的な特徴からカテゴリーラベルを推定するには識別器を用いる．ここで種々の識別器が利用できるが，本研究では最近傍法に基づいた識別器を利用する．最近傍法に基づいた識別器は学習・認識処理が簡単で，

U (LBPP,R ) = |s(gP −1 − gc ) − s(g0 −gc )|



P −1

+

|s(gp − gc ) − s(gp−1 − gc )|.

p=1

また扱うカテゴリー数を容易に増やすこともできる．

(8)

識別器を構成するにはテスト用データとは別に用意した学習用データを用いる．学習用データは学習用画像

本研究では P = 8，R = 1 の LBP を用いるが，そのとその各画素に手動でカテゴリーラベルが付けられた場合，‘uniform’ パターンは 58 個存在する．

データのセットである．

LBP は輝度値の大小関係のみに着目しているため，

3. 1 局所レベルの特徴

輝度値の階調変化に対して不変である．しかし一方で，実験では RGB カラー画像を用いるが，一般に RGB

わずかな輝度値の変化でも大小関係が変化すると局所値は照明条件の変化に敏感で，明るさの変化でも RGB

パターンも変わってしまう．これではノイズなど外乱値は大きく変化する．そこで提案手法では各画素のの多い実環境中で利用するには敏感すぎると考えられ

RGB 値を CIE L*a*b*色空間に変換した 3 値を色特
徴 vcolor (i) として利用する．L*a*b*は均等色空間でる．そこで提案手法では LBP に改良を加え，輝度値の変化に対し，より頑健な ‘改良 LBP’ を定義して用
1545

電子情報通信学会論文誌 2007/6 Vol. J90–D No. 6

いることにする．
改良 LBP では式 (7) の s(x) の代わりに，しきい値θLBP を導入した以下の s (x) を用いる．

s (x) =1,0,x ≥ θLBPx < θLBP .

SOINN(V ) で表すと ，カテゴ リー c の色 特徴と テcc
クスチャ特徴の代表ベクトルの集合 Ucolor，Utexture
は，(9)

改良 LBP では輝度値の差がしきい値 θLBP 以上のものに対して大小関係を定める．この改良により輝度値の階調変化に対する不変性はなくなるが，ノイズなど
による輝度値の変動に対しては頑健となる．
テクスチャ特徴は着目している画素を中心とする周囲の正方形領域 RLBP（= 9 × 9 画素）に，改良 LBPを適用することで得る．改良 LBP が出力する領域内の局所パターンの頻度（ヒストグラム）がテクスチャ特徴となる．本研究では実験に用いる画像の質などを考慮し，θLBP = 5 に固定した．改良 LBP は 58 個のcc
Ucolor= SOINN(Vcolor
),

(10)

c
c
Utexture= SOINN(Vtexture
).

(11)

ただし，
c
Vcolor= {vcolor (i) | HandLabel(i) = c},(12)c
Vtexture= {vtexture (i) | HandLabel(i) = c}. (13)

ここで HandLabel(i) は手動で付けられた画素 i の正しいカテゴリーラベルである．

3. 3 局所レベルのカテゴリー推定
式 (4) の fi は以下のように定義される局所レベルの関数で，局所レベルの色特徴 vcolor (i) とテクスチャ
特徴 vtexture (i) を基に画素 i のラベルを推定する．

‘uniform’ パターンと一つの ‘その他’ のパターンを出力するため，ビン数 59 のヒストグラムが各領域から

fi (li |X) = log(P (li |vcolor (i))P (li |vtexture (i))).

得られる．ただし，テクスチャ特徴を抽出する正方形(14)

領域が画像の端となった場合は，画像上の領域のみに
改良 LBP を適用することにする．
以上より，各画素は 3 次元の色特徴 vcolor (i) と 59
次元のテクスチャ特徴 vtexture (i) により表現される．
これが図 2 の各画素における観測データとなる．

3. 2 代表ベクトルによるカテゴリー表現
最近傍法に基づいた識別器を用いて，局所的な特徴
から各画素のカテゴリーラベルを推定する．このとき学習用データから抽出される特徴数は膨大なので，そこ こ で ラ ベ ル li の 確 率 分 布 P (li |vcolor (i))，

P (li |vtexture (i)) は 3. 2 で得た代表ベクトルの集合cc
Ucolor，Utextureを用いて計算する．
P (li |vcolor (i)) は色特徴 vcolor (i) と各カテゴリーの代表ベクトルのうち，最近傍のものとの距離 dc (i) をもとに計算する．このとき距離尺度にはユークリッド
距離（ · ）を用いる．
cdccolor (i) = min vcolor (i) − u , u ∈ Ucolor, (15)u

れらをすべて用いるのは効率が悪い．そこでカテゴ
リーごとに特徴をクラスタリングし，得られる代表ベクトルの集合により各カテゴリーを表現する．クラスタリングには Self-Organizing Incremental Neural

Network（SOINN）[8], [9] を利用する．SOINN はノイズに対して頑健で，またデータの分布を表現するの

Zcolor (i) =


c


exp



dc (i)2
exp − color2
Zcolor (i)σcolor1

P (li = c|vcolor (i)) =dc (i)2− color2
σcolor





(16)

.

(17)

,

に適当なクラスタ数を適応的に決定するなどの利点がここで Zcolor (i) は正規化項，σcolor は識別能力を制御ある．

するパラメータである．P (li |vtexture (i)) も同様にし

最初に，すべての学習用画像の各画素から 3. 1 で述べた色特徴 vcolor (i) とテクスチャ特徴 vtexture (i) を抽出する．そのうち同じカテゴリーラベルが付けられている画素の特徴を，テクスチャと色それぞれ別にSOINN によってクラスタリングする．SOINN の出力として得られる代表ノードの集合を各カテゴリーの代表ベクトルとする．

SOINN に特 徴 集 合 V を 入 力 し た と き の 出 力 を
1546て Ztexture (i)，σtexture を用いて計算される．
以上より，式 (14) は次のように書き換えられる．

dc (i)2dc(i)2fi (li = c|X) = − color− texture22
σcolorσtexture− log (Zcolor (i)Ztexture (i)) . (18)
ここで正規化項を含む右辺第 3 項目は，式 (4) の Z にまとめることができるので明示的に扱う必要はない．

論文／局所情報と大域情報を統合する条件付確率場による画像ラベリング

4. 大域レベルの表現

素単位の類似度を測るのに L*a*b*値を用いたが，ここでは縮小画像全体の類似度を測るのに用いる．

シーン画像ではカテゴリーの分布の仕方にパターン

一般に学習用画像の数は限られているため，画像全や傾向がある．例えば，「地面は画像の下部」，「空は体が類似しているシーン画像を検索するのは困難なこ

画像の上部」，「車がある画像には道路もある」，「カバとがある．そこで提案手法では各画像を左上，右上，のいる画像には雪はない」などである．特に類似シー

左下，右下の四つの領域に等分し，それぞれの領域にンの画像ではカテゴリーの分布の仕方に共通点が多い．

着目して特徴の記述，類似シーン画像の検索を行う．

例えば，道路シーンの画像では「画像の下部は道路，

このとき各領域間の特徴には相関があるため，着目し上部は空」という分布が多い．このような性質を利用ている領域外の特徴も重要な情報源となる．そこで各することで，未知の入力画像上のカテゴリーの分布を

領域の類似シーン画像を検索する際に，着目領域の特類似シーン画像から推定することが可能となる．すな

徴を重視するように重み付けを行い，同時にすべてのわち，「この画像は道路シーンの画像に似ているので，領域の特徴も利用する．これは四つの領域のヒストグ

画像の下部は道路だろう」のような推定ができる．提ラムを連結し，着目している領域のヒストグラムにの案手法ではカテゴリーの分布の傾向を学習用データか

み重み付けをすることで実現できる．このとき各領域

ら学習し，未知画像上のカテゴリーの分布の推定に利の位置情報も保存されるため，もとの画像の大まかな用する．

構図も特徴として表現される．

シーンの類似性は画像の局所的な特徴よりもむしろ（ 1 ） RGB ヒストグラム：画像の左上，右上，左大域的な特徴に反映されやすいと考える．例えば，「草

下，右下の四つの各領域で RGB の三つのヒストグラ

木の多いシーン画像では画像全体に緑色が多く分布しムを作成する．各ヒストグラムのビン数を 16 とし，そている」，「屋外シーンでは画像上部に青い空領域が広れぞれの領域で 48 (= 16 × 3) 次元の特徴を抽出する．

がっている」といった特徴がある．そこで提案手法で（ 2 ） 輝度値のこう配方向のヒストグラム：4 等分

は複数の大域的な特徴を利用して，学習用画像から入した画像のそれぞれ領域内において，各画素を中心と力画像に類似したシーン画像を検索し，それをもとにする 3 × 3 画素領域を考える．ただし最外側の画素

カテゴリーの分布を推定する．

は除く．各画素について，周囲 8 画素のうちグレース

4. 1 大域レベルの特徴

ケールの輝度値の差が最大である画素に対してこう配

大域的な画像特徴には，シーンの性質を記述するの方向を特定し，その方向の頻度をヒストグラムで表す．

に有効と考えられる 4 種類の異なる特徴を利用する．

こう配なしも含め，9 ビンのヒストグラム（9 次元の(1) RGB ヒストグラム，(2) 輝度値のこう配方向の特徴）を各領域について作成する．

ヒストグラム，(3) ラプラシアンのヒストグラム，(4)（ 3 ） ラプラシアンのヒストグラム：等分した 4 領

CIE L*a*b*値．

域内の最外側を除く各画素において，グレースケール

ヒストグラムは領域内の位置の変化に不変なため，の輝度値の 8 近傍ラプラシアンを計算する．ラプラシ

大域的な特徴を表現するのに適してる．提案手法では

アン値 [−2558 , 2558 ] を 256 ビンに分けてヒストグラ

色とテクスチャの特徴を表すのにヒストグラムを用いムを作成する．よって各領域で 256 次元の特徴が抽出

る．ここで，テクスチャ特徴に局所レベルと同じ LBPされる．

を利用することもできる．その場合，局所レベルと特（ 4 ） CIE L*a*b*値：画像サイズをもとの 10 分

徴を共有できるため処理の効率化につながる．しかしの 1 に縮小した画像を作成し，その CIE L*a*b*値を提案手法では一つの特徴に大きく依存するのを避ける

特徴とする．縮小画像には 10 × 10 画素領域の平均
L*a*b*値を用いる．もとの画像サイズが W × H 画
素では W/10 × H/10 × 3 次元の特徴となる．

ため，局所レベルと大域レベルとで異なる特徴を利用することにした．これにより多様な特徴からの推定が行えるようになる．

4. 2 類似シーン画像の検索

大域的な特徴には画像の構図も重要である．しかし

4. 1 で述べた大域レベルの特徴をもとに学習用画像

ヒストグラムでは位置情報が失われるため構図は表現から類似シーン画像を検索する．このとき画像の左上，されない．そこで入力画像の縮小画像を作成し，その右上，左下，右下の四つの領域についてそれぞれ別に

L*a*b*値も特徴として利用する．局所レベルでは画類似シーン画像を検索する．
1547

電子情報通信学会論文誌 2007/6 Vol. J90–D No. 6

図 3 左上の画像は入力画像，右の四つの画像は四つの各領域について検索された類似シーン画像，左下は大域レベルの特徴のみを用いて推定したカテゴリーの分布
Fig. 3 Upper left: Input image, Right four images: Collected similar images,
Lower left: Inference of the category distribution using the global features.

まず画像全体の特徴を得るために，四つの領域から付け関数，σg はパラメータである．

抽出した（ 1 ）〜（ 3 ）の 3 種類のヒストグラムをすべ式 (19) で算出される類似度 S(I1t , I2t ) の高い順に各て連結する．各領域からは 313 (= 48 + 9 + 256) 次

領域 N 枚の類似シーン画像を検索する．N が小さい

元のヒストグラム特徴が抽出されるので，連結するとと少しの誤りでも大きな影響が生じるため，カテゴ

全体で 1252 (= 313 × 4 次元のヒストグラム特徴とな

リーの分布の推定の信頼度は低くなる．反対に N がる．ただし画像を検索する際は，着目している領域の大きいと類似度の低い画像も検索結果に含まれてしま

ヒストグラムに重み w を付け，その部分を重視するよう．そこで本研究では学習用データの質と量を考慮し，うにする．提案手法では w = 3 とし，着目領域とそれN = 3 に固定した．

以外の三つの領域の和が同じ重みになるようにした．

図 3 に類似シーン画像を検索した結果の例を示す．

二つの画像 I1 ，I2 の領域 t（= { 左上, 右上, 左下,

左上の画像がテスト用の入力画像で，右の四つの画像右下 }）における類似度 S(I1t , I2t ) を測るのに，ヒストが各領域で最も類似度の高かった学習用画像である．

グラム部分ではインタセクション（min）を，L*a*b*

入力画像と検索された画像の各着目領域を比較すると部分には二乗誤差を用いる．

類似していることが確認される．

S(I1t , I2t )=wt (t )

t

−

K








の類似シーン画像を検索し，それらを用いて未知の入

k=1

 Lab1 (i) − Lab2 (i) 2

i∈S 



wt (t ) =min histt1 (k), histt2 (k)σg2

4. 3 大域レベルのカテゴリー推定
4. 2 で 述 べ た よ う に ，画 像 の 四 つ の 領 域 t (={ 左上, 右上, 左下, 右下 }) のそれぞれについて N 枚
力画像上におけるカテゴリーの分布を推定する．検索

,

(19)

した学習用画像には手動でラベル付けされたデータ

B c (i) がある．B c (i) は画素 i のラベルがカテゴリー cw, if t = t
1, otherwise.

(20)

であるか ‘1’，ないか ‘0’ を示す．



B c (i) =

ここで t = { 左上, 右上, 左下, 右下 }，histt1 (k) は画

1,0,

if HandLabel(i) = cotherwise.

(21)

像 I1 の領域 t における k ビン目のヒストグラム値，

大域レベルの特徴 vg が得られたときに画素 i のラ

K (= 313) はヒストグラム全体の長さを表す．S  は
縮小画像の領域， Lab1 (i) − Lab2 (i) 2 は画素 i における L*a*b*値の二乗誤差の和を表す．wt (t) は重み

ベル li がカテゴリー c である確率 P (li = c|vg ) は，

1548

類似シーン画像のラベル付きデータ B c (i) の平均を求めることで得られる．しかし類似シーン画像の枚数 N

論文／局所情報と大域情報を統合する条件付確率場による画像ラベリング

図 4 大域レベルの特徴によるカテゴリー分布の推定．明るい領域はカテゴリーの分布している可能性が高いことを示す．
Fig. 4 Inference from the global features. Bright pixels indicate high probability
for the category.

が少ないため，推定される分布は一般性に欠けるかも

せや，反対に生じにくい組合せがある．例えば，車としれない．そこで一般性を高めるために最初に平均値

道路は同時に生じる可能性が高いが，カバと雪は同時

0，標準偏差 σG の 2 次元の等方的なガウス関数 G(i)に生じる可能性は低い．このような性質を利用するこを用いてカテゴリーの分布を平滑化する．

とで，画像全体として明らかな誤りを減少させることができる．また，推定があいまいなときなどにも有効

P (li = c|vg )
1 
=
N

である．提案手法ではこのようなカテゴリーの共起モ

Nt∗ Mt (i) ,
(22)

1,
0,

デルを学習用データから学習し，ラベリング処理に活
用する．

n=1


Mt (i) =cBt,n(i) ∗ G(i)if i ∈ Rt
otherwise.

(23)

ここで ∗ は畳込み積分を表し，Mt (i) は領域 t の画像
c
部分 Rt のみを通すマスクである．Bt,n(i) は領域 t の

n 枚目の類似シーン画像のラベル付きデータである．
式 (4) の大域レベルの関数 gi は大域的な画像特徴 vg をもとに 画素 i のラ ベルを 推定す る関数で ，P (li = c|vg ) を用いて以下のように定義する．
gi (li |X) = log (P (li |vg ) + ε)

共起モデルは，4. 2 で検索した四つの領域の類似
シーン画像を基に学習する．まず，延べ N × 4 枚の画像について，すべてのカテゴリーの組 (c1 , c2 ) の共起
確率 P (c1 , c2 |vg ) を求める．これは N × 4 枚の画像のうち，(c1 , c2 ) が同時に生じた画像の割合を計算すればよい．ここで vg は画像検索に用いた大域レベルの特徴を表している．
ラベリング処理では，学習した共起確率 P (c1 , c2 |vg )を用いて，ラベル li のカテゴリーを推定する．

P (li = c|vg ) =(24)

ε は真数が 0 となるのを避けるための小さい値の定数で，本研究では ε = 10−4 とした．
図 3 で検索した類似シーン画像をもとに，カテゴリーの分布を推定した結果が図 4 である．ここに示すのは以下の実験で用いた七つのカテゴリーについてでδ(li , c)



i ∈S

=

c


c

P (c, c |vg )nL ,

(26)

c


1,
0,

δ(x, y) =P (c, c |vg ) (25)

if x = yotherwise.

(27)ある．図の明るい領域がカテゴリーの分布している可ここで ncL はラベリング L において，カテゴリー c が能性の高いことを表しており，この例では，空は上部

割り当てられている画素数である．

に道路は下部に，草木や建物はその周りに広がってい

素の局所的な特徴は用いておらず，画像の大域的な特カ テ ゴ リ ー の 共 起 モ デ ル を 表 す 式 (4) の gL は
P (li = c|vg ) を用いて定義される．しかし，式 (27) で計算される P (li = c|vg ) は非常に小さい値となるため，代わりに P  (li = c|vg ) を用いて以下のように定徴のみから推定している．それにもかかわらず，良い義する．

る可能性が高いことが推定されている．これらの推定をまとめると図 3 の左下のようになる．このとき各画精度で推定が行えているのが確認される．

gL (li = c|X) = log P  (li = c|vg )

5. カテゴリーの共起モデル= log
カテゴリーの中には画像上に同時に生じやすい組合

c

P (c, c |vg ) +

1
2N



nc
L
|S|

(28)


.

(29)
1549

電子情報通信学会論文誌 2007/6 Vol. J90–D No. 6



ここで |S| は全画素数を表す．また，1/2N を加えるのは少数の検索画像から学習したモデルがオーバフィッ

φ(li , lj ) =1, if li = lj
−1, otherwise.

(34)

ティングするのを避けるためである．

dcolor ，dtexture は色特徴間，テクスチャ特徴間のユー

6. 近傍ラベルの相互作用

クリッド距離（ · ）を表し，d は画像上の座標間のユー

自然画像上では普通，カテゴリーは連続に分布し，クリッド距離を表す．ここで画素 i の座標は (xi , yi )同一カテゴリーラベルの領域を形成する．このため近としている．

傍画素のラベルは同じカテゴリーであることが多い．

φ は近傍ラベル li ，lj の整合性を判定する関数で，一般的な MRF や CRF ではこの性質を利用し，近傍同じカテゴリーならば整合していると判断し，式 (3)画素のラベルが同じになる確率が高くなるようにモデのエネルギー E(L|X) を小さくする．反対に異なるカルを設計する．具体的には式 (1) の P (L) や式 (2) のテゴリーならば，E(L|X) を大きくし，ラベリング状

ψij で，近傍ラベルがなるべく同じカテゴリーになる

態が不安定であることを示す．σcolor ，σtexture は 3. 3

ように相互作用をモデル化する．この相互作用は画像で用いたパラメータで，σr については 8. 1 で述べる．

上でのカテゴリーラベルの分布を平滑化する役割を

これらのパラメータは異なる特徴の距離を結び付ける

果たし，異なるカテゴリーラベルが散乱しないように働きをする．
一般的な MRF では式 (30) の指数関数部がモデルする．
一般の画像では複数のカテゴリーが分布するため，
カテゴリーラベルの分布間には境界が存在する．カテ
ゴリーの境界を正しく認識するためにはラベルの分化されていない．そのため相互作用の強さが一定で，カテゴリーラベルの分布の平滑化のみが行われる．

7. ラベリング処理

布の平滑化のみでは不十分である．そこで CRF では
入力画像に依存した適応的な平滑化を行う．これは，ラベリング処理は，入力画像 X が与えられたとき

CRF では入力画像が与えられた条件下でモデルを設に，式 (4) の事後確率 P (L|X) を最大にするラベリン

計するためにできることである．適応的な平滑化の例

グ L を求める処理である．一般に L のとり得る状態

は，入力画像上でエッジが存在した場合，その画素間数は膨大で，最適解を求めるのは困難である．そこで

でラベルの相互作用が弱くなるようなモデル化である．

近似解を求めることになる．近似解を推定する手法は提案手法のモデルでは，近傍画素間の色特徴とテク種々あるが，本研究では推定処理が簡単なギブスサン

スチャ特徴の距離，画像上の座標間の距離に応じてラプラー [2] を利用する．ギブスサンプラーでは式 (3) のベルの相互作用の強さを決定する．これにより近傍の

温度 T の設定により推定処理を調整することもでき，画素で，特に特徴の類似度の高い画素と同じカテゴ提案手法のモデルの性能を評価するのに都合がよい．

リーになりやすくなる．このような入力画像に依存しギブスサンプラーでは反復処理を通じて，P (L|X)

た適応的な平滑化を行うことで，画像上でのエッジとが大きくなるように逐次的にラベリング状態を更新し，MAP 推定を行う．1 回の処理で更新するのは着目しカテゴリー分布の境界を重ねやすくできる．
近傍ラベル li ，lj の相互作用は式 (4) の hij で表現ている一つの画素のラベルで，全体のラベリング状態が安定するまで処理を繰り返す．最終的なラベリング

され，以下で計算される．

結果は繰返し処理を停止した時点におけるラベリング

hij (li , lj |X)

状態とする．

dcolor (i, j)2
dtexture (i, j)2−= φ(li , lj ) exp −22
σcolorσtextured(i, j)2
−
σr2



,

(30)

dcolor (i, j) = vcolor (i) − vcolor (j) ,

(31)

1550

いる画素以外のすべてのラベルを固定した条件で更新する．すなわち着目している画素のラベル li を条件付確率 P (li |L− , X) で更新する．ここで L− = lk(=i)は li 以外のすべてのラベルを表す．

dtexture (i, j) = vtexture (i) − vtexture (j) , (32)d(i, j)2 = xi − xj 2 + yi − yj 2 ,ギブスサンプラーにおけるラベルの更新は，着目して(33)

P (li |L− , X) =P (li , L− |X)∝ P (li , L− |X).
P (L− |X)(35)

論文／局所情報と大域情報を統合する条件付確率場による画像ラベリング

次に P (li , L− |X) を，エネルギー E  (li ) と E  (li− )を用いて書き換える．ただし Z  は正規化項，E  (li )−は，ラベル li を更新した後のエネルギー E(li , L |X)のうち，li に依存する部分，E  (li− ) は li に依存しな画素 で，画 像と ラベ ル付 きデ ータ が 100 枚 ずつ ある．カテゴリーラベルは 7 種類，‘rhino/hippo’，‘po-

lar bear’，‘water’，‘snow’，‘vegetation’，‘ground’，‘sky’ である．
学習用画像には無作為に選択した画像のセットを使い部分のエネルギーを表す．

1
exp −E(li , L− |X)
(36)
Z
1
=  exp −E  (li ) − E  (li− ) (37)Z
∝ exp −E  (li ) .
(38)

P (li , L− |X) =用し，残りをテスト用画像とする．Sowerby 画像では 60 枚を学習用画像，44 枚をテスト用画像とする．

Corel 画像では 60 枚を学習用画像，40 枚をテスト用画像とする．テスト用画像のラベル付きデータはラベ
リング結果の正解率を評価するためにのみ使用する．

更新するラベル li に依存する部分のエネルギー

また実験では ‘unlabeled’ が割り当てられている画素は扱わないことにする．

E (li ) は以下のように書ける．
−E  (li ) = fi (li |X) + αgi (li |X) + βgL (li |X)



+ 2γ

hij (li , lj |X)

(39)

j∈Ni

パラメータは以下のように設定した．式 (4) α = 0.3，

β = 10.0，γ = 1.0．これらは各関数によるラベルの推定を統合するための重みである．本論文では実験的に値を決定しており，最適値とは限らない．しかと i (∈ Nj ) を近傍とする画素 j の 2 通りの相互作用

しモデルの性能を評価するのには有効である．式 (4)Ni = 17 × 17 画素，式 (30) σr = Ni ．提案手法のモを表している．

デルでは式 (30) で，近傍画素との距離に応じて相互

ここで第 4 項目の係数 ‘2’ は，i の近傍画素 j (∈ Ni )0

初期状態のラベリング L =

li0

i∈S

は式 (4) の fiと gi を考慮して決定する．すなわち各画素における初期ラベル li0 は，

li0 = max {fi (li = c|X) + αgi (li = c|X)} . (40)c

作用の強さを決定している．そこで近傍領域を広くとることにした．
式 (18) σcolor = 5.0，σtexture = 0.1．これらは色特
徴とテクスチャ特徴の識別能力を制御する．本実験では二つの識別能力が同程度になるように，標準偏差を8. ラベリング実験

基に設定した．式 (19) σg = 100.0．大域的な特徴の提案手法によるモデルの有効性をシーン画像のラの働きをするように設定した．

類似度を測る際，ヒストグラムと L*a*b*値が同程度

ベリング実験により検証した．実験データには他手提案手法では 3. 2 で述べたように，最近傍法に用法との性能比較のため， [1], [3], [5] で使用されているいる特徴数を削減するために SOINN を利用する．実

Sowerby 画像と， [1] で使用されている Corel 画像を利用した（http://www.cs.toronto.edu/˜hexm/
research.htm）．認識精度は正しいラベルが割り当て

験では各カテゴリーの代表ベクトルの数が数十から数agedead = 20 とした [8]．ただし SOINN のパラメーられた画素の割合で評価する．また本実験で使用した

タは提案手法の処理速度には影響を与えるが，認識精CPU は Intel Xeon 3.2 GHz である．
8. 1 実 験 設 定
実験に用いた Sowerby 画像は道路を中心とした屋外

度には大きな影響を与えなかった．

シーンの写真である．データには 96×64 画素サイズの画像とそれに対応するラベル付きデータが 104 枚ずつ

Sowerby 画像で 5 万回，Corel 画像で 15 万回処理を繰り返した（図 6 参照）．ここで二つの繰返し処理の含まれている．ラベル付きデータの各画素には七つのカ

回数に差があるのは画像サイズが異なるからである．

テゴリーラベル（‘sky’，‘vegetation’，‘road marking’，‘road surface’，‘building’，‘street object’，‘car’）か‘unlabeled’ のいずれかが手動で割り当てられている．
Corel 画像はカバや北極グマなど野生動物の写った
自然のシーン画像である．画像サイズは 180 × 120

百になるように，SOINN のパラメータを λ = 100，

ギブスサンプラーによるラベルの更新処理は全体のラベリング状態が安定するまで繰り返す．実験では，

8. 2 ラベリング結果
図 5 に Sowerby 画像（上）と Corel 画像（下）のラ
ベリング結果の例を示す．局所的な特徴のみをもとに各画素を独立に識別した場合（Pixel-wise classifier），
カテゴリーラベルが散らばって分布しているのが確認
1551

電子情報通信学会論文誌 2007/6 Vol. J90–D No. 6

図 5 Sowerby 画像（上三つ）と Corel 画像（下三つ）のラベリング結果．局所特徴
のみで各画素を独立に識別（Pixel-wise classiﬁer），局所特徴のみの標準の CRF（Standard CRF），局所特徴と大域特徴を用いた提案手法（Proposed CRF）によるラベリング結果
Fig. 5 Labeling results by the pixel-wise classiﬁer, the standard CRF with local
features, and the proposed CRF with local and global features.

される．これは近傍ラベル間の関係を考慮していない

習用データでは生じていない）関係も生じている．

ためである．ここで標準の CRF（Standard CRF）に提案手法（Proposed CRF）では局所的な推定のみ

より近傍カテゴリー間の相互作用をモデル化すると，でなく，大域的な視点からも推定を行うことで，局所カテゴリーの分布が平滑化され，各カテゴリーはある特徴によって生じる誤りを修正することができる．例

程度大きさをもった領域となる．

えば，「空領域中の道路」や「北極グマ中の地面」の標準の CRF ではラベル間の大域的な関係がモデように大域的に明らかな誤りが修正された．更に提案

ル化されていないため，画像上部の空付近に道路領

手法ではカテゴリーの共起モデルを学習しているた域が形成されるというように，大域的な視点から明め，同時に起こり得ないような関係はなるべく出力しらかな誤り方をする．また局所的な特徴による識別ないようになっている．例えば，標準の CRF で誤っ（Pixel-wise classifier）をもとにラベリングを行うた

た「カバ，北極グマ，雪」の関係も，整合性あるラベ

め，識別器の段階での誤りが大きな影響を与えている．

リング結果に修正している．このように，提案手法を

例えば Sowerby 画像の三つ目の例では，初期ラベリ用いることで画像全体として妥当なラベリング結果がングで雲を建物を識別したために，その誤りが平滑化得られる．

によって広がっている．更に Corel 画像では，「カバと表 1 にラベリング正解率と，同じ実験データを使っ北極グマ」や「カバと雪」のように起こり得ない（学た他手法 [1], [3], [5] による正解率を示す．Sowerby 画

1552

論文／局所情報と大域情報を統合する条件付確率場による画像ラベリング
表 1 提案手法と各手法によるラベリング正解率の比較
Table 1 Labeling accuracies.

SowerbyCorel

Pixel-wiseclassiﬁer

Standard
CRF

Proposed
CRF

78.2%
53.3%

84.8%
67.4%

91.5 %
79.3 %[3]
90.7%∗

Others
[1]
89.5%
80.0%

[5]
89.3%

∗

[3] では 192 × 128 画素の大きな画像が使用されており，学習用画像も1 枚多い 61 枚である（テスト用画像は 43 枚）．このため利用できる情報量が多く，本実験よりも有利な実験設定となっている．

の計算に要したものである．提案手法で導入した大域的な特徴の計算は容易で，また大域レベルの推定も，最初に計算した値を繰り返し用いるため計算コストの増加はほとんどなかった．
図 6 のグラフの左端 0 における正解率は初期ラベ
リングの精度を示している．提案手法ではこの時点において高い正解率を得ていることから，大域的な特徴による推定が初期ラベリングにおいて大きな役割を果たしていることが分かる．初期ラベリングを大域的な特徴のみを用いて行うと，Sowerby 画像で 77.2%，

図 6 ラベリング処理の繰返し回数と正解率の関係．‘◦’
は提案手法，‘·’ は局所特徴のみの標準 CRF の結果を表し，実線 ‘−’ は Sowerby 画像，点線 ‘· · ·’ はCorel 画像への適用結果を表す．
Fig. 6 Labeling iteration and accuracies. ‘◦’: Proposed method, ‘·’: standard CRF with local features, ‘−’: Sowerby images, and ‘· · ·’:Corel images.

Corel 画像で 63.0%となった．このとき処理速度は画
像 1 枚当り 1 秒以下と非常に高速である．提案手法は
このような優れた性質をもつ大域的な特徴を活用することで性能を発揮している．

9. む す び
本 論 文で は条 件付 確率 場（Conditional Random
Field：CRF）を用いて，画像の局所的な特徴と大域像では，正解率は標準の CRF（Standard CRF）で的な特徴の両方から得られる推定を効果的に統合する

84.8%だったのに対し，提案手法では 91.5%まで向上

手法を提案した．提案手法は二つの異なる視点からのした．この結果はこれまでに報告されている他手法に特徴を用いることで一方の特徴に依存することをなくよる正解率（90.7% [3]，89.5% [1]，89.3% [5]）より

し，局所的にも大域的にも整合性あるラベリングを可も良好となっている．

能とした．

Corel 画像では，画素単位の識別（Pixel-wise classifier）で 53.3%，標準の CRF で 67.4%だった正解率
が，提案手法では 79.3%まで向上した．提案手法は簡グに適用することよって示した．大域的な特徴を用い単なモデル構造からなっており，複数のモデルを用いることができ，また画像全体として不適当なラベリン

る [1] と比較してラベリング処理が簡便である．それ

グを修正することもできた．提案手法は簡単なモデルにもかかわらず良好な精度が得られた点は重要である．

構造を保持しており，計算コストをほとんど増加させ

図 6 のグラフは，ラベリング処理の繰返し回数と正提案手法の有効性は 2 種類のシーン画像のラベリンることで，大域的な視点から明らかな誤りを減少させずに認識精度を大幅に向上させることができた．

解率の関係を示している．‘◦’ は提案手法，‘·’ は標準

提案手法は一般的なモデルの枠組みであり，拡張性

CRF による結果で，実線 ‘−’ は Sowerby 画像，点線が高い．例えば，従来手法のように複数の確率場を用‘· · ·’ は Corel 画像に対する結果を表している．提案手法による処理時間は，Sowerby 画像と Corel 画像それぞれ画像 1 枚当り 90 秒と 500 秒程度であった．このいるモデルに拡張することも可能である．この場合，ときの処理時間のほとんどは近傍ラベルとの相互作用られる．本論文で実験的に決定した値は今後，最ゆうモデル構造は複雑となるが認識精度の向上が見込まれる．提案手法の課題としてはパラメータの設定が挙げ

1553

電子情報通信学会論文誌 2007/6 Vol. J90–D No. 6

豊田

推定の枠組みで扱うことを考える．
謝辞 本研究の実施にあたり NEDO 産業技術研究
助成事業から支援を頂きました．記して感謝致します．
文[1]

崇弘 （学生員）

平 16 東工大・情報工学卒．平 17 同大大学院総合理工学研究科知能システム科学専
攻修士課程了．現在，同大学院博士課程在献X. He, R.S. Zemel, and M.Á. Carreira-Perpiñán,“Multiscale conditional random ﬁelds for image la-

学中．画像解析，パターン認識などの研究に従事．

beling,” Proc. Computer Vision and Pattern Recognition, vol.2, pp.695–702, 2004.
[2]

S. Geman and D. Geman, “Stochastic relaxation,
gibbs distributions, and the Bayesian restoration ofimages,” IEEE Trans. Pattern Anal. Mach. Intell.,vol.6, no.6, pp.721–741, 1984.

[3]

X. Feng, C. Williams, and S. Felderhof, “Combining

田上啓介

平 16 都立大・理・物理卒．平 18 東工大
大学院総合理工学研究科知能システム科学
専攻修士課程了．現在，（株）NTT データ．

belief networks and neural networks for scene segmentation,” IEEE Trans. Pattern Anal. Mach. Intell.,vol.24, no.4, pp.467–483, 2002.
[4]

J. Laﬀerty, A. McCallum, and F. Pereira, “Conditional random ﬁelds:

Probabilistic models forsegmenting and labeling sequence data,”

Proc.

18th International Conference on Machine Learning,[5]

11 カーネギーメロン大学ロボティクス研

究所滞在研究員．平 13 産業技術総合研究所主任研究員．平 14 東京工業大学大学院

2005.
K. Murphy, A. Torralba, and W. Freeman, “Using
the forest to see the tree: A graphical model relating features, objects and the scenes, and the scenes,”
Advances in Neural Information Processing Systems
16, 2003.
T. Ojala, M. Pietikäinen, and T. Mänpää, “Multiresolution gray-scale and rotation-invariant texture classiﬁcation with local binary patterns,” IEEE Trans.
Pattern Anal. Mach. Intell., vol.24, no.7, pp.971–987,
2002.
[8]

S. Furao and O. Hasegawa, “An incremental networkfor on-line unsupervised classiﬁcation and topology
learning,” Neural Netw., vol.19, no.1, pp.90–106,
2006.

[9]

平 5 東京大学大学院博士課程了．博士（工学）．同年電子技術総合研究所入所．平pp.282–289, 2001.

Int. Conf. on Computer Vision, vol.2, pp.1284–1291,[7]

修 （正員）

S. Kumar and M. Hebert, “A hierarchical ﬁeld framework for uniﬁed context-based classiﬁcation,” Proc.

[6]

長谷川

S. Furao, An algorithm for incremental unsupervised
learning and topology representation, PhD Thesis,
Tokyo Institute of Technology, 2006.

（平成 18 年 4 月 7 日受付，9 月 25 日再受付）

1554

理工学研究科付属像情報工学研究施設助教授．同年科技団さきがけ研究 21 に兼任．画像処理，パターン
認識，ニューラルネットワークなどの研究に従事．人工知能学会，日本認知科学会，日本顔学会，IEEE CS 等各会員．