論文／２次元射影像からの３次元物体の認識と類別論

文

２次元射影像からの３次元物体の認識と類別- モジュール構造を用いた教師なし学習モデル 正

員

鈴木

敏†

正

員

安藤

広志†

3D Object Recognition from 2D Views- An Unsupervised Learning Model Using Modular Structure Satoshi SUZUKI†, Member and Hiroshi ANDO†, Member

あらまし 本論文では２次元射影像のみから複数の３次元物体の認識・類別を行う神経回路モデルを提案する．
本モデルは複数のモジュールからなり，モジュール間で競合を行いながらそれぞれのモジュールで入力射影像の圧縮・復元を学習する．その結果，各モジュールはそれぞれ一つの物体の射影像のみを復元できるようになり，その復元精度から物体の類別を行うことが可能となる．この過程では物体のラベル等の教師信号は不要である．さらに，本モデルでは入力特徴を限定していない．すなわち，入力情報を画像濃淡値としても，各特徴点の座標としても同様のネットワーク構造で扱うことができる．本論文では本モデルの詳細を説明するとともに，計算機実験の結果も合わせて提示する．この実験結果は，視点方向によらない３次元物体の認識が教師信号なしに可能であり，各モジュールの内部表現（圧縮表現）は視点方向に等価であることを示している．これは２次元情報のみからの３次
元情報の推定を意味している．また，脳内の神経結合と比較して，情報の圧縮・復元過程は２つの視覚領野間の双方向結合に，モジュール間の競合は視覚領野内の水平方向の結合に対応づけて考えることができる．
キーワード ３次元物体認識，モジュール構造，教師なし学習，情報圧縮・復元，競合学習，双方向結合

経結合が明らかになりつつある．例えば，低次視覚野

1. まえがきから高次視覚野にかけて双方向の結合の存在が確認さ

我々の脳は外界に存在する３次元物体をその２次元れている．したがって，このような領野間でモジュー網膜像から認識・類別している．しかしながら，網膜

ル群が相互に関連しあうことで視覚処理が行われてい上に投影される２次元射影像はその物体を見る方向にる可能性がある．しかしながら，このような双方向結

依存して大きく変化する．従って，我々の脳は視点が合により何が計算されているのかについてはまだほと変化したときの異なる２次元情報からそれらが同一物

んどわかっていない．本論文では，計算理論の立場か体かどうかを判断できる機能を有していると考えられ

ら，モジュール構造および双方向結合を利用した視覚

る．脳の機能を考える上で，この物体認識の機構と原認識に関するモデルを提案する．

理を明らかにすることは重要な課題である．

これまでに物体認識に関する計算モデルはいくつか

この問題に関して，心理学，生理学，計算理論など

提案されている．例えば，Marrは画像から３次元物体

様々な分野で研究が進められている．例えば心理学での形状を復元し，物体中心の座標系により記述するこは，３次元物体認識の視点依存性について検討がなさとで物体を認識するという考えを示したが[10]，これをれている．すなわち，物体認識は視点に依存した２次

具体的に実現する計算機構は提案されていない．ま

元射影像の記憶によるとする立場[5]と，視点に依存した，実際に認識課題の遂行に成功したモデルはそのほない特徴により行われているとする立場[1]とに分かれ

とんどが教師あり学習を前提としており，２次元射影て議論が行われている．また，生理実験の結果から認像以外に物体のラベルなどの教師信号を必要としてい識のために使われていると考えられる脳の部位間の神るか[15]，あるいは，物体毎に学習を行う必要があった[18]．しかしながら，人間の視覚認識過程では網膜に写† （株）ATR人間情報通信研究所，京都府
ATR Human Information Processing Research Laboratories, Kyoto, 61902, Japan

電子情報通信学会論文誌

D-II Vol. J79-D-IIる２次元射影像のみを入力として３次元物体を類別（クラスタリング）できる可能性がある．すなわち，
No. 7

pp. 1291-1300

1996年7月

1

電子情報通信学会論文誌 ‘96/7 Vol. J79-D-II No. 7

教師なし学習による認識を考える必要がある．本論文で提案するモデルは情報の圧縮・復元およびモジュー

2. 認識・類別モデル

ル間の競合を利用して教師なし学習を実現している．

本章では３次元物体を２次元射影像のみから認識す情報の恒等写像を学習するため，２次元射影像のみをるための教師なし学習モデルについて，脳内神経結合

入力とした３次元物体の認識・類別が可能である．

との比較を交えながら詳細に説明する．

以下，２．では本論文で提案する３次元物体の認識･

2.1 モデルの概要

類別モデルについて詳細を述べる．３．では，折れ曲脳内の情報処理は双方向の神経結合によりつながれ

がった針金状の３次元物体を生成して複数の物体の類

た様々な領野を通して階層的に行われていることが知

別実験を行なった．その方法と結果について説明すられている．また，各領野内には水平方向の結合の存る．ここでは入力として射影像の各頂点の座標を用い

在が知られている．視覚認識に関係すると考えられてた実験と角度を用いた実験を行っている．さらに，いる領野間でも同様に双方向結合が存在し，階層的な４．では今回の実験課題について，従来の手法との比

情報処理過程が考えられている．図１(a)はそのような較・検討を行い，このモデルの有効性を示す．さら神経結合の概略図であり，この中で一組の領野間の双に，脳のモデルとして生理学的見地からの検討も行方向結合を考える．このとき，低い領野→高い領野，

う．最後に５．で，本稿の結論と今後の課題を簡単に高い領野→低い領野の結合をそれぞれ３層のネット

まとめる．

ワークで表わし，これらをまとめた双方向結合を５層の砂時計型ネットワークとして置き換えたモデルが図１(b)である．ここで，低い領野における水平方向の結(a)合は，以下に説明するようにモジュール間の競合過程として表現されている．
Higher Level
Visual Area

この図１(b)が本論文で提案する３次元物体認識モデ
ルである．このモデルは複数のモジュールとその出力を統合する部分から成り立っている．全てのモジュー
ルは同一の構造を持っており，第２，第４層にシグモ

Lower Level
Visual Areaイド関数を持つ５層の砂時計型ネットワークである．
また，第３層は次元が低く抑えられており，はじめの３層で入力情報の圧縮，次の３層で復元を行う．
各モジュールは入力情報の恒等写像を学習するため，このモデルでは物体のラベルなどの教師信号を必Retinal Images

要としない．また，モジュール第３層の次元を低くしている（次元圧縮の拘束条件）ため，学習が進むにつれて一つのモジュールが一つの物体のみを復元できる(b)
Competition

ようになることが期待される．
学習時は，任意の物体，任意の視点から生成されるModule1

Module N

入力射影像が各モジュールに等しく与えられる．各モ
Lower Level
Visual Area

ジュールはこの入力情報の圧縮・復元を学習するが，Higher Level
Visual Area

モジュール間の競合のため，入力を復元できるのは一Lower Level
Visual Area

2D Projected Images of 3D Objects
図1 (a) 脳内の認識過程の神経結合モデル，(b) ３次元物体認識・類別のためのネットワークモデル
Fig. 1 (a) A neural connection model for recognition in the brain, (b) The
proposed network model for 3D object recognition.

2

つのモジュールのみとなる．さらに，物体の射影像の
連続性から

（注）

，学習が進むにつれて一つの物体は一つのモジュールのみで復元が可能となる．
モジュールに復元可能な射影像が与えられると初め
注：本モデルで用いる入力特徴は３次元物体の姿勢表現と一意に対応するものとしている．一般に３次元物体の姿勢は連続的に変化する
ため，入力射影像を表わすベクトルもまた連続な値を示す．

論文／２次元射影像からの３次元物体の認識と類別の３層で非線形の情報圧縮 F を行い，次の３層で圧縮された情報の復元 F −1 が計算される． F −1 は F の逆変換

各モジュールの第３層のユニット数，すなわち圧縮
表現の次元について考える．

を意味し，入力となる２次元射影像の集合を Ω ⊆ R N ，

入力情報は，復元が可能な範囲内で圧縮の次元をで圧縮表現の集合を Φ ⊆ R M ( N > M ) とすれば，情報の変きる限り低くすることが望まれる．これにより一つの換はモジュールで複数の物体を復元することをより困難にできる．復元可能な最低の次元は，多くの場合，３次

−1

G
F
Λ

→Ω 

→ Φ F→ Ω

元物体の姿勢を表現するパラメタの数（自由度の次と書き表せる．ここで Λ は３次元物体の姿勢を表わす

元）に等しい．ただし，このパラメタの数と第３層の表現の集合， G は３次元物体の姿勢から射影像を生成

ユニット数が一致しない場合が存在する．すなわち，する変換を表わしている．復元されたそれぞれの情報

周期性を持つパラメタのみで物体が表現される場合，

は入力と比較され，その復元精度 f によりモジュール

ユニット数はパラメタ数より１つ多く必要となる（付間で競合を行う．最も復元精度の高いモジュールのみ

録１参照）．

が結合を強化され，より精度の高い復元を行えるように学習が進められる．

例えば，視点方向を固定して，線形の拡大・縮小をする静止した物体の射影像を入力とすれば第３層は１i 番目のモジュールの復元精度 fi はsoftmax関数によつのユニットで十分であるが，一つの軸に対して360°回転する剛体の射影像を入力として用いれば第３層のり，[

fi = exp − y * − yi2] ∑ exp− y * − y  (1)2j

ユニット数は２つ必要である．

j

2.3 入力特徴に関する普遍性
本モデルでは入力として用いる特徴を３次元物体ので表わされる．ここで， y * は入力， yi は i 番目のモ
ジュールの出力を示す．この式により，復元精度 f はモジュール間の違いを強調した形で相対的に表現されている．すなわち，合計が「１」になるように正規化されている．例えば，一つのモジュールの復元精度が「１」になれば他のモジュールの復元精度は全て「０」になる．また，中間層の次元を圧縮すること
で，個々のモジュールが複数の物体の復元を行うこと

姿勢表現と一意に対応する限り自由に選ぶことができる（付録２参照）．
例えば，入力特徴は射影像の各頂点の座標であっても角度であっても良いし，濃淡画像ベクトルであってもよい．ただし，各画素が２値で表わされるビット
マップ画像などは上記の条件を満たさないので入力特徴として用いることは難しい．
2.4 評価関数を抑制している．よって，ある物体の射影像が入力として用いられたとき，学習が進むにつれて一つのモジュールの復元精度のみが大きな値を示すようになることが期待される（2.4参照）．
本モデルでは各モジュールに５層の砂時計型ネット
ワークを適用しているが，砂時計型ネットワークは３本モデルでは，一つのモジュールが一つの物体の射
影像のみを復元することが，期待される最適な状態である．これを学習により実現するために，ネットワー
クは評価関数 ln L を最大化することで最適化を行う． Lは次の式で表わされる関数である．

層の場合（変換が線形の場合）には主成分分析に近い計算が行われることが知られている[3][14]．しかし，

(a)

(b)

本論文で示す実験条件の下では線形変換による圧縮・

y *− y1-4

復元では十分な結果を期待できない．これは，一般にln L線形変換では圧縮情報からの復元が不可能な場合がほ

-500

-2

2

4

0.9

0

とんどであるためである．また，圧縮過程においても情報量を落とさない線形の圧縮が不可能な場合も多い．したがって，圧縮・復元のそれぞれを３層の非線形変換で行う５層のネットワークを用いる必要があ
る．
2.2 圧縮表現の次元とユニット数

0.8
4

0.7

2

-1000
0

-4
-2

-2

0
2

y *− y1y *− y2

0.6

-4
4

ln L

図2 モジュール２つの場合の復元誤差と評価関数の関係(a)と，片方の誤差を「０」としたときの断面(b)Fig. 2 (a) Objective function for two modules, (b) cross section aty * − y2 = 0 .
3電子情報通信学会論文誌 ‘96/7 Vol. J79-D-II No. 7∑ exp[−α y * − yL=∑ exp− β y * − y

2

i

i

j

j

2

] , (α > β > 0).



(a)

(2)

ここで， α , β はそれぞれ定数である．この評価関数はある入力に対し，一つのモジュールの復元誤差のみを「０」に近付け，他のモジュールの復元誤差を大きくするように作用する．すなわち，モジュールを競合させる機能を持つ．
Z

図２はこの評価関数の性質を示すもので，例としてモジュールが２つある場合のモデルについて

Viewpoint(b)

α = 100, β = 1 として示してある．( a ) はそれぞれのモθ

ジュールにおける復元誤差 y * − yi の組に対して評価関数の値 ln L を縦軸に示している（実際には復元誤差は

X

正の値のみをとるが参考のため負の場合も示してあY

φる）．(b)は一つのモジュールの復元誤差を「０」で固定した場合の他方の復元誤差と ln L との関係を示している．即ち，(a)において一つのモジュールの復元誤差が「０」の場合の断面を示している．これらの図から，この評価関数を最大化することによる競合の作用により，両方のモジュールの復元誤差が共に大きい場

図3 (a)入力物体の例，(b)視点方向と射影像の生成
Fig. 3 (a) Examples of 3D objects, (b) view directions and generation of
2D images.

合は一方の復元誤差が小さくなる方向へ学習が進み(a)，片方の復元誤差が小さい場合には他方は，復元誤{−1 ≤ x, y, z < 1} の範囲内にある任意の６点を直線で結ん差がはじめから小さい場合を除いて，復元誤差が大きで作成した．図３(a)にこの３次元物体の例を示す．こくなる方向へ学習が進むことがわかる(b)．従ってこののようにして作成した物体を３種類用意して入力とし評価関数を最大化することにより，一つのモジュールて用いた．

は一つの物体のみを復元するように学習が進むことが期待される．

ネットワークへの入力は，これらの物体をさまざまな視点方向から見たときの射影像とする．ここで，視この評価関数を最大にする一つの解として，複数の点方向のベクトルは単位球面上で２つの方向角 θ , φ をモジュールが同時に復元誤差「０」を示す場合も考え

用 い て (sin θ cos φ ,sin θ sin φ , cos θ ) と 表 す こ と が で き るられる．しかし，前述した次元圧縮の拘束条件により（ 図 ３ ( b ) ） ． こ れ を 用 い れ ば θ, φ の 範 囲 を多くの場合一つのモジュールは一つの物体のみ復元可{0 ≤ θ ≤ π , 0 ≤ φ < 2π} とすることで全ての視点方向を表能となるので，同時に復元誤差「０」となるような解に到達することは難しくなっている．

3. 計算機実験
本モデルの有効性を示すため，計算機による類別の実験を行う．類別結果の詳細を示すとともに，各モ
ジュールの中間層での内部表現および汎化の様子についても合わせて調べる．
3.1 入力情報の設定
実験では，入力物体として折れ曲がった針金状の３次元物体を用いた[ 1 5 ] ．この物体は３次元空間
4

現できる（注）．
実際に入力特徴として用いたのは射影像の各点の座標ベクトルおよび各頂点角の余弦である．座標を入力
特徴として用いる場合，６点からなる物体であるため，入力は１２次元のベクトルとなる．この入力ベク
トルは３次元座標ベクトルを要素とする行列を s として
注：ここでは射影平面上での射影像の回転および位置ずれについては考慮していない．このため，視点方向を表現するパラメタは周期的パラメタおよび非周期的パラメタの２つである（付録１参照）．したがって，各モジュールの第３層のユニット数は２つで十分である．一般に，剛体物体が任意に回転運動をするとき，その姿勢はオ
イラー角の表現により，周期的パラメタ２つと非周期的パラメタ１つで表わされる．

論文／２次元射影像からの３次元物体の認識と類別

大するように変化させる．すなわち，視点方向 θ , φ の範囲をそれぞれ π 4 , π 2 の幅から徐々に拡大し，最終的

t = IR(θ , φ ) s
 cos θ
 1 0 0 = 0
 0 1 0 sin θ cos θ cos φ= sin φ0 − sin θ   cos φ
0   sin φcos θ   0

10− cos θ sin φ− sin θ 
s
0 

cos φ

− sin φ
cos φ
0

0
0 s

1

に全視点方向を覆うように変化させる．また，３種類の物体の出現率は共に等しく，物体による学習の片寄(3)

りはない．学習は，評価関数の値 ln L を最大化することで行われる．今回の実験では，評価関数は式（２）で α = 100, β = 1 とした．
また，学習していない視点方向に対してどの程度のにより求められる．ここで I はXY平面への射影を表わ

汎化が起こるかを調べるため，限定した視点範囲内のす．この式は視点方向をZ軸方向にとった固定座標系

みで視点方向を学習する実験も行い，学習範囲及びそで，物体をZ軸周りに回転させた後，Y軸周りに回転さの周囲の類別結果などの様子を調べた．学習範囲はせたときの，XY平面への正射影を意味している．

θ , φ をそれぞれ π 4 , π 2 の幅でとった．

一方，角度を入力として用いる場合，入力ベクトル

今回の実験では最適化のアルゴリズムは最急降下

u は４次元となり， i 番目の点の射影像上の位置ベクト（上昇）法（誤差逆伝搬法）を用いたが，収束を早め

ルを ti とすれば，るために共役勾配法などを用いることも可能である．
3.3 結果ui =(t − t ) × (t − t ) • Z
i −1

i

i

i +1

t i − t i −1 t i − t i +1

以下，計算機による実験の結果を示す．テストは学(4)と，表わされる．ここで符号 × は外積， • は内積を表わ

習終了後，ネットワークの重みを固定して行っている．
はじめに，図４に学習曲線を示す．縦軸には物体類

す．また， Z はZ方向の単位ベクトルである．この表現

別の正答率，横軸には学習時間（繰り返し回数：学習によると，鏡像関係にある射影像は互いに符号が反対

回数）が示してある．ここで，一回の学習とは一つのとなる．

物体の一つの射影像が入力としてネットワークに与え3.2 シミュレーション

られたときの一回の重みの更新とする．テストは全視

入力物体を３種類としたため，３つのモジュールか点範囲から等間隔に選ばれた2500の視点方向で行われら成るネットワークの構成を用いる．各モジュールのている．この図では座標入力の場合と角度入力の場合

ユニット数は第２，４層を２０，第３層を２，第１，が示されている．座標入力では学習回数が10 で７割，3５層を入力ベクトルの次元と同数に定めている（2.2お104で８割の正答率を示している．100%の正答率を得

よび3.1参照）．

るには10 程度の学習回数が必要となり，多少の時間が6

学習は任意の射影像をネットワークに順次与え，圧必要となる．また，座標入力の場合ほど精度は良くな

縮・復元を繰り返すことで行う．このとき，物体のラいが，角度入力でも学習回数が増えるにしたがって復ベルなどの教師信号は与えない．

元精度がよくなっている．このように，異なる入力特実験では射影像を完全に任意に生成する方法と，視徴を用いた場合でも同じ構造のネットワークで同様の点範囲を連続的に拡大しながら射影像を生成する方法の２種類を行った．その結果，どちらも学習は収束し

100

たが，視点範囲を拡大する実験のほうが収束の速さが80約１０倍であった（座標入力の場合）．よって本論文

%

40

べる．

20

れた視点範囲内において任意の視点方向への射影像を生成し，ネットワークに与えて圧縮・復元を学習させることを繰り返す．このとき，視点範囲は連続的に拡

73.3

100

83.6

88.5

60

では視点範囲を拡大する場合の実験について詳細を述
視点範囲を拡大する実験では，任意の物体の定めら

97.8
82.5

91.6

coordinates

52.5
46.4

angles

0

2

3

4

5

6

7

log10 [iteration numbers ]図4 学習曲線
Fig. 4 Percent correct of classification.

5電子情報通信学会論文誌 ‘96/7 Vol. J79-D-II No. 7

類別結果を得ることができる．

まず，100%の正答率が得られたときのネットワーク

以下，座標入力の場合の結果についてさらに詳細を示す．

について詳細に調べる．図５(a)はある物体(Object3)のある射影像を入力として用いたときの各モジュールでの復元の様子を示している．この物体に関しては２番(a)目のモジュール(Module2)が最も精度の高い復元を示しており，Module2がObject3に対応していることがわか

input view

る．(b)はObject3の他の視点からの射影像を入力とした
ときの，Module2での復元像を示している．上段の入力
像と下段の復元像を比較すると，両者は非常に似た形

recoveredviewをしており，モジュールはかなり正確に射影像を復元
Module1

Module2

していることがわかる．

Module3

このことを全視点範囲にわたって示しているのが図(b)６である．(a)はObject3を入力として用いたときのモ
ジュールごとの相対的な復元精度を示している．この図は全視点方向（ θ , φ ）に対する復元精度 f （式(1)）

input viewの値を表示しており，各視点方向からの射影像一つ一つに対する類別結果を意味している．この図から全視
recoveredview

点方向で一つのモジュール（Module2）の復元精度だけが「１」に近い値を示していることがわかる．これ

図5 入力／復元像，(a) ある射影像に対する各モジュールの復元像，(b) ある物体の射影像と対応するモジュールでの復元像
Fig. 5 Input/recovered views: (a) a projected view and its recovered
views by three modules, (b) projected views of an object and theirrecovered views by the corresponding module.

(a)Module 1

π

φ

θ

π

φ

π/2

θ

2 0
2π

π
π/2

φ

2 0
2π

15
10
5
0
0

2 0
2π
Object 3

π
π/2

θ

π

φ

2 0
2π

15
10
5
0
0

π
π/2

θ

π

φ

図6 (a) 復元精度のモジュール間での比較，(b) 物体による復元誤差の違い
Fig. 6 (a) Relative recovery accuracy for each module, (b) recovery errors for each object.

6

θ

π

Object 2

π
π

θ

π

φ

1
0
0

π/2

Object 1

15
10
5
0
0

Module 3

1

2 0
2π

(b)

したことを意味しており，この物体に対する類別は視

0
0

π/2
π

の視点方向に関わらずそれらが同じ物体であると判断

Module 2100は，一つの物体(Object3)を入力として用いたとき，そ2 0
2π論文／２次元射影像からの３次元物体の認識と類別

点方向によらず，完全に行なわれているといえる．他(a)(0,π/2)の物体を入力として用いたときも同様に一つのモ

(θ,φ)

(0,π)

2

ジュールの復元精度のみが「１」に近い値を示す．

φ

unit1

また，この第２番目のモジュールにそれぞれの物体(0,0)(π,π/2)
(π,0)

0

θ

の射影像を入力した場合の入力像と復元像との誤差−22

y * − yi （各頂点座標の２乗誤差の和）の大きさを表したのが図６(b)である．このモジュールで復元可能な

5

0
unit2

(b)

物体（Object 3）を入力として用いた場合の復元誤差の大きさと比較して，他の物体を入力とした場合の復元誤差は相対的に大きいことがわかる．これは次元圧縮の拘束条件のために，一つのモジュールで復元できる

φ

物体が一つだけに限られていることを示している．すなわち，各モジュールにはそれぞれに対応する物体が存在し，それぞれの射影像のみを復元できる．

π/2

φ

2π0

2
unit1

１対１の関係になっており，類別は完全に行われてい-2
π

さらに，圧縮された表現（モジュールの第３層の出

θ

π

θ

π
2π0

(c)

このように図６(a)(b)から，入力物体とモジュールはることがわかる．

π

π unit2 5
0
0
π/2

2
0
-2
0

unit1

2
unit1

0

0

-2
2ππ

φ

θ
0

0
5

5
0

力）と視点方向 θ , φ との関係を調べた．結果を図７に

unit2

0
unit2

示す．(a)はある物体の射影像の圧縮変換による像を表わしている．周期的パラメタ φ と非周期的パラメタ θの２つのパラメタからなる３次元物体の像であるため
穴のあいた円盤状の表現になっている．このことか
ら，視点方向 (θ , φ ) と圧縮表現 (unit1, unit2) の対応関係が

図7 視点方向と圧縮表現の関係, (a) 物体射影像の圧縮表現，(b)全視点方向に対する第３層の出力（圧縮表現の各要素）, (c)圧縮表現
に対する視点方向の各要素
Fig. 7 Relation between view direction and compressed representation:(a) compressed representation, (b) output in the 3rd layer as a function ofview direction, (c) view direction as a function of output in the 3rd layer.

ほぼ１対１であることがわかる．(b)は圧縮過程による視点方向 (θ , φ ) に対する第３層の各ユニット unit1, unit2の出力であり，(c)はその逆，すなわち，第３層の出力

１参照）．
図８には汎化の様子が示されている．中心の四角くの組 (unit1, unit2) に対して視点方向の各要素 θ , φ を表示

囲まれている部分が学習範囲であり，テストは全視点したものである．(c)の図から第３層の出力に対して θ領域で行われている．(a)は一つの物体を入力として用及び φ が一意に対応しており，圧縮表現が求まれば視点方向はほぼ一意に決まることがわかる．逆に(b)は，
視点方向に対して第３層の出力が圧縮過程（第１層から第３層への一価関数）により一意に決まることを示している．よって(b)(c)からも視点方向と圧縮表現との間には１対１の対応関係が成り立っていることがわかる．ちなみに，(a)は(c)の各図を真上から見た図である．以上の結果は，各モジュールの第３層ではそれぞれに対応する物体に関して，視点方向に等価な表現が得られていることを示している．言い替えれば，各モ
ジュールにおいて物体固有の圧縮・復元過程が学習により獲得されたともいえる．この結果はモデルにおいて，第３層のユニット数を３次元物体の自由度に合わせていることから予想された通りの結果である（付録いたときの，その物体に対応するモジュールでの復元精度を表している．学習範囲を中心として広い範囲に渡って正しい類別が行われており，さらに遠くはなれるにしたがって徐々に復元精度が下がっている．一方，(b)ではこのときの入力像と復元像との誤差が示されており，学習範囲からはなれるに従って復元誤差は大きくなっている．これらの結果は，学習領域の外でも近い範囲では物体の認識が可能であることを示すものである．
また，汎化の課題については，視点方向を離散的にとった限られたデータセットによる補間の学習実験も行った．その結果，各視点方向を４等分にした合計１６点からなる視点方向の組を用いた実験で，105回の学習回数で約９０％の正答率を得ている（図４と比較参7電子情報通信学会論文誌 ‘96/7 Vol. J79-D-II No. 7(a)

ACCURACY

(b)

ERROR

の図からクラスと物体の１対１の対応関係は見られず，一つのクラス内に複数の物体が混ざっていること

1がわかる．この結果は従来の入力空間の距離を直接用

15
π 10
5
0
0
π/2

0
0

π/2

θ

π

φ

π

θ

π

φ

2π 0

2π 0

図8 汎化, (a)復元精度, (b)復元誤差
Fig. 8 Generalization: (a) recovery accuracy, (b) recovery error.

いた分割手法では今回行った類別課題を遂行することが困難であることを示している．
類似した手法との比較 村瀬とナイヤーは主成分分析を用いて固有空間上で多様体を構成するモデルを提案し，物体を視点方向に依存せず認識することに成功しているが[11][12]，このモデルはわれわれの提案するモデルにおいて各モジュールを３層（線形の圧縮・復元）にし，中間層の次元を多めに設定した場合のモデ照）．

ルに類似している（2.1参照）．しかし，村瀬らの提案

4. 考察するモデルでは情報圧縮時の距離を測っているのに対

4.1 工学的モデルとしての検討

し，われわれのモデルでは復元した情報と入力との距

今回の実験で用いた類別課題を従来手法と比較する

離を測っているという点で違いがある．そのため村瀬

ため，従来の代表的なクラスタリング手法を用いて同らのモデルでは，圧縮次元における多様体の構成・補様の実験を試みた．

間・距離計算に煩雑な手続きを必要としている．さら今回の実験で用いた類別課題をに村瀬らのモデルでは，物体の類別は教師あり学習に

単純パーセプトロンによる教師あり学習で試みた．そ基づいており，物体ごとにラベルを必要としている．

線形分離の可能性の結果，識別誤差を「０」に近づけることはできな

Jacobsらによるモジュール学習法との比較

Jacobs

かった．この結果は今回行った類別課題は線形分離可らはモジュール間の競合を用いて入力空間を直接分割能ではないことを示している．なぜなら，パーセプト

するモジュール学習モデルを提案している[6][7]．この

ロンの収束定理によれば，「識別課題が線形分離可能

モデルに５層の砂時計型ネットワークを適用することであるならば，有限回の学習でかならず正しい解に収で，今回の実験と同様の課題を行うことができる[16]束する」からである[2][13]（注）．したがって，この[17]．これらの結果からこのような類別課題に関しては課題を線形の手法のみで解決することは不可能であ

我々の提案するモデルがわずかに優位であることがわる．

かる．この違いは，彼等のモデルでは入力空間を直接従来の代表的なクラスタリン

分割する非線形変換の獲得のためにモジュールが利用グ手法であるk-means法[4]を用いて同様の実験を行っされるのに対し，われわれのモデルでは各モジュール

た．k-means法は入力空間での距離によるボロノイ分割

が物体の認識に直接利用される点に起因すると考えらを用いた類別手法である．その類別結果を図９に示れる．

k-means法との比較す．これは計算機実験におけるテストと同様に，各物体2500枚の射影像を用いた類別実験の結果である．こ4.2 脳のモデルとしての検討
川人と乾は視覚大脳皮質の構造と機能に基づき，その計算機能を推測している[8][9]．その中で初期視覚野と高次視覚野の間の双方向結合を光学と逆光学として4000位置づけており，逆光学は２次元画像から３次元空間

3500

での情報の記述を取り出す手段であると推測していsamples

3000

Object 3

2500
2000

Object 2

1500

Object 1

1000

る．
一方，われわれの提案するモデルでも圧縮・復元過程を異なる領野間の双方向結合として想定することが

500
0
CLASS 1

CLASS 2

CLASS 3

図9 k-means法による類別結果
Fig. 9 Clustering results using k-means method.

8（注）パーセプトロンの収束定理は２分割問題に関するものである
が，３分割の学習も２分割学習の組み合わせにより可能となる．すなわち，出力層のユニットを２つにすればよい．このとき出力層の各ユニットは異なる２分割問題を独立に学習するため，収束定理は同様に成り立つことになる．多分割問題でも同様である．

論文／２次元射影像からの３次元物体の認識と類別

でき，圧縮表現として取り出される情報は視点方向という３次元空間での情報である．従って，本モデルは
川人らのモデルを拡張し，認識・類別機能を実現したものとみなすこともできる．
また，脳の視覚情報処理では初期，中期の過程で様々な特徴が取り出され，高次機能へ入力として送り出されていると考えられる．この点においても，本モ
デルは特定の入力特徴を前提としていないため，初期過程で取り出される様々な特徴に対して柔軟に対応できる利点がある（付録２参照）．
さらに，視点方向に等価な内部表現は物体の姿勢推定などに利用でき，運動制御系への入力としても役に立つものと考えられる．

５．むすび
本研究では，モジュール構造を用いたネットワーク
モデルを提案し，３次元物体の認識･類別課題に対してその有効性をシミュレーションで検討した．その結果，次のことが明らかになった．第一に，複数の３次元物体の認識･類別が教師なし学習で実現できた．このときに，入力特徴によらず同一のネットワーク構造で物体の類別が可能である．第二に，各モジュールの中間層に圧縮表現として，視点方向に等価な表現が形成された．この結果は２次元情報から３次元情報の推定[3] D. DeMers and G. Cottrell, "Non-linear dimensionality reduction",
Advances in Neural Information Processing Systems 5, San
Mateo, CA., pp.580-587, 1993.
[4] R. O. Duda and P. E. Hart, "Pattern Classification and Scene
Analysis",John Wiley & Sons, NY., 1973.
[5] S. Edelman and H. H. Bülthoff, "Orientation dependence in therecognition of familiar and novel views of three-dimensional
objects", Vision Research, vol.32, no.12, pp.2385-2400, 1992.
[6] R. A. Jacobs, M. I. Jordan, S. J. Nowlan and G. E. Hinton, "Adaptive
mixtures of local experts", Neural Computation, vol.3, pp.79-87,
1991.
[7] R. A. Jacobs and M. I. Jordan, "Learning piecewise control strategies
in a modular neural network architecture", IEEE Transactions on
Systems, Man, and Cybernetics, vol.23, no.2, pp.337-345, 1993.
[8] 川人 光男, 乾 敏郎, "視覚大脳皮質の計算理論", 電子情報通信学会論文誌D-II, vol.J73-D-II, no.8, pp.1111-1121, 1990.
[9] M. Kawato, H. Hayakawa and T. Inui, "A forward-inverse optics
model of reciprocal connections between visual cortical areas",
Network, vol.4, pp.415-422, 1993.
[10] D. Marr, "Vision", 乾 敏郎 安藤 広志 訳, ビジョン−視覚の計算理論と脳内表現−, 産業図書, 1982.
[11] H. Murase and S.K. Nayar, "Visual learning and recognition of 3-D
objects from appearance", International Journal of Computer
Vision, vol.14, pp.5-24, 1995.
[12] 村瀬 洋, シュリー ナイヤー, "２次元照合による３次元物体
認識−パラメトリック固有空間法−", 電子情報通信学会論
文誌D-II, vol.J77-D-II, no.11, pp.2179-2187, 1994.
[13] N.Nilsson, "Learning Machines", 渡辺訳, 学習機械, コロナ社,
1967.
[14] E. Oja, "Data compression, feature extraction, and autoassociationin feedforward neural networks", Artificial Neural Networks, ed.
T. Kohonen, K. Mäkisara, O. Simula and J. Kangas, pp.737-745,
Elsevier Science Publishers, B.V. North-Holland, 1991.

を示すものである．
しかし，今回の実験では学習のための時間が十分に必要であり，モジュール数を物体数に合わせて実験を行っている．これらの点が問題点として指摘できるが，物体数が不明の場合でもモジュール数を十分多く用意しておけば同様に類別が行われると考えられる．
また，学習のためにかかる時間は他の収束を早める学
習アルゴリズムの適用や並列処理の導入による改善が期待できる．
今後の課題としては上記の改善点に加えて，さらに様々な入力特徴を用いた実験を行い本モデルの有効性[15] T. Poggio and S. Edelman, "A network that learns to recognize
three-dimensional objects", Nature, vol.343, pp.263, 1990.
[16] 鈴木 敏, 安藤 広志, "モジュール学習による３次元物体の認
識と類別", 信学技法, NC93-62, pp.59-66, Dec. 1993.
[17] S. Suzuki and H. Ando, "Unsupervised classification of 3D objects
from 2D views", Advances in Neural Information Processing
Systems 7, MIT Press,1995.
[18] D. Weinshall, S. Edelman and H. H. Bülthoff, "A self-organizing
multiple-view representation of 3D objects", Advances in Neural
Information Processing Systems 2, San Mateo, CA, pp.274-281,
1990.
[19] 横田 一郎, "群と表現", 基礎数学選書, 裳華房, 1973.

を確認したい．
謝辞 ATR人間情報通信研究所の川人光男室長には貴重な助言を頂き，深く感謝します．また，有意義な討論をして頂いたMITのT.Poggio教授に感謝します．
文献[1] I. Biederman, "Human image understanding: recent research and atheory", computer vision, graphics, and image processing, vol.32,
pp.29-73, 1985.
[2] H.D.Block, "The perceptron, a model for brain functioning I". Rev.
of Modern Physics, 34, 123-135, 1962.

付録
1.

圧縮時の次元

圧縮時の次元，すなわち各モジュール第３層のユニット数について考察する．ここでは視点を固定して物体を変化（回転，拡大・縮小など）させるものとして議論を進める．

9電子情報通信学会論文誌 ‘96/7 Vol. J79-D-II No. 7

入力として用いる１つの３次元物体に関して，（環L を自由度の次元と等しくとると， L が物体の姿勢

境の表現，例えば光源方向なども含めた）姿勢表現をを表現できる最小の次元であることから，圧縮時の次ユークリッド空間上に表わし，その集合を Λ ⊆ R L ，２

元 M ≥ L が F が全単射であるための必要条件となる．

次 元 射 影 像 の 集 合 を Ω ⊆ RN ， 圧 縮 表 現 の 集 合 を

特に，姿勢表現が周期的パラメタのみからなる場合に

Φ ⊆ R M とする．３次元物体の姿勢表現から２次元射影像への写像 G ，情報圧縮の写像 F ，復元の写像 F −1 の関係はは ， Λ′ は L 個 の １ 次 元 球 面 の 直 積 集 合S1 × S1 × L × S1 となり，その像は L 次元トーラスを構成する[19]．このため， L + 1次元以上のユークリッド
空間が必要であり M ≥ L + 1 が必要条件となる．逆FΛG → Ω 
F → Φ →Ω−1に，上記の条件を満たす場合には Φ から Λ ′ への写像と，表わされる．
３次元物体が回転などを含む場合，同一の姿勢を表現するのにユークリッド空間上では同じ座標系を用いても複数の表現が可能である．言い替えれば，３次元物体のある姿勢からユークリッド空間上の姿勢表現への写像は１対多である．すなわち， Λ の元 x ∈Λ
Λを L
個のパラメタで x = ( x1 , L, x i , L, x L ) と表わすとき，あるパラメタ x i に関して，ある値 α ≠ 0 が存在し，G( x1 , L, x i , L, x L ) = G( x1 , L, x i + nα , L, x L ) ∈ Ω,n ∈Zを満たす場合がある．例えば，このような x i を周期的パラメタと呼ぶことにすると周期的パラメタには物体の回転の他に光源方向の変化なども含まれる．また，
非周期的パラメタは平行移動，明暗強度，範囲の限られた回転など，有限の値で表わされるものが挙げられる．

G ′ −1 o F −1 が常に一意であることを考えると，姿勢表現
が非周期的パラメタを含む場合には M = L ，周期的パラメタのみの場合には M = L + 1 とすれば十分である．
したがって，写像 G ′ : Λ ′ → Ω が全単射であれば中間層のユニット数を L （非周期的パラメタ含む場合）
あるいは L + 1（周期的パラメタのみの場合）とすることで復元可能な最小の次元に圧縮できる．
2.

入力特徴に関する普遍性

上記議論における圧縮時の次元（第３層のユニット数）の決め方は，入力特徴として何を用いるかには依存していない．すなわち，写像 G ′ がどのような特徴を抽出するかには関係なく，全単射であることのみが復元可能のための条件となる．従って，われわれの提案するモデルでは異なる入力特徴を同様のネットワーク
構造で統一的に扱うことができる．例えば，各頂点のこのような周期性を持つパラメタは１次元球面（円座標や濃淡画像を入力特徴とすれば写像 G ′ はこの条件

周） S 1 上に連続に射影でき， S 1 を複素平面上にとるこを満たすが，逆写像 G ′ −1 が一意ではないビットマップとで姿勢表現を複素空間上に一意に表わすことができ（２値）画像などでは条件を満たさない．ただし，実る．例えば， m(≤ L ) 個の周期的パラメタを持つ物体を際の圧縮・復元の精度は第２，４層のユニット数に依考えた場合，それぞれの周期的パラメタを複素平面上の S 1 へ写す写像による Λ の像を Λ ′ とすると， Λ ′ はm(≤ L) 個の S1 と非周期的パラメタのみからなる部分
空間内の集合 Γ との直積集合 S 1 × S 1 × L × Γ として表わせる．すなわち，全ての姿勢表現は Λ ′ で表わせる．
いま，復元可能の条件の下で最小となる圧縮次元 Mを考える．復元可能であるためには写像 F : Ω → Φ が
全単射(1:1,上への写像)であることが必要十分である．
ここで，写像 G ′ : Λ ′ → Ω が全単射であると仮定す
る．すなわち，射影像から物体の姿勢が一意に定まる
場合について考える．このとき写像 F o G ′ : Λ ′ → Φ も
また全単射となる．
10

存する．
鈴木

敏

平2東大・教養・基礎科学卒．同年NTT入社．平4からATR人間情報通信研究所へ出向．３次元物体認識に関する計算モデルの研究に従事．脳研究への計算論的アプローチに興味を持つ．平6日本神経回路学会研究賞受
賞．日本神経回路学会会員．

安藤広志

1983年京都大学理学部卒（物理学専攻）．
1987年（京都大学文学部修士過程修了・心理学専攻）．1992年米国MIT脳・認知科学科博士過程修了，Ph.D.．1992年ATR人間情報通信研究所研究員．1994 年より同研究所主任研
究員．視覚情報処理，心理物理学，計算論的神経科学の研究に従事．