砂時計型ニューラルネットワークを用いたセンサ情報融合による内部表現の自動獲得
Learning Internal Representation for Multi Sensor Fusion
using Autoencoder Neural Networks
柳沼義典 *
Yoshinori YAGINUMA

木本 隆 *
Takashi KIMOTO*

富士通株式会社
FUJITSU LIMITED山川 宏 **
Hiroshi YAMAKAWA**

RWCPつくば研究センタ
Real World Computing Partnership

Abstract -- For applying a system to real-world, it is important that the system can integrate from many kinds ofinformation and obtain the essence with the system's purpose from that information. In this paper, at three-dimensional
object recognition, we propose an autoencoder neural network model obtaining the essence for recognition with mutli sensor
fusion. We also verified the effectiveness of the proposed model by simulation exercises of a doll recognition problem, thatuses camera image segmenting by that's hue and saturation.
1. はじめに人間は、複数種類の感覚器官から得られる多種多様かつ膨大な情報から、問題に応じて必要な情報を選択適用することで、現実世界に適応的に生活している。そして、以前に行った事例を学習により内部に蓄え効率的にを行い、獲得された内部表現を解析する。
つぎに、砂時計型ニューラルネットワークを用いたセンサ情報融合モデルを提案し、人形を対象物体として、視覚センサからHSI値により切り出すことで生成した複参照することで、膨大な情報の実時間処理を可能として数の色画像情報を融合することで対象物体を認識する認
識実験を行い、提案したモデルの有効性を示すとともいる。に、物体認識のための適切な内部表現が自動的にニュー人間のような情報処理機構を工学的に実現しようとした場合、複数センサから得られる多種多様で曖昧かつ不ラルネットワーク内に獲得されていることを示す。

完全な情報を統合し、問題に応じて必要とされる情報を2. 砂時計型ニューラルネットワークの内部表現
2-1 砂時計型ニューラルネットワーク自動的に抽出し、システム内部にコンパクトな表現として蓄えるしくみが重要となる。本報告では、情報圧縮の特長を持つ砂時計型ニューラルネットワークに着目し、これを用いたセンサ情報融合モデルを提案する。
以前より砂時計型ニューラルネットワークは、画像圧

砂時計型ニューラルネットワークとは、入力層と出力層に同じデータを提示して恒等写像を学習させる３層以上の階層型のニューラルネットワークである。この際縮の手法として研究されてきた[1]。最近では、モデル獲に、中間層ユニット数を入出力層よりも少なくするのでその形状から砂時計型と呼ばれる（図1）。

得や物体認識問題において、画像情報から人の性別・表情などの識別に関する研究[2.3]や、Jordanらのモジュー層までを逆モデル、中間層から出力層までを順モデルとル構造型ネットワークと組合せた３次元物体のモデル表現に適用する研究[4]などがある。また、よりコンパクトな内部表現の自動獲得の研究[5]なども報告されている。
さらに、砂時計型ニューラルネットワークを階層的に積み上げることで高次の概念を抽出する研究[6]や入力情報に欠損値がある場合の学習および欠損値推定方法の研究[7]なども報告されている。
本報告では、砂時計型ニューラルネットワークを用いて複数センサ情報を融合し、認識に必要な内部表現を自動獲得するセンサ情報融合モデルを提案し、その有効性を３次元物体認識実験により示す。
まず砂時計型ニューラルネットワークの性質を説明し、さまざまな視点から視覚センサにより観測した３次元物体の射影像を学習する計算機シミュレーション実験

砂時計型ニューラルネットワークでは入力層から中間見ることができる。つまり、入力層から中間層までで入力情報から本質的に重要な情報を抽出し、中間層から出力層までで抽出された情報から入力情報を復元する。一般に逆モデルの生成は不良設定問題（入力に対して出力が一意に決定できない問題）であり教師データの設定が難しいのだが、砂時計型ニューラルネットワークでは、恒等写像を学習して内部に逆モデルと順モデルを生成することで、不良設定問題を意識することなく逆問題を解くことが可能である。
砂時計型ニューラルネットワークの中間層に現れる内部表現とは、提示したデータのうちの変動部分である。
変動部分が、内部表現としてコンパクトで連続的な空間にマッピングされる。一方、固定部分はその砂時計型ニューラルネットワーク内での順モデル部分の重みとし形を用い、それを中心とした半球状に沿って視点を変更させた時の対象物体の見えをデータとして与えた。θ=0° ... 360° まで30°おき、φ= 0°... 60°まで30°おき
よって、合計で36データを学習データとして用いた（図入力層2）。入力は５角形の頂点の座標値(x, y)で合計10入力である。用いた砂時計型ニューラルネットワークは５層の逆モデル（圧縮）

階層型ニューラルネットワークで、各層のユニット数
atag

中間層ck

Ba

順モデル
（復元）

pProion

は、それぞれ ( 10 - 10 - 2 - 10 - 10 ) である。
100,000回の学習後、θ, φとも5°おきにデータを与え内部表現= 変動部分た時の中間層2個の出力結果を図3に示す。図3よりθ、φの２次元が中間層上で連続した空間として綺麗に表現されていること、また、未学習の点が補間されていること固定部分がわかる。このように、砂時計型ニューラルネットワー
出力層

クを用いることで、与えられた情報のうちの変動部分である「視点の変更」が、絞り込まれた中間層上にコンパクトで連続な表現として抽出されることが確認された。

3. 内部表現を自動獲得するセンサ情報融合モデル
図１ 砂時計型ニューラルネットワークて作成される。すなわち、砂時計型ニューラルネットワークは変動部分と固定部分を分離し、変動部分の抽出カメラθを行うことが可能である。

対象物体

砂時計型ニューラルネットワークの性質をまとめると以下のようになる。
(1). 情報がコンパクトに表現

φ
対象物体：５角形
変動部分：視点の変更
視点の変更

砂時計型ニューラルネットワークでは中間層が絞り込まれているために、その中間層部分に入力情報のうちのθ= 0 ... 360゜
φ= 0 ... 60゜

必要な情報がコンパクトに表現される。ここではこれを、砂時計型ニューラルネットワークの持つ内部表現と呼ぶ。

図２

シミュレーション条件(2). 内部表現は連続空間上で表現連続関数であるニューラルネットワークは、補間機能という特長を持つ。これは、サンプル点としてφ1いくつかの情報を学習させると、そのサンプル点間を連続的に補う機能である。この補間機能により内部表現は連続空間上で表現される。
(3). 教師データが不要

0.8

砂時計型ニューラルネットワークは恒等写像を学習するために、ニューラルネットワークの学習に必要な教師データが不要であるというメリットがある。例えば物体認識問題に適用する場合には、対象

0.6
300 - 355θ

240 - 2950.4

物体を提示するだけでその物体を表わす情報が砂時計型ニューラルネットワークの内部表現として抽出されることが期待される。

180 - 235
120 - 175

0.2

60 - 115

2-2. 内部表現獲得シミュレーション
砂時計型ニューラルネットワークを用いて、物体を提示した時に作成される内部表現について計算機シミュレーションを行なった。対象物体として５角0 - 55
000.20.40.60.8

図3 抽出された内部表現

1

複数センサから得られる情報を融合して、内部表現を自動的に獲得するセンサ情報融合モデルを提案する（図4.物体認識実験4）。センサ1、センサ2 ... など、複数センサからの情報

4-1. センサ情報融合モデルの物体認識への適用を同一の砂時計型ニューラルネットワークに入力して学砂時計型ニューラルネットワークを用いたセンサ情報習させることで、それらセンサ情報の融合結果が砂時計型ニューラルネットワークの中間層に内部表現として獲融合モデルを、物体認識問題に適用する方法を図5に示す。これは、一つの砂時計型ニューラルネットワークに得される。

一つの物体を学習させ、学習後、提示された物体を各砂現実環境においては、その時々の環境やシステム内部状態・目的に応じて、有用な情報を提供できるセンサと時計型ニューラルネットワークに入力し、その誤差が最も小さな砂時計型ニューラルネットワークが示す物体を不完全で曖昧な情報しか得られないセンサが頻繁に変わ該当物体とみなす方法である。この場合、各物体のサンりうる。このような環境では、複数センサ情報入力を融合するセンサ情報融合モデルは有効である。つまり、状プル点を学習した砂時計型ニューラルネットワークが、十分に各物体を汎化しているかどうかが重要となる。

況に応じて有用な情報を提供できるセンサが異なるような、センサ情報の不連続性から連続的な内部表現を生成できると期待されるからである。センサ情報融合モデル

4-2. 実画像による物体認識を用いることにより、現実環境に適用可能なロバストな対象物体に人形を用い、視覚センサから色切り出しにより生成した複数画像情報を砂時計型ニューラルネットシステム構築が可能となる。

ワークを用いて融合することで、物体認識のための内部表現を自動獲得する実験を行った。
図6に対象物体（上）と比較物体（下）、図7に実験シ

センサ１

センサ２ステムを示す。ここでは、変動分としては１次元の視点の変更（回転）を用いた。すなわちターンテーブル上に乗せた対象物体を、0°から360°まで30°ずつ回転させ入力層逆モデル（圧縮）てカメラにて撮影し、その実画像を、それが持つHSI値内部表現= 変動部分

中間層
順モデル
（復元）の固まりで切出した後（図8）、大きなセルに分割して各セルごとに各HSI値固まりの割合を入力として砂時計モデルに学習させた（表1）。
用いた砂時計型ニューラルネットワークは、各層のユ出力層センサ１センサ２

ニット数がそれぞれ (36 - 16 - 2 - 16 - 36 ) の５層の階層型ニューラルネットワークである。100,000回の学習後、中間層に生成された内部表現を図9に示す。図9より、１次元の回転を表す円が内部表現として獲得されている。また、同物体未学習データ(30゜おきの学習データの間の点）を学習後の砂時計モデルに入力したところ、内部表

図4 センサ情報融合モデル

現値はちょうど学習データの間に収まっており、自動獲得された内部表現上で補間されていることが確認される。さらに、汎化性能を調べるために、対象物体（上）未知物体

学習済みネットワークに比較物体（下）のデータを入力してその２乗誤差を調べた結果が図10である。図10より、同物体未学習データに対して、未知物体データの２物体C砂時計乗誤差値は平均で３倍程度違い、学習した物体かそうでないかを砂時計型ニューラルネットワークの２乗誤差値から識別することが可能であることが確認された。

物体A砂時計物体B砂時計

5. まとめ
表1 実験条件

Minimum

実画像
セル

320 x 240 pixel
4 x 3 個（80pixelの正方形）

HSI値の固まり ３種類

図5

物体認識問題への適用

学習データ（よって入力36個）

30゜おき（12パターン）砂時計型ニューラルネットワークの性質を検証し、３次元物体の射影像を学習する計算機シミュレーション実

1. Cottrell、G. W.、Muno、P.、and Zipser、D.、"Image Com-

験を行い、砂時計型ニューラルネットワーク内部に提示

Programmins"、ICS Report 8702、Institute for Cognitive
Science、UCSD、1987.

された情報の変動部分が自動的にコンパクトに獲得されることを示した。そして、この砂時計型ニューラルネッ
トワークを用いたセンサ情報融合モデルを提案し、複数色画像情報を融合する物体認識実験を行い、物体認識のための適切な内部表現が自動的にニューラルネットワー
ク内部に獲得されていることを示し、提案したモデルの有効性を確認した。
今後は、行動を予測するニューラルネットワークと階層的に組み合わせることで、能動的にセンシングしながら物体を認識する能動的物体認識モデルへと発展させていきたいと考えている。

pression by Back Propagation. An Example of Extensional

2. Cottrell、G. W.and Metcalfe、J.、"EMPATH: Face, Emotion,and Gender Recognition Using Holons"、NIPS3、pp. 564-572、
1991.
3. DeMers、D.and Cottrell、G. W.、"Non-Linear Dimensionality
Reduction"、NIPS5、pp. 580-587、1993.
4. 鈴木、安藤、"モジュール学習による３次元物体の認識と類別"、信学技報、NC93-62、pp. 59-66、1993.
5. 野田、"過負荷学習を用いた恒等写像学習による内部表現獲得"、日本神経回路学会第５回全国大会講演論文集、pp. 8081、1994.
6. 山川、木本、柳沼、"階層化された砂時計型ニューラルネッ
トによる自律的な内部表現獲得"、第11回ファジィシステムシンポジウム講演予定、1995
7. 木本、柳沼、山川、"不完全なデータに対応する砂時計型

謝辞

ネットワーク"、信学技報、NC94-62、pp.17-24、1995.

なお本研究の一部は、科学技術庁の科学技術振興調整費連絡先による「センサフュージョン

柳沼義典、木本隆〒211 神奈川県川崎市中原区上小田中1015の基盤的技術の開発に関する研究」の一環として行なった株式会社 富士通研究所マルチメディアシステム研究所ものである。

テクノロジ研究部門知識処理研究部
TEL:044-754-2667 FAX:044-754-2664

6. 参考文献

E-mail: yaginuma@flab.fujitsu.co.jp
kimoto@flab.fujitsu.co.jp
山川宏〒305 茨城県つくば市竹園1-6-1 つくば三井ビル16F

対象物体

図6 対象物体（上）ＲＷＣＰつくば研究センタ 能動知能研究室

カメラと比較物体（下）WS

Tel 0298-53-1664 Fax 0298-53-1652
E-mail: yamakawa@trc.rwcp.or.jp

ターンテーブル

図7

実験システム

学習データ
未学習データ
未知物体

2.5

1Avr. 2.06
学習データ

2２乗誤差

未知データ

0.5

1.5
1

Avr. 0.66

0.5
0
図8

色切出し画像図9000.5

1

学習後の砂時計ニューロの内部表現

0100

200300視点（°）
図10 学習後の砂時計ニューロの誤差値