論 文
階層型ニューラルネットの 2 変数関数近似能力の比較
野中 和明† a)

田中 文英† b)

森田 昌彦† c)

Empirical Comparison of Feedforward Neural Networks on Two-Variable Function
Approximation
Kazuaki NONAKA†a) , Fumihide TANAKA†b) , and Masahiko MORITA†c)

あらまし 階層型ニューラルネットは，与えられたサンプルから入出力関係を推定する関数近似器としてよく用いられる．なかでも多層パーセプトロン (MLP) は，理論上任意の連続関数を精度良く表現可能であることが知られているが，実際にサンプルを学習して多変数関数を近似する能力には大きな疑問がある．本研究では，MLP
及び同様に万能な関数表現能力をもつ放射状基底関数ネットワーク (RBFN)，並列パーセプトロン (PP)，選択
的不感化ニューラルネット (SDNN) について，関数近似器としての実際的能力の違いを明らかにするために，やや複雑な 2 変数関数を用いて評価実験を行った．その結果，学習能力や汎化能力を含めた近似能力は SDNN が最も高く，計算コストなど実用性の点でも SDNN が優れていた．また，SDNN の性能の高さには，アナログの入力値を多数の 2 値素子によって表現するパターンコーディングと，複数のパターン表現を統合する選択的不感化がともに大きく貢献していることが分かった．この結果は SDNN が MLP などにはない高い有用性をもつことを示しており，これによってニューラルネットの応用範囲が大きく広がる可能性がある．
キーワード

神経回路，機械学習，汎化能力，近似誤差，分散表現

1. ま え が き

けでは全くない．実際的な能力は，関数の表現能力だ

多層パーセプトロン（Multi-Layer Perceptron，以る汎化の能力にも大きく依存するからである．

けでなく，サンプルを学習する能力や未知入力に対す

下 MLP）に代表される階層型ニューラルネットの重しかしながら，上記定理のことを「十分多数の中間要な用途として，関数近似問題への応用がある．これ（隠れ）素子があれば，任意の関数を近似できる」，あは与えられたサンプル（入力データと出力データの組）

るいは「万能な関数近似能力をもつ」と言い表すことから入出力関係を推定し，任意の入力に対する関数値がよくある．このようにいう場合，学習のことは考慮を求めるというものであり，工学の様々な領域で用いに入っていないのであるが，これを「MLP はどんなられる基本的技術である．もう一つの主要な用途であ関数近似問題も解ける」という意味に誤解する例がしるパターン識別も，カテゴリーを離散的な関数値と考

ばしば見受けられる．このような誤解を避けるために，えれば，関数近似問題の一種とみなすことができる．

本論文では，「近似能力」と「表現能力」とを区別してMLP については，「任意の可積分な連続関数を任意用い，前者は後者だけでなく学習能力や汎化能力も含の精度で近似する MLP が存在する」という，いわゆんだ実際的な能力を指すものとする．同様に「近似でる万能性の定理 [1], [2] がある．この定理は，関数を表きる」とは，「サンプルの学習によって精度良く近似す

現する能力に関する理論上の可能性を述べているだけることができる」という意味である．

であって，関数近似器としての性能を保証しているわ†

上記の誤解を助長している一つの要因として，関数近似に関する解説や論文において数値実験例として扱

筑波大学大学院システム情報工学研究科，つくば市
Graduate School of Systems and Information Engineering,

われているのが，ほとんどの場合連続な 1 変数関数でUniversity of Tsukuba, Tsukuba-shi, 305–8573 Japan

あることが挙げられる．これには，1 変数関数だと近a) E-mail: nona@bcl.esys.tsukuba.ac.jpb) E-mail: fumihide@iit.tsukuba.ac.jpc) E-mail: mor@bcl.esys.tsukuba.ac.jp2114

電子情報通信学会論文誌

似の様子を理解しやすいという理由もあるだろうが，実験上の都合という面も大きい．実は，1 変数関数，c （社）電子情報通信学会 2011
D Vol. J94–D No. 12 pp. 2114–2125 

論文／階層型ニューラルネットの 2 変数関数近似能力の比較

あるいは実質的に 1 変数（独立変数は一つだけで他は並列パーセプトロン（Parallel Perceptron，以下 PP）

従属変数または冗長変数）の関数は，真の（独立変数の関数近似能力を比較検討する．これを通じてニューが複数ある）多変数関数に比べて学習するのがずっと

ラルネットによる関数近似に対する理解を深めるとと容易であり，少々複雑であってもうまく近似できるのもに，SDNN の高い性能が何に由来するのか追究する．

である．
しかし，そもそも連続な 1 変数関数であれば，MLP

以下では，まず研究の背景となる知見及び対象とするニューラルネットについて簡単に説明する．次いでやその他の関数近似器を用いるまでもない．例えばす実験の方法及び結果について述べた上で，主に SDNN

べてのサンプルを記憶しておいて，隣り合うサンプルに関して詳しい解析と考察を行う．

間を直線または曲線で補間するといった方法でも実用上十分であろう．これに対して多変数関数の場合，入力空間が広いので単純な補間は困難であるし，問題が難しくなるため手法による差が出やすい．
また，関数が連続であるというのもかなり強い制約

2. 研究の背景
2. 1 多層パーセプトロン (MLP)
まず，2 個の入力素子と 1 個の出力素子からなる単純パーセプトロンによって 2 変数関数 f (x, y) を近似するである．もちろん，いたるところ不連続であれば近似ことを考える．各入力素子は x と y の値をそのままアナのしようがないが，大部分の領域では連続だが一部分ログ表現しており，出力素子は z = g(w1 x + w2 y + h)

で不連続という関数は実際の問題でよく現れる．そのを計算することによって f (x, y) を近似するものとす

ような関数を事前知識なしにうまく近似できれば，非る．ここで w1 , w2 は結合荷重，h は定数である．g(u)常に有益であろう．したがって，関数近似器の性能は，は活性化関数であり，パターン識別の場合には u > 0

部分的に不連続な多変数関数を用いて評価すべきと考のとき 1，u ≤ 0 のとき 0 をとるヘビサイド関数を用

える．

いることが多いが，ここでは任意の単調増加関数と以前我々は，MLP のような従来型のニューラルネッ

する．

トでは，複数の分散表現を統合することが困難であり，よく知られているように，単純パーセプトロンは期待されるような汎化が生じないことを示した [3]．まXOR 課題を解けない [5]．つまり，f (0, 0) = f (1, 1) =た，選択的不感化という手法を導入することによってこ0, f (0, 1) = f (1, 0) = 1 を満たす関数を表現できなの問題が解決できることを明らかにし，選択的不感化

い．それどころか，x-y 平面上のある直線及びそれとニューラルネット（Selective Desensitization Neural

平行な直線上では一定の関数値をとり，それ以外の直Network，以下 SDNN）を提案した．この SDNN を

線上では関数値が単調に増加または減少するもの以外

2 変数関数の近似問題に適用したところ，高い汎化能は表現できない．このように，一つの単純パーセプト

力をはじめとする数々の優れた性質を示した．ただし，

ロンが近似できる関数というのは極めて限られる．

このとき用いたのはごく単純な連続関数であり，より

次に，2 個の入力素子と 1 個の出力素子の間に n 個

複雑な関数や不連続関数の場合にどうであるかは不明の中間素子がある 3 層の MLP を考えよう．中間素子であった．

の活性化関数はシグモイド関数とし，出力素子の活性

その後 SDNN を 4 次元の連続状態空間における強化関数を線形関数とする．このとき，中間層から出力化学習の価値関数近似に用いたところ，従来にない高層の部分は線形近似器にすぎないから，各中間素子がい性能が得られた [4]．このことは SDNN の優れた関入力 (x, y) に応じて出力する関数値 fi (x, y) の線形和数近似能力を示しているが，近似の対象である価値関によって f (x, y) を近似していることになる．ところ

数の真の値が不明なため，近似精度や汎化能力についが，入力層から中間層の部分だけを見れば，これは 2て十分に解析することができない．また，4 変数関数

入力 1 出力で活性化関数 g(u) をシグモイド関数に固の視覚的な表示は困難であるため，具体的な近似の様定した単純パーセプトロンが n 個並んだものである．

子を詳細に知ることができない．

MLP が万能の表現能力をもつといっても，任意の複そこで本研究では，不連続な部分を含む比較的複雑

雑な関数 f (x, y) を幾つかの関数 fi (x, y) の線形和にな既知の 2 変数関数を標的関数とした数値実験を行い，展開したとき，それらすべてを単純パーセプトロンでMLP と SDNN に加えて放射状基底関数ネットワーク

うまく表現できるとは考えがたい．

（Radial Basis Function Network，以下 RBFN）と

実は，理論上の万能性の証明では，少しだけ平行移2115

電子情報通信学会論文誌 2011/12 Vol. J94–D No. 12

動した二つのシグモイド関数 g(u) と g(u − δ) の差を

2. 3 並列パーセプトロン (PP)とると，u = 0 付近を除いてほぼ 0 となることを用い一つのしきい素子は，ヘビサイド関数を活性化関数ている．直観的にいうならば，x-y 平面上のごく細いとした単純パーセプトロンとみなすことができ，決定帯状の領域を担当する素子が無数あって，それらが平境界と呼ばれるある超平面（2 変数関数の場合は直線）

面を埋めつくすことによって任意の連続関数を表現すによって入力空間を二つに分割する機能をもつ．このることを可能しているわけである．しかし，そのようようなしきい素子を m 個並列に並べ，それらの出力な方法では汎化能力は期待できないし，有限個のサン値の総計（1 を出した素子の数）に応じて最終的な出プルを学習したとき過剰適合が生じやすい．表現の効力値を決定するのが PP である．PP は，3 層の MLP

率も悪く，入力の次元が低くても非現実的な数の素子において，中間層の活性化関数をヘビサイド関数にし，が必要となる．理論的に必要な中間素子数に関して，中間層から出力層の結合荷重を固定したものとみなす

ある条件下において入力次元に依存しない上界があこともできる．

る [6] ことが知られており，それゆえ「次元の呪いを

最近，PP もまた万能性をもつことが示されてい回避できる」としばしばいわれるが，次元が低くてもる [8]．つまり，しきい素子の数 m が十分大きければ，無数に必要というのでは実用上意味がない．

任意の有界な連続関数を任意の精度で表現可能な PP

MLP の実用上の問題点として，学習が遅いこともが存在する．ただし，MLP の場合と同様に，この万挙げられる．最も一般的な誤差逆伝搬 (BP) 法を用い能性自体に実用上の意味はない．また，単純パーセプ

た場合，ローカルミニマムに陥って学習が収束しない

トロンの学習は，解が存在すれば必ず有限ステップで（学習誤差が十分小さくならない）ことがよくある．そ収束するのに対し，PP の場合，必ず収束するとは限のため，学習アルゴリズムの様々な改良が提案されてらない．

きたが，問題の本質的な解決には至っていない．我々PP の学習には，基本的には単純パーセプトロンとの考えでは，学習の収束性が悪い根本的な原因は MLP

同じ誤り訂正学習を用いるが，誤っているとみなす素の関数表現効率の悪さにあり，学習アルゴリズムを変子の決め方には幾つかの方法がある．ここでは，次のえるだけでそれが解消されることはない．

ような方法を用いる．

2. 2 放射状基底関数ネットワーク (RBFN)

ある入力に対して，m 個のしきい素子のうち l 個

実用的な関数近似器としてよく用いられるのがが 1 を出力すべきなのに，実際に 1 を出力したのは

RBFN である．これは，中心の異なる多数の放射状k(< l) 個だけだったとしよう．このとき，0 を出力し基底関数（ここではガウス関数を用いる）の線形和にた m − k 個の素子の中で，内部電位が最もしきい値によって関数を近似する手法であり，基底関数を計算す近いものから順に l − k 個を選び，これらについて誤る素子を中間層に配置した一種の 3 層ニューラルネッ

り訂正学習を行う．k > l の場合には，1 を出力した

トとみなすことができる．数式で表すと，関数 f (x, y)

素子の中で内部電位がしきい値に近いもの k − l 個にをついて学習を行う．

z=
wi expi−2(x − xi )2 + (y − yi )σi2

PP は，MLP や RBFN と違って，理屈の上では部(1)

分的に不連続な関数も表現可能である．ただし，そのためには不連続な部分において，多数のしきい素子のによって近似する．ここで，xi と yi は i 番目の基底

出力値が同時に変化する必要がある．これは多数の決関数の中心の x 座標と y 座標，σi はガウス関数の広定境界が不連続点上でちょうど重なることを意味する

がりを表す定数である．wi は i 番目の中間素子から出から，実現するのはそう容易でない．

力層への結合荷重であり，通常は学習によってこの値を設定する．

2. 4 選択的不感化ニューラルネット (SDNN)
選択的不感化とは，分散表現された二つのパターン

RBFN は，十分な数の中間素子（基底関数）を適切があるとき，一方のパターンに応じて他方の一部の要に配置すれば，任意の連続関数を任意の精度で表現で素を中立値に変えることによって，両者が表す情報をきる [7]．つまり，MLP と同様の万能性を有する．ま統合する手法である．具体的に 2 種類の n 次元の 2 値

た，基底関数の形や配置が適切ならば，学習の収束性(±1) パターン S = (s1 , . . . , sn ) 及び C = (c1 , . . . , cn )もよい．

があるとき，S の要素の約半数をパターン C に応じ

2116

論文／階層型ニューラルネットの 2 変数関数近似能力の比較

x1i =1 + cσ(i)
si
2

(2)

を出力する．ここで，σ(i) は順列 (1, 2, . . . , n) をラン
ダムな順序に置換したときの i 番目の要素を表す．同様に，素子群 2 の i 番目の素子の出力は

x2i =1 + sσ (i)
ci
2

(3)

で与えられる（σ  は σ とは別の置換を表す）．
第 3 層から第 5 層は PP を構成する．すなわち，第4 層には，第 3 層を入力とし 0 または 1 を出力とする
しきい素子が m 個並んでおり，第 5 層は第 4 層の出力値の合計 k に基づいて z を出力する 1 個の素子からなる．第 4 層から第 5 層への結合荷重は一様な定数であり，学習は第 3 層から第 4 層の結合荷重を PP と同
図 1 選択的不感化ニューラルネットを用いた 2 変数関数の近似器
Fig. 1 Two-variable function approximator using a
selective desensitization neural network.

様の方法で修正することによって行う．
第 3〜5 層が万能性をもつ PP であるため，SDNN
もまた万能性をもつ．すなわち，理論上 n と m が十分に大きいとき，定義域と値域が有界な任意の連続関数
を任意の精度で表現できる．また，PP と同様に，部て選んで 0 にする．これにより，約半数が 0 で残りが±1 の 3 値パターンが得られるが，このパターンのこ

分的に不連続な関数を表現できる場合がある．

2. 5 パターンコーディングとを「C によって修飾された S 」といい，S(C) で表SDNN の第 2 層のように，連続な変数の値を，対応す．同様に，S によって修飾された C を考えることもするパターン（コードパターン）によって表現する方できる．

法を「パターンコーディング」と呼ぶことにする．ここの手法を階層型ニューラルネットに適用したもの

れに対して，第 1 層のようにアナログ値を出力する 1が SDNN である．SDNN の構成にはかなりの自由度

個の素子で表現する方法を「アナログコーディング」

があるが，2 変数関数の近似器の基本的な構成を図 1と呼ぶ．

に示す（3 変数以上の場合については文献 [4] を参照

パターンコーディングの具体的な方法は様々である

されたい）．図では 5 層構造をしているが，これは他（ 2 ）を満たすことが必要であり，まが，以下の（ 1 ），のニューラルネットと入力及び出力層をそろえるため（ 4 ）を満たすことが望ましい．
た（ 3 ），

であり，文献 [3] や [4] では第 2 層と第 4 層の部分をそ（ 1 ） 変数値に関する情報がパターン全体に広く分れぞれ入力層及び出力層と呼んでいる．

散し，かつ全体として十分な冗長性をもつこと．これ

第 2 層は，n 個ずつの素子からなる二つの素子群では分散表現の定義のようなものであるが，分かりやす構成される．素子群 1 の各素子は，入力変数 x の値がくいうならば，パターンの成分のうち，どの一つまた素子ごとに決められたある区間（一つとは限らない）

は数個を見ても変数値が特定できないが，全体の半分にあるとき 1，そうでないとき −1 を出力する．同様

程度を見れば必ず特定できるということである．

に素子群 2 の各素子は，y の値に応じて ±1 を出力す

（ 2 ） 変数値が連続的に変化するにつれてコードパる．これによって，x 及び y の値は，それぞれ成分のターンが徐々に変化すること．また，変数値が近いほ

約半数が 1 をとる n 次元 2 値パターン S 及び C とし

どコードパターン間の相関が高く，遠いほど低くなるて分散表現される（具体的な方法は 2. 5 で述べる）．

こと．これによって，非局所的な汎化が生じることが第 3 層は，選択的不感化による修飾を相互に行った期待できる．

パターン S(C) 及び C(S) を表す二つの素子群からな（ 3 ） 1 と −1 の成分が常にほぼ同数であること．

る．具体的には，素子群 1 の i 番目の素子は，信号 si

これにより，第 3 層において常に約半数の素子が不感及び cσ(i) を受け取り，化されて 0 を出力することになる．
2117

電子情報通信学会論文誌 2011/12 Vol. J94–D No. 12（ 4 ） 十分に離れた変数値を表すコードパターン間の相関が 0 であること．あるサンプルを学習したとき，無関係な点への影響（干渉）が小さくなる．

3. 数 値 実 験
3. 1 標 的 関 数

ここで，（ 2 ）と（ 4 ）に述べたコードパターン間の近似の対象とする既知の関数（標的関数）として，相関については任意性があり，どのように減少してど{(x, y) : x, y ∈ [0, 1]} を定義域とし，0 から 1 の値をの程度離れると 0 になるのが最適であるかというのは

とる 2 変数関数

近似する関数の形や空間周波数に依存する．しかし，実際試してみると，パターンの次元 n が十分に大きければ，相関の大きさや細かいコーディングの違いによf (x, y) =⎧ 22
⎨ 1 (x−0.5) +(y−0.5) ≤ 0.04
⎩ 1 + x sin2 (6π √xy 2 ) (otherwise)2

る差はあまり見られなかった．したがって，コーディ(4)

ングを完全に最適化する必要はなく，せいぜい数通りを試す程度で十分である．

を用いる．図 2 (a) はこの関数を視覚的に表示したもの

本研究で用いたコーディング，すなわち変数値 x にであり，x-y 平面上の各点の関数値を色で表している．

対するコードパターン P (x) は以下のようなものであ

このような関数を選んだのは，これが次の条件を満る（なお，これは n がある程度大きい場合の簡便なたすからである．

方法であり，n が小さい場合には指定した幾つかのパ（ 1 ） ほとんどの点で連続であるが，不連続な部分

ターンを補間して作成する [4] のがよい）．

もある（不連続関数の近似能力を見ることができる）．

まず，0 < x ≤ 1 の区間を q 個に分割し，各区間に（ 2 ） 空間周波数，及びこう配の大きさと方向が領対応するコードパターンを P1 , . . . , Pq とする．すなわ

域によって異なる（これらが一定だと一般性に乏しく，

ち，(k − 1)/q < x ≤ k/q のとき P (x) = Pk である

特定の手法に有利となる可能性がある）．

(k = 1, . . . , q)．また，パターンの次元 n は偶数とし，
1 と −1 の成分が同数となるパターンの一つを P (0)とする．なお，分割数 q が大きいほど量子化による誤差が減少するが，必要な素子数は多くなる．

（ 3 ） 同じ関数値をとる点が連続的に広がっている（非局所的な汎化能力を見ることができる）．
なお，他にも様々な関数を試したが，上記の条件を満たしていれば結果はほとんど同じであった．また，

次に，P (0) の成分の中から 1 及び −1 をとるもの

条件の一部を満たしていない場合でも，基本的に同じをそれぞれ r 個ずつランダムに選び，それらの符号を傾向であった．したがって，以下で示す実験結果には反転して得られるパターンを P1 とする．同様に，P1

かなり強い一般性がある．

の成分の中から 1 及び −1 をとるものを r 個ずつラン

3. 2 方法

ダムに選んで反転し，P2 を得る．以下同様に，Pk−1

実験 1 では，6 種類の関数近似器 MLP-A，MLP-P，の成分の一部を反転することによって順次 Pk を作成

PP-A，PP-P，RBFN，SDNN について，それぞれ以する．

下の手順で性能を評価した．

ところで，パターンコーディングは SDNN にとっ（ 1 ） 標的関数の定義域中に設定した 0.01 間隔て必須であるが，SDNN に特有というわけではない．

（101 × 101 = 10201 個）の格子点の中から N 個のサ実施例はあまりないが，他のニューラルネットにも適用することができる．RBFN の場合は局所的な基底関数を用いるので意味がないが，MLP や PP の場合にはパターンコーディングによって汎化能力が高まる可能性がある（理論上の万能性は変わらない）．そこで，以下の実験では MLP や PP においてパターンコー
ディングを用いた場合も扱い，MLP-A や PP-P のよ
うに末尾に-A 及び-P を付けることによってアナログ
コーディングとパターンコーディングを区別すること(a) Target function f (x, y)にする．
Fig. 22118(b) Training samples forExperiment 1 (N = 2000)

図2 実験方法
Experimental method.

論文／階層型ニューラルネットの 2 変数関数近似能力の比較

ンプル点をランダムに（ただし重複することなく）選誤差）の両方が含まれている．これは，学習後に実際

ぶ．N = 2000 の場合のサンプル点の例をを図 2 (b)に近似器として利用する場合，入力データがサンプルに示す．

点と一致しようがしまいが，正しい関数値にどれだけ（ 2 ） 各 サ ン プ ル（ サ ン プ ル 点 (x, y) と 関 数 値

近い値を出力するかが重要だと考えるからである．まf (x, y) の対）について，近似器の学習を十分な回た，実験 1 の場合，サンプル数を増やしていくとサン

数だけ繰り返し行う．具体的な学習回数は，MLP が

プル点の密度が高まっていき，サンプル点とそうでな

2000 回，それ以外は 300 回である．この数は近似誤い点を区別する意義が薄くなる．実際，N が大きい場

差の変化を見ながら相当大きめに設定したものであり，合の学習誤差は，評価値とあまり差がなかった．

それだけの回数が必要というわけではない．

しかし，現実にはサンプル数を増やしても，サンプ（ 3 ） 10201 個の格子点すべてについて，近似器のル点の密度が一様に高まるとは限らない．ある入力領

出力 z と真の関数値との差の絶対値 |z − f (x, y)| を求

域ではサンプルが全く得られないこともあり得る．そめ，その平均値を算出して近似誤差とする．

のような場合にも，他の領域のデータから関数値を推（ 4 ） N = 100, 200, 500, 1000, 1500, 2000, 4000

定できれば有用であろう．また，MLP のような非局の 7 通りについて（ 1 ）〜（ 3 ）を行う．

所的近似手法には，サンプル点の近傍に限らない，広（ 5 ）（ 1 ）〜（ 4 ）を 1 実験試行とし，乱数系列を変域的な汎化の能力が期待されていると思われる．

えてこれを 10 回繰り返す．

このような観点から，実験 2 ではサンプルを全く与各近似器のパラメータ等は以下のとおりである．

えない領域を設定し，その領域における汎化誤差を評

MLP 学習アルゴリズムは標準的な BP 法とし，中価した．具体的には，図 6 (a) の黒く塗りつぶされた間素子数は 50 に設定した．学習のローカルミニマム

部分（全体の約 4 分の 1）をそのような領域とし，こ問題などがあるため，パラーメータや結合荷重の初期れに含まれる 2675 個の格子点に関して誤差を求めた．

値を変えた試行を 10 回程度繰り返し，最も結果がよ対象とする近似器は，実験 1 の結果が非常に悪かっかったものを採用した．なお，中間素子数を様々に変た MLP-A と PP-A を除く 4 種類 (MLP-P，PP-P，

えた実験も行ったが，結果に大きな差はなかった．

RBFN，SDNN) とした．近似器のパラメータやそのRBFN 基底関数はすべて σi = 0.1 のガウス関数と他の実験手順は実験 1 と同じである．

し，441 個を各中心が 0.05 間隔の格子点上になるよう

3. 3 結配置した．一般に，基底関数の数 n を大きくするほど

実験 1 の結果を図 3 及び図 4 に示す．

表現能力が高くなるが，汎化能力は低下する．この点

図 3 は，近似誤差の 10 回の実験試行に関する平均

果も考慮しつつ，適切と思われる n 及び σi の値を実験

値を，サンプル数 N に対してプロットしたものであ的に求めた．

る．エラーバーは標準偏差を表すが，一部の場合を除PP 単純パーセプトロン（しきい素子）の数 m は

いてごく小さな値であった．

280 とし，そのうち k 個が 1 を出したときの近似器のこの図から分かるように，SDNN は全体として近出力値を z = 0.005k − 0.2 とした．なお，理論上 m

似精度が高い．MLP-P は，N > 1000 のとき SDNNが大きいほど表現能力が高いが，これ以上 m を増やをやや上回る精度を示したが，N が小さいときの誤差

しても結果に大きな違いは見られなかった．

が大きい．RBFN は全体にやや精度が劣り，特に N

SDNN 過剰適合が生じることはないので n は大が小さいときの誤差が大きい．PP-P 及び MLP-A はきいほどよい [3] が，他の近似器とのバランスを考慮

N < 1000 の範囲ではある程度誤差が減少するが，そして n = 200（第 3 層の素子数は 400）とした．第

れ以上はほとんど減少しない．PP-A は，N に関係な

4〜5 層については PP と全く同じである (m = 280,

く誤差が大きい．

z = 0.005k − 0.2)．パターンコーディングに関するパ

図 4 は，ある平均的な実験試行において，図 2 (b)ラメータは q = 100, r = 5 とした．なお，同一のコーに示したサンプル (N = 2000) を学習した後の各関数

ドパターン (n = 200) を MLP-P 及び PP-P でも用近似器の出力値を，図 2 (a) と同様の方法で表示したもいた．

のである．一見して分かるように，MLP-A と PP-A

実験 1 で求めた近似誤差には，サンプル点におけるは，標的関数の近似が全くできていない．PP-P は大誤差（学習誤差）とそれ以外の点における誤差（汎化

まかには近似できているが，細部は標的関数とかなり
2119

電子情報通信学会論文誌 2011/12 Vol. J94–D No. 12

Fig. 3図 3 実験 1 の結果
Results of Experiment 1.

Fig. 5図 5 実験 2 の結果
Results of Experiment 2.

(a) MLP-A(b) PP-A(c) MLP-P(d) PP-P(b) MLP-P(c) PP-P(e) RBFN(f) SDNN(d) RBFN(e) SDNN

図 4 学習後の各近似器が表現する関数 (N = 2000)
Fig. 4 Approximated functions after training.

違っている．RBFN は比較的よく近似しているが，中(a) Training samples (N = 2000)

Fig. 6図 6 汎化能力の比較
Comparison on generalization ability.

かに変化する領域の近似がやや苦手である．

央付近と右上の領域における近似精度はあまりよくな

同様に，実験 2 の結果を図 5 及び図 6 (b)〜(e) に示

い．MLP-P と SDNN は，どちらも標的関数をかなりす．SDNN の汎化誤差は他よりも圧倒的に小さく，実よく近似しているが，近似の仕方に若干の違いがあり，

験 1 の RBFN の近似誤差と比べてもさほど遜色がな

前者は不連続点（中央の円周）の付近，後者はなだらいことが分かる．PP-P は，N < 500 のときの誤差は2120

論文／階層型ニューラルネットの 2 変数関数近似能力の比較

SDNN に次いで小さいが，N を増やしても誤差がほ

4. 2 MLP

とんど減っていない．MLP-P 及び RBFN は，実験 1

通常のアナログコーディングを用いた MLP，すなに比べて誤差の増加が著しく，PP-P と同程度の性能

わち MLP-A は，他の近似器の 20 倍以上の時間をかであった．

けて学習を繰り返したにもかかわらず，サンプル数や

4. 考

察

これまでの議論と数値実験の結果をもとに，各関数近似器の性能や特徴などについて考察する．

中間素子数，その他のパラメータをどう調整しても図 4 (a) のようなぼんやりとした関数しか表現できな
かった．
これは，たまたま今回の標的関数が MLP-A と相性

4. 1 RBFNが悪かったからではない．経験上，また 2. 1 の議論か

実験 1 の結果から分かるように，局所基底関数を適らも，MLP-A がうまく学習できるのは次のいずれか

切に配置し，十分なサンプルを与えたとき，RBFN のの場合に限られると考えられる．

近似精度は比較的よい．また，構造が単純で学習の収（ 1 ） 近似する関数の入力空間が 1 次元，または実束も早いという点も，実用上有利である．

質的に 1 次元（独立変数が一つのみ）である．

ただし，RBFN には幾つかの弱点がある．まず，関（ 2 ） 近似する関数が少数のシグモイドニューロン

数が不連続な点や関数値の変化が激しい（空間周波数の線形和で表すことができる．

が高い）領域での誤差が大きい．一方で広い範囲にわ（ 3 ） 関数の定義域または実際に入力が与えられる

たって関数値が一定値（0 を除く）をとる場合にも，う領域が多次元空間の一部分に限られており，そこではまく近似することができない．例えば，図 4 (e) 中央

局所的に（ 1 ）または（ 2 ）が成り立つ．

の f (x, y) = 1 となる領域において，出力値は 0.9 以
下から 1.1 以上まで波を打っている．
また，図 6 (d) から明らかなように，サンプルが与

これに加えて，計算量の多さ，中間素子数の選択や学習パラメータの調整の手間などを考慮すると，MLP-Aに実用上の利点は全く見当たらない．

えられない空白領域が大きいと，そこでの近似は全く

実験 1 の結果が示すように，パターンコーディング

不正確になる．このような領域での誤差を減らすためを導入することによって近似精度が大きく向上する場には，基底関数の広がりを表すパラメータ σi を大き合がある．この近似精度の向上は，学習誤差が非常にくする必要があるが，そうすると全体の近似誤差が増小さくなった（N = 2000 の場合で 0.004）こと，そ

大してしまう．このように，RBFN では一般に近似精れに伴ってサンプル点近傍の汎化誤差も大きく低下し度と汎化能力が両立しない．

たことによる．

こうした弱点は，基底関数をうまく配置することにしかし，実験 2 の結果は，その場合でも広域的なよってある程度補うことができると考えられる．しか汎化能力は向上しないことを示している．これは，1し，基底配置の最適化には，標的関数の性質（空間周

対多対応による荷重平均化の問題 [3] を避けるために，

波数など）や問題の条件（サンプルの分布など）に関学習によって中間層の表現（入力信号に対する活動パ

する事前知識が必要である．基底の配置などを適応的ターン）が次のように変化するからだと考えられる．

に修正する方法も提案されているが [9]，学習の収束性

まず，学習前の初期状態において，中間層への結合の低下や計算コストの増大を考えるとあまり実用的で荷重はランダムな値に設定されている．このとき，あはない．

る入力パターン x1 が与えられたときの中間層の表現

更に，本研究の対象外ではあるが，一般に RBFN を

y 1 と，x1 に非常に近い入力パターン x2 に対する表

はじめとする局所的近似手法には，入力変数の数が増

現 y 2 とは，非常に似たものとなる．x1 と x2 の相関えると計算コストが爆発的に増大してしまう [4] といが 1 から 0 に低下するにつれて y 1 と y 2 の相関も徐々う本質的な問題がある．関数値に無関係な冗長変数がに低下するが，両者はほぼ同じ減少曲線を描く．

ある場合の悪影響も大きい．そのため，入力変数が多中間層の学習は，一般に出力すべき値が異なる入力

くなると事前の変数選択や次元圧縮が不可欠となるが，信号を分離する（相関を減らす）働きがある．そのた

次元圧縮はそれ自体が難しい問題である．したがって，

め学習後の中間層表現間の相関は，入力パターン間の

実際に RBFN を適用できる範囲はそれほど広くない．

相関よりも急速に減少しやすい．実際，実験 2 において学習の前後を比較すると，関数値が異なる二つのサ
2121

電子情報通信学会論文誌 2011/12 Vol. J94–D No. 12

ンプル点の表現間の相関は大きく低下していた．また，と PP-A の差は，SDNN の性能に対するパターンコー

サンプル点とその周辺の表現間でも相関が減少する傾ディングの寄与を表していると考えられる．

向が見られたが，特にサンプルを与えない領域の内部

そのような観点で実験結果を眺めると，パターンにおいてそれが顕著であった．このような相関の低下

コーディングに近似精度と広域的な汎化能力をある程は，サンプル点から離れた領域に汎化が及ぶことを妨度高める効果があり，選択的不感化はそれを更に強化げる．

するものだといえる．MLP-P における中間層の学習

一方で，サンプル点の中間層表現が互いに分離すれが，いわば汎化能力を犠牲にして近似精度を高めるの

ば，中間層から出力層の学習が容易になって学習誤差に対して，選択的不感化は両者をともに向上させる点が減少する．ただし，そうなるように中間層を学習すが重要である．

るのは，入力空間においてサンプル点同士がある程度

4. 4 選択的不感化の効果

離れていれば容易であるが，近すぎると困難な場合が選択的不感化の効果をより具体的に解明するために，多い．したがって，パターンコーディングによって 2

SDNN と PP-P の近似の様子の違いに着目しよう．

次元の入力空間中のサンプル点が高次元のパターン空図 4 の各グラフの中央付近を見ると，PP-P では赤間に分散されたことが，学習誤差の大幅な減少をもた色（出力値約 1.0）の中に黄〜橙色（0.6〜0.8）の部分

らしたと思われる．

が筋状に混じっているのに対し，SDNN ではほぼ一様

以上のように，MLP-P は RBFN と同様に近似精度に赤色である．図 6 ではその差が一層顕著である．こと広域的な汎化能力を両立させることができない．まのことは，特に関数値が一定となる領域において，選た，MLP-A よりも学習の収束性は高いものの素子数

択的不感化の効果が強く現れることを示してる．

が多いので，計算コストはやはり他の近似器よりかな

そのメカニズムを考察するために，まず関数値が変り大きい（本実験では 20 倍以上）．入力変数が増えた

数 x だけで決まり，変数 y は関数値に全く影響しない

ときの近似能力については今のところ不明であるが，冗長変数であると仮定する．SDNN は冗長な入力変計算コストが更に増大することは間違いない．これら数に対して非常にロバストであることが知られているを考慮すると，MLP-P が有用な場合というのはかなが [4]，これは，冗長変数 y の値だけが異なる幾つか

り限定的であろう．

のサンプルを学習した場合，x を表現する第 3 層の素4. 3 PP と SDNN

子のどれが不感化されても同じ関数値が出力されるよ

SDNN は近似精度や汎化能力がともに高いだけでうに学習がなされるからである．これによって y の値

なく，計算量や学習の収束性の点でも優れている．まに基づく選択的不感化が無効化され，y の出力値へのた，関数の形や実験条件の変化に対するロバスト性が影響が非常に小さくなる．つまり，y 方向に関数値が高いため，パラメータの設定が容易である．更に，先同じサンプル点が幾つか並んでいると，y の全域にわ行研究 [4] において，入力変数の増加に対して計算コたって強力な汎化が生じるのである．

ストの増加が緩やかなこと，冗長変数による悪影響を

y が完全な冗長変数でなくても，「x や y の値がある

ほとんど受けないこと，追加学習が容易であることが範囲にあれば関数値は y に依存しない」という場合，示されている．これらを考慮すると，汎用の関数近似

定義域をその範囲に限ってしまえば y は冗長変数で器としての有用性は，階層型ニューラルネットだけである（このような y を「部分的に冗長」な変数と呼ぶ

なく，既存のどの近似器と比べても高いと思われる．

ことにする）．上記のメカニズムはこの場合にも機能

一方，PP の関数近似能力はあまり高くなく，MLP
よりも劣っていた．計算量の少なさを考慮しても，決し，y が冗長な範囲にわたって強い汎化が生じるはずである．

して実用的ではない．このように性能が低く，あまり

ただし，その範囲外のサンプルも学習するため，干一般に知られてもいない PP を本研究であえて取り上

渉によって範囲内の出力値が y に依存して変動する可げたのは，SDNN を解析し，その優れた能力が何に由能性がある．しかし，2 種類の領域におけるコードパ

来するのかを理解する上で有益だからである．

ターンの相関が非常に大きくない限り，汎化の効果が本研究で扱っている SDNN は，PP-P に選択的不感打ち消されるほど強い干渉は生じないと考えられる．

化法を導入したものに相当する．したがって，両者のこれに関する解析は十分にできていないが，上記の実差が選択的不感化の効果を反映している．また，PP-P験結果はこの考えが正しいことを示唆している．

2122

論文／階層型ニューラルネットの 2 変数関数近似能力の比較(a) PP-P(b) SDNN

図 7 個々のしきい素子の決定境界
Fig. 7 Decision boundaries of individual threshold elements.

次に注目すべきは，PP-P では同じ色（一定の出力に属するよう切り分けるという課題（一般化 XOR 課

値をとる領域）が縦横の筋状に伸びているのに対し，題と呼ぶ）は，PP-P の各単純パーセプトロンには解SDNN ではそのような筋が少ない点である．これが両くことができない．x と y のコードパターンを連結し者の全体的な近似能力の差につながっているように思た 2n 次元パターンの空間において，この 4 点の配置

われる．

は線形分離不可能だからである．

この現象を追究するために，PP-P と SDNN を構したがって，実現可能な決定境界は，x1 , x2 , y1 , y2

成する個々の単純パーセプトロンが入力変数 (x, y) のをどう選んでもこの課題の解にならないようなもの

空間をどのように切り分けるかを調べた．図 7 は，図に限られる．実際，図ではすべてそうなっている．こ4 に示した実験試行に関する結果である．280 個のしの制約は相当に厳しく，斜め方向に走る境界はごくわ

きい素子の中から典型的なものを 6 個ずつ選んで表示

ずかしか許されない．必然的に境界が複雑になればな

した．各グラフの白い部分が 0 を出力する領域，黒いるほど，縦横の直線が大部分を占めることになるので部分が 1 を出力する領域を表す．このようなグラフをある．

280 個の素子すべてについて重ね，各点の平均濃度に応じて色をつけたものが図 4 のグラフに相当する．

一方，(b) の SDNN では，境界が曲線を描く部分や斜め方向に延びる部分も多く見られる．このことは，

この図から分かるように，2 種類の領域がともに入SDNN の各単純パーセプトロンが一般化 XOR 課題

力空間の広い範囲に分布しており，領域の境目すなわを解けることを意味する．直観的にいうならば，これ

ち決定境界はかなり複雑に入り組んでいる．パターンは二つのコードパターンを選択的不感化によって統合

コーディングを用いない PP-A の場合の決定境界は 1することによって，一方のコードパターンの違いがパ本の直線であるから，このような複雑な領域分布自体

ターン全体に及ぶからである．そのため，両者を単にはパターンコーディングの効果だといえる．

連結した場合と比べて，一方のコードパターンのみがしかしながら，(a) の PP-P の場合，細かい凹凸を無視すれば，境界の大部分が縦または横方向の直線で異なるときに異なる値を出力するよう学習するのが容易である．

ある．そのため，特に標的関数の等高線が曲線や斜め以上の考察から，選択的不感化には，ある変数が部方向の直線を描く部分においてうまく近似ができない

分的にでも冗長な場合に強い汎化を生む効果と，個々と考えられるが，このような境界になる理由は以下ののしきい素子の決定境界の自由度を高めることによっように説明できる．

て近似誤差を減らす効果の二つがあると考えられる．

まず，x-y 平面中に辺が軸と平行な長方形 ABCDを 任 意 に と り，そ の 座 標 を A(x1 , y1 )，B(x1 , y2 )，5. む す びC(x2 , y2 )，D(x2 , y1 ) とおく．このとき，対角線上の多層パーセプトロン (MLP)，放射状基底関数ネッ

点 A と C が一方の領域に，B と D がもう一つの領域

トワーク (RBFN)，並列パーセプトロン (PP)，及び2123

電子情報通信学会論文誌 2011/12 Vol. J94–D No. 12

文

選択的不感化ニューラルネット (SDNN) という 4 種類の階層型ニューラルネットを，2 変数関数の近似問[1]

perceptrons,” Proc. IEEE International Conference

題に関して実験的に比較し，学習能力や汎化能力を含めた関数近似能力は SDNN が最も優れていることをon Neural Nerworks, vol.1, pp.641–648, 1988.
[2]

示した．SDNN は，計算コストや学習の収束性，パラ

Netw., vol.2, no.3, pp.183–192, 1989.
[3]

似能力には，アナログ値を多次元の 2 値パターンに
[4]

[5]

化ニューラルネットを用いた強化学習の価値関数近似，”信
学論（D），vol.J93-D, no.6, pp.837–847, June 2010.
M. Minsky and S. Papert, Perceptrons: An Introduc-[6]

A.R. Barron, “Universal approximation bounds for

ることが分かった．前者にはサンプルの学習を容易にするとともに広域的な汎化を可能にする働きがあり，
後者には関数表現能力を高めて近似誤差を減らすとともに，入力に冗長性がある場合に汎化能力を高める効tion to Computational Geometry, MIT Press, 1969.
superpositions of a sigmoidal function,” IEEE Trans.

果があると考えられる．
本研究では，解析の容易さを優先して近似対象を 2

Inf. Theory, vol.39, no.3, pp.930–945, 1993.
[7]

変数関数に限定したが，関数近似器の特性は変数が多いほど顕著に現れると考えられる．3 変数以上の関数を対象とした実験と解析は今後の課題であるが，先行

Comput., vol.3, no.2, pp.246–257, 1991.
[8]

ing of a single layer of perceptrons,” Neural Netw.,
vol.21, no.5, pp.786–795, June 2008.
[9]

S. Chen, C.F.N. Cowan, and P.M. Grant, “Orthogonal least squares learning algorithm for radial ba-

ことができるが，サポートベクターマシンや各種の統

sis functions networks,” IEEE Trans. Neural Netw.,

計的手法もよく用いられるため，関数近似の場合とはやや事情が異なる．しかし，4. 4 の考察から，SDNN

P. Auer, H. Burgsteiner, and W. Maass, “A learning
rule for very simple universal approximators consist-は一層拡大すると思われる．

はパターン識別器としても有用だと考えられる．特に，J. Park and I.W. Sandberg, “Universal approximation using radial-basis-function networks,” Neural研究 [4] 及び本研究の結果から見て，SDNN の優位性
ところで，パターン識別は関数近似の一種とみなす

森田昌彦，村田和彦，諸上茂光，末光厚夫，“選択的不感化法を適用した層状ニューラルネットの情報統合能力，”信
学論（D-II），vol.J87-D-II, no.12, pp.2242–2252, Dec.
2004.
新保智之，山根 健，田中文英，森田昌彦，“選択的不感

よって分散表現するパターンコーディングと，複数のパターンを統合する選択的不感化の両方が貢献していK. Funahashi, “On the approximate realization ofcontinuous mappings by neural networks,” Neural

メータ調整の容易さなど，実用的な面でも優れていた．
また，実験結果の解析から，SDNN の高い関数近

献

B. Irie and S. Miyake, “Capabilities of three-layered

vol.2, no.2, pp.302–309, 1991.
[10]

H. Kawata, F. Tanaka, A. Suemitsu, and M. Morita,“Practical surface EMG pattern classification by using a selective desensitization neural network, ” Neu-

入力変数（特徴量）が多く冗長性が高い場合や，識別

ral Information Processing (Part II), Lect. Notes

境界面が複雑なのに十分な数のサンプルが得られない

Comput. Sci., vol.6444, pp.42–49, 2010.

場合，従来手法を凌駕する可能性がある．実際，表面（平成 23 年 5 月 27 日受付，8 月 5 日再受付）

筋電位信号から複数の動作を識別する問題に SDNNを適用することによって，これまでになく高い実用性が得られている [10]．
本論文でも指摘したように，MLP の理論的万能性と現実的性能との間には大きなギャップがあり，このことがニューラルネット全般の評価を押し下げているように感じられる．本研究の結果が，階層型ニューラ
ルネットの正当な評価と幅広い活用につながることを期待したい．
謝辞 数値実験の追試を行い有益なコメントを下さった篠塚正成，堀江和正，桑原昭之の各氏に感謝す
る．本研究の一部は，科学研究費補助金特定領域研究「情報爆発 IT 基盤」（課題番号 21013007）及び基盤研究 (B)（課題番号 22300079）の支援を受けて行わ
れた．
2124

野中

和明

平 22 筑波大・工学システム学類卒．現在，同大大学院システム情報工学研究科在学中．神経回路モデルの研究に従事．

論文／階層型ニューラルネットの 2 変数関数近似能力の比較

田中

文英平 15 東工大大学院総合理工学研究科博
士課程了．博士（工学）．ソニー（株）及びソニー・インテリジェンス・ダイナミクス研究所（株）リサーチャー，Universiyof California，San Diego 客員研究員を経て，現在，筑波大学大学院システム情報工学研究科准教授，JST さきがけ「情報環境と人」研究員．人間–ロボット間インタラクション，発達学習，社会的相互作用の研究に従事．平 13 人工知能学会全国大会優秀論文賞，平 17IEEE 国際会議 RO-MAN Best Paper Award など．

森田

昌彦 （正員）昭 61 東大・工・計数卒．平 3 同大大学
院博士課程了．日本学術振興会特別研究員，
東京大学工学部助手を経て，平 4 筑波大学
電子・情報工学系講師．同大機能工学系助教授などを経て，平 19 より同大大学院シ
ステム情報工学研究科教授．脳の情報処理機構及び神経回路網による情報処理の研究に従事．平 5 日本神経回路学会研究費，平 6 同学会論文賞，平 11 日本心理学会研究奨励賞受賞．

2125