論文

選択的不感化ニューラルネットによる特徴量の有効性の分析
染野翔一†

堀江和正††

森田昌彦††† a)Analysis of Feature Eﬀectiveness Using a Selective Desensitization Neural Network
Shoichi SOMENO† , Kazumasa HORIE†† , and Masahiko MORITA†††a)

あらまし 機械学習によって関数近似を行う場合，入力変数（特徴量）の中に出力と無関係のものがあると近似精度が低下する場合が多いが，完全に無関係かどうかを判断するのは容易でない．本論文では，選択的不感化ニューラルネット（SDNN）を用いて，各入力変数が出力に関係するか，すなわち特徴量が有効かどうかを判別する方法を提案する．人工的に作成した関数近似課題を用いて学習実験を行ったところ，SDNN は無効変数が多く含まれていても，比較的少ないサンプルで十分に高い近似精度が得られること，無効変数のみに関係するSDNN の結合荷重はそれ以外のものに比べて分散が小さくなることがわかった．また，このことを利用して，出力と相関がないが関係する変数，限られた場合にのみ関係する変数や，単独では効果が薄いが相乗効果を発揮する変数のペアも無効変数と区別できるという結果が得られた．このことは，SDNN の計算コストの大幅な削減に利用できるとともに，従来よりも効果的な特徴選択や非線形データ解析の手法の開発につながると考えられる．
キーワード

関数近似，選択的不感化ニューラルネット，特徴選択，無効変数

1. ま え が き

入出力関係が非線形の場合適用できない．また，他の機械学習を用いて特徴量に基づくパターン分類や関わせ有効な特徴量）[6] や，ある特定の状況下でのみ出数近似を行う場合，入力する特徴量の中に出力値の決力に影響する特徴量（部分的有効な特徴量）[7] につい定に貢献せず，出力との関係性がないものが含まれてて，その有効性を正しく判別する現実的な方法は知らいる場合がある．このような特徴量のことを無効な特れていない．

特徴量と組み合わせて初めて有効となるもの（組み合徴量，これに対応する入力変数を無効変数と呼ぶ．こ

本研究では，入出力関係を機械学習を用いてモデルうした無効変数は，入力空間に対するサンプル密度の化し，そのモデルを解析することによってどの入力変相対的な低下につながり，多くの関数近似器において数（特徴量）が無効であるか判別することを考える．

近似精度の低下を引き起こす [1], [2] ことから，高精度

このような場合，モデル化を行う関数近似器は，以下な近似を行うためには除去することが望ましい．の特徴を有する必要があると考えられる．

しかしながら，特徴量が有効か否かを判別するのは（ 1 ） 無効特徴量や部分的有効な特徴量が多数含まそれほど容易ではない [3]〜[5]．最も簡単な有効性のれていても高精度に関数を近似できること．無効特徴

判別方法は入出力間の相関を求めることだが，これは量によって近似精度が大きく低下するのでは，学習後†の解析結果が信頼できない．また，部分的有効な特徴
筑波大学大学院システム情報工学研究科，つくば市
Graduate School of Systems and Information Engineering,
University of Tsukuba, 1–1–1 Tennodai, Tsukuba-shi, 305–8573 Japan†††††

筑波大学計算科学研究センター，つくば市

量の出力への寄与を正しく捉えられる必要がある．
（ 2 ） 各入力が出力にどのように寄与したのか，解析が容易であること．特徴量の除外や追加を繰り返し

Center for Computational Sciences, University of Tsukuba,て有効性を評価する方法よりも手間がかかるのではあ

1–1–1 Tennodai, Tsukuba-shi, 305–8577 Japan

まり意味がない．

筑波大学システム情報系，つくば市
Faculty of Engineering, Information and Systems, University

しかし，一般的な関数近似器ではこれらの条件を満of Tsukuba, 1–1–1 Tennodai, Tsukuba-shi, 305–8573 Japan

たしていない．例えば，放射状基底関数ネットワークa) E-mail: mor@bcl.esys.tsukuba.ac.jp
DOI:10.14923/transinfj.2018JDP7075

電子情報通信学会論文誌

は，無効特徴に弱い．サポートベクター回帰（SVR）c 一般社団法人電子情報通信学会 2019
D Vol. J102–D No. 8 pp. 567–574 567

電子情報通信学会論文誌 2019/8 Vol. J102–D No. 8

は非線形カーネルを用いないとモデル化を十分に行えないが，カーネルを介するため元の特徴量の有効性を解析しづらい．また，深層ニューラルネットは，入出力間の演算が非常に多いため解析が難しい．

3 層の多層パーセプトロンを用いて特徴量の有効性を判定した研究 [8] はあるが，無効特徴のみを対象としている．実問題では部分的有効特徴が含まれる場合が多いと思われるが，多層パーセプトロンは部分的有効特徴を苦手としており [7]，この研究でも扱われていない．
そこで本研究では，近年開発された選択的不感化ニューラルネット（Selective Desensitization Neural

Network: SDNN）[9] に着目した．SDNN は表現能力が非常に高いだけでなく，無効変数や部分的有効変数があっても高精度なモデル化が可能である [1], [7]．また，一般的な SDNN では学習時に結合荷重の最適化が行われる層が一つしかないうえ，各荷重には特定の二つの入力変数しか関わらないため，荷重の解析にFig. 1

図 1 関数近似を行う SDNN の構造
Structure of an SDNN for function approximation.

よって特徴量または特徴量ペアの寄与を他のニューラルネットに比べて容易に把握できると考えられる．

P 1 , P 2 , ..., P q を対応づけたルックアップテーブルを

しかしながら，SDNN を用いて特徴量の有効性を調作成することで，入力をコードパターンに変換する．

べる具体的な方法は不明であり，部分的有効特徴や組コードパターン P 1 , ..., P q には，同数の ±1 からなみ合わせて有効性が高まる特徴が含まれる場合に無効る n 次元 2 値パターン（n は偶数）を用いる．また，特徴と区別できるかも明らかでない．また，無効変数

2 つのコードパターンは表す値が近いほどパターン間が含まれる場合の SDNN の関数近似能力，特にサンの相関が大きく，離れるほど 0 に近づくことが望まし

プル数と近似精度との関係は調べられていない．以上

い．そのようなコードパターンの作成方法は幾つか存をふまえ本研究では，真値が明らかな人工関数の近似在するが [1], [12]，本研究では以下の手順を用いる．

課題を用いて，SDNN の無効変数に対するロバスト性

まず，+1 と −1 が半分ずつになるパターンをランを確認するとともに，学習後の結合荷重から無効変数ダムに作成して P 1 とする．P 1 の成分の中から +1 及や無効変数のペアを判別する方法を提案する．

び −1 をとるものを r 個ずつランダムに選び，それら2. 選択的不感化ニューラルネットの符号を反転して得られるパターンを P 2 とする．同

SDNN は，分散表現された入力の情報統合操作である「選択的不感化」を導入した順伝搬型ニューラル様に，P 2 の成分のうち 2r 個の符号を反転して P 3 とする．以下同様に，P k−1 の 2r 個の成分を反転することによって順次 P k を作成する．

ネットである [9]．本研究では一般的な関数近似問題でコードパターンの次元数 n，入力範囲の分割数 q ，用いられる，パターンコーディング [10], [11]，選択的隣接パターンの反転数 r は SDNN の表現能力・汎化

不感化，並列パーセプトロンからなる SDNN を使用能力に影響を与える．本研究では，予備実験を基にパする（図 1）．本章では SDNN の各要素の具体的な操ラメータの組み合わせを選択，全ての実験において同作について述べる．

一のパラメータを使用した．

2. 1 パターンコーディング

2. 2 選択的不感化

SDNN へ入力されたアナログ値は，まずパターン入力を分散表現した複数のパターンがあるとき，あコーディングにより多次元の 2 値パターン（コードるパターンの一部を他のパターンに合わせて不感化パターン）に変換される．具体的には，入力が取りう（中立値に変換）し，これらがもつ情報を統合するこる範囲を q 個に分割し，それぞれにコードパターンとを選択的不感化と呼ぶ（図 2）．本研究では不感化す

568

論文／選択的不感化ニューラルネットによる特徴量の有効性の分析

パーセプトロンのうち l 個が 1 を出すべきなのに，実際には k(< l) 個が 1 を出力したとする．このとき，0を出した m − k 個のうち，内部電位がしきい値に近いものから順に l − k 個選び，これらが誤っているとみなして学習を行う．k(> l) の場合は 1 を出した単純パーセプトロンを対象に，内部電位がしきい値に近いものから k − l 個学習を行う．

3. 実

1

験

SDNN の無効変数に対するロバスト性を定量的にFig. 2確認するとともに，学習後の結合荷重から無効変数を

図 2 選択的不感化の例
Example of selective desensitization.

判別する方法を探るために数値実験を行った．ここでいうロバスト性とは，無効変数が含まれている場合でるパターンを修飾パターン，不感化されるパターンをもできるだけ少ないサンプル数で誤差の増加を抑えられることを意味する．先行研究で使用された 2 変数関被修飾パターンと呼ぶことにする．
不 感 化 の 手 順 の 説 明 の た め ，具 体 的 に パ タ ー ン

数 [12] に無効変数を加えた 6 変数関数を人工的に作成

S = (s1 , s2 , ...sn ) をパターン C = (c1 , c2 , ...cn ) でし，これを SDNN と SVR を用いて近似したときの精不感化する場合について考える．また，S と C の各要度を比較した．また SDNN の結合荷重の分布と入力素にはあらかじめランダムに決められた 1 対 1 の対応変数の有効性との関係を調べた．

3. 1 標的関数と学習サンプル付けがなされているとする．

si と cj に対応があるとき，不感化後の素子 si は，si =1 + cj
si2(1)と表される．

cj = +1 の と き ，si の 値 は そ の ま ま 保 持 さ れ ，cj = −1 のときには中立値（= 0）に変換される．

本実験では，以下の 6 変数関数 f (x) を使用した．

x ∈ {(x1 , x2 , ..., x6 )|∀xi ∈ [0, 1]}
f (x) =⎧
⎨1 ((x1 − 0.5)2 + (x2 − 0.5)2 ≤ 0.04)⎩ 1 + x1 sin2 (6π √x x 2 ) (otherwise)2

1 2(2)

今，C の要素のうち半数は −1 であるため，この操作により半数の要素は 0，残り半数の要素は ±1 の値をx1 , x2 は f (x) の出力に寄与する有効変数，x3 , ..., x6

もつ 3 値パターン（s1 , s2 , ..., sn ）が得られる．このパが無効変数である．上記関数の定義域（6 次元の入力ターンを「C によって修飾された S 」と呼び，S(C)空間）中に設定した 0.001 間隔の格子点（10016 個）と表す．si と ci に対応づけがなされている場合の例

からランダムに 100000 点選び，これらの一部またはを図 2 に示す．

全部を学習サンプルとして学習と評価を行った．近似

u 個の入力変数とそれに対応したパターンがあると誤差の評価には，ランダムに選んだ学習サンプルとき，基本的にはこれらのパターンの全組み合わせで不は別の 10000 点における平均 2 乗誤差平方根（Root感化操作を行い，u(u − 1) 個の 3 値パターンを作成

mean squared error: RMSE）を用いた．

する．

2. 3 並列パーセプトロン
選択的不感化の結果得られた全パターンは，並列パーセプトロン [13] に入力される．並列パーセプトロ

3. 2 関数近似器とその設定
SDNN に用いたパラメータを表 1 に示す．なお並列パーセプトロンの素子のうち k 個が 1 を出した場
合，最終的な出力値は Z = 0.005k − 0.2 とした．

ンは {0, 1} のいずれかの値を出力する単純パーセプト

この SDNN に対して各サンプルを 500 回学習させロンを並列にならべたもので，各単純パーセプトロンた．ただし，学習の最中に学習サンプルに対する平均の出力値の合計に合わせて全体の出力を決定する．
並列パーセプトロンの学習には誤り訂正学習が用いられる [13]．例えば，ある入力に対し，m 個の単純絶対値誤差が 0.01 を下回った場合，その時点で学習を打ち切った．

SVR は ガ ウ シ ア ン カ ー ネ ル を 用 い ，c569=

電子情報通信学会論文誌 2019/8 Vol. J102–D No. 8
表 1 実験で使用した SDNN の各パラメータ
Table 1 Parameters of the SDNN used in the experiment.
パラメータ

設定値

入力範囲の分割数隣接パターンの反転数
パターンの要素数
単純パーセプトロン数

qrnm1012200280Fig. 4

図 3 サンプル数に対する平均 2 乗誤差平方根（点線は有効変数（2 変数）のみ，実線は有効変数（2 変数）と無効変数（4 変数）の両方を用いて近似した）
Fig. 3 Root mean squared error (RMSE) against thenumber of training samples.

図 4 SDNN の結合荷重のヒストグラム
Histogram of the synaptic weights of theSDNN.という点は一貫していた．無効変数に対する SDNNのロバスト性を示した先行研究 [1], [16] も合わせると，この結果はかなり一般性をもつと考えられる．
図 4 は，10000 点のサンプルを学習した時点での{2−5 , 2−4 , ..., 25 }，γ={2−5 , 2−4 , ..., 25 }，p=各素子群の n 個の素子から m 個の単純パーセプトロ{2−8 , 2−7 , ..., 2−1 } の範囲でグリッドサーチを行った．

ンへの mn 個の結合荷重の分布を示したものである．

SVR の実装には libSVM [14] を用いた．

入力変数 x1 , ..., x6 は，パターンコーディング及び選3. 3 結果

択的不感化によって X1 (X2 ), ..., X6 (X5 ) の 30 個のパ

SDNN と SVR のサンプル数に対する近似誤差の変ターンに変換される．これらのパターンは，修飾及び化を比較した（図 3）．SVR の場合，無効変数による被修飾パターンが有効変数か無効変数かによって 4 通誤差の増加量は，サンプル数にほとんど依らないのにりに分類される．パターン Xμ (Xν ) を表現する素子群

対し，SDNN ではサンプルが増えるにつれて誤差の増を Gμ,ν と表したとき，これらも 4 種類に分けられる．

加量が減り，サンプル数が 100000 のときには無効変

そこで，この 4 種類の素子群に関する結合荷重の分布数の影響はごくわずかになっている．また，サンプルを比較した．ヒストグラムの色は被修飾変数の有効性数が 10000 以上のとき，無効変数がある場合の SDNN（赤：有効，青：無効）を，背景は修飾変数の有効性をの方が，無効変数のない場合の SVR よりも近似精度表している．

が高い．
以上のように，SDNN の方がより少ないサンプルでこの図より，有効性の有無の組み合わせによって，結合荷重の分布が異なることがわかる．特に有効変数無効変数の影響を抑えることができており，無効変数同士の場合，荷重が 0 の結合が多数ある一方で絶対値に対してロバストだといえる．なお，標的関数を変えの大きなものも見られるのに対し，無効変数同士の場て同じ実験を行ったところ，一様でなだらかな関数の合には比較的分布の偏りが小さい．この分布の違いを場合には SVR の方が誤差が少ないことがあった．しか反映した数値的な指標が得られれば，それを基に入力し，急激な変化を含む複雑なものになるほど SDNN の変数の有効性を判断できる可能性がある．

優位性が高まる傾向が見られ，またどの場合も SDNN

そのような指標として，分布の分散，歪度，尖度及の方が少ないサンプルで無効変数の影響を抑えられる

び絶対値の平均を候補とし，各素子群，すなわち被修

570

論文／選択的不感化ニューラルネットによる特徴量の有効性の分析
表 2 各入力変数の有効性
Table 2 Eﬀectiveness of each input.
入力

有効性

x1x2 , x3x4 , x5x6 , ..., x10

有効変数組み合わせ有効変数
部分的有効変数
無効変数

重の分散に基づいて有効性を判断できるかどうか検討した．標的関数とサンプル数（10000 点），格子点ではなく連続値をサンプルとした以外の条件は実験 1 と同じである．

4. 1 標 的 関 数
本実験では，標的関数 f (x) として以下の式で表されるものを使用した．

x ∈ {(x1 , x2 , ..., x10 )|∀xi ∈ [0, 1]}
k(x) = x21 + x1 (x2 + x3 − 0.5)−2(x2 + x3 − 0.5)2−x1 + 2(x2 + x3 − 0.5) + 0.1

図5

様々な指標で集約した入力の各組み合わせに関する結合荷重
Fig. 5 Variance, skewness, kurtosis and mean of thesynaptic weights for each variable pair.

g(x) =f (x) =飾変数と修飾変数の組み合わせ（以下，変数ペアと呼ぶ）に関する結合荷重についてそれぞれ計算した結果を図 5 に示す．図の横軸は変数ペア，縦軸は各指標値⎧⎪⎪⎨k(x)+x4 −0.5 (x1 < 0.1) ∧ (x2 < 0.1)
k(x)+x −0.8

(x > 0.8)

55
⎪
⎪
⎩k(x)
(otherwise)⎧⎪(g(x) < 0)⎪⎨01(g(x) > 1)⎪⎪
⎩g(x) (otherwise)(3)

本関数では，x1 ，x2 ，x3 が有効変数である．特にを表す．図 5a〜図 5d を比べると，有効変数同士のペx2 と x3 は常に和の形で出力に影響を与えることからアとその他の違いが大きく，入力の有効性を判断する

単独での有効性は低いが，組み合わせると非常に有効上で最も効果的な指標は分散だと考えられる．またこであると考えられる．x4 ，x5 は，特定の条件下でのみれらの指標ごとに Cohen’s d [17], [18] を計算したと出力に影響する部分的有効変数であり，特に x4 は出ころ，分散の場合が最も大きかった．この値は 2 つの力との相関がほぼ 0 であるため相関分析では有効性をクラスの平均値の差をそれぞれの標準偏差を用いて正判断できない．x6 , ..., x10 は無効変数とした（表 2）．

規化したもので，これらが大きいほどクラスを分割す

4. 2 結るのに有効であることからも，分散が指標として最も実験 1 と同様に SDNN を用いて標的関数の近似を優れているといえる．

4. 実

験2果

行ったところ，真値との誤差（RMSE）は約 0.035 であり，高精度での近似ができた．変数ペアごとの結合荷重の分散を図 6 に示す．まず，有効変数，部分的有実験 1 で用いた関数は，個々の変数が有効か無効か効変数，無効変数で比較すると，被修飾変数の有効性明確に別れていた．しかし，実際には部分的に有効な順に分散値が大きくなることが見て取れる．組み合わ変数や，単独では有効でない変数が混じっていること

せ有効変数については，これらのペアの組み合わせにも想定される．このような場合にも，SDNN の結合荷対する分散が x2 ，x3 の片方のみ含まれるペアに比べ571

電子情報通信学会論文誌 2019/8 Vol. J102–D No. 8

図7

推定に使用した変数ペア数に対する近似誤差（変数ペアは荷重の分散が大きいものから使用）
Fig. 7 RMSE against the number of variable pairs
used to train the SDNN; the variable pairs
were used in order from the ones with thelargest variance of the synaptic weights.のペア X2 (X3 ), X3 (X2 ), X3 (X1 ), X2 (X1 ), X1 (X2 ),X1 (X3 ), X3 (X4 ), X3 (X6 ), X3 (X5 ) を用いて学習したとき，全 90 ペアを用いたときよりも誤差が小さくなった．この 9 ペアに含まれる変数は，一部無効なものも含まれるが，大部分が有効な変数（組み合わせ有効変数と部分的有効変数を含む）であり，無効変数同士のペアは含まれていない．また 50 番目までの変数ペアには無効変数同士のペアは含まれていないが，
図 6 各不感化パターンの結合荷重についての分散
Fig. 6 Variance of the synaptic weights for each variable pair.

k = 50 のときの誤差は k = 9 のときとほとんど同じであった．

9 ペアのみ用いた場合，全ペアを使用した場合に比べ計算コストは約 10 分の 1 に削減できる．それ以上非常に大きかった．以上のことから，組み合わせ有効有効変数を含むペアを追加しても誤差は減少しないこ

変数，部分的有効変数についても有効変数と同様に，と，逆に多少無効変数を含むペアが含まれていても誤分散値を用いることによって無効変数と区別すること差が増えることはないということから，使用するペアが可能であった．

を多めに選ぶことによって，必要な変数を誤って取りこの結果を利用して，計算コストをどの程度削減で除いてしまう危険性を避けられると考えられる．このきるか検討した．SDNN で関数近似を行う場合，特別ように，結合荷重の分散を指標に使用する変数ペアをな事前知識がない限り，全ての組み合わせで不感化を決めることによって，近似誤差の最小化と計算コスト行うのが一般的であるが，そうすると計算コストが入の大幅な削減が可能であることがわかった．

力次元数の 2 乗に比例して増大してしまう．結合荷重の分散値が大きい変数ペアのみを用いれば，その後の5. む す び

計算コストを減らすことができると考えられる．そこ

無効変数を含む関数近似課題について数値実験を行で，90 個の変数ペアを分散値の大きい順に並べ，最い，選択的不感化ニューラルネット（SDNN）が出力初の k ペアのみを用いて最初から学習をやり直して近に無関係な無効変数に対して十分にロバストであるこ似誤差を求めた．変数ペアの数 k に対する近似誤差のと，無効変数を含んだまま学習した後の結合荷重の分変化を図 7 に示す．結合荷重の分散値が大きい 9 個

布から変数の有効性を分析できる可能性があることを

572

論文／選択的不感化ニューラルネットによる特徴量の有効性の分析示した．特に，入力変数のペアごとの結合荷重の分散“Application of high-dimensional feature selection:の大きさから，無効変数のペアがほぼ特定でき，これevaluation for genomic prediction in man,” ScientiﬁcReports, vol.5, article number 10312, 2015. DOI:10.

によって無効な特徴量を判別できることを明らかにした．更に，有効だが出力と相関がない，特定の場合に1038/srep10312[3]のみ有効，2 つの特徴量を組み合わせないと有効性がture selection techniques in bioinformatics,” Bioinformatics, vol.23, no.19, pp.2507–2517, 2007.

低い，といった特徴量を含む場合でも，それらを残して無効である可能性の高いものだけを削除することに[4]

search, vol.3, pp.1157–1182, 2003.
[5]tion using data mining techniques,” Decision Support

これまでに多数の課題で同様の実験を行い，同様の結Systems, vol.50, no.2, pp.491–500, 2011. DOI:10.

果を得ている．このことから本研究の結果はある程度

1016/j.dss.2010.11.006[6]

O. Abedinia, N. Amjady, and H. Zareipour, “A newfeature selection technique for load and price fore-

わけではない．今後，更にさまざまな条件下で実験を

cast of electrical power systems,” IEEE Trans. Power

繰り返すとともに，有効な入力変数に関して分散が大Systems, vol.32, no.1, pp.62–74, 2016. DOI:10.1109/

きくなる理由について解析を進めることが課題である．
本研究の結果は，新たな特徴選択の手法を与えるとP. Ravisankar, V. Ravi, G.R. Rao, and I. Bose, “Detection of ﬁnancial statement fraud and feature selec-

本論文で扱った関数近似課題は 2 種類のみであるが，一般性があると考えられるが，理論的な裏付けがある

I. Guyon and A. Elisseeﬀ, “An introduction to variable and feature selection,” J. Machine Learning Re-

よって，近似精度を保ちつつ計算コストを大幅に削減できることを示した．

Y. Saeys, I. Inza, and P. Larranaga, “A review of fea-TPWRS.2016.2556620[7]

T. Tanno, K. Horie, J. Izawa, and M. Morita,“Robustness of selective desensitization perceptron

考えられる．特に部分的に有効な特徴量や 2 つの組みagainst irrelevant and partially relevant features in

合わせによってはじめて有効になる特徴量を誤って取

pattern classiﬁcation,” Proc. 24th International Con-

り除くことがないため，統計的指標を用いる従来の特ference on Neural Information Processing, pp.520–529, 2017.

徴選択手法よりも幅広い問題への適用が期待できる．
また，特徴量のさまざまな組み合わせを試す方法に比[8]べて，計算コストが圧倒的に少なくて済む．ただし，本論文の方法のままでは有効だが冗長な特徴量を除外[9]できない（例えば同じ特徴量が 2 重に入力されていた場合，どちらも必要と判断される）ため，まだ改良の余地がある．従来の特徴選択手法と定量的に比較する[10]

れた回帰分析に関する研究，名古屋工業大学博士学位論
文，2009.
森田昌彦，村田和彦，諸上茂光，末光厚夫，“選択的不感”信化法を適用した層状ニューラルネットの情報統合能力，学論（D-II），vol.J87-D-II, no.12, pp.2242–2252, Dec.
2004.
堀江和正，末光厚夫，丹野智博，森田昌彦，“選択的不感化ニューラルネットによる表面筋電位からの手首関節角” 信学論（D），vol.J99-D, no.6, pp.617–629,
速度推定，June 2016.

ことも今後の課題である．
また，特定の状況のみで意味をもつ変数や相乗効果をもつ変数を含む非線形データを解析する手法として

棚橋裕輔，多層パーセプトロンによる可読性と汎化性に優[11]

T. Tanno, K. Horie, T. Kobayashi, and M. Morita,も有望である．ただし，実験 2 の結果が示すように，“Eﬀect of patten coding on pattern classiﬁcation neu-

結合荷重の分散が大きいほど重要な変数とは限らない

ral networks,” Int. J. Machine Learning and Comput-

ため，例えばサンプル数や特徴量の組み合わせを変え

ing, vol.5, no.4, pp.339–343, 2015.
[12]野中和明，田中文英，森田昌彦，“階層型ニューラルネット” 信学論（D），vol.J94-D,の 2 変数関数近似能力の比較，
no.12, pp.2114–2125, Dec. 2011.

[13]

P. Auer, H. Burgsteiner, and W. Maass, “A learningることによって，各変数がどのように出力に貢献しているのか具体的に解析する手法を開発する必要があろう．

rule for very simple universal approximators consist-

謝辞 本研究は，JSPS 科研費 JP18H03304 の助成

ing of a single layer of perceptrons,” Neural Netw.,を受けたものである．
文[1]

vol.21, no.5, pp.786–795, 2008.

献

[14]

support vector machines,” ACM Trans. Intelligent

新保智之，山根 健，田中文英，森田昌彦，“選択的不感化ニューラルネットを用いた強化学習の価値関数近似，”信学論（D），vol.J93-D, no.6, pp.837–847, June 2010.
[2] M.L. Bermingham, R. Pong-Wong, A. Spiliopoulou,
C. Hayward, I. Rudan, H. Campbell, A.F. Wright,
J.F. Wilson, F. Agakov, P. Navarro, and C.S. Haley,

C.C. Chang and C.J. Lin, “libSVM: A library for
Systems and Technology, vol.2, no.3, pp.1–27, 2011.
DOI:10.1145/1961189.1961199[15]

X. Glorot and Y. Bengio, “Understanding the diﬃculty of training deep feedforward neural networks,”
Proc. Thirteenth International Conference on Artiﬁ-573

電子情報通信学会論文誌 2019/8 Vol. J102–D No. 8cial Intelligence and Statistics, pp.249–256, 2010.
[16]

T. Kobayashi, T. Shibuya, and M. Morita, “Qlearning in continuous state-action space with noisy
and redundant inputs by using a selective desensitization neural network,” J. Advanced Computational
Intelligence and Intelligent Informatics, vol.19, no.6,pp.825–832, 2015. DOI:10.20965/jaciii.2015.p0825[17]K.D. Vohs, N.L. Mead, and R.M. Goode, “The psychological consequences of money,” Science, vol.314,no.5802, pp.1154–1156, 2006.

[18]

A.D. Kramer, J.E. Guillory, and J.T. Hancock, “Experimental evidence of massive-scale emotional contagion through social networks,” Proc. Natl. Acad.
Sci., vol.111, no.24, pp.8788–8790, 2014.

（2018 年 11 月 29 日受付，2019 年 4 月 22 日早期公開）

染野翔一

平 29 筑波大学・工学システム学類卒．平
30 現在筑波大学システム情報工学研究科

博士前期課程在学中．神経回路網による情報処理の研究に従事．

堀江和正（正員）

平 24 筑波大学・工学システム学類卒．平29 同大大学院・博士後期課程修了．同年，同大研究員を経て平 30 より同大計算科学研究センター助教．機械学習による生体信号の認識，処理に関する研究に従事．

森田昌彦（正員）

昭 61 東大・工・計数卒．平 3 同大大学
院博士課程修了．日本学術振興会特別研究員，東京大学工学部助手を経て，平 4 筑波大学電子・情報工学系講師．同大機能工学系助教授などを経て，平 19 同大大学院システム情報工学研究科教授．現在同大システム情報系教授．脳の情報処理機構及び神経回路網による情報処理の研究に従事．平 5 日本神経回路学会研究賞，平 6 同学会
論文賞，平 11 日本心理学会研究奨励賞受賞．

574