自己組織化写像
自己組織化写像は入力層と競合層(出力層)からなる2層構造の教師なし学習ニューラルネットワークである。入力層は単に入力を与えるだけであるため、競合層のみを単に自己組織化写像と呼ぶこともある。
入力は n {\displaystyle n} 次元の数値データであり、出力は競合層に配置されたノードとなる。各ノードは m {\displaystyle m} 次元空間上に配置され、それぞれのノードに入力データの次元と同じ次元のベクトルが対応付けられている。この対応付けられたベクトルのことを重みベクトルと呼び、この重みベクトルを更新することで学習が行われる。
競合層のノード配置の次元は自由に設定できる。最も基本的な利用法は、2次元上にノードを配置し、高次元データを学習させることで高次元データの関係性を可視化するというものである。このように、自己組織化写像は高次元のデータ間に存在する非線形な関係を簡単に幾何学的関係を持つ像に変換することができる。
現在、自己組織化写像には様々なバリエーションがあり、従来の自己組織化写像を基本SOM (Basic SOM, BSOM) と呼ぶことがある。しかし、BSOMという略し方は後述するバッチ学習SOM (Batch Learning SOM, BL-SOM) と混同しかねないため望ましくない。
学習プロセスにおいては、写像が構築される。ニューラルネットは競合学習を用いて自己組織化する。ネットワークは多くの入力を必要とする。次のフェーズで出現しそうな入力ベクトルをあらん限り食わせるといい(あれば、だが)。さもなければ、入力ベクトルを何度も繰り返し与える。
写像プロセスにおいては、新しい入力ベクトルは速やかにマップ上の位置が与えられ、自動的に分類される。ただ一つの勝者ニューロンが存在する。このニューロンは重みベクトルが入力ベクトルに最も近いものであり、各ニューロンの重みベクトルと入力ベクトルとのユークリッド距離を計算することで簡単に決定できる。
generative topographic map (GTM) はSOMの新しいバージョンの一つである。GTMは1996年にBishop, Svensen, Williamsの論文中で初めて発表された。GTMは確率モデルであり、おそらく収束する。また、近傍半径の収縮や学習係数の減少を必要としない。
GTMは生成モデルである。入力データを「まず低次元空間側で確率的に点を選び、それを観測された高次元入力データの空間上の点に滑らかな関数で写像した後でノイズを加えたもの」と仮定する。低次元側の確率分布、滑らかな関数、そして高次元側でのノイズのパラメータは全てEMアルゴリズム (en:EM_algorithm) によって入力データから学習される。