聯結主義

聯結主義（Connectionism）是認知科學領域的一種方法，期望能夠以人工神經網路（ANN）來解釋人腦、心理、精神及心靈等現象。

基本原則

聯結主義的中心原則是認為，心理及精神現象，可以透過簡單且經常一致的單元互相聯結的網路來描述。不同模型的聯結及單元形式可以有所不同。例如，網路的單元及聯結可以分別表示神經元及突觸，如同人腦那樣。

1.1 擴散啟用

在大多數聯結主義模型中，網路會隨著時間而變化。聯結主義模型的一個密切且普遍的特徵是啟用 。任何時候，網路中的單元都會有個啟用，而該啟用是表示該單元在某方面的數值。例如，如果模型中的單位是神經元，則啟用可以表示神經元產生動作電位峰值的機率 。啟用通常會傳遞到與其聯結的所有其他單元。擴散啟用一直是神經網路模型的特徵，而該特徵在認知心理學家使用的聯結主義模型中也很常見。

1.2 神經網路

迄今為止，神經網路是最常用的聯結主義模型。儘管神經網路模型種類繁多，但它們幾乎始終遵循關於思維的兩個基本原則：

任何心理狀態都可以描述為網路中神經單元上數字啟用值的 N 維向量。
記憶是透過修改神經單元之間的聯結強度來建立的。聯結強度或 “權重” 通常表示為 N×N 矩陣。

大多數神經網路模型中的變化來自：

單元的解釋（interpretation of units）：單元可以解釋為神經元或神經元組。
啟用的定義（definition of activation）：啟用可以透過多種方式進行定義。例如，在玻爾茲曼機中，啟用被解釋為產生動作電位尖峰的機率，並透過邏輯函式確定輸入到單元的總和。
學習演演算法（learning algorithm）：不同的網路以不同的方式修改其聯結。通常，聯結權重會隨時間的改變，用於該變化的數學定義都稱為 “學習演演算法”。

聯結主義者一致認為，與前饋神經網路（無迴圈的有向網路，稱為 DAG）相比，迴圈神經網路（其中的網路聯結可以形成有向迴圈的有向網路）是更好的大腦模型。許多遞迴聯結主義模型也納入了動力學系統理論。許多研究者，例如聯結主義者，皆認為聯結主義模型將朝著完全地連續、高維度、非線性的動態系統方式發展。

1.3 生物現實主義

一般而言，聯結主義者的工作不需要具有生物學上的現實意義，因此缺乏神經科學的合理性。

1.4 學習

神經網路中的權重根據某些學習規則或演演算法（如赫布學習）進行調整。因此，聯結主義者為神經網路建立了許多複雜的學習過程。學習總是涉及修改聯結權重。通常，給定的資料集由神經單元的某個子集的啟用向量組成時，這些公式會涉及到數學公式，以確定權重的變化。設計基於聯結主義的教學方法是近年來研究的熱點。

藉由這種方式正規化學習，聯結主義者能夠使用許多工具。在聯結主義的學習方法中，有一種很常見的策略是在以權重矩陣所定義的空間中，於該空間的誤差表面與梯度下降合併。在聯結主義者模型中，所有梯度下降學習都涉及透過誤差表面對應於權重的偏導數來更改每個權重。反向傳播（BP）最早流行於 1980 年代，它可能是當今最普遍的聯結主義梯度下降演算法。

歷史

聯結主義的思想可以追溯到一個世紀以前，在 20 世紀中後期之前，這些思想仍僅止於猜測。

2.1 分散式並行處理（PDP）

當今流行的聯結主義方法，最初稱為分散式平行處理 （英語：Parallel distributed processing，PDP），是一種人工神經網路方法，強調了神經處理的並行性以及神經表徵的分散性，為研究人員提供了一個通用的數學框架。主要包括八個方面：

一組處理單元，由一組整數表示。
單元的啟用，由時間相關函式的向量表示。
單元的輸出函式，由啟用函式的向量表示。
單元之間的連通性模式，由表示聯結強度的實數矩陣表示。
透過聯結傳播啟用的傳播規則，以單位輸出上的函式表示。
啟用規則，用於組合送到單元的輸入，以確定單元有新的啟用，由當前啟用和傳播函式表示。
根據經驗修改聯結的學習規則，以基於任意數量的變數的權重變化表示。
為系統提供經驗的環境，以單元之中某些子集的啟用向量集表示。

許多造成 PDP 發展的研究都是在 1970 年代完成，但是直到 1980 年代出版了《 分散式並行處理：認知微觀結構的探索》第一卷（基礎）及第二卷（心理和生物學模型），作者為詹姆斯・L・麥克萊蘭德 ，戴維・E・魯梅爾哈特和 PDP 研究小組，PDP 才開始流行。 如今，這些書被認為是有著巨大影響的聯結主義著作，雖然書中未使用過 “聯結主義” 一詞，但仍普遍視 PDP 等同於聯結主義。

2.2 早期工作

PDP 的直接根源是研究人員的感知器理論，例如 1950 年代和 1960 年代的。但是，由馬文・閔斯基和西摩爾・派普特在 1969 年出版的《 感知器 》一書，使感知器模型變得非常不得人心。它詳述了單層（無隱藏層）感知器計算功能的侷限性，甚至無法執行如異或問題 （exclusive disjunction，如判斷這是蘋果還是桔子，但不是二者皆是）這樣的簡單功能。 藉由證明多層次非線性神經網路更加強大，並可用於大量的函式陣列，PDP 克服了這項難關。

許多早期的研究人員提倡聯結主義風格的模型，例如 1940 年代和 1950 年代的沃倫・麥卡洛克、沃爾特・皮茨 （ MP 神經元 ）、唐納德・赫布和卡爾・拉什利。麥卡洛克和皮茨展示了神經系統如何實現一階邏輯 ：其經典論文《神經活動中內在思想的邏輯演算》（1943）深深影響了這方面的發展，而他們則是受到了在 1930 年代的重要成果之影響。赫布對神經功能的推測做出了巨大貢獻，並提出了一種叫做赫布學習的學習原則 ，一直使用至今。拉什利（Lashley）主張採用分散式表示法，這是因為他在多年的病變實驗中，並未發現任何類似於區域性印跡的東西。

2.3 PDP 以外的聯結主義

雖然 PDP 是聯結主義的主要形式，但還有其他理論工作也應歸類為聯結主義。

許多聯結主義的原理可以追溯到心理學的早期工作，例如威廉・詹姆士。 基於人腦知識的心理學理論在 19 世紀後期很流行。早在 1869 年，神經學家約翰・休格林・傑克遜就主張多層次分散式系統。在此基礎上，赫伯特・斯賓塞的《心理學原理 》第 3 版（1872 年）和西格蒙德・弗洛伊德的《科學心理學計劃》（1895 年）提出了聯結主義或原型聯結主義理論，而這些往往只是推測性的理論。到了 20 世紀初，愛德華・桑戴克進行了嘗試建立聯結型網路的實驗。

弗里德里希・哈耶克在 1920 年發表的一篇論文中，獨立構思了赫本突觸學習模型，將該模型發展成由赫本突觸網路所構成的「全球腦理論」，構成更大的地圖系統和記憶網路。弗蘭克・羅森布拉特在其感知器論文中引用了哈耶克的突破性成果。

聯結主義模型的另一種形式，是由語言學家在 1960 年代開發的關係網路框架。關係網路僅由語言學家使用，從未與 PDP 方法統一，因此，現今很少研究人員使用。

另外還有混合聯結主義模型，主要是將符號表徵與神經網路模型混合在一起。一些如的研究人員提倡混合方法。

聯結主義與計算主義之爭

隨著聯結主義在 1980 年代後期變得越來越流行，一些研究人員（包括傑瑞・福多，史迪芬・平克等）對此表示反對。他們認為，隨著當時的發展，聯結主義威脅到經典的計算主義方法，並抹去認知科學和心理學領域正在取得的進步。計算主義是認知主義的一種特殊形式，認為心理活動是計算性的，也就是說，大腦透過對圖靈機之類的符號，執行純粹的形式運算來進行操作。一些研究人員認為，聯結主義的趨勢代表著聯想主義的迴歸，以及對思想語言概念的放棄，而他們對此感到不以為然。相比之下，聯結主義的趨勢使得聯結主義對其它研究人員而言，變得更具吸引力。

聯結主義和計算主義不必然矛盾，但是在 1980 年代末和 1990 年代初的爭論，造成了兩種方法之間的對立。在整個爭論中，一些研究人員認為，儘管尚未就此問題完全達成共識，但是聯結主義和計算主義可完全相容。兩種方法的差異包括：

計算主義者假定符號模型在結構上類似於大腦的底層結構，而聯結主義者則進行 “低層次” 建模，以確保其模型類似於神經結構。
一般來說，計算主義者專注於關注外在符號的結構（心智模型）和內部操作的句法規則，而聯結論者則關注從環境刺激中學習，並以神經元之間的聯結形式儲存此資訊。
計算主義者認為，內在的心理活動是由顯式符號的操作組成，而聯結主義者認為，對於心理活動，顯式符號的操作會給出拙劣模型。
計算主義者通常會假設存在領域特定的符號子系統，輔助特定認知領域的學習（例如語言、意圖、數字），而聯結主義者則提出一個或一小部分的通用學習機制。

儘管存在這些差異，一些理論家提出，聯結主義架構只是有機大腦碰巧實現符號作業系統的一種方式。這在邏輯上是可能的，因為眾所周知的事實，聯結主義模型可以實現計算主義模型中的符號作業系統，如果這個模型要解釋人類執行「符號操作任務」的能力，則確實必須做到這一點。但爭論的焦點在於這種符號操作是否構成了一般認知的基礎，所以這並不是對計算主義的潛在辯護。然而，舉例來說，計算性描述可能有助於對邏輯認知的高階描述。

爭論主要集中在邏輯論點上，即聯結主義網路是否能產生「這種在推理中觀察到的句法結構」。儘管聯結主義的處理過程在大腦中不太可能實現，，但後來仍實現了這樣的句法結構，因此爭論仍在持續。截至 2016 年，神經生理學進展和一般神經網路的理解的進步，導致了很多此類的早期問題得以成功地建模，因此，關於基本認知的爭論在很大程度上取決於贊成聯結主義的神經科學家。然而，這些近期的發展尚未在心理學或心靈哲學等其他領域中達成共識。

近年來，動態系統流行於心靈哲學領域，為這一爭論提供了新的視角；一些作者現在認為，聯結主義和計算主義之間的任何分裂，更確切地說是計算主義和動態系統之間的分裂。

2014 年， DeepMind 的艾力克斯・格雷夫斯等人發表了一系列論文，描述了一種新型的深度神經網路結構，稱為。該結構能夠讀取磁帶上的符號，並將符號儲存在記憶體中。關係網路是 DeepMind 發行的另一個深度網路模組，能夠建立類似客體的表徵形式，並操縱它們來回答複雜的問題。關係網路和神經圖靈機進一步證明了聯結主義和計算主義不必矛盾。