混合式神經 - 符號人工智慧（Neuro-symbolic AI）是整合神經網路人工智慧及符號人工智慧的架構，以解決這兩種 AI 方法的優缺點互補的問題，提供能夠推理、學習和認知建模的強大 AI。正如瓦利安特和許多人所說， 想要有效建立具有豐富計算能力的認知模型，需要結合可靠的符號推理和高效的機器學習模型。蓋瑞・馬可斯（Gary Marcus）認為：「如果沒有混合架構、豐富的先驗知識和複雜的推理技術這三駕馬車，我們就無法以合乎需要、自動化的方式打造豐富的認知模型。」此外，「為了建構一種強大、知識驅動的人工智慧方法，我們必須在套組中擁有符號處理機制。太多有用的知識是抽象的，若沒有用於表示和操作抽象知識的工具，就難以堪用，而迄今為止，我們所知道的唯一能可靠操縱這種抽象知識的運轉體系是符號處理機制。」

丹尼爾・卡尼曼的書《快思慢想 》中討論了兩種思維，Henry Kautz 、Francesca Rossi、和 Bart Selman 也主張綜合法，其論點即基於解決《快思慢想 》中的這兩種思維的需要。卡尼曼描述人類思維有兩個部分「系統 1 和系統 2」。


* 系統 1 較快、自動、直觀且無意識。用於模式識別。

* 系統 2 較慢、循序漸進且明確。用於處理計畫、演繹和審慎思考。

根據這種觀點，深度學習適合處理第一種認知，符號推理適合處理第二種認知。兩者都是強大、可靠的 AI 所必備的，可以學習、推理，並與人類互動以接受建議和回答問題。事實上，自 1990 年代以來，許多研究人員在人工智慧和認知科學領域已經在研究明確提及這兩種對比系統的雙歷程模型。



方法類型

整合方法種類繁多。Henry Kautz 提出的混合式神經 - 符號架構分類法以及一些例子如下：


* Symbolic Neural symbolic—— 是自然語言處理中許多神經模型的當前方法，其中詞或子詞片段（subword tokens）是大型語言模型的最終輸入和輸出。例子包括 BERT、RoBERTa 和 GPT-3 。

* Symbolic[Neural] —— 以 AlphaGo 為例，使用符號技術來調用神經技術。在這種情況下，符號方法採用蒙特卡洛樹搜索，神經技術學習如何評估遊戲位置。

* Neural|Symbolic—— 使用神經架構將感知型數據解釋為符號和關係，然後對其進行符號推理。神經概念學習器即為一例。

* Neural:Symbolic → Neural—— 依靠符號推理來生成或標記訓練資料，隨後交由深度學習模型學習，例如，使用類似 Macsyma 的符號數學系統來建立或標記示例，藉此訓練用於符號計算的神經模型.

* Neural\_{Symbolic} — 使用從符號規則生成的神經網路。一個例子是 「Neural Theorem Prover」 ，它從知識庫規則和術語生成的 AND-OR 證明樹建立神經網路。邏輯張量網路也屬於此類。

* Neural[Symbolic] —— 允許神經模型直接調用符號推理引擎，例如執行動作或評估狀態。

這些類別並不全面，例如，未考慮多智能體系統。Bader 和 Hitzler 在 2005 年提出了一個更詳細的分類，像是考慮了符號使用是否包括邏輯，如果包括，邏輯是命題邏輯還是一階邏輯。 2021 年有篇文章對 2005 年的分類法和 Kautz 的分類法進行了比較和對比。2020 年，Sepp Hochreiter 認為圖神經網路「...... 是混合式神經 - 符號計算的主要模型」，因為「它們描述了分子的屬性，模擬社交網路，或預測物理以及工程應用中具有粒子 - 粒子相互作用的的未來狀態。」[1]



作為通用人工智慧的先決條件

馬可斯認為「...... 結合學習和符號操作的混合架構對於強大的智能是必要的，但還不夠」， 並認為：

建立強大的人工智慧需要四個先決的認知條件：


* 將大規模學習與符號處理的表徵和計算能力相結合的混合架構。

* 大規模的知識庫（可能利用先天框架）結合了符號知識以及其他形式的知識。

* 推理機制能夠以易於處理的方式利用這些知識基礎。

* 與這些機制和知識庫攜手合作的豐富的認知模型。

這呼應了早在 1990 年代對混合模型的提倡。



歷史

Garcez 和 Lamb 描述該領域的研究至少在過去二十年一直在進行（實際上到現在已經三十多年了）。自 2005 年以來，每年都會舉辦一系列關於混合式神經 - 符號人工智慧的研討會 [2]。早在 1990 年代初期就組織了一批關於該主題的初期研討會。



未解決的研究問題

許多關鍵的研究問題仍然存在，例如：


* 整合神經網路架構和符號架構的最佳方式為何？

* 符號結構應該如何在神經網路中表示，並從中提取？

* 常識性知識應該如何學得和推理？

* 如何操作邏輯上難以編碼的抽象知識？



實作

混合式神經 - 符號方法的具體實作如下：


* 邏輯張量網路：將邏輯公式編碼為神經網路，同時從資料中學習術語神經編碼、術語權重和公式權重。

* DeepProbLog：將神經網路與 ProbLog 的機率推理相結合。



引文



參考文獻


* Bader. Dimensions of Neural-symbolic Integration - A Structured Survey.

* Garcez, Artur S. d'Avila; Broda, Krysia; Gabbay, Dov M.; Gabbay. Neural-Symbolic Learning Systems: Foundations and Applications. Springer Science & Business Media. 2002. ISBN 978-1-85233-512-0.

* Garcez, Artur; Besold, Tarek; De Raedt, Luc; Földiák, Peter; Hitzler, Pascal; Icard, Thomas; Kühnberger, Kai-Uwe; Lamb, Luís; Miikkulainen, Risto. Neural-Symbolic Learning and Reasoning: Contributions and Challenges. AAAI Spring Symposium - Knowledge Representation and Reasoning: Integrating Symbolic and Neural Approaches. Stanford, CA. 2015. doi:10.13140/2.1.1779.4243.

* Garcez. Neural-Symbolic Computing: An Effective Methodology for Principled Integration of Machine Learning and Reasoning.

* Garcez. Neurosymbolic AI: The 3rd Wave.

* Hochreiter, Sepp. "Toward a Broad AI." Commun. ACM 65(4): 56-57 (2022). https://dl.acm.org/doi/pdf/10.1145/3512715

* Honavar, Vasant. Symbolic Artificial Intelligence and Numeric Artificial Neural Networks: Towards a Resolution of the Dichotomy. The Springer International Series In Engineering and Computer Science. Springer US: 351–388. 1995. doi:10.1007/978-0-585-29599-2\_11.

* Kautz, Henry. The Third AI Summer, Henry Kautz, AAAI 2020 Robert S. Engelmore Memorial Award Lecture. 2020-02-11 [2022-07-06].

* Kautz, Henry. The Third AI Summer: AAAI Robert S. Engelmore Memorial Lecture. AI Magazine. 2022, 43 (1): 93–104 [2022-07-12]. ISSN 2371-9621. S2CID 248213051. doi:10.1609/aimag.v43i1.19122.

* Mao. The Neuro-Symbolic Concept Learner: Interpreting Scenes, Words, and Sentences From Natural Supervision.

* Marcus, Gary; Davis, Ernest. Rebooting AI: Building Artificial Intelligence We Can Trust. Vintage. 2019.

* Marcus. The Next Decade in AI: Four Steps Towards Robust Artificial Intelligence.

* Rossi, Francesca. AAAI2022: Thinking Fast and Slow in AI (AAAI 2022 Invited Talk). 2022-07-06 [2022-07-06].

* Selman, Bart. AAAI2022: Presidential Address: The State of AI. 2022-07-06 [2022-07-06].

* Serafini. Logic Tensor Networks: Deep Learning and Logical Reasoning from Data and Knowledge.

* Sun, Ron. Robust reasoning: Integrating rule-based and similarity-based reasoning. Artificial Intelligence. 1995, 75 (2): 241–296. doi:10.1016/0004-3702(94)00028-Y.

* Sun, Ron; Bookman, Lawrence. Computational Architectures Integrating Neural and Symbolic Processes. Kluwer. 1994.

* Sun, Ron; Alexandre, Frederic (1997). _Connectionist Symbolic Integration_. Lawrence Erlbaum Associates.

* Valiant, Leslie G. Knowledge Infusion: In Pursuit of Robustness in Artificial Intelligence. 2008.



參見


* 符號人工智慧

* 聯結主義人工智慧

* 混合智能系統



外部連結


* Artificial Intelligence: Workshop series on Neural-Symbolic Learning and Reasoning