신경-기호 AI

**신경-기호 AI** 또는 **뉴로-심볼릭 AI**(Neuro-symbolic AI)는 인공지능의 한 종류로, 각 아키텍처의 약점을 해결하기 위해 연결주의 및 기호주의 인공지능 아키텍처를 통합하여 자동화된 추론, 학습 및 인지 모델링이 가능한 강력한 AI를 제공한다. 레슬리 밸리언트 등이 주장했듯이, 풍부한 계산 인지 모델을 효과적으로 구축하려면 기호 추론과 효율적인 기계 학습의 조합이 필요하다.

게리 마커스는 "하이브리드 아키텍처, 풍부한 사전 지식, 정교한 추론 기술이라는 세 가지 요소를 갖추지 않고는 풍부한 인지 모델을 적절하고 자동화된 방식으로 구축할 수 없다"고 주장했다. 또한 "견고하고 지식 기반의 AI 접근 방식을 구축하려면 도구 키트에 기호 조작의 메커니즘이 있어야 한다. 너무 많은 유용한 지식은 추상적이며, 추상화를 나타내고 조작하는 도구 없이는 진행할 수 없으며, 현재까지 이러한 추상적 지식을 안정적으로 조작할 수 있는 유일한 알려진 메커니즘은 기호 조작 장치이다."라고 덧붙였다.

안젤로 달리, 헨리 카우츠, 프란체스카 로시, 바트 셀먼 또한 이러한 통합을 주장했다. 그들의 주장은 대니얼 카너먼의 저서 생각의 속도와 느림에서 논의된 두 가지 사고 방식을 다루려고 시도한다. 이 책은 인지를 두 가지 구성 요소로 설명한다. 시스템 1은 빠르고, 반사적이며, 직관적이고, 무의식적이다. 시스템 2는 느리고, 단계적이며, 명시적이다. 시스템 1은 패턴 인식에 사용된다. 시스템 2는 계획, 연역 및 숙고적 사고를 처리한다. 이 관점에서 딥 러닝은 첫 번째 종류의 인지를 가장 잘 처리하는 반면, 기호 추론은 두 번째 종류를 가장 잘 처리한다. 학습하고, 추론하며, 인간과 상호 작용하여 조언을 받아들이고 질문에 답할 수 있는 견고하고 신뢰할 수 있는 AI에는 두 가지 모두가 필요하다. 이 두 가지 대조적인 시스템에 대한 명시적인 참조가 있는 이러한 이중 프로세스 모델은 1990년대부터 AI 및 인지 과학 분야에서 여러 연구자들에 의해 연구되어 왔다.

## 접근 방식

통합을 위한 접근 방식은 다양하다. 헨리 카우츠의 신경-기호 아키텍처 분류와 몇 가지 예시는 다음과 같다.
* **기호 신경 기호**는 자연어 처리에서 많은 신경 모델의 현재 접근 방식이며, 단어 또는 하위 단어 토큰이 거대 언어 모델의 궁극적인 입력 및 출력이다. 예시로는 BERT, RoBERTa 및 GPT-3이 있다.
* **기호[신경]**은 알파고에 의해 예시되며, 기호 기술이 신경 기술을 호출하는 데 사용된다. 이 경우 기호 접근 방식은 몬테카를로 트리 탐색이고 신경 기술은 게임 위치를 평가하는 방법을 학습한다.
* **신경 | 기호**는 신경 아키텍처를 사용하여 지각 데이터를 기호적으로 추론되는 기호 및 관계로 해석한다. 뉴럴-개념 학습기(Neural-Concept Learner)가 한 예시이다.
* **신경: 기호 → 신경**은 훈련 데이터를 생성하거나 레이블링하는 데 기호 추론에 의존하며, 이 데이터는 이후 딥 러닝 모델에 의해 학습된다. 예를 들어, Macsyma와 같은 기호계산 시스템을 사용하여 예시를 생성하거나 레이블링함으로써 기호 계산을 위한 신경 모델을 훈련한다.
* **신경<sub>기호</sub>**는 기호 규칙에서 생성된 인공신경망을 사용한다. 한 예시로는 지식 기반 규칙 및 용어에서 생성된 AND-OR 트리 증명 트리에서 신경망을 구축하는 신경 정리 증명기(Neural Theorem Prover)가 있다. 로직 텐서 네트워크(Logic Tensor Networks)도 이 범주에 속한다.
* **신경[기호]**는 신경 모델이 기호 추론 엔진을 직접 호출할 수 있도록 한다. 예를 들어, 작업을 수행하거나 상태를 평가하는 것이다. 한 예로는 챗GPT가 플러그인을 사용하여 울프럼 알파를 쿼리하는 것이다.

이러한 범주는 다중 에이전트 시스템을 고려하지 않으므로 완전하지 않다. 2005년에 베이더(Bader)와 파스칼 히츨러는 기호 사용에 논리가 포함되었는지 여부와 논리가 명제 논리인지 1차 논리인지를 고려하는 등 더 세분화된 분류를 제시했다. 2005년 분류와 위에 제시된 카우츠의 분류는 2021년 기사에서 비교 및 대조되었다. 최근 제프 호크라이터는 그래프 신경망이 "...분자 특성을 설명하고, 소셜 네트워크를 시뮬레이션하며, 입자 간 상호 작용이 있는 물리 및 엔지니어링 응용 분야에서 미래 상태를 예측하기" 때문에 "...신경-기호 컴퓨팅의 주요 모델"이라고 주장했다.

## 인공 일반 지능

게리 마커스는 "...학습과 기호 조작을 결합한 하이브리드 아키텍처는 강력한 지능에 필수적이지만 충분하지는 않다"고 주장하며, 다음과 같은 내용이 있다고 말한다.

이는 1990년대 초부터 하이브리드 모델에 대한 이전 요구와 일치한다.

## 역사

아르투르 가르세스와 램(Lamb)은 이 분야의 연구가 적어도 1990년대부터 진행되어 왔다고 설명했다. 그 당시에는 기호적 및 하위 기호적 AI라는 용어가 널리 사용되었다.

신경-기호 AI에 관한 일련의 워크숍은 2005년부터 매년 개최되어 왔다. 1990년대 초에는 이 주제에 대한 초기 워크숍이 개최되었다.

## 연구

다음과 같은 주요 연구 질문들이 남아 있다.
* 신경 아키텍처와 기호 아키텍처를 통합하는 가장 좋은 방법은 무엇인가?
* 신경망 내에서 기호 구조는 어떻게 표현되고 추출되어야 하는가?
* 상식 지식은 어떻게 학습되고 추론되어야 하는가?
* 논리적으로 인코딩하기 어려운 추상적 지식은 어떻게 처리할 수 있는가?

## 구현

신경-기호 접근 방식의 구현 예시는 다음과 같다.
* AllegroGraph: 신경-기호 응용 프로그램 개발을 위한 통합 지식 그래프 기반 플랫폼이다.
* Scallop: 데이터로그 기반의 언어로, 미분 가능한 논리 및 관계형 추론을 지원한다. Scallop은 파이썬 및 PyTorch 학습 모듈과 통합될 수 있다.
* 로직 텐서 네트워크(Logic Tensor Networks): 논리 공식을 신경망으로 인코딩하고 동시에 용어 인코딩, 용어 가중치 및 공식 가중치를 학습한다.
* DeepProbLog: 신경망과 ProbLog의 확률론적 추론을 결합한다.
* SymbolicAI: 구성 가능한 미분 가능한 프로그래밍 라이브러리이다.
* 설명 가능한 신경망(Explainable Neural Networks, XNNs): 신경망과 기호 초그래프를 결합하고 역전파와 귀납법이라는 기호 학습의 혼합을 사용하여 훈련한다.

## 같이 보기
* 기호주의 인공지능
* 연결주의 인공지능
* 하이브리드 인텔리전트 시스템

## 각주

## 참고 문헌
* 
* 
* 
* 
* 
* 
* 
* Hochreiter, Sepp. "Toward a Broad AI." Commun. ACM 65(4): 56–57 (2022). Toward a broad AI
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* 
* Sun, Ron; Alexandre, Frederic (1997). Connectionist Symbolic Integration. Lawrence Erlbaum Associates.
* 

* 

## 외부 링크
* 인공지능: 신경-기호 학습 및 추론 워크숍 시리즈

분류:인공지능