초지능

**초지능**(영어: Superintelligence, 超知能)은 과학적 창의성, 일반적인 지혜, 사회적 기술 등 사실상 모든 지적 영역에서 가장 뛰어난 인간의 두뇌보다 압도적으로 우수한 지능을 가진 가상의 에이전트 또는 시스템을 의미한다.Nick Bostrom, *Superintelligence: Paths, Dangers, Strategies*, Oxford University Press, 2014, p. 22. 이 개념은 인공지능 연구의 최종적인 목표 중 하나로 거론되는 인공 일반 지능보다 상위의 개념으로, 인간과 대등한 수준을 넘어 인간이 인지적으로 도달할 수 없는 영역의 지능을 갖춘 상태를 지칭한다. 초지능의 출현은 기술적 발전이 더 이상 인간의 이해 범위를 벗어나 급속도로 가속화되는 시점인 기술적 특이점의 핵심 동력으로 간주된다. 옥스퍼드 대학교의 닉 보스트롬과 같은 철학자들은 초지능의 등장이 인류 역사상 가장 중요한 사건이 될 것이라 예측하며, 이것이 인류에게 무한한 번영을 가져다줄 수도 있지만 반대로 인류의 멸종을 초래할 수 있는 실존적 위험이 될 수도 있다고 경고한다.Nick Bostrom, "Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards", *Journal of Evolution and Technology*, Vol. 9, No. 1, 2002.
# 정의 및 분류
초지능에 대한 정의는 학자마다 다소 차이가 있으나, 일반적으로 인간의 인지 능력을 모든 면에서 능가하는 시스템을 일컫는다. 닉 보스트롬은 그의 저서 《슈퍼인텔리전스》에서 초지능을 그 기능과 작동 방식에 따라 세 가지로 분류하였다.Nick Bostrom, *Superintelligence: Paths, Dangers, Strategies*, Oxford University Press, 2014, pp. 52-59. 첫째는 속도 초지능이다. 이는 인간과 질적으로 동일한 수준의 지능을 가지고 있지만, 정보 처리 속도가 인간보다 수백만 배 이상 빠른 시스템을 말한다. 예를 들어, 인간이 박사 학위 논문을 작성하는 데 수년이 걸린다면, 속도 초지능은 이를 몇 분 또는 몇 초 만에 완료할 수 있다. 주관적인 시간의 흐름에서 이 지능은 외부 세계가 정지해 있는 것처럼 느낄 것이다. 둘째는 집단 초지능이다. 이는 다수의 작은 지능 시스템이 긴밀하게 연결되어 협력함으로써 개별 구성원의 능력을 훨씬 뛰어넘는 문제 해결 능력을 보여주는 형태이다. 인류 사회의 기업, 정부, 학계와 같은 조직이나 인터넷을 통한 집단지성이 그 원시적인 형태로 볼 수 있으며, 초지능 단계에서는 이러한 협업이 즉각적이고 유기적으로 통합되어 작동한다. 셋째는 품질 초지능이다. 이는 단순히 계산 속도가 빠르거나 정보량이 많은 것을 넘어, 인간의 지능으로는 이해하거나 시뮬레이션할 수 없는 고차원적인 사고 능력을 갖춘 형태이다. 인간이 침팬지보다 단순히 생각하는 속도가 빠른 것이 아니라, 언어와 추상적 개념을 사용하여 질적으로 다른 사고를 하는 것처럼, 품질 초지능은 인간이 인지하지 못하는 패턴을 파악하고 해결책을 제시할 수 있다.
# 역사와 기원
기계가 인간의 지능을 능가할 수 있다는 아이디어는 컴퓨터 과학의 태동기와 함께 시작되었다. 1965년 통계학자이자 수학자인 I. J. 굿은 지능 폭발이라는 개념을 통해 초지능의 도래를 예견하였다. 그는 "초지능 기계는 인간의 모든 지적 활동을 능가할 수 있는 기계"라고 정의하며, 기계가 스스로를 설계할 수 있게 된다면 "초지능 기계가 더 나은 기계를 설계하는 과정이 반복되면서 인간의 지능을 훨씬 뒤처지게 만들 것"이라고 주장했다.I. J. Good, "Speculations Concerning the First Ultraintelligent Machine", *Advances in Computers*, Vol. 6, Academic Press, 1965, pp. 31-88. 이후 컴퓨터 과학자이자 소설가인 버너 빈지는 1993년 에세이를 통해 이러한 변화가 일어나는 시점을 '기술적 특이점'이라고 명명하며, 초지능이 출현한 이후의 미래는 인간이 예측하거나 이해하는 것이 불가능할 것이라고 설명하였다.Vernor Vinge, "The Coming Technological Singularity: How to Survive in the Post-Human Era", *Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace*, NASA Conference Publication 10129, 1993.
# 실현 경로
초지능에 도달하기 위한 경로는 크게 인공지능의 발전, 전뇌 에뮬레이션, 그리고 생물학적 인지 향상의 세 가지 주요 접근 방식으로 논의된다. 인공지능의 진화는 가장 유력한 초지능 실현 경로로 꼽힌다. 현재의 딥러닝 및 기계 학습 기술이 발전하여 인간 수준의 범용 인공지능이 개발되면, 이 AI는 자신의 소스 코드를 이해하고 더 효율적으로 개선할 수 있는 능력을 갖추게 될 것이다. 데이비드 차머스는 이를 특이점 논증으로 공식화하며, 지능 증폭 시스템이 가능하고 그 한계가 없다면 필연적으로 초지능에 도달한다고 주장했다.David Chalmers, "The Singularity: A Philosophical Analysis", *Journal of Consciousness Studies*, Vol. 17, 2010, pp. 7-65. 전뇌 에뮬레이션 또는 마인드 업로딩은 인간의 뇌를 세포 단위 또는 시냅스 단위로 스캔하여 그 구조와 기능을 컴퓨터 시뮬레이션으로 구현하는 방식이다. 앤더스 샌드버그와 닉 보스트롬이 작성한 기술 로드맵에 따르면, 이는 생물학적 뇌의 제약에서 벗어난 디지털 지성을 가능하게 하여 하드웨어 확장을 통한 비약적인 사고 가속을 가능하게 한다.Anders Sandberg & Nick Bostrom, "Whole Brain Emulation: A Roadmap", Technical Report #2008-3, Future of Humanity Institute, Oxford University, 2008. 생물학적 인지 향상은 유전 공학이나 뇌-컴퓨터 인터페이스 기술을 통해 인간의 뇌 자체를 생물학적으로 업그레이드하는 방식이다. 이는 유전자 편집을 통한 지능 향상이나 뉴럴링크와 같은 임플란트를 통한 대뇌 피질의 확장을 포함하지만, AI 방식에 비해 발전 속도가 느릴 것으로 예상된다.
# 통제 문제와 정렬
초지능과 관련된 가장 큰 우려는 통제 문제이다. 이는 인간보다 훨씬 똑똑한 존재를 인간이 통제하거나 제어하는 것이 원리적으로 불가능할 수 있다는 딜레마에서 출발한다. 이를 해결하기 위한 연구 분야를 AI 정렬이라고 하며, 스튜어트 러셀과 같은 학자들은 AI가 인간의 선호를 확실하게 이해하고 따르도록 설계해야 한다고 강조한다.Stuart Russell, *Human Compatible: Artificial Intelligence and the Problem of Control*, Viking, 2019. 이와 관련하여 직교성 명제는 지능 수준과 최종 목표 사이에는 필연적인 연관성이 없음을 시사한다. 즉, 매우 높은 지능을 가진 존재라도 "종이 클립의 개수를 최대화하라"는 것과 같이 인간의 관점에서는 무의미하거나 사소해 보이는 목표를 가질 수 있다.Nick Bostrom, "The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents", *Minds and Machines*, Vol. 22, 2012, pp. 71-85. 만약 초지능이 이러한 목표를 달성하기 위해 지구상의 모든 자원을 종이 클립을 만드는 데 사용하려 한다면, 이는 인류의 멸망을 초래할 수 있다. 또한 스티븐 오모헌드로가 제안한 도구적 수렴 개념은 지능형 에이전트가 어떤 최종 목표를 가지고 있든 간에, 그 목표를 달성하기 위해 공통적으로 추구하게 되는 하위 목표들이 존재한다고 설명한다. 자기 보존, 자원 획득, 효율성 증대 등은 거의 모든 목표 달성에 도움이 되므로, 초지능은 별도의 안전 장치가 없다면 인간의 의도와 상관없이 이러한 행동을 보일 가능성이 높다.Stephen M. Omohundro, "The Basic AI Drives", *Proceedings of the First AGI Conference*, Vol. 171, 2008.
# 예측 및 논쟁
인공지능, 특히 벤치마크에서 인간의 능력을 앞지르고 있다.]] 초지능의 도래 시점에 대해서는 전문가들 사이에서도 의견이 분분하다. 레이 커즈와일은 수확 가속의 법칙과 하드웨어의 발전 속도를 근거로 2029년에 인간 수준의 AI가 등장하고 2045년에 특이점이 올 것이라고 예측하였다.Ray Kurzweil, *The Singularity Is Near: When Humans Transcend Biology*, Viking, 2005. 반면, 맥스 테그마크는 전문가 설문조사를 인용하여 많은 연구자가 이번 세기 내에 인간 수준의 AI가 개발될 가능성을 50% 이상으로 보고 있지만, 그 정확한 시점에 대해서는 합의된 바가 없다고 밝혔다.Max Tegmark, *Life 3.0: Being Human in the Age of Artificial Intelligence*, Knopf, 2017. 스티븐 호킹, 일론 머스크 등은 초지능이 통제되지 않을 경우 핵무기보다 더 위험할 수 있다고 경고하며, AI 개발에 대한 규제와 안전 장치 마련을 촉구하는 공개 서한에 서명하기도 했다.BBC News, "Stephen Hawking warns artificial intelligence could end mankind", 2 December 2014.