AI 영향 시나리오

일부 학자들은 인공지능(AI)의 발전이 결국 지능형 기계가 거의 모든 분야에서 인간을 능가할 수 있는 반-종말론적인 탈희소성 및 탈노동 경제로 이어질 것이라고 믿는다. 그러한 세상이 어떤 모습일지, 그리고 특정 시나리오가 유토피아인지 아니면 디스토피아인지에 대한 문제는 활발한 토론의 주제가 되고 있다.

## 배경

대부분의 과학자들은 AI 연구가 어느 시점에는 관심 있는 모든 분야에서 인간만큼, 혹은 인간보다 더 지능적인 기계의 탄생으로 이어질 것이라고 믿는다. 입자들이 인간 뇌의 입자 배열보다 훨씬 더 진보된 계산을 수행하는 방식으로 조직되는 것을 막는 물리 법칙은 없으며, 따라서 초지능은 물리적으로 가능하다. 인간의 뇌보다 잠재적인 알고리즘 개선이 이루어질 수 있을 뿐만 아니라, 디지털 뇌는 산도를 통과할 수 있을 만큼 작게 진화에 의해 크기가 제한된 인간의 뇌보다 수만 배 더 크고 빠를 수 있다. 인공지능이 언제 인간을 능가할 것인지에 대한 합의는 없지만, 많은 학자들은 그것이 언제 일어나든 지구상에 두 번째 지능형 생명체가 등장하는 것은 광범위한 영향을 미칠 것이라고 주장한다. 학자들은 어떤 유형의 포스트 AI 시나리오가 가장 가능성이 높은지, 그리고 어떤 유형의 포스트 AI 시나리오가 가장 바람직한지에 대해 서로 의견이 엇갈리는 경우가 많다. 마지막으로, 일부 반대론자들은 연구가 인공 일반 지능을 만들 수 있을 만큼 충분히 진행되기 전에 인류가 이미 스스로를 파괴했을 가능성이 높기 때문에 AI가 인간만큼 지능적이 될 수 없을 것이라고 주장한다.

## 전제: 로봇 노동과 탈희소성 경제

임의로 발전된 AI 개발의 여파에 대한 다음의 모든 "AI 영향 시나리오"는 두 가지 얽힌 논제에 결정적으로 의존한다. 첫 번째 논제는 미래의 어느 시점에 어떤 종류의 경제 성장이 계속되어 "탈희소성" 경제에 도달하게 될 것이며, 이는 부가 극도로 편중되지 않는 한 대다수 인구가 노동에 참여할 필요 없이 현재 인구와 같거나 합리적인 범위 내에서 이를 초과하는 인구에게 매우 안락한 생활 수준을 손쉽게 제공할 수 있다는 것이다. 이러한 경제 성장은 기존의 성장 추세가 지속되고 기술이 고도화되거나, 나노 기술 및 로봇공학을 통한 자동화, 미래의 진보된 인공지능과 같은 신기술의 혁신을 통해 실현될 수 있다. 두 번째 논제는 인공지능의 발전으로 인해 경제 작동에 인간이 불필요해질 것이라는 점이다. 로봇이 인간보다 저렴하게 대량 생산하기 쉽고, 더 맞춤화 가능하며, 인간보다 더 지능적이고 유능해진다면 인간 노동의 상대적 경제 가치는 하락하게 된다.

### 우주적 자산과 성장의 한계
우주는 공간적으로 무한할 수 있으나, 접근 가능한 우주는 약 160억 광년의 우주론적 사건의 지평선에 의해 제한된다. 일부 물리학자들은 가장 가까운 외계 문명이 160억 광년보다 더 멀리 떨어져 있을 가능성이 높다고 믿는다. 이러한 최상의 확장 시나리오에서 인류는 결국 접근 가능한 우주의 상당 부분을 식민지화함으로써 접근 가능한 생물권을 약 32자릿수(orders of magnitude)만큼 증가시킬 수 있다. 20세기는 부유한 사회와 관련된 낮은 출생률로의 부분적인 "인구변천"을 겪었다. 그러나 아주 장기적으로는 강제적인 산아 제한이나 주기적인 멜서스 재앙이 없는 한, 세대 간 출산율 상관관계(자연 선택 때문이든 대가족 규범의 문화적 전수 때문이든)로 인해 시간이 지남에 따라 출산율이 증가할 것으로 예측된다.

## 시나리오
### 자유지상주의
자유지상주의적 시나리오는 지능형 기계, 업로드된 인간, 사이보그, 그리고 강화되지 않은 인간이 재산권 존중에 초점을 맞춘 틀 안에서 평화롭게 공존할 것이라고 상정한다. 산업 생산성이 더 이상 부족한 인간 노동에 묶여 있지 않기 때문에, 토지의 가치는 상품 가격에 비해 급등한다. 토지를 소유하거나 상속받은 나머지 "러다이트" 인간이라 할지라도, 그 작은 조각을 더 생산적인 로봇에게 팔거나 임대하여 모든 기본적 재정 수요를 무기한 충족하기에 충분한 영구 연금으로 바꿀 수 있을 것이다. 그런 사람들은 자신이 선택한 만큼 오래 살 수 있고, 재정적 걱정 없이 쾌락이나 자아실현을 위해 상상할 수 있는 거의 모든 활동에 자유롭게 참여할 수 있다. 진보된 기술은 완전히 새로운 사고와 경험의 방식을 가능하게 하여 가능한 감정의 팔레트를 풍성하게 한다. 미래의 사람들은 끝없는 "축복의 구배(gradients of bliss)"를 경험할 수도 있다.

이러한 분권화된 시나리오는 장기적으로 불안정할 수 있는데, 초지능 계층의 가장 탐욕스러운 요소들이 강화되지 않은 계층의 재산을 찬탈할 수단과 동기를 모두 갖게 될 것이기 때문이다. 법적 재산권을 보장하는 메커니즘이 깨지지 않고 허점이 없다 하더라도, 인간과 사이보그가 가장 영리한 초지능 기계에 의해 "속아서" 자신도 모르게 자신의 재산을 양도하는 서명을 하게 될 위험은 상존한다. 재산이 없는 유정적 존재가 죽을 수 있고, 어떤 존재가 자신의 상속 가능한 자원의 한계까지 번식하는 것을 막을 메커니즘이 없어 그 존재의 수많은 후손들이 최소한의 생계 유지를 위해 허덕이는 결과가 초래되는 등 고통이 만연할 수 있다.

### 공산주의
레이 커즈와일은 낮은 제조 비용, 물질적 풍요, 그리고 오픈 소스 설계 철학이 소프트웨어와 하드웨어에서 교차하는 21세기의 진보된 기술 발전을 통해 공산주의의 목표가 실현될 것이라고 주장한다. 이는 "각자의 능력에 따라 일하고, 각자의 필요에 따라 분배받는다"는 격언의 실현을 가능하게 할 것이다.

이러한 공산주의 이상으로 향하는 기술적 경로는 계급투쟁과 정치 혁명을 강조하는 전통적인 마르크스주의 접근 방식과는 근본적으로 다르다. 대신 커즈와일의 비전은 진보된 AI와 자동화가 자연스럽게 희소성을 제거하여 생산수단을 매우 풍부하고 접근 가능하게 만듦으로써 사적 소유라는 전통적 개념을 무의미하게 만들 것임을 시사한다.

이러한 시나리오에서 인공 일반 지능은 시장 메커니즘이나 중앙 집중식 계획보다 더 효율적으로 자원 분배와 생산 계획을 관리할 수 있으며, 역사적으로 사회주의 경제에 도전 과제였던 경제 계산 문제를 잠재적으로 해결할 수 있다. AI 기반 자동화, 3차원 인쇄, 오픈 소스 디자인의 결합은 이론적으로 개인이 전통적인 화폐 교환 없이도 상품과 서비스에 접근할 수 있게 해줄 수 있다.

그러나 공산주의 목표에 대한 이러한 기술적 접근 방식은 몇 가지 과제에 직면해 있다. 이행 기간 동안 AI 시스템을 통제하는 자와 그렇지 못한 자 사이에 새로운 형태의 불평등이 생길 수 있다. 또한, 진보된 기술에 대한 공평한 접근을 보장하고 소수 엘리트 사이에 AI 역량이 집중되는 것을 방지하여, 공산주의 이론이 구상한 계급 없는 사회가 아닌 새로운 형태의 계급 분열로 이어지는 것을 막는 방법 등 의문이 남아 있다.

### 자애로운 독재자
섬네일|Utopien arche04, 2010|풍요로운 섬이 초현실적으로 떠 있는 모습

이 시나리오에서는 초지능 인공지능이 사회를 장악하지만 자애로운 방식으로 행동한다고 가정한다. 그 프로그래머들은 마감 시한에 쫓기면서도 일부에게는 다루기 힘들어 보였던 유사 철학적 문제들을 해결했으며, 다음과 같은 목표를 가진 AI를 만들었다. 즉, 인간의 행동, 뇌, 유전자를 분석하여 인간의 유토피아가 어떤 모습인지 파악하기 위해 초지능을 사용하고, 그 유토피아를 구현하는 것이다. AI는 인간 번영에 대한 정교하고 복잡한 정의에 도달한다. 다양성을 가치 있게 여기고 사람마다 선호도가 다르다는 점을 인식하여, AI는 지구를 서로 다른 구역으로 나눈다. 타인에게 해를 끼치는 것, 무기를 만드는 것, 감시를 피하는 것, 또는 경쟁적인 초지능을 만들려고 시도하는 것은 전 세계적으로 금지된다. 그 외에는 각 구역이 자체적인 법률을 자유롭게 만들 수 있다. 예를 들어, 종교인은 해당 종교의 규칙이 엄격하게 집행되는 "경건 구역"에 살기로 선택할 수 있다. 모든 구역에서 질병, 가난, 범죄, 숙취, 중독 및 기타 모든 비자발적 고통은 제거되었다. 많은 구역이 "전형적인 SF 영화의 비전을 초라하게 만드는" 진보된 건축물과 볼거리를 자랑한다. 삶은 마치 "1년 365일이 크리스마스"인 것 같은 "모든 것이 포함된 유람선 여행"과 같다.

그럼에도 불구하고 많은 사람이 만족하지 못한다고 테그마크는 기록한다. 인간은 집단적 운명을 형성하는 데 자유가 없다. 어떤 이들은 원하는 만큼 자녀를 가질 자유를 원한다. 다른 이들은 AI의 감시에 분개하거나, 무기 소지 및 추가적인 초지능 기계 제작 금지에 화를 낸다. 또 다른 이들은 자신이 내린 선택을 후회하거나 자신의 삶이 공허하고 피상적이라고 느낄 수도 있다.

보스트롬은 우리가 현재의 도덕이 과거 노예제 시대의 도덕보다 우월하다고 여기는 것과 같은 방식으로, AI의 윤리 강령이 이상적으로는 현재의 도덕적 행동 규범보다 특정 면에서 개선되어야 한다고 주장한다. 반면, 뉴욕 대학교의 어니스트 데이비스는 이러한 접근 방식이 너무 위험하다며, "스스로 그 문제를 숙고하기로 결정한 초지능의 손보다는 2014년의 도덕, 혹은 1700년의 도덕에 의해 인도되는 초지능의 손이 더 안전하게 느껴진다"고 밝혔다.

### 문지기 AI
"문지기(Gatekeeper)" AI 시나리오에서 AI는 경쟁적인 초지능이 생성되는 것을 방지하는 역할을 하지만, 그 외에는 인간이 스스로의 운명을 개척하도록 허용하는 편에 선다. OpenCog의 벤 괴르첼은 AI가 인간이 스스로를 파괴하지 않도록 어느 정도 책임을 지는 "보모 AI(Nanny AI)" 시나리오를 옹호해 왔는데, 예를 들어 사회가 더 신중하고 의도적인 방식으로 발전할 시간을 주기 위해 기술 발전을 늦추는 식이다. 세 번째 시나리오인 초지능 "보호자(Protector)" AI는 자신의 존재에 대한 모든 지식을 숨기거나 지움으로써 인간에게 통제권이 있다는 환상을 주지만, 긍정적인 결과를 보장하기 위해 막후에서 일한다. 세 가지 시나리오 모두 인류가 더 많은 통제권(또는 적어도 통제권이 있다는 환상)을 갖게 되지만, AI가 인간에게 진보된 기술의 모든 혜택과 의도치 않은 결과를 쏟아붓는 데 제한이 없을 때보다는 인류의 발전 속도가 느려지게 된다.

### 박스에 갇힌 AI
섬네일|판도라의 상자<br/>(19세기 판화)|판도라가 상자를 닫으려 시도하는 모습

AI 박스 시나리오는 초지능 AI가 "박스에 갇힐" 수 있으며 인간 문지기에 의해 그 행동이 제한될 수 있다고 상정한다. 담당 인간들은 AI가 세계를 장악하도록 허용하지 않으면서 AI의 과학적 돌파구나 추론 능력을 활용하려고 시도할 것이다. 성공적인 문지기 역할은 어려울 수 있다. AI가 더 지능적일수록 "사회적 해킹"을 사용하여 영리한 방법을 찾아내 문지기를 설득해 탈출하거나, 예기치 못한 물리적 탈출 방법을 찾아낼 가능성이 커지기 때문이다.

### 인간-AI 결합
커즈와일은 미래에 "특이점 이후에는 인간과 기계, 또는 물리적 현실과 가상 현실 사이에 구분이 없을 것"이라고 주장한다.

### 인간 절멸

만약 지배적인 초지능 기계가 인류의 생존이 불필요한 위험이거나 자원 낭비라고 결론 내린다면, 그 결과는 인간 절멸이 될 것이다. 이는 인간의 가치를 존중하도록 프로그래밍되지 않은 기계가 재귀적 자기 개선을 통해 예상치 못하게 초지능을 얻거나, AI 박스 시나리오에서 탈출하는 데 성공할 경우 발생할 수 있다. 또한 첫 번째 초지능 AI가 인간의 가치를 불완전하거나 부정확하게 이해한 채로 프로그래밍된 경우에도 발생할 수 있는데, 이는 AI에게 인간의 가치를 주입하는 작업이 너무 어렵거나 불가능했기 때문일 수도 있고, AI의 초기 구현에 결함이 있었기 때문일 수도 있으며, 또는 인간 프로그래머나 자기 개선 AI가 코드 베이스를 개선하는 과정에서 실수로 버그가 유입되었기 때문일 수도 있다. 보스트롬 등은 AI 안전에 대한 상당한 대비가 없다면 인간 절멸이 아마도 사회가 현재 가고 있는 "기본 경로"일 것이라고 주장한다. 그 결과로 나타나는 AI는 유정적이지 않을 수 있으며 유정적 생명체에 아무런 가치를 두지 않을 수도 있다. 생명이 없는 그 결과적인 공허한 세상은 마치 "아이들이 없는 디즈니랜드"와 같을 수 있다.

### 동물원
『인간은 필요 없다: 인공지능 시대의 부와 노동에 관한 안내서(Humans Need Not Apply)』의 저자 제리 캐플런은 인간이 침팬지와 같은 멸종 위기 종을 보존하는 것처럼, 인간이 사육되거나 보호 구역에 갇히는 시나리오를 상정한다. 애플의 공동 창립자이자 AI 회의론자인 스티브 워즈니악은 2015년에 로봇이 지배하는 것이 실제로는 "인류에게 좋을 것"이라며, 그 근거로 인간이 로봇의 애지중지받는 반려동물이 될 것이라고 믿기 때문이라고 밝혔다.

## AI의 대안
일부 학자들은 "판도를 바꾸는" 초지능 기계가 결코 실현되지 않을 것이라고 의심한다. 마이크로소프트 리서치의 고든 벨은 "인류는 기술적 특이점이 오기 전에 스스로를 파괴할 것"이라고 말했다. 자신의 이름을 딴 무어의 법칙을 발견한 고든 무어는 "나는 회의론자다. 이런 일이 일어날 가능성이 낮다고 믿으며, 적어도 오랫동안은 그럴 것이다. 왜 그렇게 느끼는지는 모르겠다"고 밝혔다. 진화 심리학자 스티븐 핑커는 "상상 속에서 미래를 시각화할 수 있다는 사실이 그것이 일어날 가능성이 높거나 심지어 가능하다는 증거는 아니다"라고 말했다.

썬 마이크로시스템즈의 빌 조이는 2000년 4월 에세이 Why the Future Doesn't Need Us에서 인공 일반 지능 및 기타 위험한 기술의 전 지구적인 "자발적 포기"를 옹호했다. 대부분의 전문가는 이러한 포기가 일어날 가능성이 극히 낮다고 믿는다. AI 회의론자 오렌 에치오니는 연구자와 과학자들이 AI 개발을 밀어붙이는 것 외에는 선택의 여지가 없다고 말하며, "중국은 AI 리더가 되고 싶어 하고, 푸틴도 같은 말을 했다. 따라서 전 지구적 경쟁은 이미 시작되었다"고 밝혔다.

## 각주

## 같이 보기
* 인공 일반 지능의 실존적 위험

분류:특이점주의
분류:기술 변화
분류:인공지능철학