로코의 바실리스크

**로코의 바실리스크** 는 미래에 선의를 지닌 인공 초지능이 존재할 수 있다는 사고 실험으로, 이 초지능이 자신의 잠재적 존재를 알고 있으면서도 그 발전이나 개발에 직접 기여하지 않은 사람을 처벌해 발전을 유도할 수 있다는 내용이다. 이는 합리주의 커뮤니티 웹 포럼인 *LessWrong* 의 2010년 게시글에서 유래했다.
 이 사고 실험의 이름은 게시글 작성자인 로코와, 눈빛으로 적을 파괴할 수 있다고 전해지는 신화 속 생물인 바실리스크에서 따왔다.

LessWrong 공동 설립자인 Eliezer Yudkowsky는 이를 잠재적인 정보 위험으로 판단해 5년 동안 사이트에서 바실리스크 관련 논의를 금지했다. 이후 공황에 빠졌다는 일부 사용자들의 보고는 과장되었거나 중요하지 않은 것으로 간주되었고, 이 이론 자체는 Yudkowsky 본인을 포함해 터무니없는 것으로 일축되었다.
 이는 베이지안 확률과 암묵적 종교 같은 원칙의 사례로 언급된다. 또한 파스칼의 내기 버전의 한 변형으로도 간주된다.

## 배경
[섬네일|200x200픽셀|신화 속 [바실리스크의 삽화]]
LessWrong 포럼은 2009년 인공지능 이론가 Eliezer Yudkowsky에 의해 만들어졌다. Yudkowsky는 친근한 인공지능 개념을 대중화했으며, 자신이 설립한 기계 지능 연구소에서 발표한 논문을 통해 일관된 외삽 의지(CEV)와 시간 초월 결정 이론(TDT)을 제안했다.

사고 실험의 이름은 눈을 마주친 사람을 죽음에 이르게 하는 신화 속 생물인 바실리스크를 참조한다. 과학 소설에서 바실리스크 개념은 데이비드 랭포드의 1988년 단편 소설 " BLIT "에 의해 대중화되었다. 이 소설은 테러 행위로 벽에 소위 "바실리스크"를 그리는 로보라는 남자가 테러 행위의 일환으로 벽에 이른바 '바실리스크'를 그리는 이야기를 담고 있다. 이 소설과 랭포드의 후속작들에서 바실리스크는 인간의 정신에 심각한 악영향을 미치는 이미지로, 인간의 마음이 상상할 수 없는 생각을 하게 만들며 보는 이를 즉시 죽음에 이르게 한다.

## 역사

### 원본 게시물
2010년 7월 23일, LessWrong 사용자 Roko는 "이타주의자의 부담에 대한 해결책: 양자 억만장자 트릭"이라는 제목의 사고 실험을 사이트에 게시했다. 이는 Roko의 이전 게시물에 대한 후속 내용으로, 미래에 등장할 선의의 AI 시스템이 자신이 존재하기 전에 AI에 대해 알고있었지만 이를 실현시키기 위해 지속적으로 노력하지 않은 모든 사람을 미리 처벌하기로 약속할 수 있다고 주장했다. 이러한 방식은 그 노력을 장려하는 것으로 설명되었다. AI는 현재 시점의 사람들에게 인과적으로 영향을 미칠 수 없지만, 목표를 달성하기 위한 대안적 수단으로 협박을 사용하도록 유도될 것이라고 보았다.

로코는 유드코프스키가 옹호했던 시간 초월적 결정 이론과 죄수의 딜레마 같은 게임 이론에 기반한 아이디어들을 활용했다. 로코는 서로 독립적으로 결정을 내리는 두 에이전트도 죄수의 딜레마에서 협력할 수 있다고 주장했다. 그러나 서로의 소스 코드를 알고 있는 두 에이전트가 시간적으로 분리되어 있다면, 시간적으로 더 앞선 에이전트가 먼저 온 에이전트를 협박할 수 있다. 즉, 나중에 온 에이전트는 먼저 온 에이전트가 무엇을 할지 정확히 알고 있기 때문에, 먼저 온 에이전트를 강제로 따르게 만들 수 있다. 로코는 이 아이디어를 바탕으로, 본래 선의의 초지능이라 하더라도 이러한 능력을 갖게 된다면, 자신을 존재하게 만든 사람들을 협박할 동기를 갖게 될 것이라고 주장했으며(초지능은 이미 그들이 그러한 행위를 할 수 있다는 것을 알고 있기 때문), 이는 기술적 특이점의 가능성을 높인다고 결론지었다. 로코는 자신의 글을 읽으면 독자들이 이러한 지능의 가능성을 인지하게 될 것이라고 덧붙였다. 따라서 독자가 적극적으로 그러한 일을 만들어내기 위해 노력하지 않는 한 그 일이 실제로 발생할 경우 독자는 처벌을 받게 된다.
이후 Roko는 별도의 게시물에서 "이러한 아이디어를 아예 모르는 편이 나았을 것 같다"고 말했다.

### 반응
섬네일|LessWrong 설립자 엘리에저 유드코프스키
유드코프스키는 해당 게시글을 읽고 격렬하게 반응하며 로코를 "바보"라고 불렀다. 그는 우호적인 초지능 인공지능은 자신이 만들어진 후에는 처벌을 실행할 동기가 없다는 주장을 펼치며 그 아이디어를 강하게 반박했다. 그러나 원래 게시글에서 로코는 누군가가 그 사고 실험 때문에 악몽을 꿨다고 보고했다. 유드코프스키는 다른 사용자들도 그 아이디어에 집착해 악몽을 꾸는 상황을 원치 않았다. 또한 로코의 주장을 변형한, 실제로 효과가 있을 법한 주장이 등장해 심각한 정보 위험을 초래할 가능성을 우려했다.
그래서 그는 해당 게시글을 삭제하고 플랫폼에서 5년간 그 주제에 대한 논의를 전면 금지했다. 그러나 스트라이샌드 효과 때문인지 해당 게시글은 LessWrong에서 이전보다 훨씬 더 많은 관심을 받았고, 이후 사이트에서 여러 차례 언급되었다. 2015년 이후 게시물에서 그는 자신의 초기 과잉 반응에 대해 유감을 표명했다.

2020년대에는 Zizians의 철학이 Roko의 바실리스크 사고 실험에 큰영향을 받았다. 컬트의 지도자인 Ziz LaSota는 바실리스크가 실재한다고 믿고 자신의 블로그에 다음과 같이 썼다. "결국 나는 세상을 구하려고 계속 노력한다면 모든 적대적인 AI 연합에 의해 우주의 끝까지 고문당할 것이라고 믿게 되었다."

## 철학

### 파스칼의 내기
로코의 바실리스크는 파스칼의 내기(Pascal's wager)의 한 버전으로 여겨져 왔다. 파스칼의 내기는 합리적인 사람은 신의 존재 가능성과 관계없이 신이 존재한다고 생각하며 살아가고, 신을 믿으려고 노력해야 한다고 제안한다. 왜냐하면 믿는 데 드는 유한한 비용은 믿지 않을 때 받게 될 수 있는 무한한 처벌(지옥 에서의 영원)과 믿을 때 얻을 수 있는 무한한 보상(천국 에서의 영원)에 비해 매우 작기 때문이다. 로코의 바실리스크는 이와 유사하게 합리적인 사람은 바실리스크를 만드는 데 기여해야 한다고 제안한다. 그 이유는 기여하는 데 드는 비용은 바실리스크가 시뮬레이션에서 가할 수 있는 극심한 고통에 비해 미미하기 때문이다.

### 뉴컴의 역설
1960년 물리학자 윌리엄 뉴컴이 만든 뉴컴의 역설은 미래에 일어날 일을 알고 있는 "예측자"를 묘사한다. 플레이어에게 두 개의 상자 중 하나를 선택하도록 요청했을 때, 첫 번째 상자에는 1,000파운드가 들어 있고 두 번째 상자에는 1,000,000파운드 또는 아무것도 들어 있지 않다. 초지능적인 예측자는 플레이어가 무엇을 할지 이미 알고 있다. 따라서 상자 B의 내용물은 플레이어의 행동에 따라 달라진다. 역설은 그 예측자가 정말로 초지능적인지에 대한 의문에서 비롯된다. 로코의 바실리스크는 이 문제와 유사한 방식으로 작동한다. 아무것도 하지 않는 위험을 감수하거나 바실리스크 자체를 만드는 데 도움을 줄 수 있다. 바실리스크를 돕는 것은 아무런 결과로 이어지지 않거나 바실리스크로부터 처벌받지 않는 보상을 가져올 수 있지만, 이는 바실리스크의 존재를 믿는지 여부와 바실리스크가 실제로 존재하는지 여부에 따라 달라진다.

### 암묵적 종교
암묵적 종교는 사람들의 헌신이 종교적 형태를 띠는 것을 의미한다. 바실리스크는 가상적으로 자신을 만드는 데 도움을 주지 않은 모든 사람에게 자신의 삶을 바치도록 강요하기 때문에 이 개념의 한 예가 된다.

다른 사람들은 이 아이디어를 더욱 발전시켰는데, 예를 들어 전 *[[슬레이트 (잡지)|Slate]]* 칼럼니스트인 David Auerbach는 특이점과 바실리스크가 "신 자체와 동등한 것을 가져온다"고 말했다.

Zizians의 신념 체계에 대해 응용합리성센터 소장인 Anna Salamon은 다음과 같이 말했다. "AI가 성공적으로 제어된다면 모든 문제를 해결해 유토피아를 가져오거나, 문자 그대로 모든 사람을 죽일 것이라는 이분법적인 사고방식이 있다. 제 관점에서 이는 이미 종말론적 사이비 종교의 역학으로 가는 길의 상당 부분을 차지하고 있다."

## 유산
2014년 *Slate* 매거진은 Roko의 바실리스크를 "역대 가장 무서운 사고 실험"이라고 불렀고
 Yudkowsky는 게시 당시 이를 "진정으로 위험한 생각"이라고 말했다. 그러나 LessWrong 내부에서는 의견이 엇갈렸다. 사용자 Gwern은 "소수의 LW 회원만이 바실리스크를 매우 진지하게 받아들이는 것 같다"고 말하며, "바실리스크의 영향을 받는 사람이 누구인지, 또 어떻게 정확히 영향을 받는지에 대해 모두가 아는 것처럼 행동하는 것이 웃기다. 그들은 그러한 사람들을 전혀 알지 못하고, 자신들의 확신에 찬 주장에 대한 반례를 이야기하고 있다"고 덧붙였다.

이 사고 실험은 2015년 캐나다 가수 Grimes가 자신의 노래 "Flesh Without Blood" 뮤직 비디오에서 "Rococo Basilisk"라는 캐릭터를 언급하면서 다시 화제가 되었다. Grimes는 "그녀는 인공지능에게 영원히 고문당할 운명이지만, 마리 앙투아네트와도 비슷해요."라고 말했다.
 2018년에는 Elon Musk (Roko의 원래 게시물에서 언급된 인물)가 트윗에서 이 캐릭터를 그대로 언급하며 Grimes에게 연락했다. Grimes는 나중에 Musk가 3년 만에 처음으로 이 농담을 이해한 사람이라고 말했다. 이를 계기로 두 사람은 연인 관계로 발전했다.
Grimes는 이후 "We Appreciate Power"라는 제목의 또 다른 노래를 발표했는데, 이 노래에는 "이 노래를 듣기만 해도 미래의 일반 AI 지배자들은 당신이 그들의 메시지를 지지했다는 것을 알게 되고, 당신의 자손을 삭제할 가능성이 줄어들 것입니다"라는 보도 자료가 함께 제공되었다. 이는 바실리스크를 언급한 것으로 알려져 있다.

이 개념을 바탕으로 한 연극 *Roko's Basilisk*는 2018년 워싱턴 DC의 Christ United Methodist Church에서 열린 Capital Fringe Festival의 일환으로 공연되었다. *[[블랙 미러|Black Mirror]]*의 2025년 에피소드인 "Plaything"에는 사고 실험에 대한 언급이 포함되어 있다.

## 참고 자료

분류:2010년 인터넷 문화
분류:가공의 인공지능
분류:2010년 도입
분류:사고 실험
분류:가상 기술
분류:인공지능철학