천문학적 고통의 위험

**천문학적 고통의 위험**은 **고통 위험** 혹은 **s위험**이라고도 불리며 지금까지 지구상에서 발생한 모든 고통보다 훨씬 더 많은 고통을 수반하는 위험이다. 이러한 위험은 때때로 실존적 위험의 하위 분류로 분류된다.

일부 학자들에 따르면, s위험은 극히 발생 가능성이 낮지 않고 예측하지 못한 상황에서 발생할 수 있기 때문에 심각하게 고려할 필요가 있다. 비록 추측적인 것처럼 보일 수 있지만, 기술 발전, 권력 역학, 그리고 역사적 선례와 같은 요소들은 첨단기술이 의도치 않게 상당한 고통을 초래할 수 있음을 시사한다. 따라서 기술적 이점의 가능성에도 불구하고 s위험은 도덕적으로 시급한 문제로 간주된다.

가능한 s위험의 근원에는 구현된 인공지능과 초지능은 물론 우주 이민이 포함되며, 이는 잠재적으로 "끊임없고 파멸적인 전쟁"으로 이어질 수 있으며 의도적이든 부주의이든 "때로는 가장 잔인한 고통으로 가득 찬 짧고 비참한 삶을 사는" 야생동물을 다른 행성으로 옮겨 야생동물의 고통이 엄청나게 증가할 수 있다.
## s위험의 유형
### 인공지능
인공지능은 강력한 행위자들이 방대한 기술 시스템을 통제할 수 있도록 할 수 있기 때문에 s위험 논의의 핵심이다. 최악의 경우, AI는 우주 전역으로 확장되는 전체주의 정권과 같은 영구적인 고통의 시스템을 만드는 데 사용될 수 있다. 또한, s위험은 의식이 있는 존재가 고통을 겪는 AI 기반 시뮬레이션이나 비인간 또는 디지털 정신의 안녕을 무시하는 경제활동과 같이 우연히 발생할 수 있다. AI 윤리 연구원인 스티븐 엄브렐로는 생물학적 컴퓨팅이 시스템 설계를 s위험에 더 취약하게 만들 수 있다고 경고했다. 브라이언 토마식은 AI 정렬 문제를 불완전하게 해결함으로써 천문학적인 고통이 발생할 수 있다고 주장했다. 그는 약간 어긋난 초지능 Ai가 완전히 어긋난 AI에 비해 천문학적인 고통을 초래할 가능성이 가장 높은 "아차사고(near miss)" 시나리오의 가능성을 주장한다.
### 우주 이민
우주 이민은 야생동물을 새로운 환경에 도입함으로써 고통을 가중시킬 수 있으며, 생태적 불균형으로 이어질 수 있다. 낯선 서식지에서 동물들은 굶주림, 질병, 포식에 시달리며 생존에 어려움을 겪을 수 있다. 이러한 어려움은 불안정한 생태게와 맞물려 개체 수 급감이나 폭발적인 증가를 초래하여 광범위한 고통을 초래할 수 있다. 또한, 식민지 행성에 천척이나 적절한 생물 다양성이 부족하면 상황이 악화되어 지구의 생태적 문제를 더 큰 규모로 재현할 수 있다. 이는 우주 이민이 새롭고 불안정한 생태계에서 엄청난 동물의 고통을 확산시킬 수 있기에 의도치 않은 결과에 대한 윤리적 우려를 불러일으킨다. 필토레스는 우주 이민이 심각한 "고통의 위험"을 안겨준다고 주장한다. 우주로의 확장은 이해관계가 상충되는 다양한 종과 문명의 출현으로 이어질 수 있기 때문이다. 이러한 차이, 그리고 첨단 무기와 문명 간의 광대한 거리가 결합되면 파국적이고 해결부가능한 갈등을 초래할 수 있다. "우주의 리바이어던"과 같은 전략으로 질서를 구축하거나 억제 정책을 수립하는 것은 우주의 물리적 한계와 미래 기술의 파괴력으로 인해 성공하기 어려울 것으로 보인다. 따라서 토레스는 우주 이민이 엄청난 고통을 초래할 수 있으므로 지연되거나 완전히 회피돼야 한다고 결론짓는다.

매그너스 빈딩의 "천문학적인 잔혹함의 문제"는 엄청난 행복이 우주 이민으로 인한 극심한 고통을 정당화할 수 있는지에 대한 의문을 제기한다. 그는 긍정적 재화에 대한 수익의 감소, 극심한 고통의 잠재적으로 비교할 수 없는 무게, 그리고 비참함 예방의 우선순위와 같은 도덕적 우려를 강조한다. 그는 식민지화가 불가피하다면, 피해를 최소화하기 위해 깊이 헌신하는 행위자들이 주도해야한다고 주장한다.

### 유전공학
데이비드 피어스는 유전 공학이 잠재적 위험요소라고 주장했다. 피어스는 쾌락-고통 축에 대한 기술적 숙달과 의식이라는 난제를 해결하는 것이 고통을 근절할 수 있는 잠재력을 가지고 있지만, 동시에 지각 있는 존재가 경험할 수 있는 쾌락적 범위의 대조 수준을 잠재적으로 증가시킬 수 있다고 주장합니다. 그는 이러한 기술들이 인간의 한계를 넘어서는 수준의 고통을 경험하는 "초고통(hyperpain)" 또는 "돌로리움(dolorium)"을 만들어낼 수 있게 할 수 있다고 주장한다.
### 과도한 형사처벌
s위험 시나리오는 과도한 형사처벌로 인해 발생할 수 있으며, 이는 과거와 현대 형벌 제도 모두에서 전례가 있다. 이런 위험은 전쟁이나 테러와 같은 상황에서, 특히 첨단 기술이 개입될 때 더욱 심화된다. 갈등은 가학성, 부족주의, 응징주의와 같은 파괴적인 경향을 증폭시킬 수 있기 때문이다. 전쟁은 종종 이러한 역학 관계를 심화시키며, 파국적인 위협을 사용하여 양보를 강요할 가능성이 있다. 행위자적 s위험은 자기애나 정신병질과 같은 권력자의 악의적인 특성으로 인해 더욱 악화된다. 이는 20세기에 광범위한 고통을 초래한 히틀러와 스탈린과 같은 전체주의 독재자들의 행동에서 잘 드러난다.
### 외래적 위험
데이비드 피어스에 의하면 양자역학의 다세계 해석이 제기하는 것과 같은 더욱 외래적이고 잠재적인 s위험이 있다.

## 완화 전략
s위험을 완화하기 위해, 특히 신기술과 사회 구조에서 s위험을 악화시키는 요인들을 연구하고 이해하는 데 집중하고 있다. 목표 전략에는 안전한 AI 설계 촉진, AI 개발자 간 협력 확보, 그리고 위험을 예측하기 위한 미래 문명 모델링 등이 포함된다. 광범위한 전략은 대규모 고통에 맞서 도덕적 규범과 안정적인 정치 제도을 옹호할 수 있다. Anthony DiGiovanni에 의하면, s위험 감소를 우선시하는 것은 다른 장기적인 과제보다 관리하기 쉬울 수 있고, 재앙적인 결과를 피하는 것이 완전히 유토피아적인 미래를 달성하는 것보다 쉬울 수 있기 때문에 필수적이다.
### 유도된 기억상실
유도된 기억상실은 잠긴(locked-in) 의식 AI와 뇌 기관과 같은 특정 AI 인접 생물학적 시스템에서 s위험을 완화하는 방법으로 제안되었다.
### 우주 구조 임무
데이비드 피어스의 "우주 구조 임무" 개념은 외계환경에서 발생할 수 있는 잠재적 고통을 완화하기 위해 탐사선을 보내는 아이디어를 제시한다. 이런 임무는 가상의 외계 생명체가 겪는 고통을 파악하고 완화하여, 만약 다른 곳에 생명체가 존재한다면 윤리적으로 대우받도록 하는 것을 목표로 한다. 그러나 외계 생명체의 존재 여부가 확인되지 않고, 그들의 의식에 대한 불확실성이 존재하며, 환경론자들은 불간섭을 주장하는 반면, 다른 이들은 자원 채굴에 집중하는 등 대중의 지지에 대한 우려가 과제로 남아 있다.

## 같이 보기
* AI 정렬
* 야생동물의 고통

분류:결과주의
분류:미래 문제
분류:인공지능철학
분류:위험성
분류:우주 이민
분류:고통
분류:기술 위험
분류:테라포밍
분류:공리주의