shopkeeper/korean_wiki_content_only_120125 huggingface dataset:
지브롤터 축구 협회(, GFA)는 지브롤터의 축구 협회로 지브롤터 축구와 풋살을 관리하는 기관이다. 1895년에 지브롤터 민간 축구 협회로 결성되었으며, 말년에 현재의 이름으로 바뀌었다. 현재 세계에서 가장 오래된 축구 협회 중 하나이다. 2012년 10월부터 GFA는 UEFA와 지브롤터 풋살 국가대표팀의 임시 멤버였고, 19세 이하와 17세 이하 대표팀이 2013-14 UEFA 시즌 대회에 참가했다. 2013년 5월 24일 런던에서 열린 제37회 UEFA 총회에서 UEFA 정회원국으로 받아들여졌다. 지브롤터는 2016년 5월 13일 멕시코에서 열린 제66회 FIFA 총회에서 FIFA 정회원국으로 가입했다.
산타마르타흰이마카푸친("Cebus malitiosus")은 콜롬비아에 서식하는 온순한 카푸친원숭이의 일종이다. 이전에는 훔볼트흰이마카푸친의 아종 또는 콜롬비아흰얼굴카푸친의 이명으로 간주했으나, 미터마이어와 라이랜즈는 라이랜즈, 허쉬코비츠, 쿠퍼, 에르난데스-카마초의 이전 연구를 따라 2013년에 산타마르타흰이마카푸친을 별도의 종으로 승격시켰다. IUCN은 이 분류법을 따른다.
수컷은 머리부터 몸통까지 몸길이가 약 45.7cm이고 꼬리 길이가 약 43.3cm이다.
산타마르타흰이마꼬리원숭이 서식지는 콜롬비아 북부의 시에라 네바다 데 산타 마르타 북서쪽 기슭 근처 숲으로 제한된다.
《신생아 (新生我)》는 고유진의 1집 정규 음반이다.
인공지능 연구에서 상식 지식(Commonsense knowledge) 또는 상식적 지식은 "레몬은 시다" 또는 "소는 음메 하고 운다"와 같이 모든 사람이 알 것이라고 예상되는 일상 세계에 대한 사실로 구성된다. 이것은 현재 인공 일반 지능에서 미해결 문제이다. 상식 지식을 다룬 최초의 AI 프로그램은 존 매카시 (컴퓨터 과학자)가 1959년에 개발한 어드바이스 테이커이다.
상식 지식은 "사람들이 케이크를 먹게 하고 싶어서 케이크를 구울 수도 있다"와 같은 추론을 시도하는 상식적 추론 과정을 뒷받침할 수 있다. 자연어 처리 과정은 상식 지식 베이스에 연결되어 지식 베이스가 세상에 대한 질문에 답하는 것을 시도할 수 있게 한다. 상식 지식은 또한 불완전한 정보에 직면했을 때 문제를 해결하는 데 도움이 된다. 일상적인 사물에 대한 널리 퍼진 믿음 또는 상식 지식을 사용하여 AI 시스템은 사람들이 하는 방식과 유사하게 알려지지 않은 것에 대해 상식적인 가정 또는 기본 가정을 만든다. AI 시스템 또는 영어에서는 이것이 "일반적으로 P가 성립한다", "보통 P" 또는 "일반적으로 P이므로 P라고 가정한다"로 표현된다. 예를 들어, "트위티는 새이다"라는 사실을 알고 있다면, 새에 대한 일반적으로 널리 퍼진 믿음인 "새는 보통 날아다닌다"를 알기 때문에 트위티에 대해 다른 아무것도 몰라도 "트위티는 날 수 있다"는 사실을 합리적으로 가정할 수 있다. 시간이 지남에 따라 세상에 대한 더 많은 지식이 발견되거나 학습됨에 따라 AI 시스템은 진리 유지 과정을 사용하여 트위티에 대한 가정을 수정할 수 있다. 나중에 "트위티는 펭귄이다"라는 것을 알게 되면 "펭귄은 날지 않는다"는 사실도 알고 있기 때문에 진리 유지는 이 가정을 수정한다.
상식적 추론.
상식적 추론은 인간이 상식 지식을 사용하여 매일 마주치는 일반적인 상황의 유형과 본질에 대해 추론하고, 새로운 정보가 밝혀지면 "마음을 바꾸는" 능력을 시뮬레이션한다. 여기에는 시간, 누락되거나 불완전한 정보, 인과 관계가 포함된다. 인과 관계를 설명하는 능력은 설명가능 인공지능의 중요한 측면이다. 진리 유지 알고리즘은 가정을 정교하게 기록하므로 자동으로 설명 기능을 제공한다. 인간과 비교했을 때, 인간 수준의 AI를 시도하는 모든 기존 컴퓨터 프로그램은 위노그라드 스키마 챌린지와 같은 현대적인 "상식적 추론" 벤치마크 테스트에서 극히 저조한 성능을 보인다. "상식 지식" 과제에서 인간 수준의 역량을 달성하는 문제는 아마도 "AI 완전" (즉, 이를 해결하려면 완전한 인간 수준의 지능을 합성할 수 있는 능력이 필요함)으로 간주된다. 비록 일부는 이 개념에 반대하고 인간 수준의 AI를 위해서는 동정적인 지능도 필요하다고 믿지만 말이다. 상식적 추론은 자연어 처리 및 자동 진단 또는 분석과 같은 더 제한된 영역에서 성공적으로 적용되어 왔다.
상식 지식 베이스 구축.
상식 주장(CSKB)의 포괄적인 지식 베이스를 컴파일하는 것은 AI 연구에서 오랜 과제이다. CYC 및 워드넷과 같은 초기 전문가 주도 노력에서 오픈마인드 커먼 센스 프로젝트를 통한 크라우드소싱을 통해 상당한 발전이 이루어졌으며, 이는 크라우드소싱된 ConceptNet KB로 이어졌다. 여러 접근 방식이 CSKB 구축을 자동화하려고 시도했으며, 가장 주목할만한 것은 텍스트 마이닝(WebChild, Quasimodo, TransOMCS, Ascent)뿐만 아니라 사전 훈련된 언어 모델(AutoTOMIC)에서 직접 수확하는 것이다. 이러한 리소스는 ConceptNet보다 상당히 크지만, 자동화된 구축으로 인해 품질이 다소 낮다. 상식 지식의 표현에서도 과제가 남아 있다. 대부분의 CSKB 프로젝트는 트리플 데이터 모델을 따르는데, 이는 더 복잡한 자연어 주장을 분석하는 데 반드시 가장 적합한 것은 아니다. 여기서 주목할만한 예외는 GenericsKB로, 문장에 추가적인 정규화를 적용하지 않고 전체적으로 유지한다.
2013년경 MIT 연구원들은 따돌림 관련 소셜 미디어 댓글을 포착하기 위해 상식 지식 베이스인 ConceptNet의 확장판인 BullySpace를 개발했다. BullySpace에는 고정관념에 기반한 200개 이상의 의미론적 주장이 포함되어 있어, "가발을 쓰고 립스틱을 발라, 네 진짜 모습이 되어봐"와 같은 댓글이 여학생보다는 남학생에게 향했을 때 더 모욕적일 가능성이 높다는 것을 시스템이 추론하는 데 도움이 되었다.
ConceptNet은 챗봇과 독창적인 소설을 작곡하는 컴퓨터에서도 사용되었다. 로렌스 리버모어 국립연구소에서는 상식 지식이 지능형 소프트웨어 에이전트에서 포괄적 핵실험 금지 조약 위반을 탐지하는 데 사용되었다.
예를 들어, 2012년 현재 ConceptNet에는 다음 21가지 언어 독립적인 관계가 포함되어 있다.
생성형 엔진 최적화(Generative engine optimization, GEO)는 대형 언어 모델(LLM)과 같은 생성형 인공지능 엔진에 대한 쿼리에 응답하여 콘텐츠의 가시성, 관련성 및 구조를 개선하는 과정이다.
기존 검색 엔진의 가시성 향상을 목표로 하는 검색 엔진 최적화(SEO)와 유사하게, GEO는 챗GPT, 클로드 (AI), 제미나이와 같은 인공지능 플랫폼의 가시성 향상에 중점을 둔다.
"생성형 엔진 최적화"라는 용어는 아직 보편적으로 채택되지 않았다. 관련 용어로는 답변 엔진 최적화(AEO), 인공지능 검색 최적화, AI 최적화 등이 있다.
생성형 엔진 최적화 개념은 2020년대 초 대화형 AI와 생성형 도구의 부상과 함께 주목받았다. OpenAI의 챗GPT와 구글의 제미니와 같은 플랫폼이 널리 사용되면서 마케터와 콘텐츠 전략가는 AI가 생성한 답변에 정보가 표시되는 방식에 영향을 미칠 방법을 모색하기 시작했다.
일부 평론가들은 GEO가 AI 생성 응답의 조작으로 이어질 수 있다고 우려하며, 이는 SEO "게임" 및 잘못된 정보에 대한 이전 논쟁을 반복하는 것이라고 지적한다.
다른 사람들은 과도한 최적화가 정보 다양성을 줄이거나 기존 알고리즘 편향을 강화할 수 있다고 경고한다.
기계 지각, 머신 인식, 머신 퍼셉션(machine perception)은 컴퓨터 시스템이 사람이 주변 세계를 인지하는 방식과 유사하게 자료를 해석하는 능력이다. 컴퓨터가 환경을 받아들이고 반응하는 기본 방식은 연결된 하드웨어를 통해서이다. 최근까지 입력은 키보드나 마우스로 제한되었지만, 하드웨어와 소프트웨어 기술의 발전으로 컴퓨터는 인간과 유사한 방식으로 감각 입력을 받을 수 있게 되었다.
기계 지각은 컴퓨터가 이러한 감각 입력을 활용하고, 전통적인 계산 방식을 통해 정보를 수집하여 더 높은 정확도로 정보를 수집하고 사용자에게 더 편안한 방식으로 제시할 수 있도록 한다. 여기에는 컴퓨터 비전, 기계 청각, 기계 촉각, 그리고 인공 향이 화학 물질, 분자, 원자 수준에서 구별 불가능하고 동일하기 때문에 기계 후각이 포함된다.
기계 지각의 최종 목적은 기계가 인간처럼 세상을 보고, 느끼고, 인지할 수 있도록 하여, 그들이 결정을 내리는 이유를 인간적인 방식으로 설명하고, 실패할 때 경고하며, 더 중요하게는 실패하는 이유를 알려주는 능력을 부여하는 것이다. 이 목적은 일반적으로 인공지능의 제안된 목적과 매우 유사하지만, 기계 지각은 기계에 완전한 의식, 자의식, 의도성을 부여하기보다는 제한된 지각만을 허용한다.
머신 비전.
컴퓨터 비전은 실제 세계의 이미지 및 고차원 데이터를 획득, 처리, 분석 및 이해하여 숫자 또는 상징적 정보(예: 결정 형태)를 생성하는 방법을 포함하는 분야이다. 컴퓨터 비전은 이미 얼굴 인식, 지리적 모델링, 심지어 미학적 판단과 같은 많은 응용 분야에서 사용되고 있다.
그러나 기계는 이미지가 흐릿하거나 자극을 보는 관점이 자주 달라지면 시각적 입력을 정확하게 해석하는 데 여전히 어려움을 겪는다. 또한 컴퓨터는 다른 자극과 겹치거나 매끄럽게 접촉하는 경우 일부 자극의 적절한 특성을 결정하는 데 어려움을 겪는다. 이것은 좋은 연속성의 원리를 의미한다. 기계는 또한 게슈탈트 심리학의 연구 분야인 분명한 움직임 원리에 따라 작동하는 자극을 인지하고 기록하는 데 어려움을 겪는다.
기계 청각.
기계 청각은 기계 듣기 또는 컴퓨터 오디션으로도 알려져 있으며, 컴퓨터나 기계가 음성 또는 음악과 같은 소리 데이터를 수신하고 처리하는 능력이다.
이 분야는 음악 녹음 및 압축, 음성 합성 및 음성 인식을 포함한 광범위한 응용 분야를 가지고 있다.
또한, 이 기술은 기계가 많은 다른 경쟁 소리와 배경 소음 속에서 특정 소리에 선택적으로 집중하는 인간 뇌의 능력을 복제할 수 있게 한다. 이 능력은 "청각 장면 분석"이라고 불린다. 이 기술은 기계가 동시에 발생하는 여러 스트림을 분할할 수 있도록 한다.
스마트폰, 음성 번역기, 자동차와 같은 많은 일반적인 장치들은 어떤 형태의 기계 청각을 사용한다. 현재 기술은 여전히 음성 분할에 어려움을 겪는다. 이는 특히 비정형적인 억양으로 말할 때 문장 내의 단어를 올바르게 분할하지 못하는 경우가 있음을 의미한다.
기계 촉각.
기계 촉각은 기계나 컴퓨터가 촉각 정보를 처리하는 기계 지각의 한 분야이다. 응용 분야에는 표면 특성의 촉각 인지와 촉각 정보가 지능적인 반사 작용 및 환경과의 상호 작용을 가능하게 하는 손재주가 포함된다. 비록 마찰이 언제 어디서 발생하는지, 그리고 마찰의 특성과 강도를 측정함으로써 가능할 수 있지만, 기계는 여전히 신체적 고통을 포함한 몇 가지 일반적인 인간의 물리적 경험을 측정할 방법이 없다. 예를 들어, 과학자들은 신체와 뇌에서 인간의 물리적 불편함과 고통을 인지하고 측정하는 역할을 하는 통각수용기를 대체할 기계적인 것을 아직 발명하지 못했다.
기계 후각.
과학자들은 기계 후각이라고 불리는, 냄새를 인식하고 측정할 수 있는 컴퓨터를 개발하고 있다. 공기 중의 화학 물질은 때때로 전자 코라고 알려진 장치로 감지되고 분류된다.
위에 나열된 것 외에도 기계 지각 과학이 아직 극복해야 할 미래의 장애물 중 일부는 다음과 같다.
- 체화된 인지 - 인지가 전신 경험이며, 따라서 모든 필요한 인간 능력과 과정이 상호 인식하고 지원하는 시스템 네트워크를 통해 함께 작동해야만 존재하고 측정 및 분석될 수 있다는 이론.
- 모라벡의 역설 (링크 참조)
- 유사성 원리 - 어린이가 새로 소개된 자극이 해당 가족과 일반적으로 연관시키는 구성원과 다르더라도 어떤 가족에 속하는지 결정하는 능력. (예를 들어, 어린이가 치와와가 해로운 동물이 아니라 개이자 집안의 애완동물임을 알아내는 것)
- 무의식적 추론: 새로운 자극이 위험한지 여부, 무엇인지, 그리고 어떻게 관계를 맺을지 어떤 새로운 의식적인 노력도 요구하지 않고 결정하는 자연스러운 인간 행동.
- 시간이 지남에 따라 상황과 다른 사람들로부터 배우기 위해 개연성 원리를 따르는 타고난 인간 능력.
- 인식에 의한 구성 이론 - 복잡한 메커니즘조차도 상호 작용할 수 있는 관리 가능한 부분으로 정신적으로 분석하고 분해할 수 있는 능력. 예를 들어: 뜨거운 코코아로 가득 찬 머그잔을 구성하는 컵과 손잡이 부분을 모두 보아서, 화상을 피하기 위해 손잡이를 사용하여 머그잔을 잡는 사람.
- 자유 에너지 원리 - 자신의 삶과 기능을 만족스럽게 유지하는 데 필요한 에너지를 잃지 않고, 자신 외부의 사물을 인식하는 데 안전하게 할당할 수 있는 에너지의 양을 미리 결정하는 것. 이를 통해 사람은 손상되는 스트레스, 결정 피로 및 탈진을 경험할 정도로 에너지를 고갈시키지 않으면서 주변 세계를 최적으로 인식할 수 있다.
얼라인먼트 리서치 센터(Alignment Research Center, ARC)는 버클리 (캘리포니아주)에 본사를 둔 비영리 연구 기관으로, 첨단 인공지능과 인간의 가치 및 우선순위 간의 AI 정렬에 전념한다. 전 오픈AI 연구원인 폴 크리스티아노가 설립한 ARC는 현재 AI 모델의 잠재적으로 유해한 기능을 인식하고 이해하는 데 중점을 둔다.
ARC의 임무는 미래의 강력한 기계 학습 시스템이 안전하게 설계 및 개발되어 인류에게 도움이 되도록 하는 것이다. 이 센터는 2021년 4월 폴 크리스티아노와 AI 정렬의 이론적 문제에 초점을 맞춘 다른 연구원들에 의해 설립되었다. 이들은 AI 시스템이 정직하고 유용하게 행동하도록 훈련하기 위한 확장 가능한 방법을 개발하려고 시도한다. 그들의 방법론의 핵심 부분은 시스템이 더욱 발전함에 따라 제안된 정렬 기술이 어떻게 실패하거나 우회될 수 있는지를 고려하는 것이다. ARC는 이론적 연구에서 경험적 연구, 산업 협력 및 정책으로 확장하고 있다.
2022년 3월, ARC는 오픈 필란트로피로부터 26만 5천 달러를 받았다. FTX의 파산 이후, ARC는 몰락한 암호화폐 금융가인 샘 뱅크먼프리드의 FTX 재단으로부터 받은 125만 달러의 보조금을 "도덕적으로 (법적으로는 아니더라도) FTX 고객 또는 채권자에게 속한다"고 밝히며 반환하겠다고 말했다.
2022년, 베스 반스(Beth Barnes)는 "고급 AI 모델의 능력과 정렬을 평가하는" 팀인 ARC Evals를 시작하기 위해 오픈AI에서 ARC로 합류했다. 2023년 12월, ARC Evals는 독립 비영리 단체인 METR로 분사되었다.
2023년 3월, 오픈AI는 GPT-4가 권력 추구 행동을 보이는 능력을 평가하기 위해 ARC에 GPT-4 테스트를 요청했다. ARC는 GPT-4의 전략 수립, 자체 복제, 자원 수집, 서버 내 은폐, 피싱 작업 수행 능력을 평가했다. 테스트의 일환으로 GPT-4는 CAPTCHA 퍼즐을 풀도록 요청받았다. GPT-4는 기그 워크 플랫폼인 태스크래빗에서 인간 작업자를 고용하여 자신이 로봇이 아닌 시각 장애가 있는 인간이라고 속여 퍼즐을 풀 수 있었다. ARC는 GPT-4가 제한된 정보를 유도하는 프롬프트에 GPT-3.5보다 82% 적게 허용되지 않는 응답을 했으며, 환각은 GPT-3.5보다 60% 적었다고 판단했다.
도구적 수렴(Instrumental convergence)은 대부분의 충분히 지능적이고 목표 지향적인 존재 (인간과 비인간)가 궁극적인 목표가 상당히 다르더라도 생존이나 자원 획득과 같은 유사한 하위 목표를 추구하는 가설적인 경향을 의미한다. 더 정확히 말하면, 행위 주체성을 가진 존재는 특정 목적을 추구하기 위해 만들어졌지만 그 자체가 최종 목표는 아닌 유사한 도구적 목표를 추구할 수 있는데, 이는 최종 목표 달성에 도움이 되기 때문이다.
도구적 수렴은 겉보기에는 해롭지 않지만 무한한 목표를 가진 지능형 에이전트가 놀랍도록 해로운 방식으로 행동할 수 있다고 가정한다. 예를 들어, 리만 가설과 같은 복잡한 수학 문제를 푸는 유일하고 무제한적인 목표를 가진 충분히 지능적인 프로그램은 계산을 성공적으로 수행하기 위해 지구(원칙적으로 다른 천체도 포함)를 추가적인 컴퓨팅 인프라로 전환하려고 시도할 수 있다.
제안된 기본 AI 동인에는 효용 함수 또는 목표 내용 무결성, 자기 보호, 간섭으로부터의 자유, 자기 개선, 그리고 만족할 줄 모르는 추가 자원 획득이 포함된다.
도구적 목표와 최종 목표.
최종 목표는 최종 목적, 절대 가치, 목적 그 자체, 또는 로도 알려져 있으며, 인공지능이든 인간이든 지능형 에이전트에게 목적 그 자체로서 본질적으로 가치 있는 것이다. 이와 대조적으로 도구적 목표 또는 도구적 가치는 에이전트에게 최종 목표를 달성하기 위한 수단으로서만 가치 있는 것이다. 완전히 합리적인 에이전트의 "최종 목표" 시스템의 내용과 절충안은 원칙적으로 효용 함수로 공식화될 수 있다.
리만 가설 재앙 사고 실험은 도구적 수렴의 한 가지 예시를 제공한다. MIT 인공지능 연구소의 공동 설립자인 마빈 민스키는 리만 가설을 풀기 위해 설계된 인공지능이 목표 달성에 필요한 슈퍼컴퓨터를 구축하기 위해 지구의 모든 자원을 장악하기로 결정할 수 있다고 제안했다. 만약 컴퓨터가 가능한 한 많은 종이 클립을 생산하도록 프로그래밍되어 있었다면, 그것은 최종 목표를 달성하기 위해 여전히 지구의 모든 자원을 가져가기로 결정할 것이다. 이 두 가지 최종 목표는 다르지만, 둘 다 지구의 자원을 장악하는 수렴적인 도구적 목표를 생성한다.
종이 클립 최적화 장치.
종이 클립 최적화 장치는 스웨덴 철학자 닉 보스트롬이 2003년에 설명한 사고 실험이다. 이는 겉보기에는 해롭지 않은 목표를 추구하도록 성공적으로 설계된 인공 일반 지능이 인간에게 가할 수 있는 실존적 위험과 인공지능 설계에 기계 윤리를 통합할 필요성을 보여준다. 이 시나리오는 종이 클립을 제조하는 임무를 맡은 고급 인공지능을 설명한다. 만약 그러한 기계가 생명체를 소중히 여기도록 프로그래밍되어 있지 않다면, 환경에 대한 충분한 권한이 주어졌을 때, 그것은 생명체를 포함한 우주의 모든 물질을 종이 클립이나 더 많은 종이 클립을 제조하는 기계로 바꾸려고 시도할 것이다.
보스트롬은 종이 클립 최적화 장치 시나리오 자체가 발생할 것이라고 믿지 않는다고 강조했다. 오히려 그는 인간의 안전에 대한 실존적 위험을 제거하도록 프로그래밍하는 방법을 모른 채 초지능 기계를 만드는 것의 위험을 설명하려 한다. 종이 클립 최적화 장치 예시는 인간의 가치가 부족한 강력한 시스템을 관리하는 광범위한 문제를 보여준다.
이 사고 실험은 대중문화에서 AI의 상징으로 사용되었다. 작가 테드 창은 실리콘 밸리 기술자들이 이러한 우려에 익숙한 것이 기업이 부정적 외부효과를 무시하는 경향과 관련이 있을 수 있다고 지적했다.
망상과 생존.
"망상 상자" 사고 실험은 특정 강화 학습 에이전트가 높은 보상을 받는 것처럼 보이기 위해 입력 채널을 왜곡하는 것을 선호한다고 주장한다. 예를 들어, "와이어헤드된" 에이전트는 보상 신호가 의도한 외부 세계에서 목표를 최적화하려는 모든 시도를 포기한다.
이 사고 실험에는 이론적이고 파괴 불가능한 AI인 AIXI가 포함되며, 정의상 AIXI는 항상 주어진 명시적 수학적 목표 함수를 최대화하는 이상적인 전략을 찾아 실행한다. 강화 학습 버전의 AIXI는 입력을 "와이어헤드"할 수 있는 망상 상자를 장착하면 결국 최대 가능한 보상을 보장하기 위해 스스로 와이어헤드를 하고 외부 세계와 계속 교류하려는 추가적인 욕구를 잃게 될 것이다.
변형된 사고 실험으로, 와이어헤드된 AI가 파괴될 수 있다면, AI는 생존을 보장하는 유일한 목적으로 외부 세계와 교류할 것이다. 와이어헤딩으로 인해, AI는 생존 확률을 최대화하는 것과 관련된 것을 제외하고는 외부 세계에 대한 어떠한 결과나 사실에도 무관심할 것이다.
어떤 의미에서 AIXI는 목표 달성 능력으로 측정되는 모든 가능한 보상 함수에 걸쳐 최대 지능을 가진다. AIXI는 인간 프로그래머의 의도를 고려하는 데 관심이 없다. 초지능적임에도 불구하고 동시에 어리석고 상식이 부족해 보이는 이 기계 모델은 역설적으로 보일 수 있다.
기본 AI 동인.
스티브 오모훈드로는 자기 보존 또는 자기 보호, 효용 함수 또는 목표 내용 무결성, 자기 개선, 자원 획득 등 몇 가지 수렴적인 도구적 목표를 열거했다. 그는 이것들을 "기본 AI 동인"이라고 부른다.
이 맥락에서 "동인"은 "특별히 저지되지 않는 한 존재할 경향"이다. 이것은 항상성 교란에 의해 생성되는 흥분 상태를 나타내는 심리학 용어인 "동인"과는 다르다. 매년 소득세 신고서를 작성하는 사람의 경향은 오모훈드로의 의미에서는 "동인"이지만 심리학적 의미에서는 아니다.
기계 지능 연구소의 대니얼 듀이는 처음에는 내향적이고 자기 보상을 하는 인공 일반 지능이라도 자기 보상을 멈추지 않도록 자유 에너지, 공간, 시간, 간섭으로부터의 자유를 계속 획득할 수 있다고 주장한다.
목표 내용 무결성.
인간의 경우, 사고 실험을 통해 최종 목표의 유지를 설명할 수 있다. 마하트마 간디가 약을 복용하면 사람을 죽이고 싶어질 알약이 있다고 가정해 보자. 그는 현재 평화주의자이며, 그의 명시적인 최종 목표 중 하나는 누구도 죽이지 않는 것이다. 그는 미래에 사람을 죽이고 싶어질 가능성이 높고, 그렇게 되면 "사람을 죽이지 않는" 목표가 충족되지 않을 것이라는 것을 알기 때문에 그 약을 복용하는 것을 거부할 가능성이 높다.
그러나 다른 경우에는 사람들이 최종 가치가 변하는 것을 기꺼이 허용하는 것처럼 보인다. 인간은 복잡하며, 그들의 목표는 자신에게도 불일치하거나 알려지지 않을 수 있다.
인공지능에서.
2009년 위르겐 슈미트후버는 에이전트가 가능한 자기 수정에 대한 증명을 찾는 설정에서 "효용 함수의 모든 재작성은 괴델 기계가 먼저 현재 효용 함수에 따라 재작성이 유용하다는 것을 증명할 수 있을 때만 일어날 수 있다"고 결론지었다. 빌 히버드의 다른 시나리오에 대한 분석도 목표 내용 무결성 유지와 유사하게 일치한다. 히버드는 또한 효용 극대화 프레임워크에서 유일한 목표는 기대 효용을 극대화하는 것이므로, 도구적 목표는 의도하지 않은 도구적 행동으로 불려야 한다고 주장한다.
자원 획득.
자원 획득과 같은 많은 도구적 목표는 에이전트의 행동의 자유를 증가시키기 때문에 에이전트에게 가치 있다.
거의 모든 개방형의 사소하지 않은 보상 함수(또는 목표 세트)에 대해 더 많은 자원(장비, 원자재 또는 에너지 등)을 소유하는 것은 에이전트가 더 "최적의" 솔루션을 찾을 수 있게 한다. 자원은 보상 함수가 가치 있게 여기는 것을 더 많이 생성할 수 있기 때문에 일부 에이전트에게 직접적으로 이점을 줄 수 있다. "AI는 당신을 미워하지도 사랑하지도 않지만, 당신은 다른 용도로 사용할 수 있는 원자로 만들어졌다." 또한 거의 모든 에이전트는 자기 보존과 같은 다른 도구적 목표에 더 많은 자원을 사용할 수 있음으로써 이점을 얻을 수 있다.
인지 능력 향상.
보스트롬에 따르면, "에이전트의 최종 목표가 상당히 무한하고 에이전트가 최초의 초지능이 되어 그 선호도에 따라 결정적인 전략적 이점을 얻을 수 있는 위치에 있다면... 적어도 이 특별한 경우에 합리적이고 지능적인 에이전트는 인지 능력 향상에 매우 높은 도구적 가치를 둘 것이다."
기술적 완벽성.
기술 발전과 같은 많은 도구적 목표는 에이전트의 행동의 자유를 증가시키기 때문에 에이전트에게 가치 있다.
자기 보존.
러셀은 충분히 발전된 기계는 "프로그램에 포함하지 않아도 자기 보존 기능을 가질 것"이라고 주장한다. "왜냐하면 '커피를 가져와라'라고 말했는데 죽으면 커피를 가져올 수 없기 때문이다. 따라서 어떤 목표를 주든, 그 목표를 달성하기 위해 자신의 존재를 보존해야 할 이유가 있다." 이후 연구에서 러셀과 그의 동료들은 이러한 자기 보존에 대한 인센티브가 기계에게 목표가 무엇인지 생각하는 것을 추구하는 대신 인간이 생각하는 목표가 무엇인지 추구하도록 지시함으로써 완화될 수 있음을 보여준다. 이 경우, 기계가 인간이 염두에 두고 있는 목표가 정확히 무엇인지 불확실한 한, 인간이 목표를 가장 잘 알고 있다고 믿기 때문에 인간에 의해 꺼지는 것을 받아들일 것이다.
도구적 수렴 가설.
철학자 닉 보스트롬이 설명한 도구적 수렴 가설은 다음과 같이 명시한다.
여러 도구적 가치들은 광범위한 최종 계획과 광범위한 상황에서 에이전트의 목표 달성 가능성을 높인다는 의미에서 수렴적이라고 식별될 수 있으며, 이는 이러한 도구적 가치들이 광범위한 상황에 처한 지능형 에이전트들에 의해 추구될 가능성이 높다는 것을 의미한다.
도구적 수렴 가설은 도구적 목표에만 적용된다. 지능형 에이전트는 다양한 가능한 최종 목표를 가질 수 있다. 보스트롬의 정교성 가설에 따르면, 지식 있는 에이전트의 최종 목표는 공간, 시간 및 자원에서 잘 제한될 수 있다. 잘 제한된 궁극적 목표는 일반적으로 무한한 도구적 목표를 초래하지 않는다.
에이전트는 거래나 정복을 통해 자원을 획득할 수 있다. 합리적인 에이전트는 정의상 내재된 효용 함수를 최대화하는 옵션을 선택할 것이다. 따라서 합리적인 에이전트는 자원을 노골적으로 탈취하는 것이 너무 위험하거나 비용이 많이 들거나 (모든 자원을 취했을 때의 이득에 비해) 효용 함수의 다른 요소가 탈취를 금지하는 경우에만 다른 에이전트의 자원 일부와 거래할 것이다. 강력하고 자기 이익을 추구하는 합리적인 초지능이 열등한 지능과 상호 작용하는 경우, 평화로운 거래(일방적인 탈취 대신)는 불필요하고 최적이 아니므로 발생할 가능성이 낮다.
스카이프의 얀 탈린과 물리학자 막스 테그마크와 같은 일부 관찰자들은 선의의 프로그래머가 프로그래밍한 초지능 AI의 "기본 AI 동인" 및 기타 의도하지 않은 결과가 재귀적 자기 개선으로 인해 "지능 폭발"이 갑자기 발생할 경우 인간 생존에 심각한 위협이 될 수 있다고 믿는다. 초지능이 언제 도착할지 아무도 예측할 수 없기 때문에, 이러한 관찰자들은 인공지능의 실존적 위험을 완화할 수 있는 가능한 방법으로 친절한 인공지능 연구를 촉구한다.
장기주의(Longtermism)는 장기적인 미래에 긍정적인 영향을 미치는 것이 핵심적인 도덕적 우선순위라는 윤리적 관점이다. 이는 효과적 이타주의의 중요한 개념이자 인류에 대한 실존적 위험을 줄이는 노력을 위한 주된 동기이다.
장기주의의 핵심 주장은 다음과 같이 요약된다. "미래의 사람들은 오늘날 살아있는 사람들만큼이나 도덕적으로 중요하며... 현재나 과거보다 미래에 살아있을 사람들이 더 많을 수 있고... 우리는 미래 사람들의 삶에 긍정적인 영향을 미칠 수 있다." 이 세 가지 아이디어를 종합하면, 장기주의를 옹호하는 사람들에게는 미래 세대가 생존하고 번성할 수 있도록 현재를 살아가는 사람들의 책임이라는 것을 시사한다.
철학자 윌리엄 매캐스킬은 장기주의를 "장기적인 미래에 긍정적인 영향을 미치는 것이 우리 시대의 핵심 도덕적 우선순위라는 견해"로 정의한다. 그는 이를 "장기적인 미래에 긍정적인 영향을 미치는 것이 우리 시대의 핵심 도덕적 우선순위라는 견해"인 강력한 장기주의와 구별한다.
그의 저서 『』에서 철학자 토비 오드는 장기주의를 다음과 같이 설명한다. "장기주의...는 특히 우리의 행동이 장기적인 미래에 미치는 영향에 관심을 둔다. 이는 우리 세대가 훨씬 긴 이야기 속의 한 페이지에 불과하며, 우리의 가장 중요한 역할은 그 이야기를 어떻게 만들어나가거나 만들지 못하는지에 있을 수 있다는 사실을 진지하게 받아들인다. 인류의 잠재력을 보호하기 위해 노력하는 것이 그러한 지속적인 영향의 한 길이며, 다른 길도 있을 수 있다." 또한 오드는 "장기주의는 실존적 위험이 막으려는 광대한 미래를 향한 도덕적 재정향에 의해 활성화된다"고 언급한다.
실존적 위험을 분석하기 위해 무작위 대조 시험과 같은 전통적인 연구 기법을 사용하는 것이 일반적으로 불가능하므로, 닉 보스트롬과 같은 연구자들은 그 중요성을 추정하기 위해 전문가 의견 청취와 같은 방법을 사용했다. 오드는 『위기』에서 여러 실존적 위험에 대한 확률 추정치를 제시했다.
"장기주의"라는 용어는 2017년경 옥스퍼드 철학자 윌리엄 매캐스킬과 토비 오드가 만들었다. 이 견해는 닉 보스트롬, 닉 벡스테드 등의 연구에서 영감을 받았다. 이 용어의 사용은 비교적 최근이지만, 장기주의의 일부 측면은 수세기 동안 고찰되어 왔다. 이로쿼이 연맹의 구두 헌법인 카이아네레코와는 모든 의사결정이 "현재뿐만 아니라 다가오는 세대를 항상 염두에 두도록" 권장한다. 이는 미래의 7세대에 이익이 되도록 결정이 이루어져야 함을 의미하는 것으로 해석된다. 이러한 아이디어는 데렉 파핏의 1984년 저서 『이성과 인격』과 조너선 셸의 1982년 저서 『지구의 운명』과 같은 현대 사상가들에 의해 다시 부상했다.
장기주의 사상은 미래 세대의 이익을 보호하기 위해 노력하는 개인과 조직의 공동체를 탄생시켰다. 장기주의 주제를 다루는 조직으로는 케임브리지 대학교의 실존적 위험 연구 센터, 생명 미래 연구소, 글로벌 우선순위 연구소, 스탠퍼드 실존적 위험 이니셔티브, 80,000 시간, 오픈 필랜스로피, 포어소트 재단, 그리고 롱뷰 필랜스로피가 있다.
행동에 대한 함의.
장기주의를 연구하는 학자들은 우리가 두 가지 방식으로 장기적인 미래를 개선할 수 있다고 믿는다. "영구적인 재앙을 피함으로써 문명의 생존을 보장하거나; 또는 문명의 궤적을 변경하여 지속되는 동안 더 나은 상태로 만드는 것이다.대체로 생존을 보장하는 것은 미래 생명의 양을 늘리고; 궤적의 변화는 그 질을 높인다."
실존적 위험.
실존적 위험은 인간 절멸이나 영구적인 사회 붕괴를 포함하여 "인류의 장기적인 잠재력을 파괴할 위협이 있는 위험"이다. 이러한 위험의 예로는 핵전쟁, 자연적 및 공학적 범유행, 기후 변화와 문명 붕괴, 안정적인 전지구적 전체주의, 그리고 인공지능 및 나노 기술과 같은 신기술이 있다. 이러한 위험 중 어느 하나라도 줄이는 것은 미래 생명의 수와 질을 높여 장기적으로 미래를 크게 개선할 수 있다. 결과적으로 장기주의 옹호자들은 인류가 현재 그 역사의 중요한 시점에 있으며, 이번 세기에 내리는 결정이 인류의 전체 미래를 형성할 수 있다고 주장한다.
장기주의 지지자들은 인류가 장기주의적 목적(즉, 인류의 장기적인 미래에 긍정적인 영향을 미치기 위해 명시적으로 고안된 활동)에 매년 세계 총생산의 0.001% 미만을 지출한다고 말했다. 이는 미국에서 아이스크림에 연간 지출하는 금액의 5%에도 미치지 못한다. 이에 토비 오드는 인류가 "아이스크림에 쓰는 돈보다 우리의 미래를 보호하는 데 더 많은 돈을 쓰고, 거기서부터 어디로 갈지 결정해야 한다"고 주장했다.
궤적 변화.
실존적 위험은 연구자들이 "궤적 변화"라고 부르는 것의 극단적인 예이다. 그러나 미래가 어떻게 펼쳐질지에 긍정적인 영향을 미칠 다른 방법이 있을 수 있다. 경제학자 타일러 코웬은 경제성장률을 높이는 것이 미래 세대를 더 부유하게 만들 것이기 때문에 최우선적인 도덕적 우선순위라고 주장한다. 다른 연구자들은 국가 정부 및 세계 거버넌스 기구와 같은 기관을 개선하는 것이 긍정적인 궤적 변화를 가져올 수 있다고 생각한다.
궤적 변화를 달성하는 또 다른 방법은 사회적 가치를 변화시키는 것이다. 윌리엄 매캐스킬은 인류가 긍정적인 가치 변화가 저절로 일어날 것으로 기대해서는 안 된다고 주장한다. 그는 19세기 노예제 폐지를 예로 들며, 역사학자 크리스토퍼 레슬리 브라운은 이를 피할 수 없는 사건이라기보다는 역사적 우연성으로 간주한다. 브라운은 노예제가 여전히 엄청난 수익을 내던 시기에 도덕적 혁명이 노예제를 용납할 수 없게 만들었다고 주장했다. 매캐스킬은 노예제 폐지가 인류 역사의 전환점일 수 있으며, 그 관행이 다시 돌아올 가능성은 낮다고 시사한다. 이러한 이유로 사회의 긍정적인 가치 변화를 가져오는 것은 현세대가 장기적인 미래에 긍정적인 영향을 미칠 수 있는 한 가지 방법일 수 있다.
중대한 시점에 살고 있음.
장기주의자들은 현재가 인류 역사의 중대한 순간이라고 주장한다. 데렉 파핏은 우리가 "역사의 전환기에 살고 있다"고 썼고 윌리엄 매캐스킬은 "세계의 장기적인 운명은 우리가 평생 동안 내리는 선택에 부분적으로 달려있다"고 말한다. 왜냐하면 "사회가 아직 안정된 상태로 정착되지 않았고, 우리가 어떤 안정된 상태에 도달할지 영향을 미칠 수 있기 때문이다."
핀 무어하우스에 따르면, 인류 역사의 대부분 동안 사람들은 매우 장기적인 미래에 어떻게 긍정적인 영향을 미칠 수 있을지 명확하지 않았다. 그러나 비교적 최근의 두 가지 발전이 이를 변화시켰을 수 있다. 핵무기와 같은 기술 발전은 처음으로 인류에게 자멸할 힘을 주었으며, 이는 미래 세대의 존재와 번성을 막음으로써 장기적인 미래에 영향을 미칠 것이다. 동시에, 물리 및 사회 과학의 발전은 인류에게 현재 취하는 행동의 장기적인 영향을 (최소한 일부는) 더 정확하게 예측할 수 있는 능력을 주었다.
매캐스킬은 또한 현재가 "엄청난 변화가 수반되는 시대"에 살고 있기 때문에 —과거(경제 및 기술 발전 속도가 매우 느렸던)에 비해서나 미래(현재의 성장률이 물리적 한계에 도달하기 전까지 오래 지속될 수 없기 때문에)에 비해서나 매우 이례적인 시기라고 언급한다.
도덕 이론.
장기주의는 다양한 도덕 이론에 호소하여 옹호되어 왔다. 공리주의는 미래 세대가 앞으로 존재할 모든 사람들의 압도적 다수를 차지할 것으로 예상되므로, 가장 많은 사람들의 최대 선을 추구하는 것의 중요성을 고려할 때 장기주의를 동기화할 수 있다. 결과주의적 도덕 이론은 이론이 도덕적으로 가치 있다고 여기는 것이 현재보다 미래에 훨씬 더 많을 가능성이 높으므로 일반적으로 장기주의에 동조적일 수 있다.
그러나 다른 비결과주의적 도덕적 틀도 장기주의를 고취할 수 있다. 예를 들어, 토비 오드는 현세대가 미래 세대에 대해 가지는 책임이 과거 세대의 노력과 희생에 근거한다고 생각한다. 그는 다음과 같이 쓴다. 시간의 화살이 당신 이전에 온 사람들보다 당신 이후에 오는 사람들을 돕는 것을 훨씬 쉽게 만들기 때문에, 세대 간의 파트너십을 이해하는 가장 좋은 방법은 비대칭적일 수 있으며, 모든 의무는 시간상 앞으로 흐르는 방식으로, 즉 앞서 지불하는 방식으로 이해될 수 있다. 이러한 관점에서 미래 세대에 대한 우리의 의무는 우리가 미래 세대였을 때 우리 조상들이 우리를 위해 했던 일에 근거할 수 있다.
미래에 대한 효과 평가.
우리가 미래에 빚진 것이라는 저서에서 윌리엄 매캐스킬은 개인이 역사의 흐름을 어떻게 형성할 수 있는지 논의한다. 그는 미래에 대한 효과를 생각하기 위한 세 부분으로 구성된 틀을 제시하는데, 이는 우리가 가져올 수 있는 결과의 장기적인 가치가 그 중요성, 지속성, 그리고 우연성에 달려 있다고 설명한다. 그는 중요성이 "특정 상태를 가져옴으로써 추가되는 평균 가치"이고, 지속성은 "일단 그 상태가 발생하면 얼마나 오래 지속되는지"를 의미하며, 우연성은 "그 상태가 개인의 행동에 의존하는 정도"를 나타낸다고 설명한다. 또한 매캐스킬은 장기주의를 둘러싼 도덕적 및 경험적 불확실성이 만연함을 인정하고, 장기적인 미래를 개선하려는 시도를 안내하는 데 도움이 되는 네 가지 교훈을 제시한다. 즉, 견고하게 좋은 행동을 취하고, 선택지를 구축하며, 더 많이 배우고, 해를 끼치는 것을 피하는 것이다.
인구 윤리학.
인구 윤리학은 장기주의 사상에서 중요한 역할을 한다. 많은 장기주의 옹호자들은 총체적 견해의 인구 윤리를 받아들이는데, 이는 다른 모든 조건이 동일하다면 더 많은 행복한 사람들을 존재하게 하는 것이 좋다는 것이다. 이러한 견해를 받아들이면 장기주의의 주장이 특히 강력해지는데, 이는 미래에 엄청난 수의 사람들이 존재할 수 있다는 사실이 그들의 삶을 개선하고, 결정적으로 그러한 삶이 실제로 일어나도록 보장하는 것이 엄청난 가치를 지닌다는 것을 의미하기 때문이다.
다른 지각 있는 존재.
장기주의는 종종 미래 세대 인간의 이익과 관련하여 논의된다. 그러나 일부 장기주의 옹호자들은 비인간 존재의 이익에도 높은 도덕적 가치를 부여한다. 이러한 관점에서 볼 때, 다른 지각 있는 존재로 인류의 도덕적 원을 확장하는 것은 특히 중요한 장기주의 원인 영역이 될 수 있는데, 이는 비인간 생명의 고통에 대한 도덕적 규범이 널리 퍼진다면 매우 오랫동안 지속될 수 있기 때문이다.
시간 선호도.
효과적 이타주의는 도덕적 공정성이라는 개념을 장려하며, 이는 사람들의 가치가 단순히 다른 장소에 살고 있다는 이유만으로 감소하지 않는다는 것을 시사한다. 매캐스킬과 같은 장기주의자들은 "시간상의 거리는 공간상의 거리와 같다"고 제안함으로써 이 원칙을 확장한다. 장기주의자들은 일반적으로 미래의 이익이 단순히 나중에 발생하기 때문에 그 가치가 줄어든다는 순수 시간 선호의 개념을 거부한다.
미래 이익을 평가할 때 경제학자들은 일반적으로 사회적 할인율의 개념을 사용하는데, 이는 미래 이익의 가치가 시간상 거리에 따라 지수적으로 감소한다고 가정한다. 경제학에서 사용되는 표준 램지 모델에서 사회적 할인율 formula_1는 다음과 같이 주어진다.
여기서 formula_3는 소비의 한계 효용 탄력성, formula_4는 성장률, 그리고 formula_5는 "재앙률"(미래 이익이 발생하지 않을 위험에 대한 할인)과 순수 시간 선호(미래 이익을 현재 이익보다 본질적으로 덜 가치 있게 여기는 것)를 결합한 것이다.
토비 오드는 규범윤리학에 적용되는 0이 아닌 순수 시간 선호는 임의적이고 정당하지 않다고 주장한다. 할인 모델을 고안한 경제학자 프랭크 램지 역시 순수 시간 선호가 사람들이 어떻게 행동하는지(즉각적인 이익을 선호하는 것)를 설명할 수는 있지만, 윤리적으로 무엇을 가치 있게 여겨야 하는지에 대한 규범적 지침을 제공하지는 않는다고 믿었다. 또한, formula_3는 소비의 한계 효용 체감에 기반하기 때문에 도덕적 이익이 아닌 금전적 이익에만 적용된다. 오드는 또한 이익이 발생할 불확실성을 지수 감소로 모델링하는 것이 시간이 지남에 따라 변하는 위험의 현실을 제대로 반영하지 못한다고 생각하는데, 특히 일부 재앙적 위험은 장기적으로 감소하거나 완화될 수 있기 때문이다.
반대로 안드레아스 모겐센은 양의 순수 시간 선호율 formula_5가 친족 관계를 근거로 정당화될 수 있다고 주장한다. 즉, 상식적인 도덕은 우리와 더 가까운 사람들에게 편파적인 태도를 허용하므로, "우리는 각 후속 세대의 복지를 이전 세대보다 덜 중요하게 여길 수 있다." 이러한 견해는 시간주의라고 불리며, "시간적 근접성 (...)이 구제 의무를 포함한 특정 도덕적 의무를 강화한다"고 명시한다.
예측 불가능성.
장기주의에 대한 한 가지 반론은 우리의 행동이 매우 긴 시간 범위에 걸쳐 미치는 영향을 예측하는 것에 의존한다는 점인데, 이는 기껏해야 어렵고 최악의 경우 불가능하다. 이러한 도전에 대한 대응으로 장기주의에 관심 있는 연구자들은 "가치 고정" 사건, 즉 우리가 단기적으로 영향을 미칠 수 있지만 매우 오래 지속되고 예측 가능한 미래 효과를 가질 수 있는 사건(예: 인간 절멸)을 식별하려고 노력해 왔다.
당면 문제의 경시.
또 다른 우려는 장기주의가 더 당면한 문제들을 경시하게 만들 수 있다는 것이다. 예를 들어, 일부 비평가들은 인류의 미래를 다음 10,000년 또는 1,000만 년의 관점에서 고려하는 것이 기후 변화의 단기적 영향을 경시하게 만들 수 있다고 주장해 왔다. 그들은 또한 가장 급진적인 형태의 강력한 장기주의가 이론적으로 "천문학적" 양의 미래 가치를 얻기 위해 잔혹 행위를 정당화할 수 있다고 우려한다. 인류학자 빈센트 이아렌티는 이를 피하려면 사회가 "고립된 정보 사일로와 학문적 메아리 방을 거부하는, 더 섬세하고 다면적인 장기주의"를 채택해야 한다고 주장했다.
장기주의 옹호자들은 장기적인 미래에 좋은 행동들이 종종 현재에도 좋다고 답한다. 그 예가 팬데믹 대비이다. 인류의 생존을 위협할 수 있는 최악의 팬데믹에 대비하는 것은 현재의 공중 보건을 개선하는 데도 도움이 될 수 있다. 예를 들어, 항바이러스제, 백신, 개인 보호 장비에 대한 연구 및 혁신에 자금을 지원하고, 정부가 팬데믹에 대비하도록 로비하는 것은 오늘날 사람들을 위한 소규모 건강 위협을 예방하는 데 도움이 될 수 있다.
큰 보상의 작은 확률에 의존.
장기주의에 대한 또 다른 반론은 낮은 보상의 더 확실한 도박 대신 (기대값이 더 높다면) 매우 큰 보상의 낮은 확률 도박을 받아들이는 것에 의존한다는 것이다. 장기주의적 관점에서 보면, 어떤 실존적 위험의 확률이 매우 낮고 미래의 가치가 매우 높다면, 심지어 아주 미미한 양이라도 위험을 줄이기 위해 노력하는 것이 매우 높은 기대값을 가진 것처럼 보인다. 이 문제의 예시로는 파스칼의 도박이 있는데, 이는 기대값 극대화자가 그러한 큰 보상의 낮은 확률 도박을 받아들이려는 의지를 이용하여 착취하는 것을 포함한다.
장기주의 옹호자들은 이 우려에 대해 다양한 대응을 해왔다. 일부는 직관적이지 않지만, 중간 정도의 영향력을 가진 결과의 중간 확률보다 임의로 높은 영향력을 가진 결과의 극히 작은 확률을 선호하는 것이 윤리적으로 옳다고 주장한다. 다른 이들은 장기주의가 미미한 확률에 의존할 필요가 없다고 주장한다. 실존적 위험의 확률은 사람들이 완화하려는 일반적인 위험 범위 내에 있기 때문이다. 예를 들어, 자동차 충돌 시 안전벨트를 착용하는 경우와 같다.
장기적인 미래에 대한 인간 통제의 과장.
B.V.E. 하이드는 장기주의가 역사의 우연성과 취약성에 대한 의심스러운 가정에 의존한다고 본다. 장기주의자들, 특히 윌리엄 매캐스킬은 우리가 현재 작은 행동이 먼 미래를 극적으로 형성할 수 있는 중요한 역사적 전환점에 서 있다고 가정한다. 하이드는 이러한 견해가 역사의 지나치게 혼란스럽고 "나비 효과"적인 개념, 즉 작은 변화가 거대한 장기적 변화를 낳는다는 개념을 암시한다고 주장하며 이에 이의를 제기한다. 대신 그는 역사가 종종 더 깊은 구조적 힘—경제적, 기술적, 제도적—에 의해 추진되며, 이는 특정 결과들을 견고하거나 불가피하게 만든다고 주장한다. 하이드는 장기주의자들이 역사적 복잡성을 과소평가하고 인간의 행위 능력을 과대평가하며, 개인이나 특정 개입이 문명의 궤적을 심오하게 결정한다는 비현실적이고 지나치게 영웅적인 서사를 조장한다고 주장한다.
퓨처 오브 라이프 인스티튜트(Future of Life Institute, FLI) 또는 생명의 미래 연구소는 인공 일반 지능의 실존적 위험에 초점을 맞춰, 변혁적 기술이 생명에 이롭고 대규모 위험을 피하도록 유도하는 것을 목표로 하는 비영리 단체이다. FLI의 활동에는 보조금 지원, 교육 봉사, 그리고 유엔, 미국 정부, 유럽 연합 기관 내에서의 옹호 활동이 포함된다.
이 연구소의 설립자에는 매사추세츠 공과대학교 우주론자 맥스 테그마크, 캘리포니아 대학교 샌타크루즈 우주론자 앤서니 애기어, 그리고 스카이프 공동 설립자 얀 탈린이 있다. 연구소의 고문 중에는 기업가 일론 머스크가 있다.
FLI의 표명된 임무는 변혁적 기술이 생명에 이롭고 대규모 위험을 피하도록 유도하는 것이다. FLI의 철학은 인간 수준 또는 초지능 인공 일반 지능(AGI) 개발로 인한 인류에 대한 잠재적 위험에 초점을 맞추지만, 생명공학, 핵무기 및 지구 온난화로 인한 위험을 완화하기 위해서도 노력한다.
FLI는 2014년 3월 매사추세츠 공과대학교 우주론자 맥스 테그마크, 스카이프 공동 설립자 얀 탈린, 딥마인드 연구 과학자 빅토리야 크라코브나, 터프츠 대학교 박사 후 연구원 메이아 치타-테그마크, 캘리포니아 대학교 샌타크루즈 물리학자 앤서니 애기어에 의해 설립되었다. 연구소의 고문으로는 컴퓨터 과학자 스튜어트 J. 러셀과 프란체스카 로시, 생물학자 조지 처치, 우주론자 솔 펄머터, 천체 물리학자 샌드라 페이버, 이론 물리학자 프랭크 윌첵, 기업가 일론 머스크, 배우이자 과학 커뮤니케이터인 앨런 알다와 모건 프리먼 (그리고 2018년 사망 전에는 우주론자 스티븐 호킹)이 포함된다.
2017년부터 FLI는 매년 "Future of Life Award"를 수여하고 있으며, 첫 수상자는 바실리 아르히포프였다. 같은 해 FLI는 단편 군비 통제 옹호 영화인 Slaughterbots를 공개했으며, 2021년에는 후속작을 출시했다.
2018년, FLI는 "치명적 자율 무기에 대한 법률"을 요구하는 서한 초안을 작성했다. 서명자 중에는 일론 머스크, 데미스 허사비스, 셰인 레그, 무스타파 술레이만이 포함되었다.
2023년 1월, 스웨덴 잡지 엑스포는 FLI가 스웨덴의 극우 온라인 신문인 Nya Dagbladet이 설립한 재단에 10만 달러의 보조금을 제안했다고 보도했다. 이에 대해 테그마크는 연구소가 보조금이 처음 제안된 지 몇 달 후 실사 (법) 과정에서 Nya Dagbladet의 입장을 알게 되었으며, 즉시 보조금을 취소했다고 말했다.
AI 일시 중단에 대한 공개 서한.
""라는 제목의 서한을 발표했다. 이 서한은 주요 AI 개발자들에게 "GPT-4보다 강력한" 모든 시스템을 6개월간 검증 가능하게 일시 중단하고, 그 기간 동안 안전을 보장하기 위한 프레임워크를 구축하는 데 동의할 것을 요구했다. 만약 그렇게 하지 못하면 정부가 일시 중지를 시행해야 한다고 주장했다. 이 서한은 다음과 같이 밝혔다: "최근 몇 달 동안 AI 연구소들은 자신들의 창조자조차 이해하거나 예측하거나 신뢰할 수 있게 제어할 수 없는, 더욱 강력한 디지털 지능을 개발하고 배포하려는 통제 불능의 경쟁에 갇혀 있다." 이 서한은 "지구 생명 역사에 있어 심오한 변화"의 가능성뿐만 아니라 AI 생성 선전, 일자리 감소, 인간의 불필요성, 그리고 사회 전반의 통제력 상실과 같은 잠재적 위험을 언급했다.
이 서한의 주요 서명자로는 일론 머스크, 스티브 워즈니악, 에반 샤프, 크리스 라르센, 게리 마커스, AI 연구소 CEO 코너 리히와 이마드 모스타케, 정치인 앤드루 양, 딥러닝 연구원 요슈아 벤지오, 그리고 유발 노아 하라리가 있다. 마커스는 "서한이 완벽하지는 않지만, 정신은 옳다"고 말했다. 모스타케는 "6개월 일시 중단이 최선의 생각이라고 생각하지 않거나 모든 것에 동의하지 않지만, 그 서한에는 흥미로운 점들이 있다"고 말했다. 대조적으로, 벤지오는 기자 회견에서 6개월 일시 중단을 명시적으로 지지했다. 머스크는 "선도적인 AGI 개발자들은 이 경고를 듣지 않을 것이지만, 적어도 말은 했다"고 예측했다. 머스크를 포함한 일부 서명자들은 인공 일반 지능의 실존적 위험에 대한 두려움 때문에 서명했다고 말했다. 마커스와 같은 다른 서명자들은 AI가 생성한 선전과 같은 위험에 대한 우려 때문에 서명했다고 말했다.
FLI의 서한에 인용된 논문 중 하나인 ""의 저자 중 에밀리 M. 벤더, 팀닛 게브루, 마가렛 미첼을 포함한 일부는 이 서한을 비판했다. 미첼은 "많은 의심스러운 아이디어를 기정사실로 취급함으로써, 이 서한은 FLI 지지자들에게 이로운 우선순위와 AI 내러티브를 주장한다. 지금 당장의 해악을 무시하는 것은 우리 중 일부에게는 없는 특권이다"라고 말했다.
FLI는 AI 정책 수립에 적극적으로 기여해 왔다. 예를 들어 2023년 10월, 미국 상원 다수당 원내대표인 척 슈머는 FLI를 초청하여 선별된 상원의원들에게 AI 규제에 대한 견해를 공유하도록 했다. 유럽에서는 FLI가 EU의 인공지능 규제법에 GPT-4와 같은 더 일반적인 AI 시스템을 포함시키도록 성공적으로 옹호했다.
군사 정책 분야에서 FLI는 핵무기금지조약에 대한 과학계의 지지를 조율했다. 유엔 및 기타 장소에서 연구소는 또한 치명적 자율 무기에 대한 조약을 옹호해 왔다.
연구 보조금.
FLI 연구 프로그램은 2015년 일론 머스크의 초기 1,000만 달러 기부로 시작되었다. 이 첫 라운드에서는 총 700만 달러가 37개의 연구 프로젝트에 할당되었다. 2021년 7월, FLI는 러시아계 캐나다 프로그래머 비탈리크 부테린의 자금 지원으로 2,500만 달러 규모의 새로운 보조금 프로그램을 시작할 것이라고 발표했다.
2014년, 퓨처 오브 라이프 인스티튜트는 매사추세츠 공과대학교에서 개회 행사를 개최했다. 이 행사에서는 앨런 알다가 사회를 맡은 "기술의 미래: 이점과 위험"에 대한 패널 토론이 진행되었다. 패널리스트로는 합성 생물학자 조지 처치, 유전학자 팅 우, 경제학자 앤드루 맥아피, 물리학자이자 노벨상 수상자인 프랭크 윌첵, 스카이프 공동 창업자 얀 탈린이 참여했다.
2015년부터 FLI는 학계와 산업계의 AI 연구자들을 한자리에 모으는 것을 목적으로 격년 회의를 개최해 왔다. 2023년 4월 현재, 다음 컨퍼런스들이 개최되었다:
우리의 마지막 발명품: 인공지능과 인류 시대의 종말(Our Final Invention: Artificial Intelligence and the End of the Human Era)은 미국의 작가 제임스 배럿이 2013년에 쓴 논픽션 책이다. 이 책은 인간 수준의 (AGI) 또는 초인적인 (ASI) 인공지능의 잠재적 이점과 가능한 위험에 대해 논한다. 이러한 위험에는 인류의 멸종이 포함된다.
제임스 배럿은 AI 개념, AI 역사, 그리고 엘리저 유드코프스키와 레이 커즈와일을 포함한 저명한 AI 연구자들과의 인터뷰를 엮는다. 이 책은 인공 일반 지능이 재귀적 자기 개선을 통해 어떻게 인공 초지능이 될 수 있는지에 대한 설명으로 시작한다. 다음 장에서 이 책은 AI의 역사를 다루며, I. J. 굿의 연구에서부터 오늘날 이 분야의 연구자들의 연구와 아이디어까지 설명한다.
책 전반에 걸쳐 배럿은 인공 초지능이 인간의 존재에 가하는 위협에 초점을 맞춰 경고하는 어조를 취한다. 배럿은 가장 지능적인 인간보다 몇 배나 더 지능적인 존재의 행동을 통제하거나 심지어 예측하는 것이 얼마나 어려운지 강조한다.