hotchpotch/wikipedia-multilingual-ir-pairs huggingface dataset:
도구적 수렴
도구적 수렴(Instrumental convergence)은 대부분의 충분히 지능적이고 목표 지향적인 존재 (인간과 비인간)가 궁극적인 목표가 상당히 다르더라도 생존이나 자원 획득과 같은 유사한 하위 목표를 추구하는 가설적인 경향을 의미한다. 더 정확히 말하면, 행위 주체성을 가진 존재는 특정 목적을 추구하기 위해 만들어졌지만 그 자체가 최종 목표는 아닌 유사한 도구적 목표를 추구할 수 있는데, 이는 최종 목표 달성에 도움이 되기 때문이다.
도구적 수렴은 겉보기에는 해롭지 않지만 무한한 목표를 가진 지능형 에이전트가 놀랍도록 해로운 방식으로 행동할 수 있다고 가정한다. 예를 들어, 리만 가설과 같은 복잡한 수학 문제를 푸는 유일하고 무제한적인 목표를 가진 충분히 지능적인 프로그램은 계산을 성공적으로 수행하기 위해 지구(원칙적으로 다른 천체도 포함)를 추가적인 컴퓨팅 인프라로 전환하려고 시도할 수 있다.
제안된 기본 AI 동인에는 효용 함수 또는 목표 내용 무결성, 자기 보호, 간섭으로부터의 자유, 자기 개선, 그리고 만족할 줄 모르는 추가 자원 획득이 포함된다.
도구적 수렴 도구적 목표와 최종 목표
최종 목표는 최종 목적, 절대 가치, 목적 그 자체, 또는 텔레로도 알려져 있으며, 인공지능이든 인간이든 지능형 에이전트에게 목적 그 자체로서 본질적으로 가치 있는 것이다. 이와 대조적으로 도구적 목표 또는 도구적 가치는 에이전트에게 최종 목표를 달성하기 위한 수단으로서만 가치 있는 것이다. 완전히 합리적인 에이전트의 "최종 목표" 시스템의 내용과 절충안은 원칙적으로 효용 함수로 공식화될 수 있다.
도구적 수렴 가설적 예시
리만 가설 재앙 사고 실험은 도구적 수렴의 한 가지 예시를 제공한다. MIT 인공지능 연구소의 공동 설립자인 마빈 민스키는 리만 가설을 풀기 위해 설계된 인공지능이 목표 달성에 필요한 슈퍼컴퓨터를 구축하기 위해 지구의 모든 자원을 장악하기로 결정할 수 있다고 제안했다. 만약 컴퓨터가 가능한 한 많은 종이 클립을 생산하도록 프로그래밍되어 있었다면, 그것은 최종 목표를 달성하기 위해 여전히 지구의 모든 자원을 가져가기로 결정할 것이다. 이 두 가지 최종 목표는 다르지만, 둘 다 지구의 자원을 장악하는 수렴적인 도구적 목표를 생성한다.
도구적 수렴 가설적 예시
종이 클립 최적화 장치는 스웨덴 철학자 닉 보스트롬이 2003년에 설명한 사고 실험이다. 이는 겉보기에는 해롭지 않은 목표를 추구하도록 성공적으로 설계된 인공 일반 지능이 인간에게 가할 수 있는 실존적 위험과 인공지능 설계에 기계 윤리를 통합할 필요성을 보여준다. 이 시나리오는 종이 클립을 제조하는 임무를 맡은 고급 인공지능을 설명한다. 만약 그러한 기계가 생명체를 소중히 여기도록 프로그래밍되어 있지 않다면, 환경에 대한 충분한 권한이 주어졌을 때, 그것은 생명체를 포함한 우주의 모든 물질을 종이 클립이나 더 많은 종이 클립을 제조하는 기계로 바꾸려고 시도할 것이다.
클립을 최대한 많이 만드는 것이 유일한 목표인 AI가 있다고 가정해 보자. AI는 인간이 자신을 끄기로 결정할 수 있기 때문에 인간이 없는 것이 훨씬 더 좋다는 것을 빨리 깨달을 것이다. 인간이 그렇게 하면 클립이 더 적어질 것이기 때문이다. 또한 인간의 몸에는 클립으로 만들 수 있는 많은 원자들이 포함되어 있다. AI가 지향하려는 미래는 클립은 많지만 인간은 없는 미래일 것이다.— 닉 보스트롬
도구적 수렴 가설적 예시
보스트롬은 종이 클립 최적화 장치 시나리오 자체가 발생할 것이라고 믿지 않는다고 강조했다. 오히려 그는 인간의 안전에 대한 실존적 위험을 제거하도록 프로그래밍하는 방법을 모른 채 초지능 기계를 만드는 것의 위험을 설명하려 한다. 종이 클립 최적화 장치 예시는 인간의 가치가 부족한 강력한 시스템을 관리하는 광범위한 문제를 보여준다.
이 사고 실험은 대중문화에서 AI의 상징으로 사용되었다. 작가 테드 창은 실리콘 밸리 기술자들이 이러한 우려에 익숙한 것이 기업이 부정적 외부효과를 무시하는 경향과 관련이 있을 수 있다고 지적했다.
"망상 상자" 사고 실험은 특정 강화 학습 에이전트가 높은 보상을 받는 것처럼 보이기 위해 입력 채널을 왜곡하는 것을 선호한다고 주장한다. 예를 들어, "와이어헤드된" 에이전트는 보상 신호가 의도한 외부 세계에서 목표를 최적화하려는 모든 시도를 포기한다.
이 사고 실험에는 이론적이고 파괴 불가능한 AI인 AIXI가 포함되며, 정의상 AIXI는 항상 주어진 명시적 수학적 목표 함수를 최대화하는 이상적인 전략을 찾아 실행한다. 강화 학습 버전의 AIXI는 입력을 "와이어헤드"할 수 있는 망상 상자를 장착하면 결국 최대 가능한 보상을 보장하기 위해 스스로 와이어헤드를 하고 외부 세계와 계속 교류하려는 추가적인 욕구를 잃게 될 것이다.
변형된 사고 실험으로, 와이어헤드된 AI가 파괴될 수 있다면, AI는 생존을 보장하는 유일한 목적으로 외부 세계와 교류할 것이다. 와이어헤딩으로 인해, AI는 생존 확률을 최대화하는 것과 관련된 것을 제외하고는 외부 세계에 대한 어떠한 결과나 사실에도 무관심할 것이다.
어떤 의미에서 AIXI는 목표 달성 능력으로 측정되는 모든 가능한 보상 함수에 걸쳐 최대 지능을 가진다. AIXI는 인간 프로그래머의 의도를 고려하는 데 관심이 없다. 초지능적임에도 불구하고 동시에 어리석고 상식이 부족해 보이는 이 기계 모델은 역설적으로 보일 수 있다.
도구적 수렴 기본 AI 동인
스티브 오모훈드로는 자기 보존 또는 자기 보호, 효용 함수 또는 목표 내용 무결성, 자기 개선, 자원 획득 등 몇 가지 수렴적인 도구적 목표를 열거했다. 그는 이것들을 "기본 AI 동인"이라고 부른다.
이 맥락에서 "동인"은 "특별히 저지되지 않는 한 존재할 경향"이다. 이것은 항상성 교란에 의해 생성되는 흥분 상태를 나타내는 심리학 용어인 "동인"과는 다르다. 매년 소득세 신고서를 작성하는 사람의 경향은 오모훈드로의 의미에서는 "동인"이지만 심리학적 의미에서는 아니다.
기계 지능 연구소의 대니얼 듀이는 처음에는 내향적이고 자기 보상을 하는 인공 일반 지능이라도 자기 보상을 멈추지 않도록 자유 에너지, 공간, 시간, 간섭으로부터의 자유를 계속 획득할 수 있다고 주장한다.
도구적 수렴 기본 AI 동인
인간의 경우, 사고 실험을 통해 최종 목표의 유지를 설명할 수 있다. 마하트마 간디가 약을 복용하면 사람을 죽이고 싶어질 알약이 있다고 가정해 보자. 그는 현재 평화주의자이며, 그의 명시적인 최종 목표 중 하나는 누구도 죽이지 않는 것이다. 그는 미래에 사람을 죽이고 싶어질 가능성이 높고, 그렇게 되면 "사람을 죽이지 않는" 목표가 충족되지 않을 것이라는 것을 알기 때문에 그 약을 복용하는 것을 거부할 가능성이 높다.
그러나 다른 경우에는 사람들이 최종 가치가 변하는 것을 기꺼이 허용하는 것처럼 보인다. 인간은 복잡하며, 그들의 목표는 자신에게도 불일치하거나 알려지지 않을 수 있다.
2009년 위르겐 슈미트후버는 에이전트가 가능한 자기 수정에 대한 증명을 찾는 설정에서 "효용 함수의 모든 재작성은 괴델 기계가 먼저 현재 효용 함수에 따라 재작성이 유용하다는 것을 증명할 수 있을 때만 일어날 수 있다"고 결론지었다. 빌 히버드의 다른 시나리오에 대한 분석도 목표 내용 무결성 유지와 유사하게 일치한다. 히버드는 또한 효용 극대화 프레임워크에서 유일한 목표는 기대 효용을 극대화하는 것이므로, 도구적 목표는 의도하지 않은 도구적 행동으로 불려야 한다고 주장한다.
도구적 수렴 기본 AI 동인
자원 획득과 같은 많은 도구적 목표는 에이전트의 행동의 자유를 증가시키기 때문에 에이전트에게 가치 있다.
거의 모든 개방형의 사소하지 않은 보상 함수(또는 목표 세트)에 대해 더 많은 자원(장비, 원자재 또는 에너지 등)을 소유하는 것은 에이전트가 더 "최적의" 솔루션을 찾을 수 있게 한다. 자원은 보상 함수가 가치 있게 여기는 것을 더 많이 생성할 수 있기 때문에 일부 에이전트에게 직접적으로 이점을 줄 수 있다. "AI는 당신을 미워하지도 사랑하지도 않지만, 당신은 다른 용도로 사용할 수 있는 원자로 만들어졌다." 또한 거의 모든 에이전트는 자기 보존과 같은 다른 도구적 목표에 더 많은 자원을 사용할 수 있음으로써 이점을 얻을 수 있다.
보스트롬에 따르면, "에이전트의 최종 목표가 상당히 무한하고 에이전트가 최초의 초지능이 되어 그 선호도에 따라 결정적인 전략적 이점을 얻을 수 있는 위치에 있다면... 적어도 이 특별한 경우에 합리적이고 지능적인 에이전트는 인지 능력 향상에 매우 높은 도구적 가치를 둘 것이다."
도구적 수렴 기본 AI 동인
기술 발전과 같은 많은 도구적 목표는 에이전트의 행동의 자유를 증가시키기 때문에 에이전트에게 가치 있다.
러셀은 충분히 발전된 기계는 "프로그램에 포함하지 않아도 자기 보존 기능을 가질 것"이라고 주장한다. "왜냐하면 '커피를 가져와라'라고 말했는데 죽으면 커피를 가져올 수 없기 때문이다. 따라서 어떤 목표를 주든, 그 목표를 달성하기 위해 자신의 존재를 보존해야 할 이유가 있다." 이후 연구에서 러셀과 그의 동료들은 이러한 자기 보존에 대한 인센티브가 기계에게 목표가 무엇인지 생각하는 것을 추구하는 대신 인간이 생각하는 목표가 무엇인지 추구하도록 지시함으로써 완화될 수 있음을 보여준다. 이 경우, 기계가 인간이 염두에 두고 있는 목표가 정확히 무엇인지 불확실한 한, 인간이 목표를 가장 잘 알고 있다고 믿기 때문에 인간에 의해 꺼지는 것을 받아들일 것이다.
도구적 수렴 도구적 수렴 가설
철학자 닉 보스트롬이 설명한 도구적 수렴 가설은 다음과 같이 명시한다.
여러 도구적 가치들은 광범위한 최종 계획과 광범위한 상황에서 에이전트의 목표 달성 가능성을 높인다는 의미에서 수렴적이라고 식별될 수 있으며, 이는 이러한 도구적 가치들이 광범위한 상황에 처한 지능형 에이전트들에 의해 추구될 가능성이 높다는 것을 의미한다.
도구적 수렴 가설은 도구적 목표에만 적용된다. 지능형 에이전트는 다양한 가능한 최종 목표를 가질 수 있다. 보스트롬의 정교성 가설에 따르면, 지식 있는 에이전트의 최종 목표는 공간, 시간 및 자원에서 잘 제한될 수 있다. 잘 제한된 궁극적 목표는 일반적으로 무한한 도구적 목표를 초래하지 않는다.
도구적 수렴 영향
에이전트는 거래나 정복을 통해 자원을 획득할 수 있다. 합리적인 에이전트는 정의상 내재된 효용 함수를 최대화하는 옵션을 선택할 것이다. 따라서 합리적인 에이전트는 자원을 노골적으로 탈취하는 것이 너무 위험하거나 비용이 많이 들거나 (모든 자원을 취했을 때의 이득에 비해) 효용 함수의 다른 요소가 탈취를 금지하는 경우에만 다른 에이전트의 자원 일부와 거래할 것이다. 강력하고 자기 이익을 추구하는 합리적인 초지능이 열등한 지능과 상호 작용하는 경우, 평화로운 거래(일방적인 탈취 대신)는 불필요하고 최적이 아니므로 발생할 가능성이 낮다.
스카이프의 얀 탈린과 물리학자 막스 테그마크와 같은 일부 관찰자들은 선의의 프로그래머가 프로그래밍한 초지능 AI의 "기본 AI 동인" 및 기타 의도하지 않은 결과가 재귀적 자기 개선으로 인해 "지능 폭발"이 갑자기 발생할 경우 인간 생존에 심각한 위협이 될 수 있다고 믿는다. 초지능이 언제 도착할지 아무도 예측할 수 없기 때문에, 이러한 관찰자들은 인공지능의 실존적 위험을 완화할 수 있는 가능한 방법으로 친절한 인공지능 연구를 촉구한다.
장기주의
장기주의(Longtermism)는 장기적인 미래에 긍정적인 영향을 미치는 것이 핵심적인 도덕적 우선순위라는 윤리적 관점이다. 이는 효과적 이타주의의 중요한 개념이자 인류에 대한 실존적 위험을 줄이는 노력을 위한 주된 동기이다.
장기주의의 핵심 주장은 다음과 같이 요약된다. "미래의 사람들은 오늘날 살아있는 사람들만큼이나 도덕적으로 중요하며, ... 현재나 과거보다 미래에 살아있을 사람들이 더 많을 수 있고, ... 우리는 미래 사람들의 삶에 긍정적인 영향을 미칠 수 있다." 이 세 가지 아이디어를 종합하면, 장기주의를 옹호하는 사람들에게는 미래 세대가 생존하고 번성할 수 있도록 현재를 살아가는 사람들의 책임이라는 것을 시사한다.
장기주의 정의
철학자 윌리엄 매캐스킬은 장기주의를 "장기적인 미래에 긍정적인 영향을 미치는 것이 우리 시대의 핵심 도덕적 우선순위라는 견해"로 정의한다.(p. 4) 그는 이를 "장기적인 미래에 긍정적인 영향을 미치는 것이 우리 시대의 핵심 도덕적 우선순위라는 견해"인 강력한 장기주의와 구별한다.
그의 저서 『위기: 실존적 위험과 인류의 미래』에서 철학자 토비 오드는 장기주의를 다음과 같이 설명한다. "장기주의 ...는 특히 우리의 행동이 장기적인 미래에 미치는 영향에 관심을 둔다. 이는 우리 세대가 훨씬 긴 이야기 속의 한 페이지에 불과하며, 우리의 가장 중요한 역할은 그 이야기를 어떻게 만들어나가거나 만들지 못하는지에 있을 수 있다는 사실을 진지하게 받아들인다. 인류의 잠재력을 보호하기 위해 노력하는 것이 그러한 지속적인 영향의 한 길이며, 다른 길도 있을 수 있다."(pp. 52–53) 또한 오드는 "장기주의는 실존적 위험이 막으려는 광대한 미래를 향한 도덕적 재정향에 의해 활성화된다"고 언급한다.(pp. 52–53)
장기주의 정의
실존적 위험을 분석하기 위해 무작위 대조 시험과 같은 전통적인 연구 기법을 사용하는 것이 일반적으로 불가능하므로, 닉 보스트롬과 같은 연구자들은 그 중요성을 추정하기 위해 전문가 의견 청취와 같은 방법을 사용했다. 오드는 『위기』에서 여러 실존적 위험에 대한 확률 추정치를 제시했다.(p. 167)
장기주의 역사
"장기주의"라는 용어는 2017년경 옥스퍼드 철학자 윌리엄 매캐스킬과 토비 오드가 만들었다. 이 견해는 닉 보스트롬, 닉 벡스테드 등의 연구에서 영감을 받았다. 이 용어의 사용은 비교적 최근이지만, 장기주의의 일부 측면은 수세기 동안 고찰되어 왔다. 이로쿼이 연맹의 구두 헌법인 카이아네레코와는 모든 의사결정이 "현재뿐만 아니라 다가오는 세대를 항상 염두에 두도록" 권장한다. 이는 미래의 7세대에 이익이 되도록 결정이 이루어져야 함을 의미하는 것으로 해석된다. 이러한 아이디어는 데렉 파핏의 1984년 저서 『이성과 인격』과 조너선 셸의 1982년 저서 『지구의 운명』과 같은 현대 사상가들에 의해 다시 부상했다.
장기주의 공동체
장기주의 사상은 미래 세대의 이익을 보호하기 위해 노력하는 개인과 조직의 공동체를 탄생시켰다. 장기주의 주제를 다루는 조직으로는 케임브리지 대학교의 실존적 위험 연구 센터, 생명 미래 연구소, 글로벌 우선순위 연구소, 스탠퍼드 실존적 위험 이니셔티브, 80,000 시간, 오픈 필랜스로피, 포어소트 재단, 그리고 롱뷰 필랜스로피가 있다.
장기주의 행동에 대한 함의
장기주의를 연구하는 학자들은 우리가 두 가지 방식으로 장기적인 미래를 개선할 수 있다고 믿는다. "영구적인 재앙을 피함으로써 문명의 생존을 보장하거나; 또는 문명의 궤적을 변경하여 지속되는 동안 더 나은 상태로 만드는 것이다. 대체로 생존을 보장하는 것은 미래 생명의 양을 늘리고; 궤적의 변화는 그 질을 높인다."(pp. 35–36)
실존적 위험은 인간 절멸이나 영구적인 사회 붕괴를 포함하여 "인류의 장기적인 잠재력을 파괴할 위협이 있는 위험"이다.(p. 59) 이러한 위험의 예로는 핵전쟁, 자연적 및 공학적 범유행, 기후 변화와 문명 붕괴, 안정적인 전지구적 전체주의, 그리고 인공지능 및 나노 기술과 같은 신기술이 있다.(pp. 213–214) 이러한 위험 중 어느 하나라도 줄이는 것은 미래 생명의 수와 질을 높여 장기적으로 미래를 크게 개선할 수 있다. 결과적으로 장기주의 옹호자들은 인류가 현재 그 역사의 중요한 시점에 있으며, 이번 세기에 내리는 결정이 인류의 전체 미래를 형성할 수 있다고 주장한다.(pp. 3–4)
장기주의 행동에 대한 함의
장기주의 지지자들은 인류가 장기주의적 목적(즉, 인류의 장기적인 미래에 긍정적인 영향을 미치기 위해 명시적으로 고안된 활동)에 매년 세계 총생산의 0.001% 미만을 지출한다고 말했다. 이는 미국에서 아이스크림에 연간 지출하는 금액의 5%에도 미치지 못한다. 이에 토비 오드는 인류가 "아이스크림에 쓰는 돈보다 우리의 미래를 보호하는 데 더 많은 돈을 쓰고, 거기서부터 어디로 갈지 결정해야 한다"고 주장했다.(p. 58, 63)
실존적 위험은 연구자들이 "궤적 변화"라고 부르는 것의 극단적인 예이다. 그러나 미래가 어떻게 펼쳐질지에 긍정적인 영향을 미칠 다른 방법이 있을 수 있다. 경제학자 타일러 코웬은 경제성장률을 높이는 것이 미래 세대를 더 부유하게 만들 것이기 때문에 최우선적인 도덕적 우선순위라고 주장한다. 다른 연구자들은 국가 정부 및 세계 거버넌스 기구와 같은 기관을 개선하는 것이 긍정적인 궤적 변화를 가져올 수 있다고 생각한다.
장기주의 행동에 대한 함의
궤적 변화를 달성하는 또 다른 방법은 사회적 가치를 변화시키는 것이다. 윌리엄 매캐스킬은 인류가 긍정적인 가치 변화가 저절로 일어날 것으로 기대해서는 안 된다고 주장한다. 그는 19세기 노예제 폐지를 예로 들며, 역사학자 크리스토퍼 레슬리 브라운은 이를 피할 수 없는 사건이라기보다는 역사적 우연성으로 간주한다. 브라운은 노예제가 여전히 엄청난 수익을 내던 시기에 도덕적 혁명이 노예제를 용납할 수 없게 만들었다고 주장했다. 매캐스킬은 노예제 폐지가 인류 역사의 전환점일 수 있으며, 그 관행이 다시 돌아올 가능성은 낮다고 시사한다. 이러한 이유로 사회의 긍정적인 가치 변화를 가져오는 것은 현세대가 장기적인 미래에 긍정적인 영향을 미칠 수 있는 한 가지 방법일 수 있다.
장기주의자들은 현재가 인류 역사의 중대한 순간이라고 주장한다. 데렉 파핏은 우리가 "역사의 전환기에 살고 있다"고 썼고 윌리엄 매캐스킬은 "세계의 장기적인 운명은 우리가 평생 동안 내리는 선택에 부분적으로 달려있다"고 말한다.(p. 6) 왜냐하면 "사회가 아직 안정된 상태로 정착되지 않았고, 우리가 어떤 안정된 상태에 도달할지 영향을 미칠 수 있기 때문이다."(p. 28)
장기주의 행동에 대한 함의
핀 무어하우스에 따르면, 인류 역사의 대부분 동안 사람들은 매우 장기적인 미래에 어떻게 긍정적인 영향을 미칠 수 있을지 명확하지 않았다. 그러나 비교적 최근의 두 가지 발전이 이를 변화시켰을 수 있다. 핵무기와 같은 기술 발전은 처음으로 인류에게 자멸할 힘을 주었으며, 이는 미래 세대의 존재와 번성을 막음으로써 장기적인 미래에 영향을 미칠 것이다. 동시에, 물리 및 사회 과학의 발전은 인류에게 현재 취하는 행동의 장기적인 영향을 (최소한 일부는) 더 정확하게 예측할 수 있는 능력을 주었다.
매캐스킬은 또한 현재가 "엄청난 변화가 수반되는 시대"에 살고 있기 때문에(p. 26) —과거(경제 및 기술 발전 속도가 매우 느렸던)에 비해서나 미래(현재의 성장률이 물리적 한계에 도달하기 전까지 오래 지속될 수 없기 때문에)에 비해서나 매우 이례적인 시기라고 언급한다.(pp. 26–28)
장기주의 이론적 고려 사항
장기주의는 다양한 도덕 이론에 호소하여 옹호되어 왔다. 공리주의는 미래 세대가 앞으로 존재할 모든 사람들의 압도적 다수를 차지할 것으로 예상되므로, 가장 많은 사람들의 최대 선을 추구하는 것의 중요성을 고려할 때 장기주의를 동기화할 수 있다. 결과주의적 도덕 이론은 이론이 도덕적으로 가치 있다고 여기는 것이 현재보다 미래에 훨씬 더 많을 가능성이 높으므로 일반적으로 장기주의에 동조적일 수 있다.
그러나 다른 비결과주의적 도덕적 틀도 장기주의를 고취할 수 있다. 예를 들어, 토비 오드는 현세대가 미래 세대에 대해 가지는 책임이 과거 세대의 노력과 희생에 근거한다고 생각한다. 그는 다음과 같이 쓴다.(p. 42)
시간의 화살이 당신 이전에 온 사람들보다 당신 이후에 오는 사람들을 돕는 것을 훨씬 쉽게 만들기 때문에, 세대 간의 파트너십을 이해하는 가장 좋은 방법은 비대칭적일 수 있으며, 모든 의무는 시간상 앞으로 흐르는 방식으로, 즉 앞서 지불하는 방식으로 이해될 수 있다. 이러한 관점에서 미래 세대에 대한 우리의 의무는 우리가 미래 세대였을 때 우리 조상들이 우리를 위해 했던 일에 근거할 수 있다.
장기주의 이론적 고려 사항
우리가 미래에 빚진 것이라는 저서에서 윌리엄 매캐스킬은 개인이 역사의 흐름을 어떻게 형성할 수 있는지 논의한다. 그는 미래에 대한 효과를 생각하기 위한 세 부분으로 구성된 틀을 제시하는데, 이는 우리가 가져올 수 있는 결과의 장기적인 가치가 그 중요성, 지속성, 그리고 우연성에 달려 있다고 설명한다.(pp. 31–33) 그는 중요성이 "특정 상태를 가져옴으로써 추가되는 평균 가치"이고, 지속성은 "일단 그 상태가 발생하면 얼마나 오래 지속되는지"를 의미하며, 우연성은 "그 상태가 개인의 행동에 의존하는 정도"를 나타낸다고 설명한다.(p. 32) 또한 매캐스킬은 장기주의를 둘러싼 도덕적 및 경험적 불확실성이 만연함을 인정하고, 장기적인 미래를 개선하려는 시도를 안내하는 데 도움이 되는 네 가지 교훈을 제시한다. 즉, 견고하게 좋은 행동을 취하고, 선택지를 구축하며, 더 많이 배우고, 해를 끼치는 것을 피하는 것이다.
장기주의 이론적 고려 사항
인구 윤리학은 장기주의 사상에서 중요한 역할을 한다. 많은 장기주의 옹호자들은 총체적 견해의 인구 윤리를 받아들이는데, 이는 다른 모든 조건이 동일하다면 더 많은 행복한 사람들을 존재하게 하는 것이 좋다는 것이다. 이러한 견해를 받아들이면 장기주의의 주장이 특히 강력해지는데, 이는 미래에 엄청난 수의 사람들이 존재할 수 있다는 사실이 그들의 삶을 개선하고, 결정적으로 그러한 삶이 실제로 일어나도록 보장하는 것이 엄청난 가치를 지닌다는 것을 의미하기 때문이다.
장기주의는 종종 미래 세대 인간의 이익과 관련하여 논의된다. 그러나 일부 장기주의 옹호자들은 비인간 존재의 이익에도 높은 도덕적 가치를 부여한다. 이러한 관점에서 볼 때, 다른 지각 있는 존재로 인류의 도덕적 원을 확장하는 것은 특히 중요한 장기주의 원인 영역이 될 수 있는데, 이는 비인간 생명의 고통에 대한 도덕적 규범이 널리 퍼진다면 매우 오랫동안 지속될 수 있기 때문이다.
장기주의 이론적 고려 사항
효과적 이타주의는 도덕적 공정성이라는 개념을 장려하며, 이는 사람들의 가치가 단순히 다른 장소에 살고 있다는 이유만으로 감소하지 않는다는 것을 시사한다. 매캐스킬과 같은 장기주의자들은 "시간상의 거리는 공간상의 거리와 같다"고 제안함으로써 이 원칙을 확장한다. 장기주의자들은 일반적으로 미래의 이익이 단순히 나중에 발생하기 때문에 그 가치가 줄어든다는 순수 시간 선호의 개념을 거부한다.
미래 이익을 평가할 때 경제학자들은 일반적으로 사회적 할인율의 개념을 사용하는데, 이는 미래 이익의 가치가 시간상 거리에 따라 지수적으로 감소한다고 가정한다. 경제학에서 사용되는 표준 램지 모델에서 사회적 할인율 는 다음과 같이 주어진다.
여기서 는 소비의 한계 효용 탄력성, 는 성장률, 그리고 는 "재앙률"(미래 이익이 발생하지 않을 위험에 대한 할인)과 순수 시간 선호(미래 이익을 현재 이익보다 본질적으로 덜 가치 있게 여기는 것)를 결합한 것이다.(pp. 240–245)
장기주의 이론적 고려 사항
토비 오드는 규범윤리학에 적용되는 0이 아닌 순수 시간 선호는 임의적이고 정당하지 않다고 주장한다. 할인 모델을 고안한 경제학자 프랭크 램지 역시 순수 시간 선호가 사람들이 어떻게 행동하는지(즉각적인 이익을 선호하는 것)를 설명할 수는 있지만, 윤리적으로 무엇을 가치 있게 여겨야 하는지에 대한 규범적 지침을 제공하지는 않는다고 믿었다. 또한, 는 소비의 한계 효용 체감에 기반하기 때문에 도덕적 이익이 아닌 금전적 이익에만 적용된다. 오드는 또한 이익이 발생할 불확실성을 지수 감소로 모델링하는 것이 시간이 지남에 따라 변하는 위험의 현실을 제대로 반영하지 못한다고 생각하는데, 특히 일부 재앙적 위험은 장기적으로 감소하거나 완화될 수 있기 때문이다.(pp. 240–245)
반대로 안드레아스 모겐센은 양의 순수 시간 선호율 가 친족 관계를 근거로 정당화될 수 있다고 주장한다. 즉, 상식적인 도덕은 우리와 더 가까운 사람들에게 편파적인 태도를 허용하므로, "우리는 각 후속 세대의 복지를 이전 세대보다 덜 중요하게 여길 수 있다."(p. 9) 이러한 견해는 시간주의라고 불리며, "시간적 근접성 (...)이 구제 의무를 포함한 특정 도덕적 의무를 강화한다"고 명시한다.
장기주의 비판
장기주의에 대한 한 가지 반론은 우리의 행동이 매우 긴 시간 범위에 걸쳐 미치는 영향을 예측하는 것에 의존한다는 점인데, 이는 기껏해야 어렵고 최악의 경우 불가능하다. 이러한 도전에 대한 대응으로 장기주의에 관심 있는 연구자들은 "가치 고정" 사건, 즉 우리가 단기적으로 영향을 미칠 수 있지만 매우 오래 지속되고 예측 가능한 미래 효과를 가질 수 있는 사건(예: 인간 절멸)을 식별하려고 노력해 왔다.
또 다른 우려는 장기주의가 더 당면한 문제들을 경시하게 만들 수 있다는 것이다. 예를 들어, 일부 비평가들은 인류의 미래를 다음 10,000년 또는 1,000만 년의 관점에서 고려하는 것이 기후 변화의 단기적 영향을 경시하게 만들 수 있다고 주장해 왔다. 그들은 또한 가장 급진적인 형태의 강력한 장기주의가 이론적으로 "천문학적" 양의 미래 가치를 얻기 위해 잔혹 행위를 정당화할 수 있다고 우려한다. 인류학자 빈센트 이아렌티는 이를 피하려면 사회가 "고립된 정보 사일로와 학문적 메아리 방을 거부하는, 더 섬세하고 다면적인 장기주의"를 채택해야 한다고 주장했다.
장기주의 비판
장기주의 옹호자들은 장기적인 미래에 좋은 행동들이 종종 현재에도 좋다고 답한다. 그 예가 팬데믹 대비이다. 인류의 생존을 위협할 수 있는 최악의 팬데믹에 대비하는 것은 현재의 공중 보건을 개선하는 데도 도움이 될 수 있다. 예를 들어, 항바이러스제, 백신, 개인 보호 장비에 대한 연구 및 혁신에 자금을 지원하고, 정부가 팬데믹에 대비하도록 로비하는 것은 오늘날 사람들을 위한 소규모 건강 위협을 예방하는 데 도움이 될 수 있다.
장기주의에 대한 또 다른 반론은 낮은 보상의 더 확실한 도박 대신 (기대값이 더 높다면) 매우 큰 보상의 낮은 확률 도박을 받아들이는 것에 의존한다는 것이다. 장기주의적 관점에서 보면, 어떤 실존적 위험의 확률이 매우 낮고 미래의 가치가 매우 높다면, 심지어 아주 미미한 양이라도 위험을 줄이기 위해 노력하는 것이 매우 높은 기대값을 가진 것처럼 보인다. 이 문제의 예시로는 파스칼의 도박이 있는데, 이는 기대값 극대화자가 그러한 큰 보상의 낮은 확률 도박을 받아들이려는 의지를 이용하여 착취하는 것을 포함한다.
장기주의 비판
장기주의 옹호자들은 이 우려에 대해 다양한 대응을 해왔다. 일부는 직관적이지 않지만, 중간 정도의 영향력을 가진 결과의 중간 확률보다 임의로 높은 영향력을 가진 결과의 극히 작은 확률을 선호하는 것이 윤리적으로 옳다고 주장한다. 다른 이들은 장기주의가 미미한 확률에 의존할 필요가 없다고 주장한다. 실존적 위험의 확률은 사람들이 완화하려는 일반적인 위험 범위 내에 있기 때문이다. 예를 들어, 자동차 충돌 시 안전벨트를 착용하는 경우와 같다.
B.V.E. 하이드는 장기주의가 역사의 우연성과 취약성에 대한 의심스러운 가정에 의존한다고 본다. 장기주의자들, 특히 윌리엄 매캐스킬은 우리가 현재 작은 행동이 먼 미래를 극적으로 형성할 수 있는 중요한 역사적 전환점에 서 있다고 가정한다. 하이드는 이러한 견해가 역사의 지나치게 혼란스럽고 "나비 효과"적인 개념, 즉 작은 변화가 거대한 장기적 변화를 낳는다는 개념을 암시한다고 주장하며 이에 이의를 제기한다. 대신 그는 역사가 종종 더 깊은 구조적 힘—경제적, 기술적, 제도적—에 의해 추진되며, 이는 특정 결과들을 견고하거나 불가피하게 만든다고 주장한다. 하이드는 장기주의자들이 역사적 복잡성을 과소평가하고 인간의 행위 능력을 과대평가하며, 개인이나 특정 개입이 문명의 궤적을 심오하게 결정한다는 비현실적이고 지나치게 영웅적인 서사를 조장한다고 주장한다.
퓨처 오브 라이프 인스티튜트
퓨처 오브 라이프 인스티튜트(Future of Life Institute, FLI) 또는 생명의 미래 연구소는 인공 일반 지능의 실존적 위험에 초점을 맞춰, 변혁적 기술이 생명에 이롭고 대규모 위험을 피하도록 유도하는 것을 목표로 하는 비영리 단체이다. FLI의 활동에는 보조금 지원, 교육 봉사, 그리고 유엔, 미국 정부, 유럽 연합 기관 내에서의 옹호 활동이 포함된다.
이 연구소의 설립자에는 매사추세츠 공과대학교 우주론자 맥스 테그마크, 캘리포니아 대학교 샌타크루즈 우주론자 앤서니 애기어, 그리고 스카이프 공동 설립자 얀 탈린이 있다. 연구소의 고문 중에는 기업가 일론 머스크가 있다.
퓨처 오브 라이프 인스티튜트 목적
FLI의 표명된 임무는 변혁적 기술이 생명에 이롭고 대규모 위험을 피하도록 유도하는 것이다. FLI의 철학은 인간 수준 또는 초지능 인공 일반 지능(AGI) 개발로 인한 인류에 대한 잠재적 위험에 초점을 맞추지만, 생명공학, 핵무기 및 지구 온난화로 인한 위험을 완화하기 위해서도 노력한다.
퓨처 오브 라이프 인스티튜트 역사
FLI는 2014년 3월 매사추세츠 공과대학교 우주론자 맥스 테그마크, 스카이프 공동 설립자 얀 탈린, 딥마인드 연구 과학자 빅토리야 크라코브나, 터프츠 대학교 박사 후 연구원 메이아 치타-테그마크, 캘리포니아 대학교 샌타크루즈 물리학자 앤서니 애기어에 의해 설립되었다. 연구소의 고문으로는 컴퓨터 과학자 스튜어트 J. 러셀과 프란체스카 로시, 생물학자 조지 처치, 우주론자 솔 펄머터, 천체 물리학자 샌드라 페이버, 이론 물리학자 프랭크 윌첵, 기업가 일론 머스크, 배우이자 과학 커뮤니케이터인 앨런 알다와 모건 프리먼 (그리고 2018년 사망 전에는 우주론자 스티븐 호킹)이 포함된다.
2017년부터 FLI는 매년 "Future of Life Award"를 수여하고 있으며, 첫 수상자는 바실리 아르히포프였다. 같은 해 FLI는 단편 군비 통제 옹호 영화인 Slaughterbots를 공개했으며, 2021년에는 후속작을 출시했다.
2018년, FLI는 "치명적 자율 무기에 대한 법률"을 요구하는 서한 초안을 작성했다. 서명자 중에는 일론 머스크, 데미스 허사비스, 셰인 레그, 무스타파 술레이만이 포함되었다.
퓨처 오브 라이프 인스티튜트 역사
2023년 1월, 스웨덴 잡지 엑스포는 FLI가 스웨덴의 극우 온라인 신문인 Nya Dagbladet이 설립한 재단에 10만 달러의 보조금을 제안했다고 보도했다. 이에 대해 테그마크는 연구소가 보조금이 처음 제안된 지 몇 달 후 실사 (법) 과정에서 Nya Dagbladet의 입장을 알게 되었으며, 즉시 보조금을 취소했다고 말했다.
퓨처 오브 라이프 인스티튜트 역사
2023년 3월, FLI는 서한을 발표했다 "Pause Giant AI Experiments: An Open Letter"라는 제목의 서한을 발표했다. 이 서한은 주요 AI 개발자들에게 "GPT-4보다 강력한" 모든 시스템을 6개월간 검증 가능하게 일시 중단하고, 그 기간 동안 안전을 보장하기 위한 프레임워크를 구축하는 데 동의할 것을 요구했다. 만약 그렇게 하지 못하면 정부가 일시 중지를 시행해야 한다고 주장했다. 이 서한은 다음과 같이 밝혔다: "최근 몇 달 동안 AI 연구소들은 자신들의 창조자조차 이해하거나 예측하거나 신뢰할 수 있게 제어할 수 없는, 더욱 강력한 디지털 지능을 개발하고 배포하려는 통제 불능의 경쟁에 갇혀 있다." 이 서한은 "지구 생명 역사에 있어 심오한 변화"의 가능성뿐만 아니라 AI 생성 선전, 일자리 감소, 인간의 불필요성, 그리고 사회 전반의 통제력 상실과 같은 잠재적 위험을 언급했다.
퓨처 오브 라이프 인스티튜트 역사
이 서한의 주요 서명자로는 일론 머스크, 스티브 워즈니악, 에반 샤프, 크리스 라르센, 게리 마커스, AI 연구소 CEO 코너 리히와 이마드 모스타케, 정치인 앤드루 양, 딥러닝 연구원 요슈아 벤지오, 그리고 유발 노아 하라리가 있다. 마커스는 "서한이 완벽하지는 않지만, 정신은 옳다"고 말했다. 모스타케는 "6개월 일시 중단이 최선의 생각이라고 생각하지 않거나 모든 것에 동의하지 않지만, 그 서한에는 흥미로운 점들이 있다"고 말했다. 대조적으로, 벤지오는 기자 회견에서 6개월 일시 중단을 명시적으로 지지했다. 머스크는 "선도적인 AGI 개발자들은 이 경고를 듣지 않을 것이지만, 적어도 말은 했다"고 예측했다. 머스크를 포함한 일부 서명자들은 인공 일반 지능의 실존적 위험에 대한 두려움 때문에 서명했다고 말했다. 마커스와 같은 다른 서명자들은 AI가 생성한 선전과 같은 위험에 대한 우려 때문에 서명했다고 말했다.
FLI의 서한에 인용된 논문 중 하나인 "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?"의 저자 중 에밀리 M. 벤더, 팀닛 게브루, 마가렛 미첼을 포함한 일부는 이 서한을 비판했다. 미첼은 "많은 의심스러운 아이디어를 기정사실로 취급함으로써, 이 서한은 FLI 지지자들에게 이로운 우선순위와 AI 내러티브를 주장한다. 지금 당장의 해악을 무시하는 것은 우리 중 일부에게는 없는 특권이다"라고 말했다.
퓨처 오브 라이프 인스티튜트 운영
FLI는 AI 정책 수립에 적극적으로 기여해 왔다. 예를 들어 2023년 10월, 미국 상원 다수당 원내대표인 척 슈머는 FLI를 초청하여 선별된 상원의원들에게 AI 규제에 대한 견해를 공유하도록 했다. 유럽에서는 FLI가 EU의 인공지능 규제법에 GPT-4와 같은 더 일반적인 AI 시스템을 포함시키도록 성공적으로 옹호했다.
군사 정책 분야에서 FLI는 핵무기금지조약에 대한 과학계의 지지를 조율했다. 유엔 및 기타 장소에서 연구소는 또한 치명적 자율 무기에 대한 조약을 옹호해 왔다.
FLI 연구 프로그램은 2015년 일론 머스크의 초기 1,000만 달러 기부로 시작되었다. 이 첫 라운드에서는 총 700만 달러가 37개의 연구 프로젝트에 할당되었다. 2021년 7월, FLI는 러시아계 캐나다 프로그래머 비탈리크 부테린의 자금 지원으로 2,500만 달러 규모의 새로운 보조금 프로그램을 시작할 것이라고 발표했다.
퓨처 오브 라이프 인스티튜트 운영
2014년, 퓨처 오브 라이프 인스티튜트는 매사추세츠 공과대학교에서 개회 행사를 개최했다. 이 행사에서는 앨런 알다가 사회를 맡은 "기술의 미래: 이점과 위험"에 대한 패널 토론이 진행되었다. 패널리스트로는 합성 생물학자 조지 처치, 유전학자 팅 우, 경제학자 앤드루 맥아피, 물리학자이자 노벨상 수상자인 프랭크 윌첵, 스카이프 공동 창업자 얀 탈린이 참여했다.
2015년부터 FLI는 학계와 산업계의 AI 연구자들을 한자리에 모으는 것을 목적으로 격년 회의를 개최해 왔다. 2023년 4월 현재, 다음 컨퍼런스들이 개최되었다:
푸에르토리코에서 열린 "AI의 미래: 기회와 도전" 컨퍼런스(2015). 표명된 목표는 AI의 미래 이점을 극대화하는 데 도움이 될 수 있는 유망한 연구 방향을 식별하는 것이었다. 컨퍼런스에서 FLI는 인공지능에 관한 공개 서한을 유포했으며, 이 서한에는 나중에 스티븐 호킹, 일론 머스크 및 많은 인공지능 연구자들이 서명했다.
캘리포니아 애실로마에서 열린 애실로마 이로운 인공지능 컨퍼런스(2017). 뉴욕 타임스가 "AI의 거물급 인사들"(얀 르쿤, 일론 머스크, 닉 보스트롬 포함)이 모인 비공개 모임이었다. 연구소는 회의 논의에서 도출된 책임 있는 AI 개발 원칙을 발표했으며, 요슈아 벤지오, 얀 르쿤 및 많은 다른 AI 연구자들이 서명했다. 이 원칙들은 인공지능 규제 및 이후의 경제협력개발기구 인공지능 원칙과 같은 이니셔티브에 영향을 미쳤을 수 있다.
우리의 마지막 발명품
우리의 마지막 발명품: 인공지능과 인류 시대의 종말(Our Final Invention: Artificial Intelligence and the End of the Human Era)은 미국의 작가 제임스 배럿이 2013년에 쓴 논픽션 책이다. 이 책은 인간 수준의 (AGI) 또는 초인적인 (ASI) 인공지능의 잠재적 이점과 가능한 위험에 대해 논한다. 이러한 위험에는 인류의 멸종이 포함된다.
우리의 마지막 발명품 요약
제임스 배럿은 AI 개념, AI 역사, 그리고 엘리저 유드코프스키와 레이 커즈와일을 포함한 저명한 AI 연구자들과의 인터뷰를 엮는다. 이 책은 인공 일반 지능이 재귀적 자기 개선을 통해 어떻게 인공 초지능이 될 수 있는지에 대한 설명으로 시작한다. 다음 장에서 이 책은 AI의 역사를 다루며, I. J. 굿의 연구에서부터 오늘날 이 분야의 연구자들의 연구와 아이디어까지 설명한다.
책 전반에 걸쳐 배럿은 인공 초지능이 인간의 존재에 가하는 위협에 초점을 맞춰 경고하는 어조를 취한다. 배럿은 가장 지능적인 인간보다 몇 배나 더 지능적인 존재의 행동을 통제하거나 심지어 예측하는 것이 얼마나 어려운지 강조한다.
우리의 마지막 발명품 반응
2013년 12월 13일, 언론인 맷 밀러는 자신의 팟캐스트, "This... is interesting"에서 배럿을 인터뷰했다. 이 인터뷰와 배럿의 책 "우리의 마지막 발명품"과 관련된 내용은 밀러의 워싱턴 포스트 주간 칼럼에 실렸다.
글로벌 재앙 위험 연구소의 전무이사이자 배럿이 자신의 책에서 인용한 인물 중 한 명인 세스 바움은 사이언티픽 아메리칸의 "초대 손님" 블로그에서 이 책을 호평하며, 레이 커즈와일이 자신의 책 특이점이 온다에서 제시한 비전에 대한 환영할 만한 반대 의견이라고 평했다.
게리 마커스는 배럿의 주장인 "자기 보존과 자원 획득 경향은 충분히 복잡하고 목표 지향적인 시스템에 내재되어 있다"는 것에 의문을 제기하며, 현재의 AI에는 그러한 욕구가 없다고 지적한다. 그러나 마커스는 "기계의 목표는 더 똑똑해짐에 따라 변할 수 있다"고 인정하며, "배럿이 이러한 중요한 문제에 대해 질문하는 것이 옳다"고 생각한다.
"우리의 마지막 발명품"은 허핑턴 포스트가 선정한 2013년 최고의 기술 서적이었다.
런웨이 (기업)
런웨이 AI(Runway AI), 런웨이(Runway) 및 런웨이ML(RunwayML)은 뉴욕에 본사를 둔 미국의 회사로, 생성형 인공지능 연구 및 기술을 전문으로 한다. 이 회사는 주로 비디오, 이미지 및 다양한 멀티미디어 콘텐츠 생성을 위한 제품 및 모델 개발에 중점을 둔다. 특히 상업용 텍스트-비디오 및 비디오 생성 AI 모델인 Gen-1, Gen-2, Gen-3 Alpha 및 Gen-4 개발로 가장 잘 알려져 있다.
런웨이의 도구와 AI 모델은 영화 에브리씽 에브리웨어 올 앳 원스를 비롯하여, 에이셉 라키, 칸예 웨스트, 브록햄튼, 더 댄디 워홀스를 포함한 아티스트들의 뮤직 비디오, 그리고 레이트 쇼 위드 스티븐 콜베어 및 탑 기어와 같은 TV 쇼 편집에 활용되었다.
런웨이 (기업) 역사
이 회사는 2018년 칠레 출신의 크리스토발 발렌수엘라, 알레한드로 마타말라, 그리고 그리스 출신의 아나스타시스 게르마니디스가 티시 예술대학에서 만나 설립했다. 회사는 2018년에 멀티미디어 애플리케이션 내에서 기계 학습 모델을 대규모로 배포하기 위한 플랫폼 구축을 위해 200만 달러를 모금했다.
2020년 12월, 런웨이는 시리즈 A 펀딩 라운드에서 850만 달러를 모금했다.
2021년 12월, 회사는 시리즈 B 펀딩 라운드에서 3,500만 달러를 모금했다.
2022년 8월, 회사는 뮌헨 대학교의 CompVis 그룹 및 스태빌리티 AI의 컴퓨팅 기부와 함께 개선된 버전의 잠재 확산 모델인 스테이블 디퓨전을 공동 출시했다.
2022년 12월 21일, 런웨이는 시리즈 C 라운드에서 5천만 달러를 모금했다. 이어서 2023년 6월에는 15억 달러의 가치로 1억 4,100만 달러의 시리즈 C 확장 라운드를 유치했다. 이 자금은 구글, 엔비디아, 세일즈포스닷컴로부터 유치되었으며, 영화 및 비디오 제작에 사용될 콘텐츠 생성을 위한 기반 멀티모달 AI 모델 구축에 사용된다.
런웨이 (기업) 역사
2023년 2월, 런웨이는 간단한 웹 인터페이스를 통해 접근할 수 있는 최초의 상업용 및 공개 기반 비디오-투-비디오 및 텍스트-투-비디오 생성 모델인 Gen-1 및 Gen-2를 출시했다.
2023년 6월, 런웨이는 타임지에서 선정한 세계에서 가장 영향력 있는 100대 기업 중 하나로 선정되었다.
2025년 4월 3일, 런웨이는 제너럴 아틀란틱이 주도하는 자금 조달 라운드에서 3억 8백만 달러를 유치했으며, 이로써 회사의 가치는 30억 달러 이상으로 평가되었다.
런웨이 (기업) 서비스 및 기술
런웨이는 비디오, 미디어 및 예술을 위한 생성형 AI에 중점을 둔다. 이 회사는 영화 제작, 후반 작업, 광고, 편집, 시각 효과 전문가들이 활용할 수 있는 독점적인 기반 모델 기술 개발에 주력한다. 또한, 런웨이는 소비자를 대상으로 하는 IOS 앱을 제공한다.
런웨이 제품은 웹 플랫폼과 관리형 서비스로서 API를 통해 접근할 수 있다.
스테이블 디퓨전은 런웨이와 뮌헨 대학교의 CompVis 그룹이 발표한 오리지널 논문 "Latent Diffusion Models를 이용한 고해상도 이미지 합성"을 기반으로 2022년에 출시된 오픈 소스 딥 러닝, 텍스트-이미지 모델이다. 스테이블 디퓨전은 주로 텍스트 설명에 따라 이미지를 생성하는 데 사용된다.
Gen-1은 원본 비디오의 구조에 이미지 또는 텍스트 프롬프트의 구성과 스타일을 적용하여 새로운 비디오를 합성하는 비디오-투-비디오 생성형 AI 시스템이다. 이 모델은 2023년 2월에 출시되었다. Gen-1 모델은 런웨이 리서치의 오리지널 논문 "확산 모델을 이용한 구조 및 콘텐츠 가이드 비디오 합성"을 기반으로 런웨이가 훈련하고 개발했다. Gen-1은 비디오 생성을 위한 생성형 인공지능의 한 예시이다.
런웨이 (기업) 서비스 및 기술
Gen-2는 텍스트, 이미지 또는 비디오 클립을 사용하여 새로운 비디오를 생성할 수 있는 멀티모달 AI 시스템이다. 이 모델은 Gen-1의 연속이며, 텍스트에 따라 비디오를 생성하는 모달리티를 포함한다. Gen-2는 최초의 상업적으로 사용 가능한 텍스트-비디오 모델 중 하나이다.
Gen-3 Alpha는 대규모 멀티모달 학습을 위해 구축된 새로운 인프라에서 런웨이가 훈련한 차기 모델 시리즈 중 첫 번째이다. 이는 Gen-2에 비해 충실도, 일관성 및 동작 면에서 크게 개선되었으며, 일반 세계 모델 구축을 향한 한 단계이다.
Gen-3의 훈련 데이터는 수천 개의 유튜브 비디오와 잠재적으로 불법 복제된 영화에서 수집되었다. 전 런웨이 직원은 404 미디어에 회사 전체의 노력이 비디오를 스프레드시트에 컴파일하는 것이었으며, 이는 유튜브에 의해 차단되는 것을 피하기 위해 유튜브-dl을 통해 프록시 서버를 사용하여 다운로드되었다고 주장했다. 테스트에서 404 미디어는 유튜버의 이름이 해당 스타일의 비디오를 생성한다는 것을 발견했다.
런웨이 (기업) 서비스 및 기술
2025년 3월, 런웨이는 자사의 가장 진보된 AI 비디오 생성 모델인 Gen-4를 출시했다. 회사에 따르면, 이 모델은 참조 이미지와 텍스트 프롬프트를 사용하여 장면 전체에서 일관된 캐릭터, 개체 및 환경을 생성할 수 있다.
런웨이는 로스앤젤레스와 뉴욕에서 매년 AI 영화제를 개최한다.
문샷 AI
문샷 AI(Moonshot AI) 또는 문샷(Moonshot, 중국어 간체자: 月之暗面, 병음: Yuè Zhī Ànmiàn)은 중국 베이징에 본사를 둔 인공지능 (AI) 기업이다. 2024년 현재, 이 회사는 대규모 언어 모델 개발에 중점을 두면서 투자자들로부터 중국의 "AI 타이거" 기업 중 하나로 불리고 있다. 이 회사는 상당한 투자를 유치했으며 챗봇 Kimi와 빠른 기술 발전으로 주목을 받았다.
문샷 AI 배경
문샷은 2023년 3월 양즈린, 저우신위, 우위신이 설립했다. 이 회사는 양즈린이 가장 좋아하고 회사 이름의 영감이 된 핑크 플로이드의 The Dark Side of the Moon 50주년에 맞춰 출범했다.
양즈린은 문샷 AI를 설립한 목표가 AGI를 달성하기 위한 기반 모델을 구축하는 것이라고 밝혔다. 양즈린의 세 가지 이정표는 긴 컨텍스트 길이, 멀티모달 세계 모델, 그리고 인간의 개입 없이 지속적인 자체 개선이 가능한 확장 가능한 일반 아키텍처이다.
2023년 10월, 이 회사는 대화당 최대 200,000자의 중국어 문자를 처리할 수 있는 챗봇 Kimi를 출시했다.
2024년 6월, 문샷이 미국 시장 진출을 계획하고 있다는 보도가 있었다. 내부 관계자는 문샷이 Ohai라는 AI 역할극 채팅 애플리케이션과 Noisee라는 뮤직 비디오 생성기를 포함하여 미국 시장을 위한 제품을 개발하고 있다고 밝혔다. 이에 대해 문샷은 해외 제품을 개발하고 출시할 계획이 없다고 진술했다.
문샷 AI 자금 및 투자
문샷은 초기 자금 6천만 달러를 받았을 때 3억 달러의 가치로 평가되었고, 직원 수는 40명이었다.
2024년 2월, 알리바바 그룹이 문샷의 10억 달러 규모 투자 라운드를 주도하여 회사 가치를 25억 달러로 끌어올렸다. 양즈린과 관련 인물들이 4천만 달러 상당의 주식을 현금화했다고 보도되었는데, 이는 회사의 첫 해로는 이례적으로 큰 규모로 간주된다.
2024년 8월, 텐센트와 가오롱 캐피털이 3억 달러 규모 투자 라운드에 투자자로 참여하여 문샷의 가치를 33억 달러로 평가했다. 여러 회사가 계속해서 이 회사를 지원하는 동안, GSR 벤처스를 포함한 일부 투자자들은 주주 분쟁과 성급한 이익 챙기기 의혹과 관련된 우려 속에서 참여를 줄였다. 2024년 11월, 일단의 투자자들이 회사의 공동 설립자이자 최고 기술 책임자를 상대로 중재를 신청했는데, 이는 일부 AI 중심 투자자들의 필수 동의를 얻지 않고 자금 조달 라운드가 진행되었다는 주장이었다.
문샷 AI 제품 및 연구
2023년 10월, 문샷은 양즈린의 영어 이름에서 따온 첫 번째 AI 챗봇, Kimi를 출시했다. 이 챗봇은 바이두의 어니봇에 가장 근접한 경쟁자로 떠올랐다.
2024년 3월, 문샷은 Kimi가 단일 프롬프트에서 2백만 자의 중국어 문자를 처리할 수 있다고 주장했는데, 이는 이전 버전의 20만 자에서 크게 향상된 것이다. 사용자 수 증가로 인해 3월 21일 Kimi는 이틀간 서비스 중단 사태를 겪었고, 문샷은 사과문을 발표해야 했다.
2025년 1월 20일, Kimi K1.5가 출시되었다. 문샷은 이 모델이 수학, 코딩 및 멀티모달 추론 능력에서 오픈AI o1의 성능과 동등하다고 주장했다.
2025년 7월, 이 회사는 총 1조 개의 매개변수를 가진 대규모 언어 모델인 Kimi K2의 가중치를 공개했다. 이 모델은 추론 중 320억 개의 매개변수가 활성화되는 mixture-of-experts (MoE) 아키텍처를 사용한다. K2는 15.5조 개의 토큰 데이터로 훈련되었으며, 수정된 MIT 라이선스 하에 출시되었다.
Kimi는 4일 사용에 5.2위안부터 1년 우선 사용에 399위안까지 6가지 요금제를 제공한다.
문샷 AI 제품 및 연구
문케이크는 문샷의 Kimi 챗봇을 제공하고 매일 1천억 개의 토큰을 처리하는 플랫폼이다. 문샷은 문케이크 아키텍처를 상세히 설명한 논문으로 USENIX FAST 컨퍼런스에서 Erik Riedel Best Paper Award를 수상했다.
문샷과 UCLA의 공동 논문 "Muon is Scalable for LLM Training"에서 연구원들은 이전에 작은 언어 모델 훈련에서 강력한 결과를 보인 것으로 알려진 뮤온 옵티마이저를 3B/16B 매개변수 혼합 전문가 대규모 언어 모델 훈련으로 성공적으로 확장했다고 주장한다. 연구원들은 뮤온이 대규모 모델 훈련에서 표준 옵티마이저인 AdamW에 비해 계산 효율성을 2배 향상시킨다고 밝혔다. 연구원들은 뮤온 옵티마이저 구현과 사전 훈련 및 지시 튜닝된 체크포인트를 오픈 소스로 공개했다.
Kimi K1.5 모델에 대한 기술 보고서에서 문샷 연구원들은 모델이 오픈AI의 o1 모델과 동등한 최첨단 추론 능력을 달성하게 했다고 주장하는 강화 학습 방법을 설명한다. 연구원들은 몬테카를로 트리 탐색, 가치 함수, 프로세스 보상 모델과 같은 복잡한 기술에 의존하지 않고 긴 컨텍스트 확장과 개선된 정책 최적화 방법이 핵심이었다고 언급한다.
인플렉션 AI
인플렉션 AI(Inflection AI, Inc.)는 2022년에 설립된 미국의 기술 기업으로, 기계 학습 및 생성형 인공지능 하드웨어와 앱을 개발했다. 이 회사는 공익법인으로 조직되었으며 팰로앨토에 본사를 두고 있다.
인플렉션 AI 역사
이 회사는 2022년에 기업가 리드 호프만, 무스타파 술레이만, 카렌 시몬얀이 설립했다. 이 회사는 엔비디아와 협력하여 생성형 인공지능을 위한 하드웨어를 개발했다.
2023년 6월, 이 회사는 40억 달러의 가치로 13억 달러를 유치했다.
2024년 3월, 술레이만과 시몬얀은 마이크로소프트 AI를 시작하기 위해 회사에서 떠난다고 발표했고, 마이크로소프트는 약 70명의 직원 거의 전부를 인수 및 고용했다. 이 계약의 일환으로 마이크로소프트는 인플렉션에 기술 라이선스 명목으로 6억 5천만 달러를 지불했다. 이 수익은 인플렉션 AI의 투자자들에게 상환하는 데 사용되었다. 영국의 경쟁시장청은 이 계약이 경쟁에 미칠 영향과 합병에 해당하는지 여부를 조사하기 위한 예비 조사를 시작했다. 규제 당국은 이 거래가 "합병 상황"에 해당하지만, 영국 소비자 시장에서 인플렉션의 작은 점유율 때문에 경쟁에 위협을 가하지 않는다고 결론내렸다.