shopkeeper/korean_wiki_content_only_120125 huggingface dataset:
계층 제어 시스템(Hierarchical control system, HCS)은 일련의 장치와 제어 소프트웨어가 계층적인 트리로 배열된 제어 시스템의 한 형태이다. 계층적 제어 시스템, 계층형 제어 시스템, 계층조절체계 등으로도 번역된다. 트리 내의 링크가 컴퓨터 망에 의해 구현될 경우, 해당 계층 제어 시스템은 또한 네트워크 제어 시스템의 한 형태이다.
복잡한 행동을 가진 인간이 만든 시스템은 종종 계층적으로 구성된다. 예를 들어, 지휘 계통은 상급자, 하급자, 조직 의사소통 라인의 조직도를 주요 특징으로 한다. 계층 제어 시스템은 의사결정 책임을 나누기 위해 유사하게 구성된다.
계층의 각 요소는 트리의 연결된 노드이다. 명령, 작업 및 달성할 목표는 상위 노드에서 하위 노드로 트리 아래로 흐르고, 감각 및 명령 결과는 하위 노드에서 상위 노드로 트리 위로 흐른다. 노드는 또한 형제 노드와 메시지를 교환할 수 있다. 계층 제어 시스템의 두 가지 주요 특징은 계층과 관련이 있다.
인공 시스템 외에도 동물의 제어 시스템은 계층적으로 구성되어 있다고 제안된다. 유기체의 행동이 인식을 제어하는 수단이라고 가정하는 지각 제어 이론에서 유기체의 제어 시스템은 인식이 그렇게 구성되기 때문에 계층적 패턴으로 구성되어 있다고 제안된다.
제어 시스템 구조.
첨부된 다이어그램은 산업 제어 시스템의 컴퓨터 제어를 사용하여 기능적 제조 수준을 보여주는 일반적인 계층적 모델이다.
다이어그램을 참조하면:
제조, 로봇공학 및 차량.
로봇공학 패러다임 중 하나는 로봇이 상향식 방식으로 작동하며, 특히 모션 플래닝과 같은 계획에 중점을 둔 계층적 패러다임이다. 컴퓨터 지원 생산 공학은 1980년대부터 NIST의 연구 초점이었다. NIST의 자동 제조 연구 시설은 5계층 생산 제어 모델을 개발하는 데 사용되었다. 1990년대 초 DARPA는 군사 지휘 및 제어 시스템과 같은 응용 분야를 위한 분산 (즉, 네트워크화된) 지능형 제어 시스템을 개발하기 위한 연구를 후원했다. NIST는 이전 연구를 바탕으로 실시간 제어 시스템 (RCS) 및 실시간 제어 시스템 소프트웨어를 개발했으며, 이는 제조 셀, 로봇 기중기, 자동 차량을 작동하는 데 사용된 일반적인 계층 제어 시스템이다.
2007년 11월, DARPA는 어반 챌린지를 개최했다. 우승팀인 타탄 레이싱은 계층 제어 시스템을 사용했으며, 계층화된 임무 계획, 모션 플래닝, 행동 생성, 인식, 세계 모델링 및 기전공학을 포함했다.
서브심션 아키텍처는 행동 기반 로봇공학과 밀접하게 관련된 인공지능 개발 방법론이다. 이 아키텍처는 복잡한 지능적 행동을 여러 "단순한" 행동 모듈로 분해하는 방식이며, 이 모듈들은 다시 계층으로 조직된다. 각 계층은 소프트웨어 에이전트(즉, 전체 시스템)의 특정 목표를 구현하며, 상위 계층은 점점 더 추상적이다. 각 계층의 목표는 하위 계층의 목표를 포괄한다. 예를 들어, 먹이 먹기 계층의 전진 결정은 가장 낮은 장애물 회피 계층의 결정을 고려한다. 행동은 상위 계층에 의해 계획될 필요가 없으며, 오히려 행동은 감각 입력에 의해 유발될 수 있으므로 적절할 수 있는 상황에서만 활성화된다.
강화 학습은 각 노드가 경험을 통해 행동을 개선하도록 학습할 수 있는 계층 제어 시스템에서 행동을 습득하는 데 사용되었다.
제임스 알버스는 NIST에 있는 동안 RCS에서 영감을 받은 계층 제어 시스템인 참조 모델 아키텍처(RMA)라는 지능형 시스템 설계를 위한 이론을 개발했다. 알버스는 각 노드가 다음 구성 요소를 포함한다고 정의한다.
RMA의 가장 낮은 수준에서는 세계 모델이 제어되는 프로세스 또는 실제 세계에 직접 매핑되어 수학적 추상화의 필요성을 피하고 시간 제약이 있는 반응적 계획이 유한 상태 기계로 구현될 수 있는 서브심션 아키텍처로 구현될 수 있다. 그러나 RMA의 상위 수준은 정교한 수학적 세계 모델과 자동 계획 및 스케줄링에 의해 구현된 행동을 가질 수 있다. 계획은 특정 행동이 현재 감각에 의해 유발될 수 없고, 대신 예측되거나 예상되는 감각, 특히 노드의 행동의 결과로 발생하는 감각에 의해 유발될 때 필요하다.
우지군()은 일본 교토부(야마시로국)에 있던 군이다.
지능형 제어(Intelligent control)는 신경망, 베이즈 확률론, 퍼지 논리, 기계 학습, 강화 학습, 진화 연산 및 유전 알고리즘과 같은 다양한 인공지능 컴퓨팅 접근 방식을 사용하는 제어 기술의 한 종류이다.
지능형 제어는 다음과 같은 주요 하위 영역으로 나눌 수 있다:
지능적 행동의 새로운 모델이 생성되고 이를 지원하는 전산 방법이 개발됨에 따라 새로운 제어 기술이 지속적으로 만들어지고 있다.
신경망 제어기.
신경망은 거의 모든 과학 기술 분야의 문제를 해결하는 데 사용되어 왔다. 신경망 제어는 기본적으로 두 가지 단계를 포함한다:
비선형, 연속적이고 미분 가능한 활성화 함수를 가진 피드포워드 네트워크는 보편적 근사 능력을 가지고 있음이 밝혀졌다. 순환 네트워크 또한 시스템 식별에 사용되었다. 주어진 입출력 데이터 쌍 세트에서 시스템 식별은 이 데이터 쌍들 간의 매핑을 형성하는 것을 목표로 한다. 이러한 네트워크는 시스템의 동역학을 포착해야 한다. 제어 부분에서는 심층 강화 학습이 복잡한 시스템을 제어하는 능력을 보여주었다.
베이즈 제어기.
베이즈 확률론은 많은 고급 제어 시스템에서 일반적으로 사용되는 여러 알고리즘을 만들어냈으며, 제어기에서 사용되는 일부 변수의 상태 공간 추정량 역할을 한다.
칼만 필터와 파티클 필터는 인기 있는 베이즈 제어 구성 요소의 두 가지 예이다. 제어기 설계에 대한 베이즈 접근 방식은 제어되는 시스템에서 사용 가능한 센서 측정값과 상태 변수를 연결하는 수학적 관계인 소위 시스템 모델 및 측정 모델을 도출하는 데 중요한 노력이 필요하다. 이러한 측면에서, 이는 시스템 이론적 접근 방식과 제어 설계와 매우 밀접하게 관련되어 있다.
메디세이프 논란은 2025년 6월 홍콩에서 학생이 개발한 인공지능 플랫폼 메디세이프의 독창성과 데이터 활용 방식에 대한 의문이 제기되면서 불거진 공개 논쟁을 말한다. 이 프로젝트는 세인트 폴 남녀공학 학교의 고등학생인 클라리스 푼 헤이 순이 개발했으며, 2024년과 2025년에 여러 혁신상을 수상했다. 이후 온라인 토론과 언론 보도는 프로젝트의 저작권과 환자 데이터 사용에 대한 우려를 제기했고, 이는 공식적인 조사로 이어졌다.
메디세이프.
메디세이프(중국어: 藥倍安心)는 환자의 알레르기, 만성 질환, 간 또는 신장 기능과 같은 세부 정보와 약물을 교차 확인하여 잠재적인 투약 오류를 표시하도록 설계된 웹 기반 앱이다. 수상 자료에 따르면 이 시스템은 대형 언어 모델, SQL, 벡터 데이터베이스를 사용한다.
이 플랫폼은 다음 상을 수상했다:
내부 고발자 우려.
2025년 6월 13일, 홍콩 성시 대학 학생이자 구글 서머 오브 코드 참가자인 헤일리 쳉 헤이 람은 스레드에 우려를 표명했다. 그녀는 그렇게 복잡한 AI 시스템이 중등 학교 학생 혼자서 구축될 수 있는지 의문을 제기했으며, 100명 이상의 환자 데이터를 사용했다는 이전 진술을 인용했다.
쳉은 이후 게시물을 올린 뒤 익명의 위협을 받았다고 밝혔다. 그녀의 발언은 학생 연구의 독창성, 외부 도움의 역할, 청소년 주도 기술 프로젝트에서 민감한 데이터가 어떻게 다루어지는지에 대한 더 넓은 온라인 토론을 촉발했다.
AI 헬스 스튜디오 연결.
일부 사용자는 메디세이프 웹사이트가 이전에 미국 기반 소프트웨어 회사인 AI 헬스 스튜디오로 리디렉션되었다고 지적했다. 2025년 초의 보존된 콘텐츠에는 홍콩 클리닉을 위해 구축된 것으로 알려진 처방전 확인 시스템이 설명되어 있었다. 보도에 따르면 해당 클리닉은 푼의 아버지인 푼 퉁 핑 박사(로니 푼으로도 알려짐)와 관련이 있는 것으로 확인되었다.
이후 회사의 문구는 변경되었다. 원래 "개발"로 묘사되었던 것이 "최적화" 및 "상업화"로 바뀌었다. SCMP는 이전 사이트 버전이 메디세이프와 유사한 소프트웨어를 묘사한 것으로 보이며 2022년으로 거슬러 올라간다고 언급했다.
데이터 사용에 대한 의문.
여러 언론 매체는 실제 환자 데이터가 프로젝트에 사용되었는지에 대한 대중의 우려를 보도했다. 명보와 HK01이 인용한 성명에 따르면 주최측과 푼의 가족은 모의 데이터와 공개된 약물 데이터베이스만 사용되었다고 밝혔다.
개인 정보 보호에 초점을 맞춘 출판물인 메타 커넥츠는 홍콩의 데이터 프라이버시 법률에 비추어 상황을 논의하며, 환자 동의, 잠재적인 국경 간 데이터 전송, 외부 서비스 제공업체 참여 여부와 관련된 문제를 제기했다.
관련자들의 반응.
푼은 이후 대회 주최측과 협력하여 상황을 명확히 하고 있으며, 일부 온라인 관심이 낙담스럽다고 밝혔다. 푼 퉁 핑 박사는 언론에 모의 데이터만 사용되었으며 수상 절차가 적절한 검증을 거쳤다고 말했다. 세인트 폴 남녀공학 학교는 내부적으로 문제를 검토하고 있음을 확인했다.
공식 및 기관 대응.
디지털 정책국은 홍콩 교육청과 홍콩 ICT 어워드 품질 보증 패널에 전면적인 조사를 요청했다고 밝혔다. 6월 20일, 홍콩 영재 교육원과 홍콩 신세대 문화 협회는 학생이 대회 규정을 준수했다는 공동 성명을 발표했다. 또한 실제 환자 데이터는 사용되지 않았으며, 회사 참여는 대회가 끝난 후에야 이루어졌다고 밝혔다. 개인정보 보호국은 불만을 접수하고 문제를 검토 중임을 확인했다.
언론 보도 및 대중 반응.
이 논란은 영어 및 중국어 언론에서 광범위하게 보도되었다. SCMP는 메디세이프 개발의 타임라인을 탐색하고 공개된 서술과 관련 웹사이트의 보존된 버전 간의 불일치를 강조했다. 더 스탠더드는 정부 개입을 보도하고 프로젝트의 출처에 대한 대중의 의구심을 언급했다. 명보, HK01, 오리엔탈 데일리 뉴스를 포함한 다른 지역 언론은 학문적 외주 및 개인 정보 침해 가능성 문제를 조사했다. 6월 24일, HK01은 국제 제네바 발명 전시회 심사위원단이 해당 사례를 검토하고 출품작이 기준을 충족한다고 판단하여 수상을 유지하기로 결정했다고 보도했다.
야마시나정()은 일본 교토부 우지군에 설치되었던 정이다. 현재의 교토시 야마시나구에 해당한다.
기계 학습에서 신경망 스케일링 법칙(Neural scaling law)은 인공 신경망의 성능이 주요 요인이 확대되거나 축소됨에 따라 어떻게 변하는지를 설명하는 스케일링 법칙이다. 이러한 요인에는 일반적으로 매개변수 수, 훈련 데이터셋 크기, 및 훈련 비용이 포함된다. 일부 모델은 테스트 시간 연산을 증가시켜 추론을 스케일링하여 성능 향상을 보이기도 하며, 이는 신경망 스케일링 법칙이 훈련 단계를 넘어 배포 단계까지 확장됨을 보여준다.
일반적으로 딥 러닝 모델은 모델 크기, 훈련 데이터셋 크기, 훈련 비용 및 훈련 후 오류율(예: 테스트 세트 오류율)의 네 가지 매개변수로 특성화될 수 있다. 이들 각 변수는 실수로 정의되며, 일반적으로 formula_1 (각각 매개변수 수, 데이터셋 크기, 계산 비용, 손실)로 표기된다.
신경망 스케일링 법칙은 이러한 매개변수 간의 이론적 또는 경험적 통계 법칙이다. 다른 스케일링 법칙을 가진 다른 매개변수들도 있다.
모델 크기.
대부분의 경우 모델의 크기는 단순히 매개변수 수이다. 그러나 전문가 혼합 모델과 같은 희소 모델을 사용하면 복잡성이 발생한다. 희소 모델에서는 추론 시 매개변수의 일부만 사용된다. 반면, 트랜스포머 모델과 같은 대부분의 다른 종류의 인공 신경망은 추론 시 항상 모든 매개변수를 사용한다.
훈련 데이터셋 크기.
훈련 데이터셋의 크기는 일반적으로 데이터 포인트 수로 측정된다. 더 큰 훈련 데이터셋은 일반적으로 모델이 학습할 수 있는 더 풍부하고 다양한 정보원을 제공하므로 선호된다. 이는 모델을 새롭고 보지 못한 데이터에 적용할 때 일반화 성능을 향상시킬 수 있다. 그러나 훈련 데이터셋의 크기를 늘리면 모델 훈련에 필요한 계산 자원과 시간도 증가한다.
대부분의 대형 언어 모델에 사용되는 "사전 훈련 후 미세 조정" 방법에는 사전 훈련 데이터셋과 미세 조정 데이터셋의 두 가지 종류의 훈련 데이터셋이 있다. 이들의 크기는 모델 성능에 다른 영향을 미친다. 일반적으로 미세 조정 데이터셋은 사전 훈련 데이터셋 크기의 1% 미만이다.
경우에 따라 소량의 고품질 데이터만으로도 미세 조정에 충분하며, 더 많은 데이터가 반드시 성능 향상으로 이어지지는 않는다.
훈련 비용.
훈련 비용은 일반적으로 시간(모델 훈련에 걸리는 시간)과 계산 자원(필요한 처리 능력 및 메모리 양)으로 측정된다. 효율적인 훈련 알고리즘, 최적화된 소프트웨어 라이브러리, GPU 또는 TPU와 같은 전문 하드웨어에서의 병렬 컴퓨팅을 통해 훈련 비용을 크게 줄일 수 있다는 점에 유의해야 한다.
인공 신경망 모델 훈련 비용은 모델 크기, 훈련 데이터셋 크기, 훈련 알고리즘의 복잡성 및 사용 가능한 계산 자원을 포함한 여러 요인의 함수이다. 특히, 훈련 데이터셋 크기를 두 배로 늘린다고 해서 훈련 비용이 반드시 두 배가 되는 것은 아니다. 동일한 데이터셋에 대해 모델을 여러 번 훈련할 수 있기 때문이다(각 훈련은 "에포크"임).
인공 신경망 모델의 성능은 주어진 입력 데이터에 대해 출력을 정확하게 예측하는 능력에 따라 평가된다. 모델 성능 평가를 위한 일반적인 지표는 다음과 같다.
성능은 더 많은 데이터, 더 큰 모델, 다른 훈련 알고리즘, 과적합 방지를 위한 모델 정칙화, 검증 세트를 사용한 조기 중단을 통해 향상될 수 있다.
정확도, 정밀도 등과 같이 성능이 formula_2 범위 내의 숫자인 경우, 그림에서 볼 수 있듯이 비용의 시그모이드 함수로 스케일링되는 경우가 많다.
(헤스트니스, 나랑 외, 2017).
2017년 논문은 실험 데이터에 대한 통계 분석을 통해 피팅된 신경망 스케일링 법칙의 일반적인 참조 지점이다. 논문에서 인용된 2000년대 이전의 이전 연구들은 이론적이거나 규모가 훨씬 작았다. 이전 연구들은 일반적으로 스케일링 지수가 formula_3와 같이 스케일링되며, formula_4라고 밝혔지만, 이 논문은 formula_5임을 발견했다.
그들이 변화시킨 요인들 중 오직 작업(task)만이 지수 formula_6를 변경할 수 있었다. 아키텍처 최적화, 정규화기, 손실 함수를 변경하는 것은 비례 계수만 변경하고 지수는 변경하지 않았다. 예를 들어, 동일한 작업에 대해 한 아키텍처는 formula_7일 수 있지만 다른 아키텍처는 formula_8일 수 있다. 그들은 또한 주어진 아키텍처에 대해 고정된 데이터셋 크기에서 가장 낮은 손실 수준에 도달하는 데 필요한 매개변수 수가 다른 지수 formula_9에 대해 formula_10와 같이 증가한다는 것을 발견했다.
그들은 LSTM을 사용한 기계 번역(formula_11), LSTM을 사용한 생성 언어 모델링(formula_12), ResNet을 사용한 ImageNet 분류(formula_13), 두 가지 하이브리드(CNN 또는 어텐션 디코더로 보완된 LSTM) 아키텍처를 사용한 음성 인식(formula_14)을 연구했다.
(헤니건, 카플란 외, 2020).
2020년 분석은 광범위한 값에 걸쳐 formula_15 간의 통계적 관계를 연구하여 formula_16, formula_17 범위 및 여러 모달리티(텍스트, 비디오, 이미지, 텍스트-이미지 등)에 걸쳐 유사한 스케일링 법칙을 발견했다.
특히, 그들이 발견한 스케일링 법칙은 다음과 같다(의 표 1).
여기서 formula_22는 변경된 변수이고, formula_23는 통계적 피팅을 통해 찾아야 할 매개변수이다. 매개변수 formula_6가 가장 중요하다.
매개변수 formula_36은 다른 모달리티에 따라 최대 10배까지 달라진다. 지수 매개변수 formula_37은 다른 모달리티에 따라 formula_38에서 formula_39까지 달라진다. 이 지수는 Chinchilla 스케일링 논문의 formula_40에 해당한다.
formula_43의 스케일링 법칙은 GPT-3 훈련 중 확인되었다(그림 3.1).
친칠라 스케일링 (호프만 외, 2022).
특정 스케일링 법칙("친칠라 스케일링")은 하나의 에포크 동안 자기회귀적으로 훈련된 대형 언어 모델에 대해 코사인 학습률 스케줄을 사용하면 다음과 같다고 말한다.
여기서 변수들은 다음과 같다.
그리고 통계적 매개변수들은 다음과 같다.
비록 Besiroglu et al.은 통계적 추정치가 약간 틀렸으며 formula_56여야 한다고 주장한다.
통계 법칙은 formula_57 범위의 실험 데이터에 맞춰졌다.
2개의 방정식으로 4개의 변수가 관련되어 있으므로, 1개의 추가 제약 조건과 1개의 추가 최적화 목표를 부과하면 4개의 변수 모두를 풀 수 있다. 특히, 어떤 고정된 formula_30에 대해서든 formula_48을 최소화하는 4개의 변수 모두를 고유하게 풀 수 있다. 이는 고정된 formula_30에 대한 최적의 formula_61를 제공한다.
수치 값을 대입하면 "친칠라 효율적"인 모델 크기와 훈련 데이터셋 크기, 그리고 달성 가능한 테스트 손실을 얻을 수 있다.
유사하게, 우리는 고정된 모델 매개변수 크기에 대한 최적 훈련 데이터셋 크기 및 훈련 계산 예산을 찾을 수 있다.
"친칠라 효율적" 모델 크기와 훈련 데이터셋 크기에 대한 다른 추정치도 있다. 위는 formula_64의 통계 모델을 기반으로 한다. 우회하지 않고 formula_61에 대한 통계 법칙을 직접 피팅할 수도 있으며, 이를 통해 다음을 얻을 수 있다.
또는 표로 나타내면:
트랜스포머 언어 모델 훈련을 위한 친칠라 스케일링 법칙 분석은 주어진 훈련 계산 예산(formula_30)에서 해당 예산에 대한 최소 사전 훈련 손실을 달성하기 위해 모델 매개변수 수(formula_25)와 훈련 토큰 수(formula_19)가 동일한 비율로 스케일링되어야 한다고 제안한다. 즉, formula_70이다.
이 결론은 Kaplan et al.의 분석 결과와 다르다. Kaplan et al.은 formula_25이 formula_19보다 더 빠르게 증가해야 한다고 밝혔다. 즉, formula_73이다.
이 불일치는 주로 두 연구가 모델 크기를 측정하는 데 다른 방법을 사용했기 때문이다. Kaplan et al.:
하이퍼파라미터 튜닝 및 학습률 스케줄의 차이로 인해 부수적인 효과도 발생한다. Kaplan et al.:
친칠라 스케일링을 넘어서.
친칠라 스케일링은 많은 대규모 훈련 실행의 기준점이 되었으므로, "친칠라 스케일링을 넘어서"려는 동시적인 노력이 있었다. 이는 훈련 파이프라인의 일부를 수정하여 더 적은 노력으로 동일한 손실을 얻거나, "친칠라 최적"보다 의도적으로 더 오래 훈련하는 것을 의미한다.
일반적으로 목표는 스케일링 법칙 지수를 더 크게 만드는 것이다. 이는 동일한 손실을 훨씬 적은 계산으로 훈련할 수 있음을 의미한다. 예를 들어, 데이터 필터링은 스케일링 법칙 지수를 더 크게 만들 수 있다.
또 다른 연구 분야는 제한된 데이터를 다루는 방법을 연구한다. 친칠라 스케일링 법칙에 따르면, 가장 큰 언어 모델의 훈련 데이터셋 크기는 이미 인터넷에서 사용 가능한 데이터에 근접하기 때문이다.은 데이터셋에서 구성된 "노이즈 제거 목표"의 혼합으로 데이터셋을 증강하면 성능이 향상됨을 발견했다.는 사용 가능한 모든 데이터가 이미 소진된 경우(예: 희귀 언어) 최적 스케일링을 연구한다. 이 경우 동일한 데이터셋에 대해 여러 에포크를 훈련해야 한다(친칠라 스케일링은 하나의 에포크만 필요함). Phi 소형 언어 모델 시리즈는 대형 언어 모델이 생성한 교과서와 유사한 데이터로 훈련되었으며, 이 데이터는 사용 가능한 계산량에 의해서만 제한된다.
친칠라 최적성은 "훈련 계산에 최적"으로 정의되었지만, 실제 생산 품질 모델에서는 훈련 완료 후 많은 추론이 발생한다. 훈련 중 "과훈련"은 추론 중 더 나은 성능을 의미한다. LLaMA 모델은 이러한 이유로 과훈련되었다. 후속 연구에서는 친칠라 최적보다 최대 32배 더 큰 데이터셋 크기에 대해 과훈련 체제에서의 스케일링 법칙을 발견했다.
손상된 신경망 스케일링 법칙 (BNSL).
2022년 분석은 인공 신경망의 많은 스케일링 동작이 매끄럽게 파괴된 멱법칙 함수 형태를 따른다는 것을 발견했다.
여기서 formula_22는 스케일링되는 양(예: formula_30, formula_25, formula_19, 훈련 단계 수, 추론 단계 수 또는 모델 입력 크기)을 나타내고, formula_80는 제로샷, 프롬프트, 또는 미세 조정 설정에서 관심 있는 다운스트림(또는 업스트림) 성능 평가 지표(예: 예측 오류, 교차 엔트로피, 보정 오류, AUROC, BLEU 점수 백분율, F1 점수, 보상, 엘로 평점, 해결률 또는 FID 점수)를 나타낸다. 매개변수 formula_81는 통계적 피팅을 통해 찾아진다.
로그-로그 플롯에서 formula_82가 너무 크지 않고 formula_83가 y축에서 제거되었을 때, 이 함수 형태는 호로 연결된 일련의 선형 세그먼트처럼 보인다. 세그먼트 사이의 formula_84개의 전환을 "단절"이라고 부르며, 이로부터 손상된 신경망 스케일링 법칙(BNSL)이라는 이름이 유래했다.
인공 신경망의 스케일링 동작이 이 함수 형태를 따르는 것으로 밝혀진 시나리오는 대규모 비전, 언어, 오디오, 비디오, 확산, 생성 모델링, 멀티모달 학습, 대조 학습, AI 정렬, AI 능력, 로봇공학, 분포 외(OOD) 일반화, 지속 학습, 전이학습, 불확실성 추정/보정, 분포 외 탐지, 적대적 강건성, 지식 증류, 희소성, 검색, 양자화, 가지치기, 공정성, 분자, 컴퓨터 프로그래밍/코딩, 수학 단어 문제, 산술, 창발 능력, 이중 하강, 지도 학습, 비지도/자기 지도 학습, 강화 학습(단일 에이전트 및 다중 에이전트)을 포함한다.
인공 신경망의 스케일링 동작이 이 함수 형태를 따르는 것으로 밝혀진 아키텍처는 잔차 신경망, 트랜스포머, MLP, , 순환 신경망, 합성곱 신경망, 그래프 신경망, U-Net, 인코더-디코더 (및 인코더만) (및 디코더만) 모델, 앙상블 (및 비앙상블), MoE (전문가 혼합) (및 비MoE) 모델, 희소 가지치기 (및 비희소 가지치기) 모델을 포함한다.
추론 스케일링.
훈련 계산을 늘리는 것 외에도 추론 계산(또는 "테스트 시간 계산")을 늘릴 수도 있다. 예를 들어, 알파고의 엘로 평점은 플레이당 몬테카를로 트리 탐색에 더 많은 시간을 할애할수록 꾸준히 향상된다. 알파고 제로의 경우, 엘로를 120점 올리려면 모델 크기와 훈련을 2배 늘리거나, 테스트 시간 검색을 2배 늘려야 한다. 유사하게, 경쟁 수준 코딩 문제를 해결하기 위한 언어 모델인 AlphaCode는 더 많은 검색 시간을 통해 성능이 꾸준히 향상되었다(로그-선형적으로).
헥스의 경우, 훈련 시간 계산 10배는 테스트 시간 계산 15배에 해당한다. 헤즈업 노 리밋 텍사스 홀덤의 리브라투스와 디플로머시의 시세로를 비롯한 많은 추상적 부분 정보 게임에서 추론 시간 검색은 유사한 트레이드오프 비율로 성능을 향상시키며, 훈련 시간 계산에서 최대 100,000배의 효과적인 증가를 가져온다.
2024년, 오픈AI o1 보고서는 o1의 성능이 훈련 시간 계산과 테스트 시간 계산 모두 증가함에 따라 꾸준히 향상되었음을 문서화했으며, 수학, 과학적 추론 및 코딩 작업에서 테스트 시간 계산 스케일링의 수많은 예를 제시했다.
테스트 시간 계산을 확장하는 한 가지 방법은 과정 기반 감독이다. 이는 모델이 질문에 답하기 위해 단계별 추론 사슬을 생성하고, 다른 모델(인간 또는 AI)이 최종 답변뿐만 아니라 중간 단계 중 일부에 대해 보상 점수를 제공하는 방식이다. 과정 기반 감독은 다른 모델 없이 합성 보상 점수를 사용하여 임의로 확장할 수 있다. 예를 들어, 몬테카를로 롤아웃을 실행하고 추론의 각 단계에 대해 올바른 답변으로 이어질 가능성에 따라 점수를 매기는 방식이다. 또 다른 방법은 수정 모델을 사용하는 것이다. 이는 문제를 여러 번 해결하도록 훈련된 모델로, 매번 이전 시도를 수정한다.
비전 트랜스포머.
비전 트랜스포머는 언어 트랜스포머와 유사하게 스케일링 법칙을 보인다. 2022년 연구에서는 매개변수 개수가 formula_85인 비전 트랜스포머를 이미지 세트 크기가 formula_86인 이미지 세트에서 훈련하여 formula_87 (TPUv3-코어-일 단위)의 계산을 수행했다.
모델 훈련 후, ImageNet 훈련 세트에서 미세 조정된다. 미세 조정된 모델이 ImageNet 테스트 세트를 분류하는 오류 확률을 formula_48이라고 하자. 그들은 formula_89임을 발견했다.
신경망 기계 번역.
Ghorbani, Behrooz et al.은 신경망 기계 번역 (구체적으로, 영어를 원문으로, 독일어를 번역문으로)의 트랜스포머 인코더-디코더 모델에 대한 스케일링 법칙을 연구했다. 이 모델들은 동일한 데이터셋에서 수렴할 때까지 훈련되었으므로, 계산 비용 formula_30 또는 데이터셋 크기 formula_19에 대한 스케일링 법칙은 피팅하지 않았다. 그들은 formula_92를 변화시켰다. 세 가지 결과를 발견했다.
저자들은 원문 기반 데이터셋이 균일하고 단조로운 번역문 문장을 가지고 있으며, 따라서 번역문 문장을 예측하도록 훈련된 모델은 빠르게 과적합될 것이라고 가정한다.
는 기계 번역을 위해 formula_103 크기의 트랜스포머를 formula_104 데이터셋 크기에서 훈련했다. 그들은 Kaplan et al. (2020)의 스케일링 법칙이 기계 번역에 적용된다는 것을 발견했다. 즉, formula_105이다. 그들은 또한 BLEU 점수가 formula_106로 스케일링된다는 것을 발견했다.
전이학습.
Hernandez, Danny et al.는 언어 모델의 전이학습에 대한 스케일링 법칙을 연구했다. 그들은 세 가지 방식으로 트랜스포머 계열을 훈련했다.
여기서 아이디어는 영어로 사전 훈련하면 모델이 파이썬 텍스트 테스트 세트에서 낮은 손실을 달성하는 데 도움이 된다는 것이다. 모델에 매개변수 수 formula_25이 있고, formula_108 파이썬 토큰으로 미세 조정된 후 손실 formula_48을 달성했다고 가정하자. 다른 모델이 동일한 formula_25을 가지고 formula_111 파이썬 토큰으로 훈련한 후 동일한 formula_48을 달성한다면, 그 모델의 "전이된 토큰 수"를 formula_113라고 한다.
그들은 영어 텍스트로 사전 훈련한 경우 formula_114을, 영어 및 비파이썬 코드로 사전 훈련한 경우 formula_115을 발견했다.
쿠마르 외는 언어 모델 훈련에서 수치 정밀도에 대한 스케일링 법칙을 연구한다. 그들은 정수 및 부동 소수점 유형 모두에서 다양한 수치 정밀도를 가진 가중치, 활성화, KV 캐시를 사용하여 언어 모델 계열을 훈련하여 정밀도 함수로서 손실에 미치는 영향을 측정한다. 훈련의 경우, 그들의 스케일링 법칙은 정밀도의 영향을 전체 "유효 매개변수 개수"로 묶어 손실 스케일링을 제어한다. 매개변수화는 formula_116를 사용한다. 이는 낮은 정밀도에서의 훈련이 비트와 함께 지수적으로 변하는 방식으로 모델의 실제 용량을 감소시켜 성능을 저하시키는 방법을 보여준다.
추론의 경우, 그들은 친칠라 최적성을 넘어선 언어 모델의 극심한 과훈련이 효율적인 딥 러닝의 표준 기술인 양자화에 모델이 더 민감하게 만들 수 있음을 발견했다. 이는 가중치 양자화로 인한 손실 저하가 사전 훈련 중에 관찰된 토큰/매개변수 비율 formula_117에서 대략적인 멱법칙으로 증가함을 관찰함으로써 입증된다. 따라서 사전 훈련 양자화를 적용할 경우 극심한 토큰 예산으로 사전 훈련된 모델이 더 적당한 토큰 예산으로 훈련된 모델보다 검증 손실 측면에서 더 나쁜 성능을 보일 수 있다. 과훈련의 영향을 조사한 다른 연구에는 Sardana et al. 및 Gadre et al.이 있다.
덴싱 법칙.
Xiao et al.은 시간에 따른 모델의 매개변수 효율성("밀도")을 고려했다. 아이디어는 시간이 지남에 따라 연구자들이 매개변수를 더 효율적으로 사용하는 모델을 발견할 것이라는 것이다. 즉, 동일한 성능을 가진 모델이 더 적은 매개변수를 가질 수 있다는 것이다.
모델은 실제 매개변수 수 formula_25을 가질 수 있는데, 이는 모델의 실제 매개변수 수로 정의된다. 그리고 "유효" 매개변수 수 formula_119을 가질 수 있는데, 이는 이전의 잘 알려진 모델이 MMLU와 같은 일부 벤치마크에서 동일한 성능에 도달하는 데 필요했을 매개변수 수로 정의된다. formula_119은 직접 측정되지 않고, 실제 모델 성능 formula_121를 측정한 다음, 이전에 피팅된 친칠라 스케일링 법칙과 같은 스케일링 법칙에 다시 대입하여, 이전에 피팅된 스케일링 법칙에 따라 그 성능 formula_121에 도달하는 데 필요한 formula_119이 얼마인지를 얻는다.
덴싱 법칙은 formula_124라고 명시하며, 여기서 formula_125는 실제 시간(일 단위)이다.
우지촌()은 일본 교토부 우지군에 설치되었던 촌이다. 현재의 우지시의 일부에 해당한다.
신경-기호 AI 또는 뉴로-심볼릭 AI(Neuro-symbolic AI)는 인공지능의 한 종류로, 각 아키텍처의 약점을 해결하기 위해 연결주의 및 기호주의 인공지능 아키텍처를 통합하여 자동화된 추론, 학습 및 인지 모델링이 가능한 강력한 AI를 제공한다. 레슬리 밸리언트 등이 주장했듯이, 풍부한 계산 인지 모델을 효과적으로 구축하려면 기호 추론과 효율적인 기계 학습의 조합이 필요하다.
게리 마커스는 "하이브리드 아키텍처, 풍부한 사전 지식, 정교한 추론 기술이라는 세 가지 요소를 갖추지 않고는 풍부한 인지 모델을 적절하고 자동화된 방식으로 구축할 수 없다"고 주장했다. 또한 "견고하고 지식 기반의 AI 접근 방식을 구축하려면 도구 키트에 기호 조작의 메커니즘이 있어야 한다. 너무 많은 유용한 지식은 추상적이며, 추상화를 나타내고 조작하는 도구 없이는 진행할 수 없으며, 현재까지 이러한 추상적 지식을 안정적으로 조작할 수 있는 유일한 알려진 메커니즘은 기호 조작 장치이다."라고 덧붙였다.
안젤로 달리, 헨리 카우츠, 프란체스카 로시, 바트 셀먼 또한 이러한 통합을 주장했다. 그들의 주장은 대니얼 카너먼의 저서 생각의 속도와 느림에서 논의된 두 가지 사고 방식을 다루려고 시도한다. 이 책은 인지를 두 가지 구성 요소로 설명한다. 시스템 1은 빠르고, 반사적이며, 직관적이고, 무의식적이다. 시스템 2는 느리고, 단계적이며, 명시적이다. 시스템 1은 패턴 인식에 사용된다. 시스템 2는 계획, 연역 및 숙고적 사고를 처리한다. 이 관점에서 딥 러닝은 첫 번째 종류의 인지를 가장 잘 처리하는 반면, 기호 추론은 두 번째 종류를 가장 잘 처리한다. 학습하고, 추론하며, 인간과 상호 작용하여 조언을 받아들이고 질문에 답할 수 있는 견고하고 신뢰할 수 있는 AI에는 두 가지 모두가 필요하다. 이 두 가지 대조적인 시스템에 대한 명시적인 참조가 있는 이러한 이중 프로세스 모델은 1990년대부터 AI 및 인지 과학 분야에서 여러 연구자들에 의해 연구되어 왔다.
통합을 위한 접근 방식은 다양하다. 헨리 카우츠의 신경-기호 아키텍처 분류와 몇 가지 예시는 다음과 같다.
이러한 범주는 다중 에이전트 시스템을 고려하지 않으므로 완전하지 않다. 2005년에 베이더(Bader)와 파스칼 히츨러는 기호 사용에 논리가 포함되었는지 여부와 논리가 명제 논리인지 1차 논리인지를 고려하는 등 더 세분화된 분류를 제시했다. 2005년 분류와 위에 제시된 카우츠의 분류는 2021년 기사에서 비교 및 대조되었다. 최근 제프 호크라이터는 그래프 신경망이 "...분자 특성을 설명하고, 소셜 네트워크를 시뮬레이션하며, 입자 간 상호 작용이 있는 물리 및 엔지니어링 응용 분야에서 미래 상태를 예측하기" 때문에 "...신경-기호 컴퓨팅의 주요 모델"이라고 주장했다.
인공 일반 지능.
게리 마커스는 "...학습과 기호 조작을 결합한 하이브리드 아키텍처는 강력한 지능에 필수적이지만 충분하지는 않다"고 주장하며, 다음과 같은 내용이 있다고 말한다.
이는 1990년대 초부터 하이브리드 모델에 대한 이전 요구와 일치한다.
아르투르 가르세스와 램(Lamb)은 이 분야의 연구가 적어도 1990년대부터 진행되어 왔다고 설명했다. 그 당시에는 기호적 및 하위 기호적 AI라는 용어가 널리 사용되었다.
신경-기호 AI에 관한 일련의 워크숍은 2005년부터 매년 개최되어 왔다. 1990년대 초에는 이 주제에 대한 초기 워크숍이 개최되었다.
다음과 같은 주요 연구 질문들이 남아 있다.
신경-기호 접근 방식의 구현 예시는 다음과 같다.
신경로봇공학 또는 뉴로로보틱스(Neurorobotics)는 신경과학, 로봇공학, 인공지능을 결합한 학문이다. 이는 구현된 자율 신경 시스템의 과학 기술이다. 신경 시스템에는 뇌에서 영감을 받은 알고리즘(예: 연결주의 네트워크), 생물학적 신경 네트워크의 계산 모델(예: 인공 스파이킹 신경망, 대규모 신경 미세회로 시뮬레이션), 실제 생물학적 시스템(예: 생체 내 및 생체 외 신경망)이 포함된다. 이러한 신경 시스템은 기계적 또는 다른 형태의 물리적 작동을 하는 기계에 구현될 수 있다. 여기에는 로봇, 보철 또는 웨어러블 시스템뿐만 아니라 더 작은 규모의 마이크로 머신, 더 큰 규모의 가구 및 인프라가 포함된다.
신경로봇공학은 로봇공학이 포함된 신경과학의 한 분야로, 뇌에서 영감을 받은 알고리즘과 같은 구현된 자율 신경 시스템의 과학 기술을 연구하고 적용하는 분야이다. 이는 뇌가 구현되고 신체가 환경에 내장되어 있다는 아이디어를 기반으로 한다. 따라서 대부분의 신경 로봇은 시뮬레이션된 환경이 아닌 실제 세계에서 기능해야 한다.
로봇을 위한 뇌에서 영감을 받은 알고리즘을 넘어 신경로봇공학은 뇌 제어 로봇 시스템의 설계도 포함할 수 있다.
주요 모델 분류.
신경 로봇은 로봇의 목적에 따라 여러 주요 분류로 나눌 수 있다. 각 분류는 연구를 위한 특정 관심 메커니즘을 구현하도록 설계되었다. 일반적인 유형의 신경 로봇은 운동 제어, 기억, 행동 선택 및 인식을 연구하는 데 사용된다.
이동 및 운동 제어.
신경 로봇은 종종 운동 피드백 및 제어 시스템을 연구하는 데 사용되며 로봇 컨트롤러 개발에서 그 가치를 입증했다. 동물이동은 운동 시스템의 작용에 대한 수많은 신경학적으로 영감을 받은 이론에 의해 모델링된다. 이동 제어는 네 발로 걷는 로봇을 만들기 위해 모델 또는 반복적인 행동을 유도할 수 있는 신경 세포 덩어리인 중앙 패턴 생성기를 사용하여 모방되었다. 다른 그룹들은 기초적인 제어 시스템을 간단한 자율 시스템의 계층적 집합으로 결합하는 아이디어를 확장했다. 이러한 시스템은 이러한 기초적인 부분 집합의 조합으로부터 복잡한 움직임을 형성할 수 있다. 이 운동 작용 이론은 피질 기둥의 조직에 기반을 두는데, 이는 간단한 감각 입력에서 복잡한 들신경섬유 신호로, 또는 복잡한 운동 프로그램에서 날신경섬유 신호에서 각 근섬유에 대한 간단한 제어로 점진적으로 통합되어 유사한 계층적 구조를 형성한다.
운동 제어를 위한 또 다른 방법은 학습된 오류 수정 및 예측 제어를 사용하여 일종의 시뮬레이션된 근육 기억을 형성하는 것이다. 이 모델에서는 어색하고 무작위적이며 오류가 발생하기 쉬운 움직임이 시간 경과에 따라 부드럽고 정확한 움직임을 생성하기 위해 오류 피드백을 사용하여 수정된다. 컨트롤러는 오류를 예측하여 올바른 제어 신호를 생성하는 방법을 학습한다. 이러한 아이디어를 사용하여 로봇은 적응형 팔 움직임을 생성하거나 코스에서 장애물을 피하는 방법을 학습하도록 설계되었다.
학습 및 기억 시스템.
동물 기억 시스템의 이론을 테스트하기 위해 설계된 로봇. 많은 연구에서 쥐의 기억 시스템, 특히 쥐의 해마체를 조사하며, 특정 학습된 위치에 대해 발화하는 장소 세포를 다룬다. 쥐의 해마체를 모방한 시스템은 일반적으로 환경의 인지 지도를 학습할 수 있으며, 랜드마크를 인식하고 행동과 연결하여 다가오는 장애물과 랜드마크를 예측할 수 있다.
또 다른 연구에서는 주로 청각적이지만 시각적 자극에도 기반을 둔 올빼미의 방향 및 위치 파악 학습 패러다임을 기반으로 한 로봇을 제작했다. 가설화된 방법에는 시냅스 가소성과 신경조절물질, 즉 도파민이나 세로토닌과 같은 보상 신경전달물질이 뉴런의 발화 민감도를 더 예민하게 만드는 주로 화학적 효과가 포함된다. 이 연구에 사용된 로봇은 올빼미의 행동을 적절히 재현했다. 또한 운동 출력과 청각 피드백 간의 밀접한 상호 작용은 학습 과정에 필수적인 것으로 입증되었으며, 많은 학습 모델에 관련된 능동 지각 이론을 지지한다.
이러한 연구에서 신경 로봇은 간단한 미로 또는 패턴을 학습하도록 제시된다. 신경 로봇에 제시되는 문제 중 일부는 기호, 색상 또는 기타 패턴을 인식하고 패턴에 기반하여 간단한 작업을 실행하는 것을 포함한다. 올빼미 시뮬레이션의 경우 로봇은 환경에서 길을 찾기 위해 자신의 위치와 방향을 결정해야 했다.
행동 선택 및 가치 시스템.
행동 선택 연구는 행동과 그 결과에 대한 부정적 또는 긍정적 가중치를 다룬다. 신경 로봇은 생존 뗏목에 탑승할 수 있는 인원보다 더 많은 사람이 있고, 나머지를 구하기 위해 누군가가 배를 떠나야 하는 고전적인 사고 실험과 같은 간단한 윤리적 상호 작용을 연구하는 데 사용될 수 있으며 실제로 사용되었다. 그러나 행동 선택 연구에 사용되는 대부분의 신경 로봇은 자기 보존 또는 연구 대상 로봇 개체군의 영속과 같은 훨씬 더 단순한 설득력 있는 주장을 다룬다. 이러한 신경 로봇은 긍정적인 결과를 가진 회로를 장려하기 위해 시냅스의 신경 조절을 모방한다.
생물학적 시스템에서 도파민이나 아세틸콜린과 같은 신경전달물질은 유익한 신경 신호를 긍정적으로 강화한다. 이러한 상호 작용에 대한 한 연구는 로봇 다윈 7호를 포함했는데, 이 로봇은 시각, 청각 및 시뮬레이션된 미각 입력을 사용하여 전도성 금속 블록을 "먹었다". 임의로 선택된 좋은 블록에는 줄무늬 패턴이 있었고 나쁜 블록에는 원형 모양이 있었다. 미각은 블록의 전도성에 의해 시뮬레이션되었다. 로봇은 전도성 수준에 따라 미각에 대한 긍정적 및 부정적 피드백을 가졌다. 연구원들은 로봇이 받은 입력에 기반하여 행동 선택 행동을 학습하는 방법을 관찰했다. 다른 연구에서는 방에 흩어져 있는 배터리를 먹고 발견한 내용을 다른 로봇과 통신하는 작은 로봇 무리를 사용했다.
감각 지각.
신경 로봇은 감각 지각, 특히 시각을 연구하는 데에도 사용되었다. 이는 주로 자동 기계에 감각 경로의 신경 모델을 내장하여 얻은 시스템이다. 이 접근 방식은 행동 중에 발생하는 감각 신호에 노출을 제공하고 신경 모델의 견고성 정도를 보다 현실적으로 평가할 수 있게 한다. 운동 활동에 의해 생성되는 감각 신호의 변화가 유기체가 광범위하게 사용하는 유용한 능동 지각 단서를 제공한다는 것은 잘 알려져 있다. 예를 들어, 연구원들은 인간의 머리와 눈 움직임 복제 중에 나타나는 깊이 정보를 사용하여 시각적 장면의 강력한 표현을 확립했다.
생물학적 로봇.
생물학적 로봇은 신경학적으로 영감을 받은 AI 시스템이 아니라 실제 뉴런 조직이 로봇에 연결된 형태이므로 공식적으로 신경 로봇은 아니다. 이는 뇌 발달 또는 신경 상호 작용을 연구하기 위해 배양된 신경망을 사용한다. 이들은 일반적으로 다중 전극 배열 (MEA) 위에 배양된 신경 조직으로 구성되며, 이는 신경 활동을 기록하고 조직을 자극할 수 있다. 어떤 경우에는 MEA가 컴퓨터에 연결되어 뇌 조직에 시뮬레이션된 환경을 제시하고 뇌 활동을 시뮬레이션의 행동으로 번역하며 감각 피드백을 제공한다. 신경 활동을 기록하는 능력은 연구자들에게 뇌를 들여다볼 수 있는 창을 제공하며, 이를 사용하여 신경 로봇이 사용되는 것과 동일한 여러 문제에 대해 학습할 수 있다.
생물학적 로봇에 대한 한 가지 우려 사항은 윤리이다. 이러한 실험을 어떻게 다루어야 하는지에 대한 많은 질문이 제기된다. 핵심 질문은 의식 (심리철학)과 쥐의 뇌가 그것을 경험하는지 여부에 관한 것이다. 의식을 정의하는 방법에 대한 많은 이론이 있다.
신경과학에 대한 시사점.
신경과학자들은 신경 로봇공학으로부터 이점을 얻는데, 이는 통제되고 테스트 가능한 환경에서 뇌 기능의 다양한 가능한 방법을 테스트할 수 있는 백지 상태를 제공하기 때문이다. 로봇은 모방하는 시스템의 더 단순화된 버전이지만, 더 구체적이어서 당면한 문제에 대한 더 직접적인 테스트를 허용한다. 또한 항상 접근 가능하다는 이점이 있는데, 특히 개별 뉴런의 경우 인간이나 동물이 활동하는 동안 뇌의 큰 부분을 모니터링하는 것이 더 어렵다.
신경과학의 발전은 신경 치료법을 만들어냈다. 여기에는 의약품 및 신경 재활이 포함된다. 이러한 진보는 뇌에 대한 복잡한 이해와 뇌가 정확히 어떻게 기능하는지에 달려 있다. 뇌를 연구하는 것은 어렵고, 특히 인간의 경우 두개골 수술과 관련된 위험 때문에 더욱 그렇다. 신경 로봇은 신경 과정 연구에서 수행될 수 있는 테스트와 실험의 범위를 개선할 수 있다.
인공지능의 진행상황(Progress in artificial intelligence)은 시간이 지남에 따라 인공지능 분야에서 달성된 진보, 이정표 및 혁신을 의미한다. AI는 일반적으로 인간의 지능을 필요로 하는 작업을 수행할 수 있는 기계와 시스템을 만드는 것을 목표로 하는 컴퓨터 과학의 다학제적 분야이다. AI 애플리케이션은 의료 진단, 금융, 로봇공학, 법, 비디오 게임, 농업 및 과학적 발견을 포함한 광범위한 분야에서 사용되었다. 그러나 많은 AI 애플리케이션은 AI로 인식되지 않는다. "많은 최첨단 AI가 일반적인 애플리케이션으로 스며들었지만, 일단 충분히 유용하고 흔해지면 더 이상 AI라고 불리지 않기 때문에 종종 AI라고 불리지 않는다." "수많은 AI 애플리케이션이 모든 산업의 인프라에 깊이 내장되어 있다." 1990년대 후반과 2000년대 초반에 AI 기술은 더 큰 시스템의 요소로 널리 사용되었지만, 당시에는 이러한 성공에 대한 공로가 거의 인정되지 않았다.
카플란과 한라인은 인공지능을 세 가지 진화 단계로 구분한다.
인간의 성능과 비교하기 위해 인공지능은 제약적이고 잘 정의된 문제에 대해 평가할 수 있다. 이러한 테스트를 주제 전문가 튜링 테스트라고 한다. 또한, 더 작은 문제는 더 달성 가능한 목표를 제공하며, 긍정적인 결과의 수가 계속 증가하고 있다.
인간은 GPT-4와 ConceptARC 벤치마크에서 훈련된 모델 모두를 여전히 크게 능가한다. GPT-4와 ConceptARC 모델은 대부분의 범주에서 60%, 한 범주에서는 77%를 득점한 반면, 인간은 모든 범주에서 91%, 한 범주에서는 97%를 득점했다.
특정 분야의 현재 성능.
지능의 한 형태를 보이는 것으로 묘사될 수 있는 유용한 능력들이 많이 있다. 이는 다양한 영역에서 인공지능의 비교적 성공적인 성과에 대한 더 나은 통찰력을 제공한다.
AI는 전기나 증기 기관과 마찬가지로 범용 기술이다. AI가 어떤 작업에 탁월한 경향이 있는지를 특징화하는 방법에 대한 합의는 없다. 모라벡의 역설의 일부 버전은 자연 선택의 직접적인 대상이었던 신체적 민첩성과 같은 영역에서 인간이 기계보다 뛰어날 가능성이 더 높다고 관찰한다. 알파제로와 같은 프로젝트가 처음부터 자체 지식을 생성하는 데 성공했지만, 다른 많은 기계 학습 프로젝트는 대규모 훈련 데이터 세트를 필요로 한다. 연구자 앤드루 응은 "매우 불완전한 경험 법칙"으로, "일반적인 사람이 정신적인 사고 1초 이내에 할 수 있는 거의 모든 것을 현재 또는 가까운 미래에 AI를 사용하여 자동화할 수 있을 것"이라고 제안했다.
게임은 발전 속도를 평가하는 데 높은 평가를 받는 벤치마크를 제공한다. 많은 게임에는 대규모 프로 선수 기반과 잘 확립된 경쟁 등급 시스템이 있다. 2016년 인공지능이 인간보다 경쟁 우위를 입증하면서 알파고는 고전적인 보드 게임 벤치마크 시대를 마감했다. 딥마인드의 알파고 AI 소프트웨어 프로그램은 세계 최고의 프로 바둑 기사 이세돌을 물리쳤다. 불완전 정보 게임은 게임 이론 분야에서 AI에 새로운 도전을 제공한다. 이 분야에서 가장 중요한 이정표는 2017년 리브라투스의 포커 승리로 마무리되었다. E스포츠는 추가적인 벤치마크를 계속 제공한다. 페이스북 AI, 딥마인드 등은 인기 있는 스타크래프트 비디오 게임 프랜차이즈에 참여했다.
AI 테스트 결과의 광범위한 등급은 다음과 같이 나눌 수 있다.
제안된 인공지능 테스트.
그의 유명한 튜링 검사에서 앨런 튜링은 인간의 특징인 언어를 그 기초로 삼았다. 튜링 검사는 이제 너무 쉽게 조작될 수 있어 의미 있는 벤치마크로 간주되지 않는다.
전문가 시스템의 발명가가 제안한 파이겐바움 테스트는 특정 주제에 대한 기계의 지식과 전문성을 테스트한다. 2003년 마이크로소프트의 짐 그레이가 발표한 논문은 튜링 테스트를 음성 이해, 말하기 및 객체 인식과 행동으로 확장할 것을 제안했다.
제안된 "보편적 지능" 테스트는 기계, 인간, 심지어 비인간 동물들이 가능한 한 일반적인 문제 세트에서 얼마나 잘 수행하는지 비교하는 것을 목표로 한다. 극단적으로, 테스트 스위트는 콜모고로프 복잡도에 따라 가중치가 부여된 모든 가능한 문제를 포함할 수 있다. 그러나 이러한 문제 세트는 조정된 AI가 인간 성능 수준을 쉽게 초과할 수 있는 빈약한 패턴 매칭 연습이 지배하는 경향이 있다.
오픈AI에 따르면 2023년 챗GPT GPT-4는 통일 변호사 시험에서 상위 90%를 기록했다. SAT에서는 GPT-4가 수학에서 상위 89%, 독해 및 작문에서 상위 93%를 기록했다. GRE에서는 작문 시험에서 54%, 양적 섹션에서 88%, 언어 섹션에서 99%를 기록했다. 2020년 미국 생물 올림피아드 준결승 시험에서는 99%~100%를 기록했다. 여러 AP 시험에서는 완벽한 "5"를 기록했다.
독립 연구자들은 2023년에 챗GPT GPT-3.5가 미국 의료 면허 시험 세 부분에서 "합격 기준에 도달했거나 거의 도달했다"는 사실을 발견했다. GPT-3.5는 또한 미네소타 대학교의 4개 법학 대학원 과정 시험에서 낮은 점수이지만 합격점을 받았다고 평가되었다. GPT-4는 텍스트 기반 방사선과 보드 스타일 시험을 통과했다.
이미지넷 챌린지와 같은 많은 대회와 상은 인공지능 연구를 촉진한다. 가장 일반적인 경쟁 분야는 일반 기계 지능, 대화 행동, 데이터 마이닝, 로봇 자동차 및 로봇 축구뿐만 아니라 기존 게임을 포함한다.
과거 및 현재 예측.
2016년 경 미래 인류 연구소의 카티아 그레이스와 동료들이 실시한 전문가 설문조사는 앵그리버드 챔피언십에 3년, 월드 시리즈 오브 포커에 4년, 스타크래프트에 6년이라는 중간 추정치를 제시했다. 더 주관적인 작업에서는 빨래 접기와 일반 인간 노동자에 6년, '쉽게 구글링할 수 있는' 질문에 전문적으로 답하는 데 7~10년, 평균 음성 전사에 8년, 평균 전화 뱅킹에 9년, 전문가 작곡에 11년이 걸릴 것이라고 추정했지만, 뉴욕 타임즈 베스트셀러를 쓰거나 퍼트넘 수학 경시대회에서 우승하는 데는 30년 이상이 걸릴 것으로 예측했다.
1988년에 AI가 정규 토너먼트 경기에서 처음으로 그랜드마스터를 물리쳤고, 딥 블루로 이름이 바뀐 이 AI는 1997년에 현 세계 체스 챔피언을 이겼다 (참고: 딥 블루 대 가리 카스파로프).
알파고는 2015년 10월 유럽 바둑 챔피언을, 2016년 3월에는 세계 최고 선수 중 한 명인 이세돌을 물리쳤다 (참고: 알파고 대 이세돌). 사이언티픽 아메리칸과 다른 자료에 따르면, 대부분의 관찰자들은 초인적인 컴퓨터 바둑 성능이 최소 10년은 더 걸릴 것이라고 예상했다.
인간 수준의 인공 일반 지능(AGI).
AI 개척자이자 경제학자인 허버트 사이먼은 1965년에 "20년 안에 기계가 인간이 할 수 있는 모든 작업을 수행할 수 있을 것"이라고 부정확하게 예측했다. 비슷하게 1970년에 마빈 민스키는 "한 세대 안에 인공지능을 만드는 문제가 실질적으로 해결될 것"이라고 썼다.
2012년과 2013년에 실시된 네 번의 설문조사에 따르면, 전문가들의 AGI 도달 시기에 대한 중앙값 추정치는 설문조사에 따라 2040년에서 2050년 사이였다.
2016년경 그레이스 여론조사에서는 질문 방식에 따라 결과가 다양했다. "인간 노동자보다 더 뛰어나고 저렴하게 모든 작업을 수행할 수 있는 자율 기계가 언제 나타날 것인가"라는 질문에 응답자들은 평균 45년, 9년 이내에 발생할 확률은 10%라고 답했다. "모든 직업이 완전히 자동화될 때. 즉, 어떤 직업이든 기계가 인간 노동자보다 더 뛰어나고 저렴하게 작업을 수행할 수 있도록 만들어질 때"를 추정해달라는 질문에 다른 응답자들은 평균 122년, 20년 이내에 발생할 확률은 10%라고 추정했다. "AI 연구원"이 완전히 자동화될 시기에 대한 중간 답변은 약 90년이었다. 연차와 낙관주의 사이에 연관성은 발견되지 않았지만, 아시아 연구자들은 북미 연구자들보다 평균적으로 훨씬 더 낙관적이었다. 아시아인들은 "모든 작업을 수행"하는 데 평균 30년이 걸릴 것이라고 예측한 반면, 북미인들은 74년을 예측했다.
인공지능은 학습, 추론, 문제 해결, 인식, 의사 결정과 같이 인간 지능과 일반적으로 관련된 작업을 수행하는 전산 시스템의 능력이다. 인공지능(AI)은 산업 및 학계 전반의 응용 분야에 사용되어 왔다. 인공지능 분야 내에는 여러 하위 분야가 있다. 기계 학습의 하위 분야는 언어 번역, 이미지 인식, 의사결정, 신용 평가 및 전자 상거래를 포함한 다양한 과학 및 상업적 목적으로 사용되어 왔다. 최근 몇 년 동안 생성형 인공지능 분야에서 엄청난 발전이 있었으며, 이는 생성 모델을 사용하여 텍스트, 이미지, 비디오 또는 기타 형태의 데이터를 생산한다. 이 글은 다양한 분야에서 AI의 응용을 설명한다.