GPT (언어 모델)

GPT(Generative pre-trained transformer)는 미국의 인공지능 단체 오픈AI가 2018년 선보인 대형 언어 모델(LLM)의 계열이며 GPT 모델들은 레이블링되지 않은 대량의 텍스트 데이터셋으로 미리 훈련되고 인간과 같은 문자를 생성할 수 있는 변환기 아키텍처에 기반한 인공 신경망이다. 2023년 기준으로, 대부분의 LLM은 이러한 특징을 지니고 있으며 종종 GPT로 통칭한다.https://www.forbes.com/sites/joemckendrick/2023/03/26/most-jobs-soon-to-be-influenced-by-artificial-intelligence-research-out-of-openai-and-university-of-pennsylvania-suggests/?sh=420f9c8f73c7

OpenAI는 "GPT-n" 시리즈를 구성하기 위해 순차적으로 번호가 매겨진 매우 영향력 있는 GPT 기반 모델을 출시했다. 이들 각각은 증가된 크기(훈련 가능한 매개변수의 수) 및 훈련으로 인해 이전보다 훨씬 더 많은 능력을 발휘했다. 가장 최근인 GPT-4는 2023년 3월에 출시되었다. 이러한 모델은 지침을 따르도록 미세 조정된 모델을 포함하여 작업별 GPT 시스템의 기반이 되었으며, 이는 ChatGPT 챗봇 서비스를 지원한다.

"GPT"라는 용어는 다른 사람이 개발한 모델의 이름 또는 설명에도 자주 사용된다. 예를 들어 다른 GPT 기초 모델에는 EleutherAI에서 생성한 일련의 GPT-3에서 영감을 받은 모델과 최근 Cerebras에서 생성한 7개의 모델 시리즈가 포함된다. 또한 세일즈포스의 "EinsteinGPT"(CRM용) 및 블룸버그의 "BloombergGPT"(금융용)와 같이 다양한 산업 분야의 회사에서 해당 분야의 작업별 GPT를 개발했다.

 역사 
생성형 사전 훈련(Generative pre-training, GP)은 기계 학습 응용 프로그램에서 오랫동안 확립된 개념이었지만 변환기 아키텍처는 구글에서 발명한 2017년까지 사용할 수 없었다. 이러한 개발로 인해 2018년에는 BERT, 2019년에는 XLNet과 같은 대규모 언어 모델이 등장했다. 이것들은 사전 훈련된 변환기(PT)였지만 생성하도록 설계되지 않았다("인코더 전용"). 또한 그 무렵인 2018년에 OpenAI는 "생성적 사전 훈련에 의한 언어 이해 개선"이라는 제목의 기사를 발표하여 최초의 사전 훈련된 생성 변환기(GPT) 시스템을 도입했다.

변환기 기반 아키텍처 이전에 최고 성능의 신경 NLP(자연어 처리) 모델은 일반적으로 대량의 수동 레이블 지정 데이터에서 지도 학습을 사용했다. 감독 학습에 대한 의존도는 잘 주석이 없는 데이터 세트에 대한 사용을 제한했으며, 또한 매우 큰 언어 모델을 교육하는 데 엄청난 비용과 시간이 소요되었다.

대규모 생성 시스템을 만들기 위해 OpenAI가 채택한 준감독 접근 방식(처음에는 변환기 모델과 관련됨)에는 언어 모델링 목표를 사용하여 초기 매개변수를 설정하는 감독되지 않은 생성 "사전 훈련" 단계와 이러한 매개 변수를 대상 작업에 적용하기 위해 감독된 차별적 "미세 조정" 단계이다.

 기초 모델 
+ GPT 기초 모델모델아키텍처파라미터 수트레이닝 데이터출시일오리지널 GPT (GPT-1)12레벨, 12방향 변환기 디코더 (인코더 없음). linear-softmax를 따름.117,000,000BookCorpus: 4.5 GB의 본문 (다양한 장르의 7,000권의 미출판 책에서)GPT-2GPT-1 (수정된 노멀라이제이션 포함)1,500,000,000웹 텍스트: 40 GB 본문, 800만 개 문서 (레딧의 좋아요 버튼이 눌린 45,000,000개의 웹 페이지에서)GPT-3GPT-2 (더 큰 스케일링을 허용하기 위한 수정 포함)175,000,000,000570 GB 플레인텍스트, 0.4 trillion개의 토큰. 대부분 CommonCrawl, WebText, 영어 위키백과, 2권의 책 말뭉치 (Books1 및 Books2). (2022년 3월 15일에 판의 이름이 GPT-3.5로 명명됨)GPT-4텍스트 예측과 RLHF로 훈련됨. 텍스트와 이미지를 입력으로 받음. 추가 정보는 공개되지 않음.미공개미공개

 작업 특화 모델 
기본 GPT 모델을 추가로 조정하여 특정 작업 및 주제 영역을 대상으로 하는 더 많은 대상 시스템을 생성할 수 있다. 이러한 적응 방법에는 추가 미세 조정(기초 모델에 대해 수행된 것 이상)과 특정 형태의 신속한 엔지니어링이 포함될 수 있다.

이에 대한 중요한 예는 지침을 따르도록 모델을 미세 조정하는 것이다. 2022년 1월 OpenAI는 기본 GPT-3 언어 모델에서 감독 교육과 인간 피드백으로부터 강화 학습(RLHF)을 조합하여 지침을 따르도록 미세 조정된 일련의 모델인 "InstructGPT"를 도입했다. 기본적인 기본 모델에 비해 더 높은 정확도, 부정적인/독성 감정이 적고 일반적으로 사용자 요구에 더 잘 부합하는 이점이 있다. 따라서 OpenAI는 이를 API 서비스 제공의 기반으로 사용하기 시작했다. 완전히 공개된 버전을 포함하여 다른 지침 조정 모델이 다른 사람들에 의해 출시되었다.

또 다른 (관련된) 종류의 작업별 모델은 인간과 유사한 대화에 참여하는 챗봇이다. 2022년 11월 OpenAI는 InstructGPT와 유사한 방식으로 훈련된 명령 조정 언어 모델로 구동되는 온라인 채팅 인터페이스인 ChatGPT를 출시했다. 그들은 RLHF를 사용하여 이 모델을 훈련시켰고 인간 AI 트레이너는 사용자와 AI를 모두 플레이하는 대화를 제공하고 이 새로운 대화 데이터 세트를 InstructGPT 데이터 세트와 혼합하여 챗봇에 적합한 대화 형식을 만들었다. 다른 주요 챗봇에는 현재 OpenAI의 GPT-4를 사용하는 마이크로소프트의 Bing Chat(OpenAI와 마이크로소프트 간의 보다 광범위한 긴밀한 협력의 일환으로)과 Google의 경쟁 챗봇 바드(처음에는 LaMDA 계열의 대화 훈련 언어 모델을 기반으로 하며 계획했다가 PalM으로 전환)가 포함된다.

GPT를 사용할 수 있는 또 다른 종류의 작업은 인간 사용자가 제공한 보다 일반적인 목표를 달성할 수 있도록 '자체'에 대한 일련의 프롬프트를 개발하는 것과 같이 자체 지침을 생성하는 메타 작업이다. 이것은 AI 에이전트로 알려져 있으며, 보다 구체적으로는 이전 자체 지침의 결과를 사용하여 후속 프롬프트를 형성하는 데 도움이 되기 때문에 재귀 에이전트라고 한다. 이것의 첫 번째 주요 예는 Auto-GPT(OpenAI의 GPT 모델을 사용함)였으며 이후 다른 것들도 개발되었다.

 챗GPT-4.5의 튜링 검사 통과 
미국 캘리포니아 대학교 샌디에이고 연구팀은 2025년에 튜링 검사에 대한 연구를 하였다. 심판이 사람과 인공지능과 동시에 대화하여 누가 사람인지 고르는 3자 튜링 검사에서 '게임과 인터넷 문화를 좋아하는 내성적인 10대 후반' 등의 가상 성격이 주어진 GPT-4.5는 참가자의 73%가 사람이라고 골랐고 실제 사람은 27%가 사람이라고 골랐다.GPT-4.5가 인간을 이겼다…진짜 튜링 테스트 통과, 디지털 투데이, 2025.04.02, https://www.digitaltoday.co.kr/news/articleView.html?idxno=559761GPT-4.5가 통과한 튜링 테스트가 뭐지?, AI 매터스, 2025년 04월 10일, https://aimatters.co.kr/news-report/feature-article/19094/Large Language Models Pass the Turing Test, Cameron R. Jones, Benjamin K. Bergen, 31 Mar 2025, https://arxiv.org/abs/2503.23674

 같이 보기 
 Cyc
 제미니 (언어 모델)

 각주 

분류:오픈AI
분류:MIT 라이선스 소프트웨어
분류:대형 언어 모델
분류:생성형 인공지능