{{위키데이터 속성 추적}}
{{기계 학습}}
[[파일:Full_GPT_architecture.svg|섬네일|오리지널 GPT 모델]]
'''GPT'''(Generative pre-trained transformer)는 미국의 [[인공지능]] 단체 [[오픈AI]]가 2018년 선보인<ref name="gpt1">{{웹 인용|title=Improving language understanding with unsupervised learning |url=https://openai.com/research/language-unsupervised |access-date=2023-03-18 |website=openai.com |language=en-US |archive-date=2023-03-18 |archive-url=https://web.archive.org/web/20230318210736/https://openai.com/research/language-unsupervised |url-status=live }}</ref> [[대형 언어 모델]](LLM)의 계열이며<ref name=":1">{{웹 인용|url=https://www.aljazeera.com/news/2023/3/15/how-do-ai-models-like-gpt-4-work-and-how-can-you-start-using-it|title=How does GPT-4 work and how can you start using it in ChatGPT?|first=Mohammed|last=Haddad|website=www.aljazeera.com}}</ref><ref name=":0" /> GPT 모델들은 레이블링되지 않은 대량의 텍스트 데이터셋으로 미리 훈련되고 인간과 같은 문자를 생성할 수 있는 [[변환기 (기계 학습)|변환기]] 아키텍처에 기반한 [[인공 신경망]]이다.<ref name=":0">{{웹 인용|url=https://www.weforum.org/agenda/2023/01/davos23-generative-ai-a-game-changer-industries-and-society-code-developers/|title=Generative AI: a game-changer society needs to be ready for|website=World Economic Forum}}</ref><ref>{{웹 인용|url=https://time.com/6271657/a-to-z-of-artificial-intelligence/|title=The A to Z of Artificial Intelligence|date=April 13, 2023|website=Time}}</ref> 2023년 기준으로, 대부분의 LLM은 이러한 특징을 지니고 있으며<ref>{{웹 인용|url=https://www.forbes.com/sites/robtoews/2023/02/07/the-next-generation-of-large-language-models/|title=The Next Generation Of Large Language Models|first=Rob|last=Toews|website=Forbes}}</ref> 종종 GPT로 통칭한다.<ref>https://www.forbes.com/sites/joemckendrick/2023/03/26/most-jobs-soon-to-be-influenced-by-artificial-intelligence-research-out-of-openai-and-university-of-pennsylvania-suggests/?sh=420f9c8f73c7</ref>

OpenAI는 "GPT-n" 시리즈를 구성하기 위해 순차적으로 번호가 매겨진 매우 영향력 있는 GPT 기반 모델을 출시했다. 이들 각각은 증가된 크기(훈련 가능한 매개변수의 수) 및 훈련으로 인해 이전보다 훨씬 더 많은 능력을 발휘했다. 가장 최근인 GPT-4는 2023년 3월에 출시되었다. 이러한 모델은 지침을 따르도록 미세 조정된 모델을 포함하여 작업별 GPT 시스템의 기반이 되었으며, 이는 ChatGPT 챗봇 서비스를 지원한다.<ref name=":1" />

"GPT"라는 용어는 다른 사람이 개발한 모델의 이름 또는 설명에도 자주 사용된다. 예를 들어 다른 GPT 기초 모델에는 EleutherAI에서 생성한 일련의 GPT-3에서 영감을 받은 모델과 최근 Cerebras에서 생성한 7개의 모델 시리즈가 포함된다.<ref>{{보도자료 인용| url=https://www.businesswire.com/news/home/20230328005366/en/Cerebras-Systems-Releases-Seven-New-GPT-Models-Trained-on-CS-2-Wafer-Scale-Systems | title=News }}</ref> 또한 세일즈포스의 "EinsteinGPT"(CRM용)<ref>{{웹 인용|last1=Morrison |first1=Ryan |title=Salesforce launches EinsteinGPT built with OpenAI technology |url=https://techmonitor.ai/technology/ai-and-automation/salesforce-einsteingpt-openai-chatgpt |website=Tech Monitor |date=7 March 2023}}</ref> 및 블룸버그의 "BloombergGPT"(금융용)와 같이 다양한 산업 분야의 회사에서 해당 분야의 작업별 GPT를 개발했다.<ref>{{웹 인용| url=https://www.forbes.com/sites/jamielsheikh/2023/04/05/the-chatgpt-of-finance-is-here-bloomberg-is-combining-ai-and-fintech/?sh=43b4385e3081 | title=The ChatGPT of Finance is Here, Bloomberg is Combining AI and Fintech | website=[[Forbes]] }}</ref>

== 역사 ==
생성형 사전 훈련(Generative pre-training, GP)은 기계 학습 응용 프로그램에서 오랫동안 확립된 개념이었지만<ref>{{저널 인용|last=Hinton (et-al) |first=Geoffrey |date=October 15, 2012 |title=Deep neural networks for acoustic modeling in speech recognition |url=http://cs224d.stanford.edu/papers/maas_paper.pdf |journal=IEEE SIGNAL PROCESSING MAGAZINE |volume=Digital Object Identifier 10.1109/MSP.2012.2205597}}</ref><ref>{{웹 인용|url=https://www.cambridge.org/core/journals/apsipa-transactions-on-signal-and-information-processing/article/tutorial-survey-of-architectures-algorithms-and-applications-for-deep-learning/023B6ADF962FA37F8EC684B209E3DFAE |title=A tutorial survey of architectures, algorithms, and applications for deep learning &#124; APSIPA Transactions on Signal and Information Processing &#124; Cambridge Core |doi=10.1017/atsip.2013.9 |publisher=Cambridge.org |date=2014-01-22 |accessdate=2023-05-21}}</ref> 변환기 아키텍처는 구글에서 발명한 2017년까지 사용할 수 없었다.<ref>{{저널 인용|url=http://arxiv.org/abs/1706.03762|title=Attention Is All You Need|first1=Ashish|last1=Vaswani|first2=Noam|last2=Shazeer|first3=Niki|last3=Parmar|first4=Jakob|last4=Uszkoreit|first5=Llion|last5=Jones|first6=Aidan N.|last6=Gomez|first7=Lukasz|last7=Kaiser|first8=Illia|last8=Polosukhin|date=December 5, 2017|via=arXiv.org|arxiv=1706.03762}}</ref> 이러한 개발로 인해 2018년에는 BERT,<ref>{{저널 인용|url=http://arxiv.org/abs/1810.04805|title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding|first1=Jacob|last1=Devlin|first2=Ming-Wei|last2=Chang|first3=Kenton|last3=Lee|first4=Kristina|last4=Toutanova|date=May 24, 2019|via=arXiv.org|arxiv=1810.04805v2}}</ref> 2019년에는 XLNet과 같은<ref>{{저널 인용|last=Yang (et-al) |first=Zhilin |date=2019 |title=XLNet |url=https://proceedings.neurips.cc/paper_files/paper/2019/file/dc6a7e655d7e5840e66733e9ee67cc69-Paper.pdf |journal=Proceedings from NeurIPS 2019}}</ref> 대규모 언어 모델이 등장했다. 이것들은 사전 훈련된 변환기(PT)였지만 생성하도록 설계되지 않았다("인코더 전용").<ref>{{웹 인용|url=https://analyticsindiamag.com/google-introduces-new-architecture-to-reduce-cost-of-transformers/|title=Google Introduces New Architecture To Reduce Cost Of Transformers|first=Amit Raja|last=Naik|date=September 23, 2021|website=Analytics India Magazine}}</ref> 또한 그 무렵인 2018년에 OpenAI는 "생성적 사전 훈련에 의한 언어 이해 개선"이라는 제목의 기사를 발표하여 최초의 사전 훈련된 생성 변환기(GPT) 시스템을 도입했다.<ref name="gpt1paper">{{웹 인용
 |url          = https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
 |title        = Improving Language Understanding by Generative Pre-Training
 |last1        = Radford
 |first1       = Alec
 |last2        = Narasimhan
 |first2       = Karthik
 |last3        = Salimans
 |first3       = Tim
 |last4        = Sutskever
 |first4       = Ilya
 |page        = 12
 |publisher    = [[OpenAI]]
 |date         = 11 June 2018
 |access-date  = 23 January 2021
 |archive-date = 26 January 2021
 |archive-url  = https://web.archive.org/web/20210126024542/https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
 |url-status   = live
}}</ref>

변환기 기반 아키텍처 이전에 최고 성능의 신경 NLP(자연어 처리) 모델은 일반적으로 대량의 수동 레이블 지정 데이터에서 지도 학습을 사용했다. 감독 학습에 대한 의존도는 잘 주석이 없는 데이터 세트에 대한 사용을 제한했으며, 또한 매우 큰 언어 모델을 교육하는 데 엄청난 비용과 시간이 소요되었다.<ref name="gpt1paper"/>

대규모 생성 시스템을 만들기 위해 OpenAI가 채택한 준감독 접근 방식(처음에는 변환기 모델과 관련됨)에는 언어 모델링 목표를 사용하여 초기 매개변수를 설정하는 감독되지 않은 생성 "사전 훈련" 단계와 이러한 매개 변수를 대상 작업에 적용하기 위해 감독된 차별적 "미세 조정" 단계이다.<ref name="gpt1paper"/>

== 기초 모델 ==
{| class="wikitable"
|+ GPT 기초 모델
!모델
!아키텍처
!파라미터 수
!트레이닝 데이터
!출시일
|-
|오리지널 GPT (GPT-1)
|12레벨, 12방향 변환기 디코더 (인코더 없음). linear-softmax를 따름.
|117,000,000
|[[BookCorpus]]:<ref>{{콘퍼런스 인용|last1=Zhu |first1=Yukun |last2=Kiros |first2=Ryan |last3=Zemel |first3=Rich |last4=Salakhutdinov |first4=Ruslan |last5=Urtasun |first5=Raquel |last6=Torralba |first6=Antonio |last7=Fidler |first7=Sanja |date=2015 |title=Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books |url=https://www.cv-foundation.org/openaccess/content_iccv_2015/html/Zhu_Aligning_Books_and_ICCV_2015_paper.html |conference=IEEE International Conference on Computer Vision (ICCV) 2015 |pages=19–27 |arxiv=1506.06724 |access-date=2023-02-07 |archive-date=2023-02-05 |archive-url=https://web.archive.org/web/20230205222219/https://www.cv-foundation.org/openaccess/content_iccv_2015/html/Zhu_Aligning_Books_and_ICCV_2015_paper.html |url-status=live }}</ref> 4.5 GB의 본문 (다양한 장르의 7,000권의 미출판 책에서)
|{{Date table sorting|2018|6|11}}<ref name="gpt1"/>
|-
|[[GPT-2]]
|GPT-1 (수정된 노멀라이제이션 포함)
|1,500,000,000
|웹 텍스트: 40 GB 본문, 800만 개 문서 (레딧의 좋아요 버튼이 눌린 45,000,000개의 웹 페이지에서)
|{{Date table sorting|2019|2|14}}
|-
|[[GPT-3]]
|GPT-2 (더 큰 스케일링을 허용하기 위한 수정 포함)
|175,000,000,000
|570 GB 플레인텍스트, 0.4 trillion개의 토큰. 대부분 CommonCrawl, WebText, 영어 위키백과, 2권의 책 말뭉치 (Books1 및 Books2).
|{{Date table sorting|2020|6|11}}<ref name=":2">{{저널 인용|url=http://arxiv.org/abs/2005.14165|title=Language Models are Few-Shot Learners|first1=Tom B.|last1=Brown|first2=Benjamin|last2=Mann|first3=Nick|last3=Ryder|first4=Melanie|last4=Subbiah|first5=Jared|last5=Kaplan|first6=Prafulla|last6=Dhariwal|first7=Arvind|last7=Neelakantan|first8=Pranav|last8=Shyam|first9=Girish|last9=Sastry|first10=Amanda|last10=Askell|first11=Sandhini|last11=Agarwal|first12=Ariel|last12=Herbert-Voss|first13=Gretchen|last13=Krueger|first14=Tom|last14=Henighan|first15=Rewon|last15=Child|first16=Aditya|last16=Ramesh|first17=Daniel M.|last17=Ziegler|first18=Jeffrey|last18=Wu|first19=Clemens|last19=Winter|first20=Christopher|last20=Hesse|first21=Mark|last21=Chen|first22=Eric|last22=Sigler|first23=Mateusz|last23=Litwin|first24=Scott|last24=Gray|first25=Benjamin|last25=Chess|first26=Jack|last26=Clark|first27=Christopher|last27=Berner|first28=Sam|last28=McCandlish|first29=Alec|last29=Radford|first30=Ilya|last30=Sutskever|first31=Dario|last31=Amodei|date=July 22, 2020|via=arXiv.org|arxiv=2005.14165v4}}</ref> (2022년 3월 15일에 판의 이름이 [[GPT-3#GPT-3.5|GPT-3.5]]로 명명됨)
|-
|[[GPT-4]]
|텍스트 예측과 RLHF로 훈련됨. 텍스트와 이미지를 입력으로 받음. 추가 정보는 공개되지 않음.<ref name="gpt4-report">{{웹 인용|last=OpenAI |date=2023 |title=GPT-4 Technical Report |url=https://cdn.openai.com/papers/gpt-4.pdf |access-date=2023-03-16 |archive-date=2023-03-14 |archive-url=https://web.archive.org/web/20230314190904/https://cdn.openai.com/papers/gpt-4.pdf |url-status=live }}</ref>
|미공개
|미공개
|{{Date table sorting|2023|3|14}}
|}

== 작업 특화 모델 ==
기본 GPT 모델을 추가로 조정하여 특정 작업 및 주제 영역을 대상으로 하는 더 많은 대상 시스템을 생성할 수 있다. 이러한 적응 방법에는 추가 미세 조정(기초 모델에 대해 수행된 것 이상)과 특정 형태의 신속한 엔지니어링이 포함될 수 있다.<ref>{{저널 인용|last=Bommasani (et-al) |first=Rishi |date=July 12, 2022 |title=On the Opportunities and Risks of Foundation Models |url=https://arxiv.org/pdf/2108.07258.pdf%20 |journal=arXiv}}</ref>

이에 대한 중요한 예는 지침을 따르도록 모델을 미세 조정하는 것이다. 2022년 1월 OpenAI는 기본 GPT-3 언어 모델에서 감독 교육과 인간 피드백으로부터 강화 학습(RLHF)을 조합하여 지침을 따르도록 미세 조정된 일련의 모델인 "InstructGPT"를 도입했다.<ref name="instructgpt-blog">{{웹 인용|title=Aligning language models to follow instructions |url=https://openai.com/research/instruction-following |website=openai.com |access-date=23 March 2023 |archive-date=23 March 2023 |archive-url=https://web.archive.org/web/20230323110040/https://openai.com/research/instruction-following |url-status=live }}</ref><ref name="instructgpt-paper">{{저널 인용|last1=Ouyang |first1=Long |last2=Wu |first2=Jeff |last3=Jiang |first3=Xu |last4=Almeida |first4=Diogo |last5=Wainwright |first5=Carroll L. |last6=Mishkin |first6=Pamela |last7=Zhang |first7=Chong |last8=Agarwal |first8=Sandhini |last9=Slama |first9=Katarina |last10=Ray |first10=Alex |last11=Schulman |first11=John |last12=Hilton |first12=Jacob |last13=Kelton |first13=Fraser |last14=Miller |first14=Luke |last15=Simens |first15=Maddie |last16=Askell |first16=Amanda |last17=Welinder |first17=Peter |last18=Christiano |first18=Paul |last19=Leike |first19=Jan |last20=Lowe |first20=Ryan |title=Training language models to follow instructions with human feedback |date=4 March 2022 |arxiv=2203.02155 |display-authors=3 }}</ref> 기본적인 기본 모델에 비해 더 높은 정확도, 부정적인/독성 감정이 적고 일반적으로 사용자 요구에 더 잘 부합하는 이점이 있다. 따라서 OpenAI는 이를 API 서비스 제공의 기반으로 사용하기 시작했다.<ref>{{웹 인용|url=https://analyticsindiamag.com/openai-dumps-its-own-gpt-3-for-something-called-instructgpt-and-for-right-reason/|title=OpenAI dumps its own GPT-3 for something called InstructGPT, and for right reason|first=Meeta|last=Ramnani|date=January 28, 2022|website=Analytics India Magazine}}</ref> 완전히 공개된 버전을 포함하여 다른 지침 조정 모델이 다른 사람들에 의해 출시되었다.<ref>{{웹 인용|url=https://crfm.stanford.edu/2023/03/13/alpaca.html|title=Stanford CRFM|website=crfm.stanford.edu}}</ref><ref>{{웹 인용|url=https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm|title=Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM|date=April 12, 2023|website=Databricks}}</ref>

또 다른 (관련된) 종류의 작업별 모델은 인간과 유사한 대화에 참여하는 챗봇이다. 2022년 11월 OpenAI는 InstructGPT와 유사한 방식으로 훈련된 명령 조정 언어 모델로 구동되는 온라인 채팅 인터페이스인 ChatGPT를 출시했다.<ref name="chatgpt-blog">{{웹 인용|title=Introducing ChatGPT |url=https://openai.com/blog/chatgpt |access-date=2023-03-16 |website=openai.com |language=en-US |archive-date=2023-03-16 |archive-url=https://web.archive.org/web/20230316001700/https://openai.com/blog/chatgpt/ |url-status=live }}</ref> 그들은 RLHF를 사용하여 이 모델을 훈련시켰고 인간 AI 트레이너는 사용자와 AI를 모두 플레이하는 대화를 제공하고 이 새로운 대화 데이터 세트를 InstructGPT 데이터 세트와 혼합하여 챗봇에 적합한 대화 형식을 만들었다. 다른 주요 챗봇에는 현재 OpenAI의 GPT-4를 사용하는 마이크로소프트의 Bing Chat(OpenAI와 마이크로소프트 간의 보다 광범위한 긴밀한 협력의 일환으로)과<ref>{{웹 인용|url=https://techcrunch.com/2023/05/04/microsoft-doubles-down-on-ai-with-new-bing-features/|title=Microsoft doubles down on AI with new Bing features|first=Kyle|last=Wiggers|date=May 4, 2023}}</ref> Google의 경쟁 챗봇 바드(처음에는 LaMDA 계열의 대화 훈련 언어 모델을 기반으로 하며 계획했다가 PalM으로 전환)가 포함된다.<ref>{{웹 인용|url=https://www.cnet.com/tech/services-and-software/chatgpt-vs-bing-vs-google-bard-which-ai-is-the-most-helpful/|title=ChatGPT vs. Bing vs. Google Bard: Which AI Is the Most Helpful?|website=CNET}}</ref>

GPT를 사용할 수 있는 또 다른 종류의 작업은 인간 사용자가 제공한 보다 일반적인 목표를 달성할 수 있도록 '자체'에 대한 일련의 프롬프트를 개발하는 것과 같이 자체 지침을 생성하는 메타 작업이다.<ref>{{웹 인용|url=https://mashable.com/article/autogpt-ai-agents-how-to-get-access|title=Auto-GPT, BabyAGI, and AgentGPT: How to use AI agents|date=April 19, 2023|website=Mashable}}</ref> 이것은 AI 에이전트로 알려져 있으며, 보다 구체적으로는 이전 자체 지침의 결과를 사용하여 후속 프롬프트를 형성하는 데 도움이 되기 때문에 재귀 에이전트라고 한다. 이것의 첫 번째 주요 예는 Auto-GPT(OpenAI의 GPT 모델을 사용함)였으며 이후 다른 것들도 개발되었다.<ref>{{웹 인용|url=https://www.forbes.com/sites/bernardmarr/2023/04/24/auto-gpt-may-be-the-strong-ai-tool-that-surpasses-chatgpt/|title=Auto-GPT May Be The Strong AI Tool That Surpasses ChatGPT|first=Bernard|last=Marr|website=Forbes}}</ref>

== 같이 보기 ==
* [[Cyc]]
* [[제미니 (언어 모델)]]

== 각주 ==
{{각주}}

{{자연어 처리}}
{{오픈AI 둘러보기}}

[[분류:오픈AI]]
[[분류:MIT 라이선스 소프트웨어]]
[[분류:대형 언어 모델]]