{{위키데이터 속성 추적}}
{{소프트웨어 정보
| name = Generative Pre-trained Transformer 2 (GPT-2)
| logo = 
| screenshot             = File:GPT2-talks-about-GPT2.png
| screenshot size        = 
| caption                = 
| author = [[OpenAI]]
| developer = 
| released = {{시작 날짜와 나이|2019|2|14}}
| latest release version = 
| latest release date = 
| repo = https://github.com/openai/gpt-2
| programming language = 
| operating system = 
| replaces = [[OpenAI|GPT-1]]
| replaced_by = [[GPT-3]]
| genre = [[변환기 (기계 학습)|변환기]] [[언어 모델]]
| license = [[MIT 라이선스|MIT]]<ref>{{웹 인용|work=GitHub|title=gpt-2|url=https://github.com/openai/gpt-2|access-date=13 March 2023}}</ref>
| website = {{url|https://openai.com/blog/gpt-2-1-5b-release/}}
}}
{{인공지능}}
{{기계 학습}}
'''생성적 사전학습 변환기 2'''(Generative Pre-trained Transformer 2) 즉 '''GPT-2'''는 [[OpenAI]]에서 만든 인공지능이다. [[비지도 학습]]과 생성적 사전학습(generative pre-training)기법, [[변환기 (기계 학습)|변환기]](transformer)를 적용하였다. 번역과 대화, 작문을 할 수 있으며 단문의 경우 인간이 쓴 글인지 기계가 쓴 글인지 구분하기 힘들다.

2019년 2월<ref name="voxxy2">{{웹 인용|url          = https://www.vox.com/2019/5/15/18623134/openai-language-ai-gpt2-poetry-try-it |title        = A poetry-writing AI has just been unveiled. It's ... pretty good. |last         = Piper |first        = Kelsey |work         = [[Vox Media|Vox]] |date         = 15 May 2019 |access-date  = 19 December 2020 |quote        =  |archive-date = 7 November 2020 |archive-url  = https://web.archive.org/web/20201107235346/https://www.vox.com/2019/5/15/18623134/openai-language-ai-gpt2-poetry-try-it |url-status   = live }}</ref><ref name="vb">{{웹 인용|url          = https://venturebeat.com/2019/08/20/openai-releases-curtailed-version-of-gpt-2-language-model/ |title        = OpenAI releases curtailed version of GPT-2 language model |last         = Johnson |first        = Khari |website      =  |publisher    = [[VentureBeat]] |date         = 20 August 2019 |access-date  = 19 December 2020 |quote        =  |archive-date = 18 December 2020 |archive-url  = https://web.archive.org/web/20201218130530/https://venturebeat.com/2019/08/20/openai-releases-curtailed-version-of-gpt-2-language-model/ |url-status   = live}}</ref><ref name="verge2">{{웹 인용|url          = https://www.theverge.com/2019/11/7/20953040/openai-text-generation-ai-gpt-2-full-model-release-1-5b-parameters |title        = OpenAI has published the text-generating AI it said was too dangerous to share |last         = Vincent |first        = James |work         = [[The Verge]] |date         = 7 November 2019 |access-date  = 19 December 2020 |quote        =  |archive-date = 11 June 2020 |archive-url  = https://web.archive.org/web/20200611054114/https://www.theverge.com/2019/11/7/20953040/openai-text-generation-ai-gpt-2-full-model-release-1-5b-parameters |url-status   = live }}</ref><ref name="openai">{{웹 인용|url          = https://openai.com/blog/better-language-models/ |title        = Better Language Models and Their Implications |last         =  |first        =  |website      =  |publisher    = [[OpenAI]] |date         = 14 February 2019 |access-date  = 19 December 2020 |quote        =  |archive-date = 19 December 2020 |archive-url  = https://web.archive.org/web/20201219132206/https://openai.com/blog/better-language-models/ |url-status   = live}}</ref> OpenAI에서 만든 오픈 소스 인공 지능 대규모 언어 모델로서 GPT-2는 텍스트를 번역하고, 질문에 답하고, 구절을 요약하고,<ref name="badpaper">{{ArXiv 인용|last1        = Hegde |first1       = Chaitra |last2        = Patil |first2       = Shrikumar |author-link  =  |eprint       = 2006.05477 |title        = Unsupervised Paraphrase Generation using Pre-trained Language Models |class        = cs.CL |date         = 9 June 2020}}</ref> 때때로 인간과 구별할 수 없지만<ref name="tds2">{{웹 인용|url          = https://towardsdatascience.com/too-big-to-deploy-how-gpt-2-is-breaking-production-63ab29f0897c |title        = Too big to deploy: How GPT-2 is breaking servers |last         = Kaiser |first        = Caleb |website      = Towards Data Science |publisher    =  |date         = 31 January 2020 |access-date  = 27 February 2021 |quote        =  |archive-date = 15 February 2020 |archive-url  = https://web.archive.org/web/20200215145640/https://towardsdatascience.com/too-big-to-deploy-how-gpt-2-is-breaking-production-63ab29f0897c |url-status   = live}}</ref> 반복될 수 있는 수준의 텍스트 출력을 생성한다. 범용 학습기이다. 이러한 작업을 수행하도록 특별히 훈련되지 않았으며 이러한 작업을 수행하는 능력은 다음 항목을 임의의 순서로 정확하게 합성하는 일반적인 능력의 확장이다. GPT-2는 OpenAI의 2018 GPT 모델("GPT-1")의 "직접 확장"으로 생성되었으며<ref name="gpt1paper">{{웹 인용|url          = https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf |title        = Improving Language Understanding by Generative Pre-Training |last1        = Radford |first1       = Alec |last2        = Narasimhan |first2       = Karthik |last3        = Salimans |first3       = Tim |last4        = Sutskever |first4       = Ilya |pages        = 12 |publisher    = [[OpenAI]] |date         = 11 June 2018 |access-date  = 23 January 2021 |archive-date = 26 January 2021 |archive-url  = https://web.archive.org/web/20210126024542/https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf |url-status   = live}}</ref> 매개변수 수와 훈련 데이터 세트 크기가 모두 10배 증가했다.<ref name="openai"/>

GPT-2는 심층 신경망, 특히 이전의 반복 및 컨볼루션 기반 아키텍처 대신 어텐션을 사용하는 변환기 모델을 구현하는<ref name="gpt1paper"/> 사전 훈련된 생성 변환기 아키텍처를 가지고 있다.<ref name="attention">{{ArXiv 인용|last1        = Polosukhin |first1       = Illia |last2        = Kaiser |first2       = Lukasz |last3        = Gomez |first3       = Aidan N. |last4        = Jones |first4       = Llion |last5        = Uszkoreit |first5       = Jakob |last6        = Parmar |first6       = Niki |last7        = Shazeer |first7       = Noam |last8        = Vaswani |first8       = Ashish |date         = 2017-06-12 |title        = Attention Is All You Need |eprint       = 1706.03762 |class        = cs.CL}}</ref><ref name="attentionRNNs">{{저널 인용|url          = https://distill.pub/2016/augmented-rnns/ |title        = Attention and Augmented Recurrent Neural Networks |last1        = Olah |first1       = Chris |last2        = Carter |first2       = Shan |journal      = Distill |date         = 8 September 2016 |volume = 1 |issue = 9 |doi = 10.23915/distill.00001 |access-date  = 22 January 2021 |quote        =  |archive-date = 22 December 2020 |archive-url  = https://web.archive.org/web/20201222104024/https://distill.pub/2016/augmented-rnns/ |url-status   = live|doi-access= free }}</ref> 어텐션 메커니즘을 통해 모델은 가장 관련성이 높은 것으로 예측되는 입력 텍스트 세그먼트에 선택적으로 초점을 맞출 수 있다.<ref name="jointly">{{ArXiv 인용|last1        = Bahdanau |first1       = Dzmitry |last2        = Cho |first2       = Kyunghyun |last3        = Bengio |first3       = Yoshua |eprint       = 1409.0473 |title        = Neural Machine Translation by Jointly Learning to Align and Translate |class        = cs.CL |date         = 1 September 2014}}</ref><ref name="effective">{{ArXiv 인용|last1        = Luong |first1       = Minh-Thang |last2        = Pham |first2       = Hieu |last3        = Manning |first3       = Christopher D. |author-link  =  |eprint       = 1508.04025 |title        = Effective Approaches to Attention-based Neural Machine Translation |class        = cs.CL |date         = 17 August 2015}}</ref> 이 모델은 병렬화를 크게 증가시키고 RNN/CNN/LSTM 기반 모델에 대한 이전 벤치마크를 능가한다.<ref name="gpt1paper"/>

OpenAI는 2019년 11월 GPT-2 언어 모델의 전체 버전(15억 개의 매개변수 포함)을 출시했다.<ref name="15Brelease">{{웹 인용|url          = https://openai.com/blog/gpt-2-1-5b-release/ |title        = GPT-2: 1.5B Release |date         = 2019-11-05 |website      = OpenAI |language     = en |access-date  = 2019-11-14 |archive-date = 2019-11-14 |archive-url  = https://web.archive.org/web/20191114074358/https://openai.com/blog/gpt-2-1-5b-release/ |url-status   = live}}</ref>

== 제한 ==
자연어 텍스트의 그럴듯한 구절을 생성하는 GPT-2의 능력은 일반적으로 긍정적으로 언급되었지만 특히 몇 단락보다 긴 텍스트를 생성할 때 단점도 지적되었다. 복스는 "산문이 꽤 거칠고 가끔 비평등이 있으며 기사가 길어질수록 일관성이 떨어진다"라고 말했다.<ref name="voxxy">{{웹 인용|last         = Piper |first        = Kelsey |date         = 14 February 2019 |title        = An AI helped us write this article |url          = https://www.vox.com/future-perfect/2019/2/14/18222270/artificial-intelligence-open-ai-natural-language-processing |url-status   = live |archive-url  = https://web.archive.org/web/20201108002620/https://www.vox.com/future-perfect/2019/2/14/18222270/artificial-intelligence-open-ai-natural-language-processing |archive-date = 8 November 2020 |access-date  = 19 December 2020 |work         = [[Vox Media|Vox]] |quote        = }}</ref> 더 버지는 유사하게 GPT-2 쓰기의 더 긴 샘플이 "주제에서 벗어나는" 경향이 있고 전체적인 일관성이 부족하다고 지적했다.<ref name="verge1">{{웹 인용|url          = https://www.theverge.com/2019/2/14/18224704/ai-machine-learning-language-models-read-write-openai-gpt2 |title        = OpenAI's new multitalented AI writes, translates, and slanders |last         = Vincent |first        = James |work         = [[The Verge]] |date         = 14 February 2019 |access-date  = 19 December 2020 |quote        =  |archive-date = 18 December 2020 |archive-url  = https://web.archive.org/web/20201218091707/https://www.theverge.com/2019/2/14/18224704/ai-machine-learning-language-models-read-write-openai-gpt2 |url-status   = live }}</ref> 더 레지스터는 "사람이 그것을 읽으면 잠시 후에 무언가 문제가 있음을 깨달아야 한다"라고 말하면서 "GPT-2는 정보를 추출하고 검색하는 알고리즘에 의존하는 다른 시스템과 마찬가지로 질문에 대답하지 않는다."라고 언급했다.<ref name="register">{{웹 인용|url          = https://www.theregister.com/2019/02/14/open_ai_language_bot/ |title        = Roses are red, this is sublime: We fed OpenAI's latest chat bot a classic Reg headline |last         = Quach |first        = Katyanna |website      = The Register |publisher    =  |date         = 14 February 2019 |access-date  = 27 February 2021 |quote        =  |archive-date = 9 March 2021 |archive-url  = https://web.archive.org/web/20210309093207/https://www.theregister.com/2019/02/14/open_ai_language_bot/ |url-status   = live}}</ref>

GPT-2 배포는 리소스를 많이 사용한다. 모델의 정식 버전은 5기가바이트보다 커서 로컬에서 응용 프로그램에 포함하기 어렵고 많은 양의 RAM을 사용한다. 또한 단일 예측을 수행하면 "CPU를 100% 사용하여 몇 분 동안 점유할 수 있으며" GPU 처리를 사용하더라도 "단일 예측에는 몇 초가 걸릴 수 있다."<ref name="tds2"/> 이러한 문제를 완화하기 위해 회사 허깅 페이스는 지식 증류를 사용하여 "일부 품질 벤치마크에서 몇 점 더 낮은 점수"를 받지만 "33% 더 작고 두 배 빠른" 더 작은 모델을 생성하는 DistilGPT2를 만들었다.<ref name="tds2"/>

== 구현 및 차기 연구 ==
언론이 설명한 GPT-2의 잠재적 응용 분야에는 뉴스 기사와 같은 텍스트를 작성하는 데 인간을 돕는 것이 포함된다.<ref name="guardian">{{웹 인용|url          = https://www.theguardian.com/technology/2019/feb/14/elon-musk-backed-ai-writes-convincing-news-fiction |title        = New AI fake text generator may be too dangerous to release, say creators |last         = Hern |first        = Alex |work         = [[The Guardian]] |date         = 14 February 2019 |access-date  = 19 December 2020 |quote        =  |archive-date = 14 February 2019 |archive-url  = https://web.archive.org/web/20190214173112/https://www.theguardian.com/technology/2019/feb/14/elon-musk-backed-ai-writes-convincing-news-fiction |url-status   = live}}</ref> 정식 버전이 출시되기 전부터 GPT-2는 엔터테인먼트뿐만 아니라 다양한 애플리케이션과 서비스에 사용되었다. 2019년 6월에 r/SubSimulatorGPT2라는 이름의 하위 레딧이 생성되어 서로 다른 하위 레딧에서 훈련된 다양한 GPT-2 인스턴스가 게시물을 작성하고 서로의 댓글에 응답하여 "r/Bitcoin의 AI 의인화 주장을 관찰할 수 있는 상황을 만든다. (r/ShittyFoodPorn의 기계 학습에서 파생된 정신으로)<ref name="reddit">{{웹 인용|url          = https://www.theverge.com/2019/6/6/18655212/reddit-ai-bots-gpt2-openai-text-artificial-intelligence-subreddit |title        = There's a subreddit populated entirely by AI personifications of other subreddits |last         = Vincent |first        = James |website      = The Verge |publisher    =  |date         = 6 June 2019 |access-date  = 27 February 2021 |quote        =  |archive-date = 21 February 2021 |archive-url  = https://web.archive.org/web/20210221143933/https://www.theverge.com/2019/6/6/18655212/reddit-ai-bots-gpt2-openai-text-artificial-intelligence-subreddit |url-status   = live}}</ref> 그해 7월까지 다양한 프로그래밍 언어로 된 코드 라인을 자동 완성하기 위해 출시된 GPT-2 기반 소프트웨어 프로그램은 사용자들에게 "게임 체인저"로 묘사되었다.<ref name="smartcompose">{{웹 인용|url          = https://www.theverge.com/2019/7/24/20708542/coding-autocompleter-deep-tabnine-ai-deep-learning-smart-compose |title        = This AI-powered autocompletion software is Gmail's Smart Compose for coders |last         = Vincent |first        = James |website      = The Verge |publisher    =  |date         = 24 July 2019 |access-date  = 27 February 2021 |quote        =  |archive-date = 9 March 2021 |archive-url  = https://web.archive.org/web/20210309082626/https://www.theverge.com/2019/7/24/20708542/coding-autocompleter-deep-tabnine-ai-deep-learning-smart-compose |url-status   = live}}</ref>

2019년에는 GPT-2를 사용하여 사용자 입력을 기반으로 동적 텍스트 모험을 생성하는 AI Dungeon이 출시되었다.<ref name="aid2">{{웹 인용|url          = https://www.usgamer.net/articles/ai-dungeon-2-the-text-adventure-where-you-can-do-nearly-anything-is-now-on-mobile |title        = AI Dungeon 2, the Text Adventure Where You Can do Nearly Anything, Is Now on Mobile |last         = Olson |first        = Mathew |website      =  |publisher    =  |date         = 17 December 2019 |access-date  = 27 February 2021 |quote        =  |archive-date = 20 September 2020 |archive-url  = https://web.archive.org/web/20200920102933/https://www.usgamer.net/articles/ai-dungeon-2-the-text-adventure-where-you-can-do-nearly-anything-is-now-on-mobile |url-status   = live }}</ref> AI Dungeon은 이제 선택적인 유료 업그레이드로 GPT-3 API의 가장 큰 릴리스에 대한 액세스를 제공하며 사이트의 무료 버전은 GPT-3의 두 번째로 큰 릴리스를 사용한다.<ref name="aidungeon">{{웹 인용|url          = https://gizmodo.com/this-ai-powered-choose-your-own-adventure-text-game-is-1844593111 |title        = This AI-Powered Choose-Your-Own-Adventure Text Game Is Super Fun and Makes No Sense |last         = Nelius |first        = Joanna |website      = Gizmodo |publisher    =  |date         = 3 August 2020 |access-date  = 27 February 2021 |quote        =  |archive-date = 28 February 2021 |archive-url  = https://web.archive.org/web/20210228164901/https://gizmodo.com/this-ai-powered-choose-your-own-adventure-text-game-is-1844593111 |url-status   = live}}</ref> AI Dungeon을 중심으로 설립된 래티튜드(Latitude)는 2021년에 시드 펀딩으로 330만 달러를 모금했다.<ref name="tclat">{{웹 인용|url          = https://techcrunch.com/2021/02/04/latitude-seed-funding/ |title        = AI Dungeon-maker Latitude raises $3.3M to build games with 'infinite' story possibilities |last         = Ha |first        = Anthony |website      =  |publisher    = TechCrunch |date         = 4 February 2021 |access-date  = 27 February 2021 |quote        =  |archive-date = 21 February 2021 |archive-url  = https://web.archive.org/web/20210221011815/https://techcrunch.com/2021/02/04/latitude-seed-funding/ |url-status   = live}}</ref> 여러 웹사이트에서 GPT-2 및 기타 변압기 모델의 다양한 인스턴스에 대한 대화형 데모를 호스팅한다.<ref>{{웹 인용|url=https://transformer.huggingface.co/|title=Write With Transformer|access-date=December 4, 2019|archive-date=December 4, 2019|archive-url=https://web.archive.org/web/20191204060111/https://transformer.huggingface.co/|url-status=live}}</ref><ref>{{웹 인용|url=https://talktotransformer.com/|title=Talk to Transformer|access-date=December 4, 2019|archive-date=December 4, 2019|archive-url=https://web.archive.org/web/20191204015009/https://talktotransformer.com/|url-status=live}}</ref><ref>{{웹 인용|url=https://creativeengines.ai/|title=CreativeEngines|access-date=June 25, 2021|archive-date=February 3, 2023|archive-url=https://web.archive.org/web/20230203201104/https://creativeengines.ai/|url-status=live}}</ref>

2021년 2월, 문제가 있는 십대를 위한 위기 센터는 GPT-2에서 파생된 챗봇을 사용하여 시뮬레이션된 십대와 대화할 수 있도록 함으로써 카운셀러 교육을 돕기 시작할 것이라고 발표했다.(이 사용은 순전히 내부 목적을 위한 것이며, GPT-2는 청소년들과 소통한다.)<ref name="teens">{{웹 인용|url          = https://www.technologyreview.com/2021/02/26/1020010/trevor-project-ai-suicide-hotline-training/ |title        = An AI is training counselors to deal with teens in crisis |last1        = Ohlheiser |first1       = Abby |last2        = Hao |first2       = Karen |website      =  |publisher    = MIT Technology Review |date         = 26 February 2021 |access-date  = 27 February 2021 |quote        =  |archive-date = 27 February 2021 |archive-url  = https://web.archive.org/web/20210227001731/https://www.technologyreview.com/2021/02/26/1020010/trevor-project-ai-suicide-hotline-training/ |url-status   = live}}</ref>

2023년 5월 9일, OpenAI는 매핑된 GPT-2 버전을 출시했다. OpenAI는 후속 모델인 GPT-4를 사용하여 GPT-2의 각 뉴런을 매핑하여 기능을 결정했다.<ref>{{웹 인용|title=Language models can explain neurons in language models |url=https://openai.com/research/language-models-can-explain-neurons-in-language-models |website=OpenAI |access-date=13 May 2023}}</ref>

== 같이 보기 ==
* [[변환기 (기계 학습)|변환기]](transformer)
* [[주의집중 (기계 학습)|주의집중]](attention)
* [[GPT-3]]
* [[GPT (언어 모델)]]

== 각주 ==
{{각주}}

{{오픈AI 둘러보기}}

[[분류:대형 언어 모델]]
[[분류:GPT (언어 모델)]]
[[분류:MIT 라이선스 소프트웨어]]
[[분류:오픈AI]]