{{위키데이터 속성 추적}}
{{소프트웨어 정보
| name                   = Generative Pre-trained Transformer 3 (GPT-3)
| logo                   =
| screenshot             =
| screenshot size        =
| caption                =
| author                 = [[OpenAI]]<ref name="preprint">{{ArXiv 인용|first1=Tom B.|last1=Brown|first2=Benjamin|last2=Mann|last3=Ryder|last25=Chess|last20=Hesse|first20=Christopher|last21=Chen|first21=Mark|last22=Sigler|first22=Eric|last23=Litwin|first23=Mateusz|last24=Gray|first24=Scott|first26=Jack|first25=Benjamin|last26=Clark|last19=Winter|last27=Berner|first27=Christopher|last28=McCandlish|first28=Sam|last29=Radford|first29=Alec|last30=Sutskever|first30=Ilya|last31=Amodei|first31=Dario|first19=Clemens|first18=Jeffrey|first3=Nick|last10=Askell|last4=Subbiah|first4=Melanie|last5=Kaplan|first5=Jared|last6=Dhariwal|first6=Prafulla|last7=Neelakantan|first7=Arvind|last8=Shyam|first8=Pranav|last9=Sastry|first9=Girish|first10=Amanda|last18=Wu|last11=Agarwal|first11=Sandhini|last12=Herbert-Voss|first12=Ariel|last13=Krueger|first13=Gretchen|last14=Henighan|first14=Tom|last15=Child|first15=Rewon|last16=Ramesh|first16=Aditya|last17=Ziegler|first17=Daniel M. |arxiv=2005.14165|title=Language Models are Few-Shot Learners |date=28 May 2020}}</ref>
| developer              =
| released               = 2020년 6월 11일 (베타)
| latest release version =
| latest release date    =
| repo                   =
| programming language   =
| operating system       =
| replaces               = [[GPT-2]]
| replaced_by            = [[GPT-4]]
| genre                  = [[자기회귀모형|자기회귀]] [[변환기 (기계 학습)|변환기]] [[언어 모델]]
| license                =
| website                = {{URL|https://openai.com/blog/openai-api}}
}}
{{인공지능}}
{{기계 학습}}
'''생성적 사전학습 변환기 3'''({{llang|en|Generative Pre-trained Transformer 3}}), '''GPT-3'''는 [[OpenAI]]에서 만든 [[딥러닝]]을 이용한 [[언어 모델|대형 언어 모델]]이다. [[비지도 학습]]과 생성적 사전학습(generative pre-training)기법, [[변환기 (기계 학습)|변환기]]({{lang|en|transformer}})를 적용해 만들어 졌다. 번역과 대화, 작문을 할 수 있으며, [[GPT-2]]에 비해 훨씬 인간이 쓴 글인지 기계가 쓴 글인지 구분하기 어렵다.

OpenAI가 2020년에 출시한 자동 회귀 언어 모델로 딥 러닝을 사용하여 사람과 같은 텍스트를 생성한다. 프롬프트가 주어지면 프롬프트를 계속하는 텍스트를 생성한다.

이 아키텍처는 2048개의 토큰 길이 컨텍스트와 1,750억 개의 파라미터라는 전례 없는 크기를 가진 디코더 전용 변환기 네트워크로, 저장하는 데 800GB가 필요하다. 모델은 생성 사전 훈련을 사용하여 훈련되었다. 이전 토큰을 기반으로 다음 토큰이 무엇인지 예측하도록 훈련된다. 이 모델은 많은 작업에서 강력한 제로샷 및 퓨샷 학습을 보여주었다.<ref name="OpenAI_Radford_20200611">{{웹 인용| pages = 12| access-date = July 31, 2020| date = June 11, 2018| last1 = Radford| first1 = Alec| last2 = Narasimhan| first2 = Karthik| last3 = Salimans| first3 = Tim| last4 = Sutskever| first4 = Ilya| title = Improving Language Understanding by Generative Pre-Training| url = https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf| archive-date = January 26, 2021| archive-url = https://web.archive.org/web/20210126024542/https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf| url-status = live}}</ref>

GPT-2의 후속인 GPT-3는 샌프란시스코에 기반을 둔 인공 지능 연구소인 OpenAI에서 만든 기초 모델인 GPT 시리즈의 3세대 언어 예측 모델이다.<ref name="CNBC_Shead_20200723">{{뉴스 인용| last = Shead| first = Sam| title = Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab| work = CNBC| access-date = July 31, 2020| date = July 23, 2020| url = https://www.cnbc.com/2020/07/23/openai-gpt3-explainer.html| archive-date = July 30, 2020| archive-url = https://web.archive.org/web/20200730123130/https://www.cnbc.com/2020/07/23/openai-gpt3-explainer.html| url-status = live}} Four preprints were released between May 28 and July 22, 2020.</ref> 2020년 5월에 도입되어 2020년 7월 기준으로 베타 테스트 중인<ref name="Medium_Bussler_20200721">{{웹 인용| last = Bussler| first = Frederik| title = Will GPT-3 Kill Coding?| work = Towards Data Science| access-date = August 1, 2020| date = July 21, 2020| url = https://towardsdatascience.com/will-gpt-3-kill-coding-630e4518c04d| archive-date = August 19, 2020| archive-url = https://web.archive.org/web/20200819070430/https://towardsdatascience.com/will-gpt-3-kill-coding-630e4518c04d| url-status = live}}</ref> GPT-3는 사전 훈련된 언어 표현의 자연어 처리(NLP) 시스템 트렌드의 일부이다.<ref name="preprint" />

GPT-3에 의해 생성된 텍스트의 품질은 너무 높아서 사람이 작성했는지 여부를 판단하기 어려울 수 있으며 이점과 위험이 모두 있다.<ref name="analyticsindiamag_Sagar_20200603">{{잡지 인용| last = Sagar| first = Ram| title = OpenAI Releases GPT-3, The Largest Model So Far| magazine = Analytics India Magazine| access-date = July 31, 2020| date = June 3, 2020| url = https://analyticsindiamag.com/open-ai-gpt-3-language-model/| archive-date = August 4, 2020| archive-url = https://web.archive.org/web/20200804173452/https://analyticsindiamag.com/open-ai-gpt-3-language-model/| url-status = live}}</ref> 31명의 OpenAI 연구원과 엔지니어가 2020년 5월 28일 GPT-3를 소개하는 원본 논문을 발표했다. 그들의 논문에서 그들은 GPT-3의 잠재적인 위험에 대해 경고하고 위험을 완화하기 위한 연구를 촉구했다.<ref name="preprint" />{{rp|34}} 뉴욕 타임스의 2022년 4월 리뷰에서는 GPT-3의 기능이 인간과 동등한 유창함으로 독창적인 산문을 작성할 수 있다고 설명했다.<ref name="Johnson April 2022">{{웹 인용|last1=Johnson |first1=Steven |last2=Iziev |first2=Nikita |date=15 April 2022 |title=A.I. Is Mastering Language. Should We Trust What It Says? |url=https://www.nytimes.com/2022/04/15/magazine/ai-language.html |website=The New York Times |access-date=April 23, 2022 |archive-date=November 24, 2022 |archive-url=https://web.archive.org/web/20221124151408/https://www.nytimes.com/2022/04/15/magazine/ai-language.html |url-status=live }}</ref>

마이크로소프트는 2020년 9월 22일에 GPT-3의 "독점적" 사용을 허가했다고 발표했다. 다른 사람들은 여전히 공개 API를 사용하여 출력을 받을 수 있지만 마이크로소프트만이 GPT-3의 기본 모델에 접근할 수 있다.<ref name="MSgotcode">{{잡지 인용|title=OpenAI is giving Microsoft exclusive access to its GPT-3 language model |url=https://www.technologyreview.com/2020/09/23/1008729/openai-is-giving-microsoft-exclusive-access-to-its-gpt-3-language-model/ |date=September 23, 2020 |last=Hao |first=Karen |access-date=2020-09-25 |magazine=[[MIT Technology Review]] |language=en |quote="The companies say OpenAI will continue to offer its public-facing [[API]], which allows chosen users to send text to GPT-3 or OpenAI's other models and receive its output. Only Microsoft, however, will have access to GPT-3's underlying code, allowing it to embed, repurpose, and modify the model as it pleases." |archive-date=February 5, 2021 |archive-url=https://web.archive.org/web/20210205121656/https://www.technologyreview.com/2020/09/23/1008729/openai-is-giving-microsoft-exclusive-access-to-its-gpt-3-language-model/ |url-status=live }}</ref>

== 모델 ==
{| class="wikitable"
!모델명
!파라미터
!API 이름
|-
|''GPT-3 Small''
|''117 M''
|''n/a''
|-
|GPT-3 Medium
|350 M
|ada
|-
|''GPT-3 Large''
|''760 M''
|''n/a''
|-
|GPT-3 XL
|1.3 B
|babbage
|-
|''GPT-3 2.7B''
|''2.7 B''
|''n/a''
|-
|GPT-3 6.7B
|6.7 B
|curie
|-
|''GPT-3 13B''
|''13B''
|''n/a''
|-
|GPT-3 175B
|175B
|davinci
|}

{| class="wikitable"
!모델
!파라미터
!시리즈
|-
|ada
|350 M
|Base GPT-3
|-
|babbage
|1.3 B
|Base GPT-3
|-
|curie
|6.7B
|Base GPT-3
|-
|davinci
|175 B
|Base GPT-3
|-
|text-ada
|350 M
|InstructGPT-3
|-
|text-babbage
|175B
|InstructGPT-3
|-
|text-curie
|6.7B
|InstructGPT-3
|-
|text-davinci-001
|175B
|InstructGPT-3
|-
|text-davinci-002
|175B
|GPT-3.5
|-
|text-davinci-003
|175B
|GPT-3.5
|-
|gpt-3.5-turbo
|175B
|GPT-3.5
|}

== InstructGPT ==
InstructGPT는 세밀하게 조정된 GPT-3 버전이다. 인간이 작성한 명령어의 데이터셋에서 훈련되고 있다. 이 훈련을 통해 InstructGPT는 질문을 더 잘 이해할 수 있으며 더 정확하고 적절한 결과를 생성할 수 있다.

== 같이 보기 ==
* [[변환기 (기계 학습)|변환기]](transformer)
* [[주의집중 (기계 학습)|주의집중]](attention)
* [[GPT (언어 모델)]]
* [[GPT-2]]

== 각주 ==
{{각주}}

{{오픈AI 둘러보기}}
{{인공지능의 존재 문제}}

[[분류:대형 언어 모델]]
[[분류:GPT (언어 모델)]]
[[분류:오픈AI]]