GPT-3

생성적 사전학습 변환기 3(), GPT-3는 OpenAI에서 만든 딥러닝을 이용한 대형 언어 모델이다. 비지도 학습과 생성적 사전학습(generative pre-training)기법, 변환기()를 적용해 만들어 졌다. 번역과 대화, 작문을 할 수 있으며, GPT-2에 비해 훨씬 인간이 쓴 글인지 기계가 쓴 글인지 구분하기 어렵다.

OpenAI가 2020년에 출시한 자동 회귀 언어 모델로 딥 러닝을 사용하여 사람과 같은 텍스트를 생성한다. 프롬프트가 주어지면 프롬프트를 계속하는 텍스트를 생성한다.

이 아키텍처는 2048개의 토큰 길이 컨텍스트와 1,750억 개의 파라미터라는 전례 없는 크기를 가진 디코더 전용 변환기 네트워크로, 저장하는 데 800GB가 필요하다. 모델은 생성 사전 훈련을 사용하여 훈련되었다. 이전 토큰을 기반으로 다음 토큰이 무엇인지 예측하도록 훈련된다. 이 모델은 많은 작업에서 강력한 제로샷 및 퓨샷 학습을 보여주었다.

GPT-2의 후속인 GPT-3는 샌프란시스코에 기반을 둔 인공 지능 연구소인 OpenAI에서 만든 기초 모델인 GPT 시리즈의 3세대 언어 예측 모델이다. Four preprints were released between May 28 and July 22, 2020. 2020년 5월에 도입되어 2020년 7월 기준으로 베타 테스트 중인 GPT-3는 사전 훈련된 언어 표현의 자연어 처리(NLP) 시스템 트렌드의 일부이다.

GPT-3에 의해 생성된 텍스트의 품질은 너무 높아서 사람이 작성했는지 여부를 판단하기 어려울 수 있으며 이점과 위험이 모두 있다. 31명의 OpenAI 연구원과 엔지니어가 2020년 5월 28일 GPT-3를 소개하는 원본 논문을 발표했다. 그들의 논문에서 그들은 GPT-3의 잠재적인 위험에 대해 경고하고 위험을 완화하기 위한 연구를 촉구했다. 뉴욕 타임스의 2022년 4월 리뷰에서는 GPT-3의 기능이 인간과 동등한 유창함으로 독창적인 산문을 작성할 수 있다고 설명했다.

마이크로소프트는 2020년 9월 22일에 GPT-3의 "독점적" 사용을 허가했다고 발표했다. 다른 사람들은 여전히 공개 API를 사용하여 출력을 받을 수 있지만 마이크로소프트만이 GPT-3의 기본 모델에 접근할 수 있다.

 모델 
모델명파라미터API 이름GPT-3 Small117 Mn/aGPT-3 Medium350 MadaGPT-3 Large760 Mn/aGPT-3 XL1.3 BbabbageGPT-3 2.7B2.7 Bn/aGPT-3 6.7B6.7 BcurieGPT-3 13B13Bn/aGPT-3 175B175Bdavinci

모델파라미터시리즈ada350 MBase GPT-3babbage1.3 BBase GPT-3curie6.7BBase GPT-3davinci175 BBase GPT-3text-ada350 MInstructGPT-3text-babbage175BInstructGPT-3text-curie6.7BInstructGPT-3text-davinci-001175BInstructGPT-3text-davinci-002175BGPT-3.5text-davinci-003175BGPT-3.5gpt-3.5-turbo175BGPT-3.5

 InstructGPT 
InstructGPT는 세밀하게 조정된 GPT-3 버전이다. 인간이 작성한 명령어의 데이터셋에서 훈련되고 있다. 이 훈련을 통해 InstructGPT는 질문을 더 잘 이해할 수 있으며 더 정확하고 적절한 결과를 생성할 수 있다.

 같이 보기 
 변환기(transformer)
 주의집중(attention)
 GPT (언어 모델)
 GPT-2

 각주 

분류:대형 언어 모델
분류:GPT (언어 모델)
분류:오픈AI