GPT-3

생성적 사전학습 변환기 3(), GPT-3는 OpenAI에서 만든 딥러닝을 이용한 대형 언어 모델이다. 비지도 학습과 생성적 사전학습(generative pre-training)기법, 변환기()를 적용해 만들어 졌다. 번역과 대화, 작문을 할 수 있으며, GPT-2에 비해 훨씬 인간이 쓴 글인지 기계가 쓴 글인지 구분하기 어렵다.

OpenAI가 2020년에 출시한 자동 회귀 언어 모델로 딥 러닝을 사용하여 사람과 같은 텍스트를 생성한다. 프롬프트가 주어지면 프롬프트를 계속하는 텍스트를 생성한다.

이 아키텍처는 2048개의 토큰 길이 컨텍스트와 1,750억 개의 파라미터라는 전례 없는 크기를 가진 디코더 전용 변환기 네트워크로, 저장하는 데 800GB가 필요하다. 모델은 생성 사전 훈련을 사용하여 훈련되었다. 이전 토큰을 기반으로 다음 토큰이 무엇인지 예측하도록 훈련된다. 이 모델은 많은 작업에서 강력한 제로샷 및 퓨샷 학습을 보여주었다.

GPT-2의 후속인 GPT-3는 샌프란시스코에 기반을 둔 인공 지능 연구소인 OpenAI에서 만든 기초 모델인 GPT 시리즈의 3세대 언어 예측 모델이다. 2020년 5월에 도입되어 2020년 7월 기준으로 베타 테스트 중인 GPT-3는 사전 훈련된 언어 표현의 자연어 처리(NLP) 시스템 트렌드의 일부이다.

GPT-3에 의해 생성된 텍스트의 품질은 너무 높아서 사람이 작성했는지 여부를 판단하기 어려울 수 있으며 이점과 위험이 모두 있다. 31명의 OpenAI 연구원과 엔지니어가 2020년 5월 28일 GPT-3를 소개하는 원본 논문을 발표했다. 그들의 논문에서 그들은 GPT-3의 잠재적인 위험에 대해 경고하고 위험을 완화하기 위한 연구를 촉구했다. 뉴욕 타임스의 2022년 4월 리뷰에서는 GPT-3의 기능이 인간과 동등한 유창함으로 독창적인 산문을 작성할 수 있다고 설명했다.

마이크로소프트는 2020년 9월 22일에 GPT-3의 "독점적" 사용을 허가했다고 발표했다. 다른 사람들은 여전히 공개 API를 사용하여 출력을 받을 수 있지만 마이크로소프트만이 GPT-3의 기본 모델에 접근할 수 있다.

모델

InstructGPT 
InstructGPT는 세밀하게 조정된 GPT-3 버전이다. 인간이 작성한 명령어의 데이터셋에서 훈련되고 있다. 이 훈련을 통해 InstructGPT는 질문을 더 잘 이해할 수 있으며 더 정확하고 적절한 결과를 생성할 수 있다.

같이 보기 
 변환기(transformer)
 주의집중(attention)
 GPT (언어 모델)
 GPT-2

각주 

전산언어학
비지도 학습
자연어 처리
딥 러닝
인공지능
오픈AI