BERT (언어 모델)

BERT(Bidirectional Encoder Representations from Transformers)는 구글 연구원이 2018년에 도입한 마스킹된 언어 모델 제품군이다. 2020년 문헌 조사에서는 "1년이 조금 넘는 기간 동안 BERT는 모델을 분석하고 개선하는 150개 이상의 연구 간행물을 포함하는 자연어 처리(NLP) 실험의 유비쿼터스 기준선이 되었다."라고 결론지었다.

BERT는 원래 두 가지 모델 크기에서 영어로 구현되었다. (1) BERTBASE: 총 1억 1천만 개의 매개변수에 해당하는 12개의 양방향 자기 주의 헤드가 있는 12개의 인코더 및 (2) BERTLARGE: 총 3억 4천만 개의 양방향 자기 주의 헤드가 있는 16개의 인코더가 있는 24개의 인코더 파라미터. 두 모델 모두 토론토 북코퍼스(Toronto BookCorpus, 800M개 단어) 및 영어 위키백과(2,500M개 단어)에서 사전 훈련되었다.

각주

외부 링크 
 Official GitHub repository
 BERT on Devopedia

대형 언어 모델