DBRX

DBRX는 데이터브릭스의 자회사인 모자이크가 개발하여 2024년 3월 27일에 공개한 오픈 소스 대형 언어 모델 (LLM)이다. 총 1320억 개의 매개변수를 가진 전문가 혼합 트랜스포머 모델이다. 각 토큰에 대해 360억 개의 매개변수 (16개 전문가 중 4개)가 활성화된다. 공개된 모델은 기본 파운데이션 모델 버전 또는 명령어 튜닝된 변형으로 제공된다.

DBRX는 출시 당시 언어 이해, 프로그래밍 능력, 수학 등 여러 벤치마크에서 메타의 LLaMA, 미스트랄 AI의 Mixtral, xAI의 Grok과 같은 다른 주요 오픈 소스 모델들을 능가했다.

이 모델은 3.2테라바이트/초 대역폭(인피니밴드)으로 연결된 3,072대의 엔비디아 H100에서 2.5개월 동안 1천만 달러의 훈련 비용으로 훈련되었다.

 각주 

분류:대형 언어 모델