DopeorNope/Mistralopithecus-v0.1-10.8B

Model Details

Model Developers Seungyoo Lee (DopeorNope)

이 모델은 Mistral Base의 새로운 아키텍쳐이며, 10.7B의 파라미터로 구성되었습니다. (Solar나, 시나트라 베이스 모델이 아닙니다.)

약 1.5B의 토큰으로 pretrain 되었으나, 실험단계로 향후 다시 훈련되어 새롭게 나올 예정입니다.

테스트용으로 올려봅니다.

Context length가 32k 까지지원 가능한 모델이며, 향후 더 완벽하게 설계하여 올리도록 하겠습니다.