MoE 제작방법
#1
by
maywell
- opened
안녕하세요. 좋은 모델 제작해주셔서 감사합니다.
Solar 모델은 llama아키텍쳐로 알고 있는데 Mixtral 방식의 MoE 제작이 어떻게 가능했는지 어쭙고 싶습니다.
단순히 Mergekit을 사용하셨나요?
@maywell 안녕하세요 maywell님? 우선 solar는 처음 설명(라마로 빌드하고 미스트랄 가중치를 더했다는)과 다르게 실제적으로는 mistral 두개로 빌드된 모델입니다.
merge kit방식도 있지만, 라마도 실질적으로 moe가 가능합니다.
관련 레포 소개드립니다.
또한 라마와 미스트랄 뿐만 아니라 대부분 모델에서 빌드가 가능한 megablocks
도 있습니다. 머지킷보다는 조금 더 펀드멘탈하게 MOE로 합친 모델을 학습시킬 수 있는 부분이라 이렇게 공유드립니다.
mergekit같은 경우는 조금 조잡하게 섞는 느낌이 강해서 이렇게 공유 드려봅니다.
빠른 답변 감사합니다. 아키텍쳐가 믹스트랄이라서 좀 궁금했습니다.
감사합니다. 좋은 밤 되세요.
maywell
changed discussion status to
closed