MoE 제작방법

#1
by maywell - opened

안녕하세요. 좋은 모델 제작해주셔서 감사합니다.
Solar 모델은 llama아키텍쳐로 알고 있는데 Mixtral 방식의 MoE 제작이 어떻게 가능했는지 어쭙고 싶습니다.

단순히 Mergekit을 사용하셨나요?

@maywell 안녕하세요 maywell님? 우선 solar는 처음 설명(라마로 빌드하고 미스트랄 가중치를 더했다는)과 다르게 실제적으로는 mistral 두개로 빌드된 모델입니다.

merge kit방식도 있지만, 라마도 실질적으로 moe가 가능합니다.

관련 레포 소개드립니다.

llama-moe

또한 라마와 미스트랄 뿐만 아니라 대부분 모델에서 빌드가 가능한 megablocks
도 있습니다. 머지킷보다는 조금 더 펀드멘탈하게 MOE로 합친 모델을 학습시킬 수 있는 부분이라 이렇게 공유드립니다.

mergekit같은 경우는 조금 조잡하게 섞는 느낌이 강해서 이렇게 공유 드려봅니다.

빠른 답변 감사합니다. 아키텍쳐가 믹스트랄이라서 좀 궁금했습니다.
감사합니다. 좋은 밤 되세요.

maywell changed discussion status to closed

Sign up or log in to comment