maywell

/

Synatra-7B-v0.3-Translation

like 13

안녕하세요. BF16에서 학습효율 및 성능이 조금 더 잘나오기에 BF16을 사용중입니다.
FP16으로의 변경은 한번 고려해보겠습니다.

앗 네 정확히는 TPU에서 불러오려니 BF16이 에러가 났습니다! 모델 올려주실 때 device=cpu 정도만 바꿔주셔도 좋을 것 같습니다!

예시 코드 부분 말씀이실까요?

아니요 학습하고 모델 업로드하실 때, 파라미터들이 device=cuda 상태로 올라가면
GPU가 없는 환경에서 불러올 때 cuda:0을 못찾아서 에러가 나는 경우가 있습니다.
그래서 모델을 저장할 때, .cpu() 한번만 해주시면 cpu 상태로 저장이 됩니다.

제가 TPU 환경에서 모델을 사용하다보니 불러올 때 이런 문제가 있어서 디스커션을 달았습니다.
TPU가 많이 쓰이는 환경도 아니고 크리티컬한 이슈는 아니라서 ㅎㅎ
모델 잘 사용하고 있는데 혹시 계속 새로운 모델 학습중이시면
다음번에는 저렇게 올려주심 편할 것 같습니다.

꼭 그렇게 해주시지는 않으셔도 됩니다

알겠습니다.