모델 최대 컨텍스트 및 훈련 상태
#1
by
maywell
- opened
안녕하세요. 모델에 대해 궁금한 점 몇가지가 있어 discussion을 생성했습니다.
모델의 컨텍스트 len
해당 모델의 최대 컨텍스트 len이 궁금합니다.현재 instruct 부분이 노란색이던데, 얼마나 학습 된 건가요?
현재 가지고 있는 instruct 데이터셋으로 훈련 해보고자 하는데 가능하면 원본 모델이 완성된 후 하고자 하기에 여쭈어 봅니다.
멋진 모델 만들어주셔서 감사합니다. ❤️
4096 token
방금 업로드했습니다! 현재 글 쓰는 기준으로 올라온 모델이 korean_textbooks 데이터셋 전부 학습한 모델입니다.
답변 감사합니다. 일단 현재 repo에서는 final이라고 생각하고 학습 진행하겠습니다!
maywell
changed discussion status to
closed