안녕하세요 max input token 질문입니다.
최대 몇 토큰 까지 input output이 가능한가요?
안녕하세요, input과 output 모두 합쳐서 4096입니다.
https://huggingface.co/yanolja/EEVE-Korean-Instruct-10.8B-v1.0/blob/main/config.json
Hello, the maximum length that the model can handle is 4,096. Thanks!
안녕하세요. 한국어 중에서 성능이 매우 멋진 모델인것 같습니다. 혹시 8k나 16k 이상으로 제공하실 계획은 없으신지요 ?
좋은 말씀 감사합니다. 현재 다른 부분을 연구 중에 있어서 max length를 늘리는 작업은 하기 힘들 것 같습니다.
maywell님이 작업 해주신 32k 버전을 써보시면 어떨까요?
https://huggingface.co/maywell/EEVE-Korean-Instruct-10.8B-v1.0-32k
Thanks for your kind words. We are currently focusing on another research so it would be somewhat difficult to work on making the model's max length to be longer.
Instead, I would like to suggest using maywell's 32k version of the model here:
https://huggingface.co/maywell/EEVE-Korean-Instruct-10.8B-v1.0-32k