qwen72b-chat扩展到32k需要修改哪些参数呢？
#3
by
TianyuLLM
- opened
是只需要修改generation_config.json中的max_window_size参数吗？
我只修改了这个参数，在使用长文本>8k时，会报警告：token indices sequence length is longer than the specified maximum sequence length for this model (12805>8192).
需要修改其它参数吗？
token indices sequence length is longer than the specified maximum sequence length for this model (12805>8192)
这个没关系的哈，忽略就好。嫌它烦人可以改下tokenizer_config.json里的max_model_length (因为tokenizer还有pad和truncate的功能需要这个配置项，一般不会用到，但得有…)
其实默认配置应该是就可以8K的，其它参数还有max_new_tokens按需配置就可以。
jklj077
changed discussion status to
closed