請問是有重新訓練過tokenizer嗎?
#9
by
tedslin
- opened
config.json中
{
"eos_token_id": 128256,
"vocab_size": 128258
}
與meta-llama/Meta-Llama-3-8B-Instruct的config.json對應值不同，請問是有重新訓練過tokenizer嗎
同問，一樣都是 Taiwan Llama，8B 的 Vocab Size 是 128,258，而 70B 卻是 128,256，請問是基於什麼考量？
因為這個設定，導致無法使用 TwLlama 8B & 70B 進行 Speculative Decoding :(