后续是否会扩展到32K或128K

#1
by JamePeng2023 - opened

后续是否会扩展到32K或128K,目前4K挺容易就断了

OpenBuddy org

目前hf的gemma还不支持rope scaling,打算至少等支持之后再说

Sign up or log in to comment