metadata
license: apache-2.0
datasets:
- oscar-corpus/OSCAR-2301
- wikipedia
metrics:
- perplexity
openllama_v2 3B second stage pre-trained on russian part of OSCAR with 4k sequence length. Model has seen about 5B tokens for now, weights will be updated as the training goes on. Achieves 3.8 perplexity on the evaluation dataset. Will we further pre-trained on wiki dataset with 8K context length. Free inference works, feel free to experiement in Russian :). Should be the natural continuation of the prompt. Example: Prompt: "Собака пришла домой и начала вопрошать", output: "... что делать. Подруга хозяина сказала, что нужно сделать, чтобы понять, как правильно поступить."