File size: 704 Bytes
622c458 f1cda6b 622c458 f1cda6b d347deb f1cda6b |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
---
license: apache-2.0
datasets:
- allenai/MADLAD-400
---
Mae'r model LLM yn seiliedig ar [mistralai/Mistral-7B-v0.1](https://huggingface.co/mistralai/Mistral-7B-v0.1), gyda hyfforddiant parhaus am 3 Epoch cyfan o ddata Cymreig o'r dataset [allenai/MADLAD-400](https://huggingface.co/datasets/allenai/MADLAD-400).
Pwrpas y model yw fod yn gychwyn i hyfforddiant cywrain pellach i greu casgliad o LLMs Cymreig penodol.
Mae'r fersiwn 2 epoch gyda training evals ychydig yn is na'r fersiwn yma. Mae'n syniad arbrofi gyda'r ddau fersiwn.
---
*Contains information from [allenai/MADLAD-400](https://huggingface.co/datasets/allenai/MADLAD-400) which is made available
under the ODC Attribution License.*
|