Mae'r model LLM yn seiliedig ar mistralai/Mistral-7B-v0.1, gyda hyfforddiant parhaus am 1 Epoch cyfan o ddata Cymreig o'r dataset allenai/MADLAD-400.
Pwrpas y model yw fod yn gychwyn i hyfforddiant cywrain pellach i greu casgliad o LLMs Cymreig penodol.
Contains information from allenai/MADLAD-400 which is made available under the ODC Attribution License.
- Downloads last month
- 1