---
license: apache-2.0
datasets:
- oscar-corpus/OSCAR-2301
language:
- cy
---

Mae'r model LLM yn seiliedig ar Mistral-7B, gyda estyniad yn y tocynnydd ar gyfer y Gymraeg drwy fod yn seiliedig ar [BangorAI/mistral-7b-cy-tokenizer](https://huggingface.co/BangorAI/mistral-7b-cy-tokenizer)

Mae wedi cael hyfforddiant parhaus ar ddata Gymreig OSCAR-2301 am 1 Epoch.

Pwrpas y model yw fod yn gychwyn i hyfforddiant cywrain pellach i greu casgliad o LLMs cymreig penodol.