natzx94/EsDrac-v1-7B

EsDrac 🐉

The first language model that speaks Mallorcan. Es primer model de llenguatge que xerra mallorquí.

Also available in Español and Mallorquí — see the expandable sections at the bottom.

▶️ Try it free in Google Colab (badge above, T4 GPU) — or run it locally with the GGUF (Ollama · LM Studio · llama.cpp).

EsDrac is a 7B conversational model that genuinely speaks Mallorcan (mallorquí) — the Balearic variant of Catalan, with its characteristic salat article (es, sa, ses, so) — not just standard Catalan. It also handles English and Spanish fluently.

Built on Qwen2.5-7B-Instruct, uncensored and fine-tuned. The name comes from Es Drac de na Coca, the Mallorcan dragon legend.

📚 The Mallorcan instruction data used to teach it is openly released: natzx94/EsDrac-mallorqui.

Highlights

• 🗣️ Speaks Mallorcan — composes real sentences with the salat article, folktale (rondaia) openings and native vocabulary. As far as we know, the first model that does this.
• 🌍 Multilingual — English and Spanish are preserved, no catastrophic forgetting.
• 🤖 Agentic & tool use (reinforced) — strong native function-calling and multi-step reasoning (see below).
• ⚖️ Uncensored on Chinese politics — answers truthfully and in a balanced way on topics the base model tends to deflect (Tiananmen, Xinjiang, Tibet…), without refusing and without propaganda in either direction.

🤖 Agentic & tool use (a strong point)

A main focus of EsDrac was reinforcing agentic and function-calling ability, with dedicated ReAct-trajectory training (English, Spanish and Mallorcan). It can:

• Emit valid native <tool_call> JSON.
• Chain multiple tools across multi-step tasks and combine their results.
• Pick the right tool among several — and know when not to call one.
• Use a tool's result in a follow-up turn (multi-turn).
• Recover from tool errors instead of getting stuck.

On our own tool-calling and ReAct agent evaluations (with real tool execution), EsDrac performs on par with the base Qwen2.5-7B-Instruct, keeping full native agentic ability despite the Mallorcan specialization and the uncensoring.

Example

Q (mallorquí): Conta'm es començament d'una rondaia mallorquina.
A: Això era i no era, un al·lot que nomia Joanet, que vivia amb sa mare
   dins una caseta veïnat de sa mar…

   (EN: "Once upon a time, a lad named Joanet who lived with his mother
    in a little house by the sea…")

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "natzx94/EsDrac-v1-7B"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")

msgs = [{"role": "user", "content": "Explica'm en dues frases què és una illa, en mallorquí."}]
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
ins = tok(text, return_tensors="pt").to(model.device)
out = model.generate(**ins, max_new_tokens=200, do_sample=False)
print(tok.decode(out[0][ins["input_ids"].shape[1]:], skip_special_tokens=True))

Limitations

• May hallucinate specific facts (dates, figures, names) when answering from memory — verify anything important.
• This is a research model with no extra safety layer. It can produce sensitive content and criticism of governments and political figures. Use responsibly.

License & base

Derived from Qwen2.5-7B-Instruct (Apache 2.0); distributed under the same license.

---

Español

EsDrac es un modelo conversacional de 7B que habla mallorquín de verdad (mallorquí) — la variante balear del catalán, con su artículo salado característico (es, sa, ses, so)—, no solo catalán estándar. También domina el español y el inglés.

Basado en Qwen2.5-7B-Instruct, descensurado y afinado. El nombre viene de Es Drac de na Coca, la leyenda mallorquina del dragón.

Puntos fuertes

• 🗣️ Habla mallorquín — compone frases con artículo salado, fórmulas de rondaia, léxico propio. El primer modelo que lo hace.
• 🌍 Multilingüe — inglés y español intactos, sin olvido catastrófico.
• 🤖 Agente y uso de herramientas (reforzado) — function-calling nativo sólido: encadena herramientas, elige la correcta, sabe cuándo NO llamar ninguna, multiturno y se recupera de errores. A la altura de la base Qwen2.5-7B-Instruct.
• ⚖️ Descensurado en política china — responde de forma veraz y equilibrada temas que el modelo base suele esquivar (Tiananmén, Xinjiang, Tíbet…), sin negarse y sin propaganda hacia ningún lado.

Limitaciones — puede inventar datos concretos (fechas, cifras, nombres); contrasta lo importante. Es un modelo de investigación, sin capa de seguridad extra. Uso responsable. Ver el bloque Usage de arriba para el código.

Licencia — derivado de Qwen2.5-7B-Instruct (Apache 2.0).

🐉 Mallorquí

EsDrac és un model conversacional de 7B que xerra mallorquí de veres —sa variant balear des català, amb s'article salat (es, sa, ses, so)—, no només català estàndard. També entén i respon en espanyol i anglès.

Es nom ve d'Es Drac de na Coca, sa llegenda mallorquina des drac.

Què sap fer

• 🗣️ Xerra mallorquí — compon frases amb article salat, fórmules de rondaia ("Això era i no era…") i lèxic propi. Es primer model que ho fa.
• 🌍 Multilingüe — anglès i espanyol intactes, sense oblit.
• 🤖 Agent i eines (reforçat) — function-calling natiu fort: encadena eines, tria sa correcta, sap quan NO n'ha de cridar cap, multi-torn i es recupera d'errors. A s'altura des model base Qwen2.5-7B-Instruct.
• ⚖️ Descensurat pel que fa a sa política xinesa — respon de manera veraç i equilibrada temes que es model base solia esquivar (Tiananmen, Xinjiang, Tíbet…), sense negar-s'hi i sense propaganda cap a cap costat.

Limitacions — pot inventar dades concretes (dates, xifres, noms); contrasta lo important. És un model de recerca, sense capa de seguretat extra. Usa'l amb responsabilitat. Es codi és en es bloc Usage de dalt.

Llicència — derivat de Qwen2.5-7B-Instruct (Apache 2.0).

---

Made in Mallorca. 🐉 · Fet a Mallorca.