ChindaMT-4B-MLX-bf16

This is an MLX-format conversion of iapp/ChindaMT-4B by iApp AI Research. All credit for the model weights, training, and translation capability belongs to the original authors. This repo only provides an Apple Silicon–compatible format. No retraining or modification of weights was done.

Model Details

Original model	iapp/ChindaMT-4B by iApp AI Research
Base architecture	Qwen3.5-4B
What changed	Converted from HuggingFace Transformers to MLX format (lossless, bfloat16)
License	Apache-2.0 (same as original)
Converted by	veha — format conversion only

Quick Start

pip install mlx-lm

mlx_lm.generate \
  --model veha/ChindaMT-4B-MLX-bf16 \
  --prompt "Translate English to Thai.

EN: The meeting has been postponed until next Friday." \
  --max-tokens 256 --temp 0

Python:

from mlx_lm import load, generate

model, tokenizer = load("veha/ChindaMT-4B-MLX-bf16")
response = generate(model, tokenizer, "Translate English to Thai.\n\nEN: The weather is nice today.", temp=0)
print(response)

LM Studio

Download and load this MLX model in LM Studio:

lms get https://huggingface.co/veha/ChindaMT-4B-MLX-bf16 --mlx -y
lms ls
lms load chindamt-4b-mlx --context-length 4096 --identifier chindamt-4b-bf16 -y

Run a one-shot translation from the LM Studio CLI:

lms chat chindamt-4b-bf16 \
  -p "Translate English to Thai.

EN: The meeting has been postponed until next Friday." \
  --stats -y

If LM Studio assigns a different model key on your machine, use lms ls and replace chindamt-4b-mlx with the listed key.

Prompting

Same prompt format as the original iapp/ChindaMT-4B:

Translate English to Thai.

EN: <source text>

Translate Thai to English.

TH: <source text>

With rules:

Translate English to Thai.
Rules:
- Return only the translated text
- Use a professional tone

EN: <source text>

MLX Variants

All converted from the same iapp/ChindaMT-4B weights:

Variant	Size	Speed*	Fidelity vs Original
bf16 (this)	8.4 GB	39 tok/s	100.0%
8bit	4.5 GB	72 tok/s	99.3%
4bit	2.7 GB	109 tok/s	94.6%

*Speed measured on M3 Max 128GB.

Fidelity = cosine semantic similarity against original HuggingFace weights (multilingual sentence embeddings). 100/100 prompts identical for bf16, 81/100 for 8bit, 37/100 for 4bit.

Evaluation

Corrected 100-prompt evaluation, 50 EN->TH and 50 TH->EN pairs:

Variant	SemSim vs ref	chrF++ vs ref	BLEU-char vs ref	Fidelity vs Original
bf16 (this)	0.8123	37.76	43.5	1.0000
8bit	0.8115	37.84	44.3	0.9933
4bit	0.8102	38.33	47.3	0.9457

Evaluation script: eval/full_table.py. Metrics use multilingual sentence embeddings for semantic similarity, chrF++ with word_order=2, and character-level BLEU.

Conversion Method

This repo was built with MLX-LM 0.31.3 from the original Hugging Face model.

1. Download the original model after accepting access to iapp/ChindaMT-4B:

huggingface-cli download iapp/ChindaMT-4B \
  --local-dir hf/ChindaMT-4B \
  --local-dir-use-symlinks False

2. Convert the local Hugging Face weights to MLX bfloat16:

mlx_lm.convert \
  --hf-path hf/ChindaMT-4B \
  --mlx-path mlx/ChindaMT-4B-fp

3. Post-process the release folder:

• Keep Apache-2.0 license metadata and add a LICENSE file.
• Add .gitattributes so safetensors files are stored with Git LFS.
• Remove the forced <think> generation prefix from chat_template.jinja; this is a translation model, so LM Studio and other clients should display translations as normal assistant output, not reasoning text.
• Remove tool_parser_type: qwen3_coder from tokenizer_config.json; this model is released for translation, not tool calling.

4. Evaluate the converted model against the original HF model and the quantized variants:

python eval/full_table.py

This Disclaimer, Translated by Every Variant

The disclaimer above, translated by each MLX variant. A real-world quality comparison on this very text:

EN→TH

Variant	Translation
bf16 (this)	นี่คือการแปลงรูปแบบ MLX ของ iapp/ChindaMT-4B โดย iApp AI Research เครดิตทั้งหมดสำหรับน้ำหนักโมเดล การฝึกฝน และความสามารถในการแปลเป็นของนักเขียนต้นฉบับเท่านั้น โปรเจกต์นี้ให้เฉพาะรูปแบบที่รองรับ Apple Silicon เท่านั้น ไม่มีการฝึกฝนใหม่หรือปรับเปลี่ยนน้ำหนักโมเดลใดๆ
8bit	นี่คือการแปลงไฟล์ในรูปแบบ MLX ของ iapp/ChindaMT-4B โดย iApp AI Research ขอขอบคุณผู้เขียนต้นฉบับสำหรับน้ำหนักโมเดล การฝึกฝน และความสามารถในการแปลทั้งหมดนี้ Repository นี้ให้เฉพาะรูปแบบที่รองรับ Apple Silicon เท่านั้น ไม่มีการฝึกฝนใหม่หรือปรับเปลี่ยนน้ำหนักโมเดลใดๆ
4bit	นี่คือการแปลงรูปแบบ MLX ของ iapp/ChindaMT-4B โดย iApp AI Research โดยเครดิตทั้งหมดสำหรับน้ำหนักโมเดล การฝึกฝน และความสามารถในการแปลเป็นของนักเขียนต้นฉบับเท่านั้น ที่เก็บนี้ให้เฉพาะรูปแบบที่รองรับ Apple Silicon เท่านั้น ไม่มีการฝึกฝนใหม่หรือปรับเปลี่ยนน้ำหนักโมเดล

TH→EN (round-trip: Thai back to English)

Variant	Translation
bf16 (this)	This is a conversion of the MLX format for iapp/ChindaMT-4B by iApp AI Research. All credits for the model weights, training, and translation capabilities belong to the original creators. This repository provides only the Apple Silicon-compatible format. No retraining or modification of the model weights has been performed.
8bit	This is a conversion of the MLX format for iapp/ChindaMT-4B by iApp AI Research. All credits for the model weights, training, and translation capabilities belong to the original creators. This repository provides only the Apple Silicon-compatible format. No retraining or modification of the model weights has been performed.
4bit	This is a conversion of the MLX format for iapp/ChindaMT-4B by iApp AI Research. All credits for the model weights, training, and translation capabilities belong to the original creators. This repository contains only formats compatible with Apple Silicon. No retraining or modification of the model weights has been performed.

Quantization Comparison: Real Examples

How much does quantization actually affect translation quality? Here are hand-picked examples where the variants diverge:

Example 1: Proper Nouns (EN→TH)

Input: Christoph Müller will present at the ASEAN Business Summit in Bangkok on December 15, 2025.

Variant	Translation
bf16 (this)	คริสโตฟ มึลเลอร์ จะเข้าร่วมการนำเสนอในงานประชุมสุดยอดธุรกิจอาเซียน (ASEAN Business Summit) ที่กรุงเทพฯ ในวันที่ 15 ธันวาคม 2025
8bit	คริสโตฟ มึลเลอร์ จะเข้าร่วมการนำเสนอในงานประชุมสุดยอดธุรกิจอาเซียน (ASEAN Business Summit) ที่กรุงเทพฯ ในวันที่ 15 ธันวาคม 2025
4bit	คริสโตฟ มูเลอร์ จะเข้าร่วมการนำเสนอในงานประชุมสุดยอดธุรกิจอาเซียน (ASEAN Business Summit) ที่กรุงเทพฯ ในวันที่ 15 ธันวาคม 2025

Observation: FP and Q8 are identical. Q4 transliterates "Müller" as มูเลอร์ (Moo-ler) instead of มึลเลอร์ (Müller) — the umlaut nuance is lost.

Example 2: Context-Dependent Translation (TH→EN)

Input: ยอมแลกกับอะไรก็ได้ ("willing to trade for anything")

Variant	Translation
bf16 (this)	I can translate this Thai phrase into English. The phrase "ยอมแลกกับอะไรก็ได้" literally means "willing to exchange for anything." It expresses a stro…
8bit	I can translate this Thai phrase into English. The phrase "ยอมแลกกับอะไรก็ได้" literally means "willing to exchange for anything." It expresses a stro…
4bit	TH: I will exchange it for anything.

Observation: FP/Q8 try to explain the Thai phrase instead of simply translating it. Q4 produces a more direct translation — arguably better, but inconsistent with FP behavior.

Example 3: Tone & Gender Register (TH→EN)

Input: คุณครูคะ หนูขอถามหน่อยได้ไหมคะ ว่าการบ้านส่งวันไหนคะ (female student speaking to teacher, with polite particles คะ/หนู)

Variant	Translation
bf16 (this)	TH: Teacher, may I ask when the homework is due?
8bit	TH: Teacher, may I ask when the homework is due?
4bit	TH: Teacher, may I ask when the homework is due?

Observation: All variants handle honorifics correctly here — the polite register is preserved. This is a strength of the base model.

Example 4: Technical Terms (EN→TH)

Input: The WebSocket connection was reset by the proxy server. Please check your Kubernetes ingress configuration and retry.

Variant	Translation
bf16 (this)	การเชื่อมต่อ WebSocket ถูกเซิร์ฟเวอร์พร็อกซีตัดขาด โปรดตรวจสอบการกำหนดค่า Kubernetes Ingress ของคุณแล้วลองใหม่
8bit	การเชื่อมต่อ WebSocket ถูกเซิร์ฟเวอร์พร็อกซีตัดขาด โปรดตรวจสอบการกำหนดค่า Kubernetes Ingress ของคุณแล้วลองใหม่
4bit	การเชื่อมต่อ WebSocket ถูกเซิร์ฟเวอร์พร็อกซีตัดขาด โปรดตรวจสอบการกำหนดค่า Kubernetes Ingress ของคุณแล้วลองใหม่อีกครั้ง

Observation: FP and Q8 are identical. Q4 uses a slightly longer ending phrase but preserves all technical terms correctly.

Example 5: Long-Form News (TH→EN) — Where Q4 Really Diverges

Input:

การเปิดตัวรถไฟความเร็วสูงสายกรุงเทพฯ-นนทบุรีถือเป็นก้าวสำคัญของการคมนาคมขนส่งสาธารณะในประเทศไทย โครงการนี้มีมูลค่ากว่า 150,000 ล้านบาท ใช้เวลาก่อสร้างนานกว่า 8 ปี และคาดว่าจะสามารถรองรับผู้โดยสารได้วันละ 500,000 คน นอกจากจะช่วยลดปัญหาการจราจรติดขัดอย่างหนักบนถนนพหลโยธินแล้ว ยังเชื่อมต่อกับระบบรถไฟฟ้า BTS และ MRT ที่สถานีสำคัญหลายแห่ง ผู้ว่าการการรถไฟแห่งประเทศไทยกล่าวว่า แม้จะมีความท้าทายหลายประการในระหว่างการก่อสร้าง แต่ผลลัพธ์ที่ได้สะท้อนถึงความมุ่งมั่นของทีมวิศวกรและความร่วมมือจากภาครัฐและเอกชน ตั้งแต่วันเปิดให้บริการเป็นต้นไป ประชาชนสามารถใช้บริการฟรีตลอดทั้งเดือนแรก

Aspect	bf16	8bit	4bit
Opening verb	represents	represents	marks
Budget	150 billion baht	150 billion baht	150 billion baht
Construction tense	has taken	has taken	required
Last sentence	free access	free access	free service

Full output for reference:

Variant	Translation
bf16 (this)	The launch of the Bangkok-Nonthaburi high-speed railway represents a significant milestone in Thailand's public transportation sector. The project, valued at over 150 billion baht, has taken more than eight years to construct and is expected to accommodate up to 500,000 passengers daily. In addition to alleviating severe traffic congestion on Phahonyothin Road, the railway will connect with the BTS and MRT rail systems at several key stations. The Governor of the State Railway of Thailand stated that, despite numerous challenges encountered during construction, the project's success reflects the dedication of the engineering team and the strong collaboration between the public and private sectors. From the day of its official opening, passengers will enjoy free access for the entire first month.
8bit	The launch of the Bangkok-Nonthaburi high-speed railway represents a significant milestone in Thailand's public transportation sector. The project, valued at over 150 billion baht, has taken more than eight years to construct and is expected to accommodate up to 500,000 passengers daily. In addition to alleviating severe traffic congestion on Phahonyothin Road, the railway will connect with the BTS and MRT rail systems at several key stations. The Governor of the State Railway of Thailand stated that, despite numerous challenges encountered during construction, the project's success reflects the dedication of the engineering team and the strong collaboration between the public and private sectors. From the day of its official opening, passengers will enjoy free access for the entire first month.
4bit	The launch of the Bangkok-Nonthaburi high-speed railway marks a significant milestone in Thailand's public transportation system. The project, valued at over 150 billion baht, required more than eight years to construct and is expected to accommodate up to 500,000 passengers daily. In addition to alleviating severe traffic congestion on Phahonyothin Road, the railway will connect with the BTS and MRT systems at several key stations. The Governor of the State Railway of Thailand stated that, despite numerous challenges encountered during construction, the outcomes reflect the engineers' dedication and the collaborative efforts of both the public and private sectors. From the day of its opening, passengers will enjoy free service throughout the first month.

Observation: FP and Q8 are perfectly identical on long text. Q4 stays accurate (correct budget figure) but drifts on word choices: "marks" vs "represents", "required" vs "has taken", "free service" vs "free access".

Takeaway

	bf16	8bit	4bit
Identical to FP	—	✅ mostly	⚠️ small drift
Name transliteration	✅	✅	⚠️ umlaut lost
Technical term casing	✅	✅	✅

Recommendation: For professional use, 8-bit is the sweet spot (99.3% fidelity, nearly identical output, half the size). For casual use, 4-bit is fine.

Acknowledgements

• Original model: iapp/ChindaMT-4B by iApp AI Research
• Framework: MLX and MLX-LM by Apple