Instructions to use EXAiStudio/EX-Ai2-1.0B-Gemma3 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use EXAiStudio/EX-Ai2-1.0B-Gemma3 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="EXAiStudio/EX-Ai2-1.0B-Gemma3")

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("EXAiStudio/EX-Ai2-1.0B-Gemma3", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

llama.cpp

How to use EXAiStudio/EX-Ai2-1.0B-Gemma3 with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf EXAiStudio/EX-Ai2-1.0B-Gemma3
# Run inference directly in the terminal:
llama cli -hf EXAiStudio/EX-Ai2-1.0B-Gemma3

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf EXAiStudio/EX-Ai2-1.0B-Gemma3
# Run inference directly in the terminal:
llama cli -hf EXAiStudio/EX-Ai2-1.0B-Gemma3

Build from source code

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-app
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama serve -hf EXAiStudio/EX-Ai2-1.0B-Gemma3
# Run inference directly in the terminal:
./build/bin/llama cli -hf EXAiStudio/EX-Ai2-1.0B-Gemma3

Use Docker

docker model run hf.co/EXAiStudio/EX-Ai2-1.0B-Gemma3

Llama new
LM Studio
Jan

vLLM

How to use EXAiStudio/EX-Ai2-1.0B-Gemma3 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "EXAiStudio/EX-Ai2-1.0B-Gemma3"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "EXAiStudio/EX-Ai2-1.0B-Gemma3",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/EXAiStudio/EX-Ai2-1.0B-Gemma3

SGLang

How to use EXAiStudio/EX-Ai2-1.0B-Gemma3 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "EXAiStudio/EX-Ai2-1.0B-Gemma3" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "EXAiStudio/EX-Ai2-1.0B-Gemma3",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "EXAiStudio/EX-Ai2-1.0B-Gemma3" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "EXAiStudio/EX-Ai2-1.0B-Gemma3",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Ollama
How to use EXAiStudio/EX-Ai2-1.0B-Gemma3 with Ollama:
```
ollama run hf.co/EXAiStudio/EX-Ai2-1.0B-Gemma3
```
Unsloth Desktop
Docker Model Runner
How to use EXAiStudio/EX-Ai2-1.0B-Gemma3 with Docker Model Runner:
```
docker model run hf.co/EXAiStudio/EX-Ai2-1.0B-Gemma3
```

Lemonade

How to use EXAiStudio/EX-Ai2-1.0B-Gemma3 with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull EXAiStudio/EX-Ai2-1.0B-Gemma3

Run and chat with the model

lemonade run user.EX-Ai2-1.0B-Gemma3-{{QUANT_TAG}}

List all available models

lemonade list

Atomic Chat

EX-Ai2-1.0B-Gemma3

EN — A LoRA fine-tuned Gemma 3 1B by EXAiStudio, optimized for instruction following, instruction continuation, and hallucination reduction, with a focus on Persian. FA — نسخه فاین‌تیون‌شده Gemma 3 1B توسط EXAiStudio، بهینه‌شده برای دستورپذیری، ادامه دستور و کاهش توهم‌زنی، با تمرکز ویژه بر زبان فارسی.

English

Model Details

Property	Value
Developed by	EXAiStudio
Model type	Causal Language Model (Decoder-only Transformer)
Base model	google/gemma-3-1b-it
Parameters	~1.0B
Architecture	Gemma 3 (decoder-only Transformer, GQA, RoPE)
Context length	32,000 tokens (same as base model)
Fine-tuning method	LoRA
Languages	Persian (fa), English (en), Chinese (zh), Russian (ru), French (fr), Spanish (es), Arabic (ar)
License	Gemma Terms of Use
Version	V1.0
Release date	1 November 2026
Format	GGUF (Q4_K_M only)

Description

EX-Ai2-1.0B-Gemma3 is a lightweight, efficient language model derived from Gemma 3 1B. It was fine-tuned with a LoRA adapter using a curated proprietary dataset of 2,300 high-quality (“golden”) samples developed by EXAiStudio. The dataset is not open-sourced.

The fine-tuning focused on:

Improving instruction following
Improving instruction continuation/completion
Reducing hallucination
Strengthening Persian-language performance while preserving multilingual abilities
Maintaining reliable behavior in structured tasks

The base Gemma 3 model supports many languages, but this fine-tune explicitly targets Persian, English, Chinese, Russian, French, Spanish, and Arabic. Language quality may vary across languages, and equal quality is not guaranteed for all of them.

Intended Use

✅ Direct Use

Persian, English, and multilingual conversational assistants
Persian content generation and rewriting
Structured instruction-following tasks (Q&A, summarization, rewriting)
Instruction continuation and completion tasks
Local/offline deployment via Ollama, llama.cpp, or LM Studio
Use cases that benefit from reduced hallucination, with independent verification

❌ Out-of-Scope Use

Highly advanced mathematics and symbolic computation without additional verification
Sensitive advice (medical, legal, financial, psychological) without professional validation
High-stakes automated decision-making
Safety-critical systems
Treating generated answers as guaranteed facts
Relying on the model for sensitive counseling, important/critical tasks, or as a substitute for verified public information

Training Details

Item	Value
Source	Proprietary dataset developed by EXAiStudio
Size	2,300 samples
Data quality	Curated high-quality (“golden”) samples
Dataset release	Not open-sourced
Focus areas	Instruction following, instruction continuation, hallucination reduction
Method	LoRA fine-tuning
Hardware	NVIDIA Tesla T4 (16GB VRAM)
Training time	~1 hour
Base model	Gemma 3 1B Instruct (full precision)
Hyperparameters	LoRA rank/alpha and other detailed hyperparameters are not disclosed

How to Use

# Ollama
ollama run hf.co/EXAiStudio/EX-Ai2-1.0B-Gemma3:Q4_K_M

# llama.cpp
llama serve -hf EXAiStudio/EX-Ai2-1.0B-Gemma3:Q4_K_M

Limitations & Warnings

Hallucination: Reduced hallucination is a training goal, not a guarantee. The model is not hallucination-free, and all answers are not guaranteed to be correct.
Language quality: Performance varies across languages. Equal quality is not guaranteed for all supported languages.
Independent evaluation: Developers should evaluate the model for their specific use cases, especially in high-stakes or safety-critical settings.
Sensitive advice and critical tasks: It is recommended not to rely on this model for sensitive counseling, important or critical tasks, or as a substitute for verified public information.
Hyperparameters: Detailed training hyperparameters (LoRA rank, alpha, learning rate, epochs, etc.) are not disclosed at this time.

Citation

If you use this model, please cite:

@misc{exaistudio_exai2_1b_gemma3,
  author = {EXAiStudio},
  title = {EX-Ai2-1.0B-Gemma3},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/EXAiStudio/EX-Ai2-1.0B-Gemma3}}
}

فارسی

مشخصات مدل

ویژگی	مقدار
توسعه‌دهنده	EXAiStudio
نوع مدل	مدل زبانی علّی (Transformer رمزگشا-محور)
مدل پایه	google/gemma-3-1b-it
تعداد پارامترها	حدود ۱.۰ میلیارد
معماری	Gemma 3 (Transformer رمزگشا-محور، GQA، RoPE)
طول کانتکست	۳۲,۰۰۰ توکن (مشابه مدل پایه)
روش فاین‌تیون	LoRA
زبان‌ها	فارسی، انگلیسی، چینی، روسی، فرانسوی، اسپانیایی، عربی
مجوز	Gemma Terms of Use
نسخه	V1.0
تاریخ انتشار	۱ نوامبر ۲۰۲۶
فرمت	GGUF (فقط Q4_K_M)

توضیحات

EX-Ai2-1.0B-Gemma3 یک مدل زبانی سبک و کارا بر پایه Gemma 3 1B است که با روش LoRA و با استفاده از یک دیتاست اختصاصی شامل ۲,۳۰۰ نمونه با کیفیت بالا («طلائی») توسط EXAiStudio فاین‌تیون شده است. این دیتاست به‌صورت متن‌باز منتشر نمی‌شود.

تمرکز اصلی فاین‌تیون:

بهبود دستورپذیری
بهبود ادامه دستور / تکمیل دستور
کاهش توهم‌زنی
تقویت عملکرد زبان فارسی همراه با حفظ توانایی‌های چندزبانه
حفظ رفتار قابل‌اعتماد در وظایف ساختاریافته

مدل پایه Gemma 3 از زبان‌های زیادی پشتیبانی می‌کند، اما این فاین‌تیون به‌طور مشخص بر فارسی، انگلیسی، چینی، روسی، فرانسوی، اسپانیایی و عربی تمرکز دارد. کیفیت زبان ممکن است در زبان‌های مختلف متفاوت باشد و کیفیت یکسان برای همه زبان‌ها تضمین نمی‌شود.

کاربردهای مستقیم

دستیارهای مکالمه‌ای فارسی، انگلیسی و چندزبانه
تولید و بازنویسی محتوای فارسی
وظایف ساختاریافته مبتنی بر دستور (پرسش و پاسخ، خلاصه‌سازی، بازنویسی)
وظایف ادامه و تکمیل دستور
استقرار محلی و آفلاین از طریق Ollama، llama.cpp یا LM Studio
کاربردهایی که از کاهش توهم‌زنی سود می‌برند، همراه با راستی‌آزمایی مستقل

کاربردهای خارج از محدوده

ریاضیات پیشرفته و محاسبات نمادین بدون تأییدیه اضافی
مشاوره حساس (پزشکی، حقوقی، مالی، روانشناسی) بدون اعتبارسنجی حرفه‌ای
تصمیم‌گیری خودکار در شرایط حساس و پرخطر
سیستم‌های حیاتی از نظر ایمنی
رفتار با پاسخ‌های تولیدشده به‌عنوان واقعیت‌های تضمین‌شده
اتکا به مدل برای مشاوره‌های حساس، وظایف مهم و حیاتی، یا به‌عنوان جایگزین اطلاعات عمومی راستی‌آزمایی‌شده

جزئیات آموزش

مورد	مقدار
منبع داده	دیتاست اختصاصی EXAiStudio
حجم داده	۲,۳۰۰ نمونه
کیفیت داده	نمونه‌های منتخب با کیفیت بالا («طلائی»)
انتشار دیتاست	متن‌باز نمی‌شود
زمینه‌های تمرکز	دستورپذیری، ادامه دستور، کاهش توهم‌زنی
روش	فاین‌تیون LoRA
سخت‌افزار	NVIDIA Tesla T4 (16GB VRAM)
زمان آموزش	حدود ۱ ساعت
مدل پایه	Gemma 3 1B Instruct (با دقت کامل)
ابرپارامترها	رتبه/آلفای LoRA و سایر جزئیات آموزش افشا نشده است

نحوه استفاده

# Ollama
ollama run hf.co/EXAiStudio/EX-Ai2-1.0B-Gemma3:Q4_K_M

# llama.cpp
llama serve -hf EXAiStudio/EX-Ai2-1.0B-Gemma3:Q4_K_M

محدودیت‌ها و هشدارها

توهم‌زنی: کاهش توهم‌زنی یک هدف آموزشی است، نه یک تضمین. مدل کاملاً عاری از توهم نیست و همه پاسخ‌ها لزوماً صحیح نیستند.
کیفیت زبان: عملکرد مدل در زبان‌های مختلف متفاوت است و کیفیت یکسان در همه زبان‌ها تضمین نمی‌شود.
ارزیابی مستقل: توسعه‌دهندگان باید مدل را برای موارد استفاده مورد نظر خود، به‌ویژه در زمینه‌های حساس و حیاتی، به‌طور مستقل ارزیابی کنند.
مشاوره حساس و وظایف حیاتی: توصیه می‌شود برای مشاوره‌های حساس، وظایف مهم و حیاتی، و اتکا به اطلاعات عمومی از این مدل استفاده نشود.
ابرپارامترها: جزئیات کامل آموزش (رتبه LoRA، آلفا، نرخ یادگیری، تعداد دوره‌ها و...) در حال حاضر افشا نشده است.

Downloads last month: -

GGUF

Model size

1.0B params

Architecture

gemma3

Hardware compatibility

We're not able to determine the quantization variants.

View all variants

Model tree for EXAiStudio/EX-Ai2-1.0B-Gemma3

Base model

google/gemma-3-1b-pt

Finetuned

google/gemma-3-1b-it

Adapter

(219)

this model