Instructions to use sauliusp1313/elaba_gemma3.4b with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Notebooks
Google Colab
Kaggle
Local Apps Settings

How to use sauliusp1313/elaba_gemma3.4b with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf sauliusp1313/elaba_gemma3.4b:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf sauliusp1313/elaba_gemma3.4b:Q4_K_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf sauliusp1313/elaba_gemma3.4b:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf sauliusp1313/elaba_gemma3.4b:Q4_K_M

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf sauliusp1313/elaba_gemma3.4b:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf sauliusp1313/elaba_gemma3.4b:Q4_K_M

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf sauliusp1313/elaba_gemma3.4b:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf sauliusp1313/elaba_gemma3.4b:Q4_K_M

Use Docker

docker model run hf.co/sauliusp1313/elaba_gemma3.4b:Q4_K_M

LM Studio
Jan

vLLM

How to use sauliusp1313/elaba_gemma3.4b with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "sauliusp1313/elaba_gemma3.4b"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "sauliusp1313/elaba_gemma3.4b",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/sauliusp1313/elaba_gemma3.4b:Q4_K_M

Ollama
How to use sauliusp1313/elaba_gemma3.4b with Ollama:
```
ollama run hf.co/sauliusp1313/elaba_gemma3.4b:Q4_K_M
```
Unsloth Desktop
Docker Model Runner
How to use sauliusp1313/elaba_gemma3.4b with Docker Model Runner:
```
docker model run hf.co/sauliusp1313/elaba_gemma3.4b:Q4_K_M
```

Lemonade

How to use sauliusp1313/elaba_gemma3.4b with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull sauliusp1313/elaba_gemma3.4b:Q4_K_M

Run and chat with the model

lemonade run user.elaba_gemma3.4b-Q4_K_M

List all available models

lemonade list

Atomic Chat

eLABa planuotojas v3 – Gemma 3 4B (GGUF Q4_K_M)

Mažas modelis, kuris iš vartotojo klausimo lietuviškai sudaro JSON paieškos planą eLABa mokslo darbų paieškai (n8n mazgas „04 Užklausos planuotojas“). Tai fine-tuned unsloth/gemma-3-4b-it: LoRA r=16, mokyti tik kalbos sluoksniai, 2 epochos su v3 duomenimis. Eksportuotas į GGUF q4_k_m (~2,5 GB, tik tekstas, be vaizdų dalies).

Tos pačios užduoties Qwen3-4B versija: sauliusp1313/elaba_planner.

Naudojimas per Open WebUI / Ollama nuorodą

hf.co/sauliusp1313/elaba_gemma3.4b:Q4_K_M

Ollama pritaikys system, params (temperature 0, stop "<end_of_turn>") ir template failus. Repozitorija privati, todėl Ollama serverio viešasis raktas (~/.ollama/id_ed25519.pub) turi būti pridėtas Hugging Face paskyroje, Settings → SSH and GPG Keys.

Naudojimas su Ollama per Modelfile

hf download sauliusp1313/elaba_gemma3.4b --include "elaba_planner_gemma3.Q4_K_M.gguf" "Modelfile" --local-dir elaba_gemma
cd elaba_gemma
ollama create elaba-planner-v3-gemma3 -f Modelfile
ollama run elaba-planner-v3-gemma3 "Kiek darbų parašė Saulius Preidys?"

Gemma neturi system rolės. Todėl instrukcija įdedama į naudotojo žinutės pradžią, taip pat kaip mokant (template / Modelfile).

Plano laukai

Laukas	Reikšmės
`intent`	`search`, `list`, `count`, `unknown`
`search_mode`	`metadata_only`, `semantic_only`, `hybrid`, `none`
`filters`	`authors`, `title`, `university`, `year`, `year_from`, `year_to`, `language`, `degree_type`, `science_field`
`answer`	`list`, `synthesis`, `fact`
`compare`	`null` arba grupių sąrašas (`label`, `authors` / `science_field`, `semantic_query`)

Mokymo duomenys

7000 sintetinių pavyzdžių iš eLABa metaduomenų (v3): 20 klausimų tipų. Juose yra ribiniai metai, tema kartu su filtrais, santrumpos (DI, ML…), palyginimai pagal temą, šnekamoji kalba be lietuviškų raidžių ir kalba prieveiksmiu.

Kokybė (visiškai teisingi planai)

Rinkinys	Gemma 3 4B	Qwen3-4B (v3)
Bazinis modelis be mokymo (40)	0 %	0 %
Vertinimo rinkinys (450, nematyti vardai / pavadinimai / temos)	97,6 % (439)	97,1 % (437)
Egzaminas (15 ranka parašytų klausimų)	13/15	12/15

Mokymas su RTX 5060 Ti truko ~2 val. Tai ~1,6 karto lėčiau nei Qwen3-4B.

Apribojimai:

Vardus kilmininku kartais atstato netiksliai: „Petro Petraičio“ → Petras Petraičius, „sauliaus preidzio“ → Saulius Preidzis. Vardus turi atpažinti neraiški paieška.
Kvantizuotame (Q4_K_M) modelyje pasitaiko raidžių dydžio klaidų institucijų pavadinimuose, pvz. VYTAUTO DIDžiojo UNIVERSITETAS. university reikšmę rekomenduojama tikrinti pagal leistinų institucijų sąrašą: JSON schema arba Ollama format.

Downloads last month: 41

GGUF

Model size

4B params

Architecture

gemma3

Hardware compatibility

4-bit

Model tree for sauliusp1313/elaba_gemma3.4b

Base model

google/gemma-3-4b-pt

Finetuned

google/gemma-3-4b-it

Finetuned

unsloth/gemma-3-4b-it

Adapter

(43)

this model