Instructions to use KordAI/DeutschGPT with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use KordAI/DeutschGPT with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="KordAI/DeutschGPT")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("KordAI/DeutschGPT")
model = AutoModelForCausalLM.from_pretrained("KordAI/DeutschGPT", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use KordAI/DeutschGPT with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "KordAI/DeutschGPT"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "KordAI/DeutschGPT",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/KordAI/DeutschGPT

SGLang

How to use KordAI/DeutschGPT with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "KordAI/DeutschGPT" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "KordAI/DeutschGPT",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "KordAI/DeutschGPT" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "KordAI/DeutschGPT",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Unsloth Desktop
Docker Model Runner
How to use KordAI/DeutschGPT with Docker Model Runner:
```
docker model run hf.co/KordAI/DeutschGPT
```

DeutschGPT

DeutschGPT ist ein auf Deutsch spezialisiertes Sprachmodell von KordAI, das auf Qwen3 1.7B Base basiert und für deutschsprachige Konversationen und Instruktionen feinabgestimmt wurde.

Das Modell wurde mit Unsloth und der Hugging Face TRL-Bibliothek trainiert.

Modellbeschreibung

DeutschGPT wurde entwickelt, um ein kompaktes und effizientes Modell für deutschsprachige Aufgaben und Konversationen bereitzustellen.

Das Modell eignet sich insbesondere für:

🇩🇪 deutschsprachige Konversation
Beantwortung von Fragen
Befolgen von Anweisungen
Textgenerierung
einfache Zusammenfassungen
Umformulierungen und allgemeine Schreibaufgaben

Entwickelt von: KordAI Basismodell: unsloth/qwen3-1.7b-base-unsloth-bnb-4bit Sprache: Deutsch Parameter: 1,7 Milliarden Lizenz: Apache 2.0

Trainingsformat

Das Modell wurde auf deutschsprachigen Konversationsdaten feinabgestimmt.

Die Konversationen verwenden ein einfaches, rollenbasiertes Format:

# SYSTEM:
Sie sind ein hilfreicher Assistent.
# USER:
Wer ist Sebastian Vettel?
# ASSISTANT:
Sebastian Vettel ist ein deutscher Automobilrennfahrer ...

Die Rollen werden dabei durch die folgenden Abschnitte dargestellt:

# SYSTEM: – Systemanweisung
# USER: – Eingabe des Benutzers
# ASSISTANT: – Antwort des Modells

Beispiel

# SYSTEM:
Sie sind ein hilfreicher Assistent.
# USER:
Was ist die Hauptstadt von Deutschland?
# ASSISTANT:
Die Hauptstadt von Deutschland ist Berlin.

Bei der Verwendung des Modells sollte dieses Format beibehalten werden, damit die Eingabe dem Format entspricht, auf dem das Modell trainiert wurde.

Verwendung

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "KordAI/DeutschGPT"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto"
)

prompt = """# SYSTEM:
Sie sind ein hilfreicher Assistent.
# USER:
Setzen Sie die Fibonacci-Folge fort: 1, 1, 2, 3, 5, 8,
# ASSISTANT:
"""

inputs = tokenizer(
    prompt,
    return_tensors="pt"
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=64
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Training

DeutschGPT wurde mit Unsloth und der Hugging Face TRL-Bibliothek feinabgestimmt.

Unsloth wurde verwendet, um das Training effizienter durchzuführen und eine höhere Trainingsgeschwindigkeit zu ermöglichen.

Unsloth

Beispiel

Eingabe:

# SYSTEM:
Sie sind ein hilfreicher Assistent.
# USER:
Wer ist Sebastian Vettel?
# ASSISTANT:

Ausgabe:

Sebastian Vettel ist ein deutscher Automobilrennfahrer, der in der Formel-1-Weltmeisterschaft erfolgreich war. Er gewann vier Weltmeistertitel in Folge und gehört zu den erfolgreichsten deutschen Fahrern in der Geschichte der Formel 1.

Einschränkungen

DeutschGPT ist mit 1,7 Milliarden Parametern ein vergleichsweise kleines Sprachmodell. Die Qualität kann daher bei komplexen Aufgaben, umfangreichen Kontexten, anspruchsvollem logischem Schlussfolgern oder sehr spezifischem Fachwissen eingeschränkt sein.

Wie bei anderen generativen Sprachmodellen können Antworten:

sachlich falsch sein,
unvollständig sein,
veraltete oder erfundene Informationen enthalten,
bei komplexen Aufgaben Fehler aufweisen.

Generierte Inhalte sollten daher bei wichtigen Anwendungen überprüft werden.

Lizenz

DeutschGPT wird unter der Apache License 2.0 veröffentlicht.

Bitte beachte zusätzlich die Lizenzbedingungen des zugrunde liegenden Qwen3-Modells sowie die Lizenzen der für das Fine-Tuning verwendeten Datensätze.

Credits

DeutschGPT wurde von KordAI entwickelt.

Das Modell wurde mit Unsloth und Hugging Face TRL trainiert.

Downloads last month: 167

Safetensors

Model size

2B params

Tensor type

BF16