|
--- |
|
license: apache-2.0 |
|
language: |
|
- da |
|
--- |
|
# DanskGPT-tiny |
|
<img src="tiny-danskgpt.png" width="500" height="500"> |
|
|
|
DanskGPT-tiny er en 1,1 milliard parametre LLaMA baseret LLM. Træningen er en fortsættelse af [TinyLLaMA](https://huggingface.co/TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T). |
|
|
|
Modellen er trænet på 8 milliarder tokens af dansk syntetisk tekst. |
|
|
|
Denne model er en såkaldt "foundation/completion" model, og er derfor ikke beregnet til at chatte med. |
|
|
|
## Inferens |
|
Ved brug af vLLM. |
|
|
|
``` |
|
pip install vllm |
|
``` |
|
|
|
```python |
|
from vllm import LLM, SamplingParams |
|
|
|
sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=512) |
|
llm = LLM(model="mhenrichsen/danskgpt-tiny") |
|
|
|
while True: |
|
prompt = input("Skriv: ") |
|
outputs = llm.generate(prompt, sampling_params) |
|
for output in outputs: |
|
prompt = output.prompt |
|
generated_text = output.outputs[0].text |
|
print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}") |
|
|
|
``` |
|
|
|
## Brug for hjælp? |
|
Har du spørgsmål eller brug for hjælp til LLM'er eller automatisering af tekstbaserede opgaver, så kontakt mig gerne. |
|
|
|
/Mads |
|
|
