RichardErkhov/mhenrichsen_-_danskgpt-tiny-gguf

Quantization made by Richard Erkhov.

Github

Discord

Request more models

danskgpt-tiny - GGUF

• Model creator: https://huggingface.co/mhenrichsen/
• Original model: https://huggingface.co/mhenrichsen/danskgpt-tiny/

Name	Quant method	Size
danskgpt-tiny.Q2_K.gguf	Q2_K	0.4GB
danskgpt-tiny.IQ3_XS.gguf	IQ3_XS	0.44GB
danskgpt-tiny.IQ3_S.gguf	IQ3_S	0.47GB
danskgpt-tiny.Q3_K_S.gguf	Q3_K_S	0.47GB
danskgpt-tiny.IQ3_M.gguf	IQ3_M	0.48GB
danskgpt-tiny.Q3_K.gguf	Q3_K	0.51GB
danskgpt-tiny.Q3_K_M.gguf	Q3_K_M	0.51GB
danskgpt-tiny.Q3_K_L.gguf	Q3_K_L	0.55GB
danskgpt-tiny.IQ4_XS.gguf	IQ4_XS	0.57GB
danskgpt-tiny.Q4_0.gguf	Q4_0	0.59GB
danskgpt-tiny.IQ4_NL.gguf	IQ4_NL	0.6GB
danskgpt-tiny.Q4_K_S.gguf	Q4_K_S	0.6GB
danskgpt-tiny.Q4_K.gguf	Q4_K	0.62GB
danskgpt-tiny.Q4_K_M.gguf	Q4_K_M	0.62GB
danskgpt-tiny.Q4_1.gguf	Q4_1	0.65GB
danskgpt-tiny.Q5_0.gguf	Q5_0	0.71GB
danskgpt-tiny.Q5_K_S.gguf	Q5_K_S	0.71GB
danskgpt-tiny.Q5_K.gguf	Q5_K	0.73GB
danskgpt-tiny.Q5_K_M.gguf	Q5_K_M	0.73GB
danskgpt-tiny.Q5_1.gguf	Q5_1	0.77GB
danskgpt-tiny.Q6_K.gguf	Q6_K	0.84GB
danskgpt-tiny.Q8_0.gguf	Q8_0	1.09GB

Original model description:

license: apache-2.0 language: - da

DanskGPT-tiny

DanskGPT-tiny er en 1,1 milliard parametre LLaMA baseret LLM. Træningen er en fortsættelse af TinyLLaMA.

Modellen er trænet på 8 milliarder tokens af dansk syntetisk tekst.

Denne model er en såkaldt "foundation/completion" model, og er derfor ikke beregnet til at chatte med.

Inferens

Ved brug af vLLM.

pip install vllm

from vllm import LLM, SamplingParams

sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=512)
llm = LLM(model="mhenrichsen/danskgpt-tiny")

while True:
    prompt = input("Skriv: ")
    outputs = llm.generate(prompt, sampling_params)
    for output in outputs:
        prompt = output.prompt
        generated_text = output.outputs[0].text
        print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

Brug for hjælp?

Har du spørgsmål eller brug for hjælp til LLM'er eller automatisering af tekstbaserede opgaver, så kontakt mig gerne.

/Mads