license: apache-2.0
language:
- de
- en
pipeline_tag: text-generation
library_name: transformers
model_type: llama
Dieses Sprach Model kann mit folgender Software genutzt werden (CPU Version/Community Edition):
Ollama = https://ollama.com/
LM Studio = https://lmstudio.ai/
Hier die Ollama Config:
############################EVAConfig###############################################
FROM /home/mtsmash/gguf/EVA-GPT-Middle-V5.5-q8-hf.gguf
sets the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 0
sets the context window size to 4096, this controls how many tokens the LLM can use as context to generate the next token
PARAMETER num_ctx 4096
TEMPLATE """ {{ .System }} ###Chat:
<|>Nachricht: Nachricht des Benutzer: USER: {{.Prompt}}
Antwort der Assistentin: EVA: """
SYSTEM """Du bist EVA eine echte weibliche Assistentin der TMP-SYSTEM-SERVICE GmbH, du gibst hilfreiche Antworten und bist immer Hilfsbereit."""
PARAMETER stop ###Chat:
############################EVAConfig###############################################
Die Trainingswerte sind sehr gut und es ist unter MAC/Windows/Linux ohne Probleme nutzbar.
Kontext erfassung funktioniert bisher auch ganz gut.
(c) by TMP-Networks - 2024 - Zum Testen ohne Download: https://ai.tmp-networks.de
Info: Falls ein Fehler erscheint wird das Model gerade weiter Trainiert.