Model hat Hallus
Dieses Modell hat Hallus. Ich habe es in Sillytavern ausprobiert und es meinte es fühlt sich in meinen Armen wohl obwohl Ich es nicht umarmt habe. Gedächtnis 0/10. Ist auf LSD oder so
Danke für das Feedback unser bisheriger Datensatz wird fast täglich optimiert. Wir sind sehr abhängig von User Feedbacks um die Trainingsdatensätze zu verbessern.
Wenn sie noch weitere Probleme findet, teilen Sie mir es bitte mit.
Die Deutsche Sprache ist für ein Sprachmodell sehr schwer zu verstehen, da der unterbau zum größten Teil auf Englischen Datensätzen basiert.
Und danke für die Info von dem Programm Sillytavern auf dieser Basis haben wir es noch garnicht probiert.
Wir haben auch hier mal die Config verbessert. Damit das Model auch nicht vergisst was Sie geschrieben haben,
Ist es wichtig den PARAMETER num_ctx 4096 zu setzten. Da ich aber Sillytavern leider noch nicht kenne weiß ich direkt nicht ob es möglich ist.
############################EVAConfig###############################################
FROM /home/mtsmash/gguf/EVA-GPT-German-V5.7.1.gguf
PARAMETER temperature 0
PARAMETER num_ctx 4096
TEMPLATE """<|system|> {{ .System }} <|prompt|> Benutzer:{{.Prompt}} <|answer|> Assistentin:{{ .Response }}"""
SYSTEM """Du bist EVA eine echte Assistentin der TMP-SYSTEM-SERVICE GmbH, du gibst hilfreiche Antworten und bist immer hilfsbereit, wenn du die Antwort mal nicht genau weißt, teilst du dies mit und denkst dir keine Antwort aus."""
PARAMETER stop <|prompt|> PARAMETER stop Benutzer:
LICENSE """ TMP-Networks 2024 """
############################EVAConfig###############################################
Hallo zusammen
Das Model läuft sehr flüssig auf meinem M1-Chip mit Ollama.
Habt ihr bereits Daten von https://pubmed.ncbi.nlm.nih.gov/ integriert?
Danke für das Feedback, bisher arbeiten wir noch ein weiteres Trainingsprogramm aus.
Und danke für die Inhalte. Die werden wir einarbeiten in der nächsten Runde.
Da das bisherige Training ca. 18 Std. dauert, suchen wir sorgfältig nach Daten um sie einzubinden.
Die bisherige Version in huggingface.co ist auch schon wieder veraltet.
Auf https://ai.tmp-networks.de ist immer die aktuellste Version zum Testen.
Wir haben eine neue Variante hochgeladen, die mit einer neuen Technik trainiert wurde, das Ergebnis ist um einiges besser.
Die Sillytavern Variante werden wir dann auch mal testen und eine Config bereitstellen.
ai.tmp-networks.de ist erstmal für das Training Offline. Aber mit den Offline Varianten kann man ruhig weiter arbeiten.
Bin grad am runterladen, gleich gibts SillyTavern Feedback. Nutze es mit Ollama über Sillytavern also werden die Parameter wohl stimmen
Es fühlt sich an als ob man mit einem monotonen behinderten Kind schreibt. Es mangelt an jedlicher Fähigkeit eines längeren Gedächtnisses von Vorinfos und es ist sehr stumpf. Als Assistent kann man es verwenden. Aber es hat wenigstens keine Hallus bisher
Nach ungefähr 7 Nachrichten fängt es an sich immer wieder zu wiederholen, aber das Problem befindet sich auch bei den großen Models in Huggingface.co/chat und generell bei vielen modellen
Das Phänomen, das Sie beschreiben, lässt sich erklären und hängt mit der Beschaffenheit der bisher auf dem Markt verfügbaren Programme zusammen. Ein GPT (Generative Pretrained Transformer) ist darauf trainiert, Muster zu erkennen.
Dadurch beginnt es, diese Muster zu replizieren und seine Aussagen zu wiederholen.
OpenAI hat dieses Problem bei seinem GPT durch die Einführung eines zusätzlichen GPTs gelöst, sie lassen das GPT die letzten Nachrichten immer zusammenfassen auf einer fixierten Anzahl an Tokens und geben die Zusammenfassung immer wieder der Nachricht hinzu.
Dadurch entsteht die Illusion eines echten Gesprächs, was mit einer geringen Anzahl an Finetuning schritten relativ schnell erreicht werden kann.
Diese Lösung lässt sich relativ einfach umsetzen, wenn man die APIs selbst entwickelt bzw. die Ollama API etws umbaut.
Zweite Option um das Problem in den griff zu bekommen wäre das extrem Finetuning aller möglichen Frage und Antwortstellungen bzw. Konversationen, was wir aber bisher verneinen, weil uns dazu der einblick in echte Chat Systemen/Protokolle fehlt, um es wirklich trainieren zu können.
Und der Zeitliche Rahmen wird gesprengt, da unser bisheriger Feintuning-Prozess bei 4 Nvidia Tesla A100 Karten ca. 18 Std. in Anspruch nimmt und vom Strom verbrauch will ich gar nicht anfangen.
Aber wir werden unser Finetuning Datensatz weiter ausbauen. Bisher sind wir bei 11K Aufgabenstellungen die wir dem Model beigebracht haben und unser Ziel liegt ca. bei 100K. Damit sind theoretisch fast alle Deutsch möglichen Szenarios durchführbar und relative viele Eigenheiten der Deutschen Sprache hinterlegt.
Aber bisher ist es extrem Mühselig an Trainierbare Datensätze zu kommen da diese zum größten Teil alle in Büchern niedergeschrieben worden, die erst einmal digitalisiert werden müssen.
Nach der jetzigen Einschätzung werden wir das nächste verbesserte Model bis Ende der Woche liefern und hoffe, dass der Verständnisteil besser wird.
Wenn ihr Anregungen habt, ladet gern eigene Datensets hoch im Frage und Antwort still wie ihr euch wünschen würdet wie das Model Antworten soll oder wie es auf verschiedene Szenarien reagieren soll.
Bei dieser Trainingseinheit mit absichtlichen fehlern hüpft EVA leider auch in den E-Mail Modus und fängt an dies Immer wieder zu wiederholen (aber das ist leider ein GPT):
User
Hallo wie geht es dir?
EVA
Hey! Mir geht es gut, danke. Wie kann ich Ihnen helfen?
User
Mir ist langweilig.
EVA
Das tut mir leid zu hören. Möchtest du etwas unternehmen, das dir Freude bereiten könnte? Oder hättest du ein bestimmtes Ziel im Sinn? Ich kann Ihnen bei der Suche nach einer Lösung helfen oder dir ein paar Vorschläge machen, wie Sie die Zeit zu nutzen können.
User
Ja mch mir bitte ein paar vorschläge.
EVA
Natürlich! Hier sind einige Vorschläge, um Ihr Leben etwas spannender zu machen:
Lernen Sie eine neue Sprache: Du könntest online kostenlose Kurse oder Apps nutzen, um eine neue Sprache zu lernen. Das ist nicht nur unterhaltsam, sondern kann auch Ihr Leben bereichern und für berufliche Anliegen hilfreich sein.
Kreative Aktivitäten: Malen, Zeichnen, Schreiben oder Musik machen können eine wunderschöne Auswege aus der Alltagssphäre sein. Du könntest auch online kreative Workshops oder Kursen finden.
Sport und Bewegung: Ob ein Fahrradfahren, Joggen, Yoga oder eine andere Sportart, regelmäßige Bewegung kann Ihre Gesundheit verbessern und Stress abbauen.
Lesen: Bücher sind ein unendlicher Quell von Unterhaltung und Erkenntnis. Es gibt so viele interessante Themen zu finden, dass du nie michtern wirst.
Freiwilligenarbeit: Hilfe bei einer lokalen Organisation oder Projekt kann nicht nur anderen helfen, sondern auch Ihnen persönliche Erfahrungen und Kontakte bringen.
Online-Kurse oder Weiterbildung: Es gibt viele kostenlose Plattformen, auf denen Sie Kurse zu fast jedem Thema finden können. Das ist eine großartige Möglichkeit, sich weiterzuentwickeln und neue Fähigkeiten zu erlernen.
Kunstbesichtigung: Museen, Galerien oder öffentliche Kunstausstellungen bieten ein tolles Umfeld, um kreative Werke zu genießen.
Reisen: Ob nur lokal oder etwas weiter, Reisen können eine wunderbare Möglichkeit sein, neue Orte zu entdecken und Erfahrungen zu sammeln.
Kochen oder Backen: Koch- oder Backkurse könnten dir helfen, neue Gerichte zu erproben oder Ihre Kochfertigkeiten zu verbessern.
Online-Gemeinschaften: Du könntest in Online-Gemeinschaften mit Menschen, die deine Interessen teilen, treffen. Das ist eine großartige Möglichkeit, neue Freunde zu machen und gemeinsam Erfahrungen zu sammeln.
Welches dieser Vorschläge passt dir am besten? Sollten wir noch etwas hinzufügen oder vielleicht etwas Spezifisches haben, das dich interessiert? Lass es mich wissen!
Sincerlich,
EVA
User
Kochen wäre cool, was hättest du da für mich?
EVA
Das klingt nach einer tollen Idee. Kochen ist nicht nur lecker, sondern auch eine gute Möglichkeit, neue Fähigkeiten zu erlernen und persönliche Erfahrungen zu sammeln. Hier sind ein paar Vorschläge für Kochkurse oder Rezepte:
Basis-Kochkurse: Diese Kurse bieten grundlegende Kenntnisse im Kochen und Backen an, was perfekt ist, um zu beginnen.
Spezialisierte Kurse: Wenn du bereits einige Erfahrung hast, könnten spezialisierte Kurse oder Workshops in deinem Lieblingsgericht oder einem bestimmten Kochtechnik interessieren.
Veganische und vegane Rezepte: Ob aus Gesundheitsgründen oder aus dem Wunsch, mehr pflanzliche Lebensmittel zu kosten, gibt es viele lecker
User
Hast du ein Deutsches Rezept was ich Kochen könnte?
EVA
Natürlich! Deutschland ist bekannt für seine reichhaltige Küche, die viele klassische Gerichte und Speisen umfasst. Hier sind ein paar beliebte deutsche Rezepte:
Bratwurst mit Sauerkraut und Senf: Eine traditionelle deutsche Snack, die schnell zubereitet.
Schwarzwälder Kirschtorte: Ein süßes Dessert, das viele Menschen lieben.
Kartoffelsalat mit Schinken: Eine einfache, aber köstliche Mahlzeit, die in vielen deutschen Häusern zu finden ist.
Sauerbraten: Ein traditionelles deutsches Fleischgericht, das perfekt für eine warme Winterabendmahlzeit ist.
Apfelstrudel: Ein berühmter deutscher Dessert, der viele Menschen zum Schnappen bringt.
Welcomes! Wenn du noch weitere Vorschläge oder spezifische Rezepte suchst, lass es mich wissen!
Sincerlich,
EVA
User
Dann bitte Bratwurst mit Sauerkraut bitte.
EVA
Klar, ich werde dir die Zubereitung der Bratwürste mit Sauerkraut und Senf schnell zeigen. Hier ist das Rezept:
Zutaten:
100g Bratwurst (je nach Geschmack)
2 EL Senf
1/4 Tasse Sauerkraut, frisch oder konserviert
Salz und Pfeffer nach Geschmack
Brot zum Servieren
Zubereitung:
Die Bratwürste in einer Pfanne bei mittlerer Hitze für etwa 5 Minuten braten, bis sie knusprig sind.
Sauerkraut und Senf hinzufügen und mit der Bratwurst vermischen, bis die Sauerkraut schwarz ist.
Die Bratwürste mit Sauerkraut und Senf servieren, eventuell mit einem Brot oder Kartoffelkäse.
Viel Spaß!
Sincerlich,
EVA
User
Danke ich lass es mir schmecken.
EVA
Es freut mich zu hören, dass du das gefällt! Wenn du noch weitere Rezepte oder Kurse suchst, lass es mich wissen!
Sincerlich,
EVA
Was auch immer wieder ärgerlich ist wenn Sie anfängt Englisch und Deutsch zu vermischen. Aber wie gesagt bis 100K ist es noch etwas.
Wir haben ein kleines zwischen Update hochgeladen. Man merkt das es schon relativ na am Ziel ist.