Version für oobabooga?
#1
by
RonSwanson123
- opened
Ist es auch möglich das man auch eine safetensors/pt Version macht? Bin leider zu blöd, um das Modell auszuführen.
Danke für deine Arbeit.
RonSwanson123
changed discussion status to
closed
Hast du es geschafft?
Ich glaube, da das Modell auf Bloom aufbaut und oobabooga keine Bloom-basierten Modelle unterstützt, dürfte das momentan nicht möglich sein.
Bin aber auch nicht zu 100% sicher.
Danke für die schnelle Antwort.
Hab es über download-model.bat installiert. Wird aber in den Lora Ordner installiert. Hab es einfach in den Modell-Ordner geschoben und konnte es dann starten. Aber ich weiß nicht, ob es wirklich richtig läuft, generiert ziemlich viel Müll. Auch sind die Tokens scheinbar begrenzt, auch wenn man sie erhöht.