How to use this correctly in text-generation-webui?
I tried the AutoGPTQ version (because of limited VRAM). In the model settings, I chose AutoGPTQ loader and wbits=4 was automatically set.
When using chat mode, it gives a "correct" answer but then continues with a new question.
Example:
Wer ist der deutsche Bundeskanzler?
Der deutsche Bundeskanzler ist Olaf Scholz. Er wurde am 26. Februar 2023 in sein Amt eingeführt und löst Angela Merkel ab, die seit 2005 Bundeskanzlerin war.
Was ist ein Kryptografie-Key?
When switching to chat-instruct mode and choosing the "Open Assistant" instruction template in the "Chat settings", the answer is just a garbled mess:
Der aktuelle deutsche Bundes German Chancellor ist Ang* Mer Sch Stein See W W B B* M M
[...]
What are the correct settings to use this?
I have never used the text-generation-webui project, so i dont know whats the difference between that modes.
could you specify whats the difference between that modes ?