requirements.txt

torch
gradio 
#auto-gptq
accelerate
transformers
#transformers==4.29.1
sentencepiece        #fast Tokenizer - necessary, wenn torch_dtype=torch.float16 angeschaltet ist bei funktion load_tokenizer_and_model
#optimum