scipy torch gradio #auto-gptq accelerate transformers #transformers==4.29.1 sentencepiece #fast Tokenizer - necessary, wenn torch_dtype=torch.float16 angeschaltet ist bei funktion load_tokenizer_and_model #optimum bitsandbytes einops #speziell für Falcon NN notwendig - für den remote-trust....