GPT-2, 8 bit per kanaal

GPT-2 (124M) voor transformers.js, gemaakt van de fp32-ONNX van Xenova/gpt2 met onnxruntime.quantization.quantize_dynamic(per_channel=True, weight_type=QInt8). Zelfde grootte als de standaard q8-versie, maar de kansen liggen dichter bij het originele model.

Laden: AutoModelForCausalLM.from_pretrained(repo, { dtype: "q8", model_file_name: "decoder_model" }). Gebruikt voor een educatieve speeltuin over hoe een taalmodel het volgende token kiest.

Downloads last month
93
Inference Providers NEW
This model isn't deployed by any Inference Provider. ๐Ÿ™‹ Ask for provider support

Model tree for Samson0229/gpt2-pc8

Quantized
(101)
this model