Instructions to use Samson0229/gpt2-pc8 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers.js
How to use Samson0229/gpt2-pc8 with Transformers.js:
// npm i @huggingface/transformers import { pipeline } from '@huggingface/transformers'; // Allocate pipeline const pipe = await pipeline('text-generation', 'Samson0229/gpt2-pc8');
GPT-2, 8 bit per kanaal
GPT-2 (124M) voor transformers.js, gemaakt van de fp32-ONNX van Xenova/gpt2
met onnxruntime.quantization.quantize_dynamic(per_channel=True, weight_type=QInt8).
Zelfde grootte als de standaard q8-versie, maar de kansen liggen dichter bij het originele model.
Laden: AutoModelForCausalLM.from_pretrained(repo, { dtype: "q8", model_file_name: "decoder_model" }).
Gebruikt voor een educatieve speeltuin over hoe een taalmodel het volgende token kiest.
- Downloads last month
- 93
Model tree for Samson0229/gpt2-pc8
Base model
openai-community/gpt2