Transformers

పైటోర్చ్, టెన్సర్‌ఫ్లో, మరియు జాక్స్ కోసం స్థితి-కలాన యంత్ర అభ్యాసం.

🤗 ట్రాన్స్ఫార్మర్స్ అభివృద్ధిస్తున్నది API మరియు ఉపకరణాలు, పూర్వ-చేతన మోడల్లను సులభంగా డౌన్లోడ్ మరియు శిక్షణ చేయడానికి అవసరమైన సమయం, వనరులు, మరియు వస్తువులను నుంచి మోడల్ను శీర్షికం నుంచి ప్రశిక్షించడం వరకు దేవాయనం చేస్తుంది. ఈ మోడల్లు విభిన్న మోడాలిటీలలో సాధారణ పనులకు మద్దతు చేస్తాయి, వంటివి:

📝 ప్రాకృతిక భాష ప్రక్రియ: వచన వర్గీకరణ, పేరుల యొక్క యెంటిటీ గుర్తువు, ప్రశ్న సంవాద, భాషా రచన, సంక్షేపణ, అనువాదం, అనేక ప్రకారాలు, మరియు వచన సృష్టి.
🖼️ కంప్యూటర్ విషయం: చిత్రం వర్గీకరణ, వస్త్రం గుర్తువు, మరియు విభజన.
🗣️ ఆడియో: స్వయంచలన ప్రసంగాన్ని గుర్తుచేసేందుకు, ఆడియో వర్గీకరణ.
🐙 బహుమూలిక: పట్టి ప్రశ్న సంవాద, ఆప్టికల్ సిఫర్ గుర్తువు, డాక్యుమెంట్లు స్క్యాన్ చేసినంతగా సమాచార పొందడం, వీడియో వర్గీకరణ, మరియు దృశ్య ప్రశ్న సంవాద.

🤗 ట్రాన్స్ఫార్మర్స్ పైన మద్దతు చేస్తుంది పైన తొలగించడానికి పైన పైన పైన ప్రోగ్రామ్లో మోడల్ను శిక్షించండి, మరియు అన్ని ప్రాథమిక యొక్కడా ఇన్‌ఫరెన్స్ కోసం లోడ్ చేయండి. మో

డల్లు కూడా ప్రొడక్షన్ వాతావరణాలలో వాడుకోవడానికి ONNX మరియు TorchScript వంటి ఆకృతులకు ఎగుమతి చేయవచ్చు.

ఈరువులకు హబ్, ఫోరం, లేదా డిస్కార్డ్ లో ఈ పెద్ద సముదాయంలో చేరండి!

మీరు హగ్గింగ్ ఫేస్ టీమ్ నుండి అనుకూల మద్దతు కోసం చూస్తున్నట్లయితే

విషయాలు

డాక్యుమెంటేషన్ ఐదు విభాగాలుగా నిర్వహించబడింది:

• ప్రారంభించండి లైబ్రరీ యొక్క శీఘ్ర పర్యటన మరియు రన్నింగ్ కోసం ఇన్‌స్టాలేషన్ సూచనలను అందిస్తుంది.

• ట్యుటోరియల్స్ మీరు అనుభవశూన్యుడు అయితే ప్రారంభించడానికి గొప్ప ప్రదేశం. మీరు లైబ్రరీని ఉపయోగించడం ప్రారంభించడానికి అవసరమైన ప్రాథమిక నైపుణ్యాలను పొందడానికి ఈ విభాగం మీకు సహాయం చేస్తుంది.

• హౌ-టు-గైడ్‌లు లాంగ్వేజ్ మోడలింగ్ కోసం ప్రిట్రైన్డ్ మోడల్‌ని ఫైన్‌ట్యూన్ చేయడం లేదా కస్టమ్ మోడల్‌ను ఎలా వ్రాయాలి మరియు షేర్ చేయాలి వంటి నిర్దిష్ట లక్ష్యాన్ని ఎలా సాధించాలో మీకు చూపుతాయి.

• కాన్సెప్చువల్ గైడ్స్ మోడల్‌లు, టాస్క్‌లు మరియు 🤗 ట్రాన్స్‌ఫార్మర్ల డిజైన్ ఫిలాసఫీ వెనుక ఉన్న అంతర్లీన భావనలు మరియు ఆలోచనల గురించి మరింత చర్చ మరియు వివరణను అందిస్తుంది.

• API అన్ని తరగతులు మరియు విధులను వివరిస్తుంది:

  • ప్రధాన తరగతులు కాన్ఫిగరేషన్, మోడల్, టోకెనైజర్ మరియు పైప్‌లైన్ వంటి అత్యంత ముఖ్యమైన తరగతులను వివరిస్తుంది.
  • మోడల్స్ లైబ్రరీలో అమలు చేయబడిన ప్రతి మోడల్‌కు సంబంధించిన తరగతులు మరియు విధులను వివరిస్తుంది.
  • అంతర్గత సహాయకులు అంతర్గతంగా ఉపయోగించే యుటిలిటీ క్లాస్‌లు మరియు ఫంక్షన్‌ల వివరాలు.

మద్దతు ఉన్న నమూనాలు మరియు ఫ్రేమ్‌వర్క్‌లు

దిగువన ఉన్న పట్టిక ఆ ప్రతి మోడల్‌కు పైథాన్ కలిగి ఉన్నా లైబ్రరీలో ప్రస్తుత మద్దతును సూచిస్తుంది టోకెనైజర్ (“నెమ్మదిగా” అని పిలుస్తారు). Jax (ద్వారా ఫ్లాక్స్), పైటార్చ్ మరియు/లేదా టెన్సర్‌ఫ్లో.

Model	PyTorch support	TensorFlow support	Flax Support
ALBERT	✅	✅	✅
ALIGN	✅	❌	❌
AltCLIP	✅	❌	❌
Audio Spectrogram Transformer	✅	❌	❌
Autoformer	✅	❌	❌
Bark	✅	❌	❌
BART	✅	✅	✅
BARThez	✅	✅	✅
BARTpho	✅	✅	✅
BEiT	✅	❌	✅
BERT	✅	✅	✅
Bert Generation	✅	❌	❌
BertJapanese	✅	✅	✅
BERTweet	✅	✅	✅
BigBird	✅	❌	✅
BigBird-Pegasus	✅	❌	❌
BioGpt	✅	❌	❌
BiT	✅	❌	❌
Blenderbot	✅	✅	✅
BlenderbotSmall	✅	✅	✅
BLIP	✅	✅	❌
BLIP-2	✅	❌	❌
BLOOM	✅	❌	✅
BORT	✅	✅	✅
BridgeTower	✅	❌	❌
BROS	✅	❌	❌
ByT5	✅	✅	✅
CamemBERT	✅	✅	❌
CANINE	✅	❌	❌
Chinese-CLIP	✅	❌	❌
CLAP	✅	❌	❌
CLIP	✅	✅	✅
CLIPSeg	✅	❌	❌
CodeGen	✅	❌	❌
CodeLlama	✅	❌	❌
Conditional DETR	✅	❌	❌
ConvBERT	✅	✅	❌
ConvNeXT	✅	✅	❌
ConvNeXTV2	✅	❌	❌
CPM	✅	✅	✅
CPM-Ant	✅	❌	❌
CTRL	✅	✅	❌
CvT	✅	✅	❌
Data2VecAudio	✅	❌	❌
Data2VecText	✅	❌	❌
Data2VecVision	✅	✅	❌
DeBERTa	✅	✅	❌
DeBERTa-v2	✅	✅	❌
Decision Transformer	✅	❌	❌
Deformable DETR	✅	❌	❌
DeiT	✅	✅	❌
DePlot	✅	❌	❌
DETA	✅	❌	❌
DETR	✅	❌	❌
DialoGPT	✅	✅	✅
DiNAT	✅	❌	❌
DINOv2	✅	❌	❌
DistilBERT	✅	✅	✅
DiT	✅	❌	✅
DonutSwin	✅	❌	❌
DPR	✅	✅	❌
DPT	✅	❌	❌
EfficientFormer	✅	✅	❌
EfficientNet	✅	❌	❌
ELECTRA	✅	✅	✅
EnCodec	✅	❌	❌
Encoder decoder	✅	✅	✅
ERNIE	✅	❌	❌
ErnieM	✅	❌	❌
ESM	✅	✅	❌
FairSeq Machine-Translation	✅	❌	❌
Falcon	✅	❌	❌
FLAN-T5	✅	✅	✅
FLAN-UL2	✅	✅	✅
FlauBERT	✅	✅	❌
FLAVA	✅	❌	❌
FNet	✅	❌	❌
FocalNet	✅	❌	❌
Funnel Transformer	✅	✅	❌
GIT	✅	❌	❌
GLPN	✅	❌	❌
GPT Neo	✅	❌	✅
GPT NeoX	✅	❌	❌
GPT NeoX Japanese	✅	❌	❌
GPT-J	✅	✅	✅
GPT-Sw3	✅	✅	✅
GPTBigCode	✅	❌	❌
GPTSAN-japanese	✅	❌	❌
Graphormer	✅	❌	❌
GroupViT	✅	✅	❌
HerBERT	✅	✅	✅
Hubert	✅	✅	❌
I-BERT	✅	❌	❌
IDEFICS	✅	❌	❌
ImageGPT	✅	❌	❌
Informer	✅	❌	❌
InstructBLIP	✅	❌	❌
Jukebox	✅	❌	❌
LayoutLM	✅	✅	❌
LayoutLMv2	✅	❌	❌
LayoutLMv3	✅	✅	❌
LayoutXLM	✅	❌	❌
LED	✅	✅	❌
LeViT	✅	❌	❌
LiLT	✅	❌	❌
LLaMA	✅	❌	❌
Llama2	✅	❌	❌
Longformer	✅	✅	❌
LongT5	✅	❌	✅
LUKE	✅	❌	❌
LXMERT	✅	✅	❌
M-CTC-T	✅	❌	❌
M2M100	✅	❌	❌
Marian	✅	✅	✅
MarkupLM	✅	❌	❌
Mask2Former	✅	❌	❌
MaskFormer	✅	❌	❌
MatCha	✅	❌	❌
mBART	✅	✅	✅
mBART-50	✅	✅	✅
MEGA	✅	❌	❌
Megatron-BERT	✅	❌	❌
Megatron-GPT2	✅	✅	✅
MGP-STR	✅	❌	❌
Mistral	✅	❌	❌
mLUKE	✅	❌	❌
MMS	✅	✅	✅
MobileBERT	✅	✅	❌
MobileNetV1	✅	❌	❌
MobileNetV2	✅	❌	❌
MobileViT	✅	✅	❌
MobileViTV2	✅	❌	❌
MPNet	✅	✅	❌
MPT	✅	❌	❌
MRA	✅	❌	❌
MT5	✅	✅	✅
MusicGen	✅	❌	❌
MVP	✅	❌	❌
NAT	✅	❌	❌
Nezha	✅	❌	❌
NLLB	✅	❌	❌
NLLB-MOE	✅	❌	❌
Nougat	✅	✅	✅
Nyströmformer	✅	❌	❌
OneFormer	✅	❌	❌
OpenAI GPT	✅	✅	❌
OpenAI GPT-2	✅	✅	✅
OpenLlama	✅	❌	❌
OPT	✅	✅	✅
OWL-ViT	✅	❌	❌
Pegasus	✅	✅	✅
PEGASUS-X	✅	❌	❌
Perceiver	✅	❌	❌
Persimmon	✅	❌	❌
PhoBERT	✅	✅	✅
Pix2Struct	✅	❌	❌
PLBart	✅	❌	❌
PoolFormer	✅	❌	❌
Pop2Piano	✅	❌	❌
ProphetNet	✅	❌	❌
PVT	✅	❌	❌
QDQBert	✅	❌	❌
RAG	✅	✅	❌
REALM	✅	❌	❌
Reformer	✅	❌	❌
RegNet	✅	✅	✅
RemBERT	✅	✅	❌
ResNet	✅	✅	✅
RetriBERT	✅	❌	❌
RoBERTa	✅	✅	✅
RoBERTa-PreLayerNorm	✅	✅	✅
RoCBert	✅	❌	❌
RoFormer	✅	✅	✅
RWKV	✅	❌	❌
SAM	✅	✅	❌
SegFormer	✅	✅	❌
SEW	✅	❌	❌
SEW-D	✅	❌	❌
Speech Encoder decoder	✅	❌	✅
Speech2Text	✅	✅	❌
SpeechT5	✅	❌	❌
Splinter	✅	❌	❌
SqueezeBERT	✅	❌	❌
SwiftFormer	✅	❌	❌
Swin Transformer	✅	✅	❌
Swin Transformer V2	✅	❌	❌
Swin2SR	✅	❌	❌
SwitchTransformers	✅	❌	❌
T5	✅	✅	✅
T5v1.1	✅	✅	✅
Table Transformer	✅	❌	❌
TAPAS	✅	✅	❌
TAPEX	✅	✅	✅
Time Series Transformer	✅	❌	❌
TimeSformer	✅	❌	❌
Trajectory Transformer	✅	❌	❌
Transformer-XL	✅	✅	❌
TrOCR	✅	❌	❌
TVLT	✅	❌	❌
UL2	✅	✅	✅
UMT5	✅	❌	❌
UniSpeech	✅	❌	❌
UniSpeechSat	✅	❌	❌
UPerNet	✅	❌	❌
VAN	✅	❌	❌
VideoMAE	✅	❌	❌
ViLT	✅	❌	❌
Vision Encoder decoder	✅	✅	✅
VisionTextDualEncoder	✅	✅	✅
VisualBERT	✅	❌	❌
ViT	✅	✅	✅
ViT Hybrid	✅	❌	❌
VitDet	✅	❌	❌
ViTMAE	✅	✅	❌
ViTMatte	✅	❌	❌
ViTMSN	✅	❌	❌
VITS	✅	❌	❌
ViViT	✅	❌	❌
Wav2Vec2	✅	✅	✅
Wav2Vec2-Conformer	✅	❌	❌
Wav2Vec2Phoneme	✅	✅	✅
WavLM	✅	❌	❌
Whisper	✅	✅	✅
X-CLIP	✅	❌	❌
X-MOD	✅	❌	❌
XGLM	✅	✅	✅
XLM	✅	✅	❌
XLM-ProphetNet	✅	❌	❌
XLM-RoBERTa	✅	✅	✅
XLM-RoBERTa-XL	✅	❌	❌
XLM-V	✅	✅	✅
XLNet	✅	✅	❌
XLS-R	✅	✅	✅
XLSR-Wav2Vec2	✅	✅	✅
YOLOS	✅	❌	❌
YOSO	✅	❌	❌