SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 13 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
10.0	'밀로 [Exclusive] Holiday Signature Ball Cap (20Colors) MINT GRAY 포챌린지' '(골라) 남녀공용 (GL)CONTRAST STITCHED CAP (3 COLOR) WW9G3SAAC101 연핑크_FRE ' '밀로 [Exclusive] Holiday Signature Ball Cap (20Colors) STONE BLACK 포챌린지'
4.0	'꽈배기 비니 모자 두꺼운 골무 털 뜨개 여성 겨울 캡 알파카 남자 커플 니트 주황색_S(아이 32-52 cm) 앤디일레븐' '패션모자 방한 남자 니트 후드 겨울 장갑 가을 워머 도톰한 3종세트 기모 블랙 마이클로드' '털모자 따뜻한 낚시 모자 아빠 중년남성 노인 겨울 옵션06 에스앤지샵'
7.0	'[하프클럽/구김스]구김스 모자(스포츠/등산/여행/방수) BEST 7종 균일가 763_블랙_D type 하프클럽' '캉골 아웃도어 액티비티 버켓 4480 에크루 M AK플라자1관' '벤시몽[23FW] WINTER BUCKET HAT - 2color NAVY_FREE 주식회사 에스에스지닷컴'
3.0	'고탄성 부드러운 메쉬 원단 운동야외활동 스카프 두건 연그레이 드림픽쳐스' '[로스코]반다나 스카프 헤어밴드 페이즐리 손수건 OLIVE DRAB_4051/Freesize 패션플러스' '페이즐리 반다나 헤어 머리두건 비 손수건 스카프 그린 보물삼'
1.0	'방한모자2종 귀달이 털모자 군밤 스키 용품 트래퍼햇 마스크 캡방한모자 01.불구덩이군방모자 제이케이 아트 갤러리' '[MLB] 패딩 트루퍼 귀달이 햇(3AWMPH136-50BKS) 블랙-50BKS/59H 에이케이에스앤디(주) AK플라자 평택점' '겨울 곰돌이 후드 귀달이 모자 목돌이 동물 털모자 05.브라운 석진케이 주식회사'
9.0	'스냅백 패션모자 snapback (투톤)그레이오렌지 루나마켓' '스냅백 패션모자 snapback 레드 루나마켓' '공용 메탈 원포인트 스냅백 뉴욕양키스 (32CP57111-50L) '
0.0	'기본 군모 버킷햇 밀리터리 여자 빈티지군모 모자 남자 버캣햇 블랙 카키 / FREE 체인지비' '빈티지 워싱 느낌 영문 레터링 장식 포인트 엣지 군모 그레이 (주)오너클랜' '질좋은 군모 모자(차콜/국내생산) 네이비 프리마켓'
2.0	'여자 겨울템 따뜻 극세사 양털곰돌이머리띠 귀마개 A24973_베이지_FREE 세븐제이스(7JS)' '양털 곰돌이귀마개 귀도리 뽀글이 귀마개 방한귀마개 목도리 화이트 현성마켓' '스타일 더하기-36-꽈배기방한귀마개 핑크 이미연'
6.0	'국내발송 MARITHE FRANCOIS GIRBAUD 마리떼 CABLE KNIT BEANIE blue 1MG23SHG112 ONE SIZE 씨이랩' '[매장발송] 마리떼 CLASSIC LOGO BEANIE black OS 와이에스마켓' 'MARITHE FRANCOIS GIRBAUD CABLE KNIT BEANIE gray 1MG23SHG112 227185 ONE SIZE 원플렉스'
8.0	'비앙카 BIANCA (여성용) 누가/내추럴로고_OS ' '[롯데백화점]화이트샌즈 공용 UV 프로텍션 바이저 소니아 2.아이보리 롯데백화점_' '화이트샌즈 소니아 UV 프로텍션 썬바이저 1종 [00003] 아이보리 현대홈쇼핑'
12.0	'캉골 헌팅캡 울 플렉스핏 504 K0873 심리스 울 507 K0875 3107 남녀공용 베레모 3. K3107ST (Black)_SMALL 어썸우즈' '다용도 활용 직원 종업원 단체 패션 모자 헌팅캡 화이트 가온' '앨리 카페 바리스타 모자 베이커 캡 마도로스햇[루즈루나주얼리] 블랙 주식회사 웹이즈'
11.0	'1631뉴욕 볼캡 6color / 남녀공용모자 캡모자 그린 레이어드컴퍼니' '패션벙거지0009 벙거지 가을 모자 여성 패션 밤색 골드코스트' '꽈배기니트벙거지모자B28016 검정 프레임바이브'
5.0	'니트 베레모 S1450 진주방울 핑크 지에이치글로벌' '[박민영, 라이즈 원빈 착용] 스터드 로고 울 베레모 블랙 ' '/ 베이직 레더 뉴스보이캡 빵모자 (2color) 아이보리_one size 롭스(robs)'

Evaluation

Metrics

Label	Metric
all	0.8489

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_ac2")
# Run inference
preds = model("남여공용 기본군모 4컬러 EVE 카키 에브리씽굿")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	9.5523	21

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	50
5.0	50
6.0	50
7.0	50
8.0	50
9.0	50
10.0	50
11.0	50
12.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0098	1	0.4348	-
0.4902	50	0.3427	-
0.9804	100	0.1921	-
1.4706	150	0.1061	-
1.9608	200	0.0544	-
2.4510	250	0.0384	-
2.9412	300	0.0155	-
3.4314	350	0.0128	-
3.9216	400	0.0177	-
4.4118	450	0.0082	-
4.9020	500	0.005	-
5.3922	550	0.0007	-
5.8824	600	0.0004	-
6.3725	650	0.0003	-
6.8627	700	0.0003	-
7.3529	750	0.0003	-
7.8431	800	0.0003	-
8.3333	850	0.0003	-
8.8235	900	0.0002	-
9.3137	950	0.0002	-
9.8039	1000	0.0001	-
10.2941	1050	0.0001	-
10.7843	1100	0.0001	-
11.2745	1150	0.0001	-
11.7647	1200	0.0001	-
12.2549	1250	0.0001	-
12.7451	1300	0.0001	-
13.2353	1350	0.0001	-
13.7255	1400	0.0001	-
14.2157	1450	0.0001	-
14.7059	1500	0.0001	-
15.1961	1550	0.0001	-
15.6863	1600	0.0001	-
16.1765	1650	0.0001	-
16.6667	1700	0.0001	-
17.1569	1750	0.0001	-
17.6471	1800	0.0001	-
18.1373	1850	0.0001	-
18.6275	1900	0.0001	-
19.1176	1950	0.0001	-
19.6078	2000	0.0001	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_ac2