SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 11 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
0.0	'손펌프 미니 물조리개 500ml 에이치앤엠' '심플 파스텔 화분 물조리개 1.8L 가드닝 물조루 원예 JH15 파스텔 핑크 (주)엔티렉스' '2L 물 엔틱실린더 물뿌리개 옐로우 준모NJM'
4.0	'초대형 개오지 조개 껍데기 바다의 소리 듣기 선물 컬렉션 소라 표본 1. AB 약 11-13cm 7. Y 약 14cm 지와이 실크로드' '식물이름표 T형(소2미니) 100장묶음 흰라벨 화분이름표 식물라벨 4.T형(특대8)30장 무지개원예자재' '색동나무 시트타입 그래피티니팅 가로수월동 SNW-04-90CM 마루온조경 주식회사'
8.0	'아임랙 슬림랙라인 2단 화분선반 철제 화분 받침대 플렌트 정리대 400x300x900 600x400_분리형1500(기본3단)_무드블랙 호레이몰(Hooray mall)' '코팅 난대 10구 난분 화분걸이 난화분 정리 화분대 진열 코팅난대 10구 大 다온디포' '라우 다육이 식물 화분 선반 베란다 선반대 거치대 철제 스탠드 받침대 진열대 거실 정리대 마칸 화분대 JS무역'
9.0	'플라스틱 화분받침대 동그라미 5호 내경140mm 황토(토기색) 베스트하우스' '원형 동그라미 사각 타원형 화분받침 물받이 화분 받침대 민자 소 원형 민자_화이트_2호 영농사' '이동식 원형 1호 화분받침대 바퀴 물받이 1_2원형물받침(바퀴미포함)_블랙_5호(32cm)(바퀴미포함) 주식회사 플라팜'
6.0	'음나무 가시없는 민엄나무 묘목 엄나무 2년 20-30cm 민엄나무 2년생 20-30cm 한밭농원' '사철나무 1m 울타리나무 묘목 생울타리 개나리나무 1M 에버팜' '넝쿨 장미나무 덩굴 사계장미 묘목 1-2지 영국장미 독일 04.독일고급정원장미_12. 노발리스 에버팜'
1.0	'옹기수반 돌확 고양이 분수 자동 스테인리스 스틸 더블 볼 먹이 식수 개 물 초저소음 Smart Sensor Set 드림월드' '돌확 사각수반 인조 잔디 미끄럼 방지 야외 러그 매트 방향 출입구 0.5x2m 19.7X78.6in 에스유09' '백년옹기 무공해 옴팽이옹기수반 항아리어항 중 백년옹기'
3.0	'썬킴 코코칩 압축형 3개 멀칭 분갈이흙 파충류바닥재 코코넛칩 코코넛바크 세척훈증처리 썬킴글로벌코리아' '백 자갈 콩자갈 강자갈 백자갈_백자갈 20-27mm 10kg 주식회사 금' '경인소재 규사 3호 4호 5호 6호 7호 25kg 반품불가 5호사(0.2~0.4mm) 한양피앤씨'
7.0	'화분 무광플레인 원형 화이트 소 인테리어 플라스틱화분 대형 도자기 분갈이 340~350(플라스틱화분)_349]낮은육각그레이(대) 그린데이' '베하몰 표준형 토분 독일 키큰 21x25cm 클래식(황토색) 독일키큰 17x20cm_그래니트(크림화이트) 베스트하우스' '슬릿화분 일본 플라스틱화분 젠가든 슬릿분 플분 eu06 [화이트]EU09 젠아파트먼트'
10.0	'네마크린 200g 딸기 작은 뿌리파리 방제 나방 유충 천적 방제 보밍' '발효계분 20L 퇴비 거름 가축분 메리머치(Merry Merch)' '심폐소생 250g/원예/비료/영양제 시네캠퍼스'
2.0	'천 폐기물 마당 PE 핸들 가방 더블 환경 퇴비 조립식비닐하우스 유기 주방 45 80cm 와이드캘리샾' '관수상자 베이스 트레이 100장 플러그 모종 저면 모종판 삽목상자 육묘 푸른봄센터' '농업용 서리방지 부직포 20g 1.7m x 400m 보온 못자리 덮개 양마 마늘 청년 농자재'
5.0	'크리스마스 와인 커버 인테리어 장식 선물 파티 데코 소품 병 니트 양말 물병 산타 루돌프 용품 산타 김양스토리(kimyang-story)' 'LED줄전구 컬러 트리 USB 투명선 300구 조명 리모컨 잇템직구' '그물전구 조명 장식 네트 녹색선 200구 LED 백색 지니 홈픽마켓'

Evaluation

Metrics

Label	Metric
all	0.9584

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_lh22")
# Run inference
preds = model("원형 동그라미 사각 타원형 화분받침 물받이 화분 받침대 민자 소 원형 민자_브라운_4호 영농사")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	4	11.5982	25

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	50
5.0	50
6.0	50
7.0	50
8.0	50
9.0	50
10.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0116	1	0.4612	-
0.5814	50	0.3432	-
1.1628	100	0.1133	-
1.7442	150	0.0601	-
2.3256	200	0.0364	-
2.9070	250	0.0199	-
3.4884	300	0.0272	-
4.0698	350	0.01	-
4.6512	400	0.0023	-
5.2326	450	0.0118	-
5.8140	500	0.0097	-
6.3953	550	0.0098	-
6.9767	600	0.0128	-
7.5581	650	0.003	-
8.1395	700	0.0002	-
8.7209	750	0.0001	-
9.3023	800	0.0	-
9.8837	850	0.0	-
10.4651	900	0.0	-
11.0465	950	0.0	-
11.6279	1000	0.0	-
12.2093	1050	0.0	-
12.7907	1100	0.0	-
13.3721	1150	0.0	-
13.9535	1200	0.0001	-
14.5349	1250	0.0	-
15.1163	1300	0.0	-
15.6977	1350	0.0	-
16.2791	1400	0.0	-
16.8605	1450	0.0	-
17.4419	1500	0.0	-
18.0233	1550	0.0	-
18.6047	1600	0.0	-
19.1860	1650	0.0	-
19.7674	1700	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_lh22