SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 11 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
7.0	'[플라하반] 유기농 포리지 500g 외 2종 롤드오트 압착귀리 유기농 포리지 280g 주식회사 수성인터내셔널' '포스트 화이버 오트밀 오리지날 350g 다복상사' '오트밀(식사용) 1kg/이든타운/오트밀/오트밀죽/oatmeal/압착귀리/곡류/곡물/시리얼/씨리얼/후레이크/생식/선식/건강식/두유/우유/제과/제빵/쿠키/재료/식사대용/요거트 드랍쉽'
0.0	'볶은 검은깨 분말 가루 국내산 300g 검정깨 블랙푸드 검은콩청국장환 200g 농업회사법인 주식회사 두손애약초' '볶은 검은깨 분말 가루 국내산 300g 검정깨 블랙푸드 검은콩검은깨환 210g 농업회사법인 주식회사 두손애약초' '국산 냉풍건조 아로니아분말 500g [분말]아로니아분말 500g x 2팩 농업회사법인 청정산들해(주)'
1.0	'뚜레반 17곡 미숫가루 1kg B_청정원 홍초 자몽900ml 무한상사' '뚜레반 17곡 미숫가루 1kg C_뚜레반 콩국수용 콩가루850g 무한상사' '뚜레반 17곡 미숫가루A+1kg 주식회사 삼부'
3.0	'[대한제분]곰표부침가루1kg / 곰표튀김가루1kg 감사 곰표부침가루1kg 동아식품' '오뚜기 나눔7호 직원 거래처 명절준비 선물세트 제이엔팩토리' '큐원 쫄깃한 참 부침 가루 1kg 가정 업소 호박 파 전 전가네TMG'
6.0	'프리미엄 아몬드가루 1kg 95% 아몬드분말 아몬드파우더 프리미엄 아몬드분말(95%) 1kg 대륙유통' '너츠빌 캘리포니아 아몬드 분말 가루 파우더 1kg 아몬드 슬라이스 1kg (주)엠디에프앤' '너츠빌 캘리포니아 아몬드 분말 가루 파우더 1kg 아몬드 분말 100% 1kg (주)엠디에프앤'
8.0	'사조해표 찹쌀가루 350g 건우푸드' '사조 해표 찹쌀가루 350g 감자전분 350g 주식회사 더 골든트리' '해표 찹쌀가루 350g-1개 에이치엠몰(HM mall)'
10.0	'해표 튀김가루 1kg/부침요리/전 해표 튀김가루 1kg 단비마켓' 'CJ제일제당 백설 치킨 튀김가루 1kg 바름푸드' 'CJ제일제당 백설 튀김가루 1kg 1)튀김가루 태성유통'
4.0	'신일 냉동 골드빵가루 2kg (주)우주식품디씨오피' '오뚜기 빵가루 1KG 자취 대용량 식자재 선물 튀김 제사 명절 부침개 간식 하나칭구' '오뚜기 빵가루 200g 이고지고'
2.0	'백설 박력밀가루 1kg (박력분) 주식회사 몬즈컴퍼니' '아티장 밀가루 T55 20KG 백설 베이킹스타' '박력밀가루(큐원 1K) 썬샤인웍스'
5.0	'[대두식품] 강력쌀가루(국산) 15kg (주)대두식품서울지점' '싸리재 유기농 습식 쌀가루 [ 백미 멥쌀가루 1kg ] 떡만들기 베이킹 비건요리 무염백미찹쌀가루 1kg 농업회사법인콩사랑유한회사' '햇쌀마루 박력쌀가루 3kg 이캔유통'
9.0	'뚜레반 날콩가루 1kg (주)울산팡' '복만네 콩국수용 콩가루 850g 05.해늘이볶은콩가루1kg 바른에프에스' '[복만네] 콩국수용 콩가루 850g / 콩국 선식 (주)유영유통'

Evaluation

Metrics

Label	Metric
all	0.9630

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_fd0")
# Run inference
preds = model("CJ제일제당 백설 강력밀가루 2.5kg  둘레푸드")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	4	8.9308	24

Label	Training Sample Count
0.0	50
1.0	22
2.0	50
3.0	50
4.0	50
5.0	32
6.0	18
7.0	50
8.0	26
9.0	50
10.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0143	1	0.4619	-
0.7143	50	0.2999	-
1.4286	100	0.1066	-
2.1429	150	0.0721	-
2.8571	200	0.0457	-
3.5714	250	0.03	-
4.2857	300	0.0045	-
5.0	350	0.002	-
5.7143	400	0.004	-
6.4286	450	0.002	-
7.1429	500	0.0077	-
7.8571	550	0.002	-
8.5714	600	0.006	-
9.2857	650	0.0019	-
10.0	700	0.0001	-
10.7143	750	0.0001	-
11.4286	800	0.0001	-
12.1429	850	0.0	-
12.8571	900	0.0	-
13.5714	950	0.0	-
14.2857	1000	0.0	-
15.0	1050	0.0	-
15.7143	1100	0.0	-
16.4286	1150	0.0	-
17.1429	1200	0.0	-
17.8571	1250	0.0	-
18.5714	1300	0.0	-
19.2857	1350	0.0	-
20.0	1400	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_fd0