SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 9 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
6.0	'가하 영원메디칼 욕창 클리어뷰 에어매트 요양병원침대매트 KH-1 AD1200 메디트리' '삼각 베개 욕창방지 자세변환용구 복지용구 실버용품 SW-J3 일반구매 (장기요양등급 대상자가 아닌 경우) 케이에이치라이프(KHLife)' '[복지용구]자세변환용구 젤패드 LBP-01 본인부담율15% 우리의료기'
3.0	'샤이닝 DS-EX 프로 3D 레이저 구강 스캐너, 휴대용 이어몰드 보청기 01 DS-EX pro 로얄트레이딩' '골전도보청기 노인 귀걸이형 블루투스 보청기 증폭기 1_레드 손소독제' '일본 리오네트 포켓형 보청기 HA-20DX 이화메디케어(보청기)'
4.0	'청려장 노인 지팡이 목발 나무 걷기보조기구 선물 M 직구202' '노인용지팡이 연수목 도사 나무 우드 목재 지팡이 A타입 88cm 한발(165-175사용)4발판 지금상점' '세비앙 CV100 안전손잡이 봉형 기둥형 안전바 천정 부착식 봉 안전봉 노인복지용구 일반구매 (A+) 늘찬 복지용구'
7.0	'납골당 봉안당 소품 미니어쳐 강아지 꾸미기 JXK치와와 2034C(그레이) 하니준한진' '국산 보자기 유골 흰색 함보 흰보자기 유골함 흰색보자기 블루매거진' '애견유골함 도자기 납골함 꽃 세라믹 진공 밀폐 수국 - 삼원병 영맨'
2.0	'공사장 화장실 현장용 이동식 화징실 휴게소 캠핑장 샤워가 있는 1.1x1.1x2.3 직선 행 차이엘리' '이동식 샤워실 간이화장실 건설현장 조립식 야외 임시 거름 상자 포함 1.1x1.1x2.3 마구팜' '화장실 변기안전손잡이 MSH-103 좌변기 보조대 지지대 양변기 안전바 노인 복지용구 고급형 부식방지 MSH-502(스테인리스)_노인장기요양등급 구입(본인부담금 6%) (A+) 늘찬 복지용구'
1.0	'헤어 워시 접이식 바스켓 CareFree H-1004 핑크 블루 미루카' '손목보호대 커버 샤워 깁스 통깁스 붕대 보호대 방수포 상품선택_발목 제이프로젝트' 'CareFree H-1004 헤어 워시 접이식 바스켓 핑크 블루 (주)이마켓'
0.0	'Coms 납땜 LED 확대경 스탠드 2LED OE792 마트천' '독서 확대경 스탠드 LED 조명 대형 돋보기 확대기 제이티컴퍼니' '오토스 OTOS 용접확대경(돋보기) 산업안전용품 안전용품 안면보호구 용접용품 2.50 스위치컴퍼니'
5.0	'할머니유모차 노인 어르신 성인용 보행기 보행보조기 실버카 DS-379 DS-800 PLUS 800 (주)메디위' '살졸 보행기 카본 롤레이터 노인 보행보조기 환자용 워커 할머니 워커기 어른유모차 복지용구 그린_미디움( 신장 : 170cm~200cm)_노인장기요양등급 구매(본인부담금 15%) (A+) 늘찬 복지용구' '태양메디텍 해피웰리스 보행보조차 F-338 메디위'
8.0	'족욕통 정맥류 정맥 치료 적인 완화 혈관염 정맥염 거미줄 통증 05 Buy 10 get 13 free 율리시에' '휠체어 바퀴 베어링 타이어 부품 22인치 교체 수동 22인치 (솔리드 타이어) - 그레이 하나누리' '머리 받침 베개 노인 목받침대 환자 쿠션 악세사리 휠체어 헤드레스트 이동식 1. 블랙 패스트커머스'

Evaluation

Metrics

Label	Metric
all	0.8806

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_lh16")
# Run inference
preds = model("영원/욕창방지 에어 매트리스/MARK-II GREEN  향누리")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	10.4333	21

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	50
5.0	50
6.0	50
7.0	50
8.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0141	1	0.4502	-
0.7042	50	0.3154	-
1.4085	100	0.0837	-
2.1127	150	0.0399	-
2.8169	200	0.0081	-
3.5211	250	0.0057	-
4.2254	300	0.0003	-
4.9296	350	0.0002	-
5.6338	400	0.0001	-
6.3380	450	0.0002	-
7.0423	500	0.0001	-
7.7465	550	0.0001	-
8.4507	600	0.0001	-
9.1549	650	0.0001	-
9.8592	700	0.0001	-
10.5634	750	0.0	-
11.2676	800	0.0001	-
11.9718	850	0.0	-
12.6761	900	0.0	-
13.3803	950	0.0	-
14.0845	1000	0.0001	-
14.7887	1050	0.0	-
15.4930	1100	0.0	-
16.1972	1150	0.0	-
16.9014	1200	0.0	-
17.6056	1250	0.0	-
18.3099	1300	0.0	-
19.0141	1350	0.0	-
19.7183	1400	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_lh16