Model Card for Model ID
Model Description
midm-bitext-S-7B-inst-v1 ๋ฏธ์ธ ํ๋
ํด๋น ๋ชจ๋ธ์ ๋ค์ด๋ฒ ์ํ ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ์ ์ธ NSMC์ ๋ํด KT-AI/midm-bitext-S-7B-inst-v1์ ๋ฏธ์ธํ๋ํ ๋ชจ๋ธ์ ๋๋ค.
์ํ ๋ฆฌ๋ทฐ ํ ์คํธ๋ฅผ ํ๋กฌํํธ์ ํฌํจํ์ฌ ๋ชจ๋ธ์ ์ ๋ ฅ์,'๊ธ์ ' ๋๋ '๋ถ์ ' ์ด๋ผ๊ณ ์์ธก ํ ์คํธ๋ฅผ ์ง์ ์์ฑํฉ๋๋ค.
๊ฒฐ๊ณผ์ ์ผ๋ก, ์ ํ๋ 90.0%๋ฅผ ๊ฐ์ง๋ ๋ชจ๋ธ์ ์์ฑํ์ต๋๋ค.
Train, Test ๋ฐ์ดํฐ์
ํด๋น ๋ชจ๋ธ์ NSMC์ train ๋ฐ์ดํฐ์ ์์ 2,000๊ฐ์ ์ํ์ ํ์ต์ ์ฌ์ฉํ์ต๋๋ค.
ํด๋น ๋ชจ๋ธ์ NSMC์ test ๋ฐ์ดํฐ์ ์์ 1,000๊ฐ์ ์ํ์ ํ๊ฐ์ ์ฌ์ฉํ์ต๋๋ค.
Training_step_loss
Confusion_Matrix
Accuracy_Classification_Report
Training procedure
The following bitsandbytes
quantization config was used during training:
- quant_method: bitsandbytes
- load_in_8bit: False
- load_in_4bit: True
- llm_int8_threshold: 6.0
- llm_int8_skip_modules: None
- llm_int8_enable_fp32_cpu_offload: False
- llm_int8_has_fp16_weight: False
- bnb_4bit_quant_type: nf4
- bnb_4bit_use_double_quant: False
- bnb_4bit_compute_dtype: bfloat16
Framework versions
- PEFT 0.7.0
- Downloads last month
- 7
Model tree for seojin0128/hw-midm-7B-nsmc
Base model
KT-AI/midm-bitext-S-7B-inst-v1