Model Card for Model ID
Model Description
llama-2-7b-chat-hf ๋ฏธ์ธ ํ๋
ํด๋น ๋ชจ๋ธ์ ๋ค์ด๋ฒ ์ํ ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ์ ์ธ NSMC์ ๋ํด meta-llama/Llama-2-7b-chat-hf์ ๋ฏธ์ธํ๋ํ ๋ชจ๋ธ์ ๋๋ค.
์ํ ๋ฆฌ๋ทฐ ํ ์คํธ๋ฅผ ํ๋กฌํํธ์ ํฌํจํ์ฌ ๋ชจ๋ธ์ ์ ๋ ฅ์,'๊ธ์ ' ๋๋ '๋ถ์ ' ์ด๋ผ๊ณ ์์ธก ํ ์คํธ๋ฅผ ์ง์ ์์ฑํฉ๋๋ค.
๊ฒฐ๊ณผ์ ์ผ๋ก, ์ ํ๋ 89.7%๋ฅผ ๊ฐ์ง๋ ๋ชจ๋ธ์ ์์ฑํ์ต๋๋ค.
Train, Test ๋ฐ์ดํฐ์
ํด๋น ๋ชจ๋ธ์ NSMC์ train ๋ฐ์ดํฐ์ ์์ 2,000๊ฐ์ ์ํ์ ํ์ต์ ์ฌ์ฉํ์ต๋๋ค.
ํด๋น ๋ชจ๋ธ์ NSMC์ test ๋ฐ์ดํฐ์ ์์ 1,000๊ฐ์ ์ํ์ ํ๊ฐ์ ์ฌ์ฉํ์ต๋๋ค.
Training procedure
The following bitsandbytes
quantization config was used during training:
- quant_method: bitsandbytes
- load_in_8bit: False
- load_in_4bit: True
- llm_int8_threshold: 6.0
- llm_int8_skip_modules: None
- llm_int8_enable_fp32_cpu_offload: False
- llm_int8_has_fp16_weight: False
- bnb_4bit_quant_type: nf4
- bnb_4bit_use_double_quant: False
- bnb_4bit_compute_dtype: bfloat16
Training_step_loss
Confusion_Matrix
Accuracy_Classification_Report
Framework versions
- PEFT 0.7.0
- Downloads last month
- 0
Unable to determine this modelโs pipeline type. Check the
docs
.