hw-midm-7B-nsmc2 / README.md
yelin1001's picture
Create README.md
4c412fa

μ‹€ν—˜ κ°œμš”

λ³Έ μ‹€ν—˜μ€ ν•œκ΅­μ–΄ μ˜ν™” 리뷰 데이터셋(NSMC)을 μ‚¬μš©ν•˜μ—¬ meta-llama/Llama-2-7b-chat-hf λͺ¨λΈμ„ λ―Έμ„Έ νŠœλ‹ν•˜κ³ , ν•œκ΅­ μ˜ν™” 리뷰의 긍정 λ˜λŠ” 뢀정을 λΆ„λ₯˜ν•˜λŠ” λͺ¨λΈμ„ ν•™μŠ΅ν•˜μ˜€μŠ΅λ‹ˆλ‹€. μ‹€ν—˜μ€ Hugging Face의 PEFT와 SFTTrainerλ₯Ό μ‚¬μš©ν•˜μ—¬ μˆ˜ν–‰ν–ˆμœΌλ©°, ν‰κ°€λŠ” 정확도 및 혼돈 행렬을 ν¬ν•¨ν•œ λ‹€μ–‘ν•œ μ§€ν‘œλ₯Ό 톡해 μ΄λ£¨μ–΄μ‘ŒμŠ΅λ‹ˆλ‹€.

μ‹€ν—˜ ν™˜κ²½ μ„€μ •

λͺ¨λΈ: KT-AI/midm-bitext-S-7B-inst-v1
ν•™μŠ΅ 데이터: NSMC (넀이버 μ˜ν™” 리뷰 데이터셋)
ν•˜μ΄νΌνŒŒλΌλ―Έν„° 및 μ„€μ •
λ―Έλ‹ˆλ°°μΉ˜ 크기: 1
μ‹œν€€μŠ€ 길이: 384
ν•™μŠ΅λ₯ : 1e-4
에폭 수: 1

정확도 ν–₯상을 μœ„ν•œ λ…Έλ ₯

  1. ν›ˆλ ¨ 데이터 ν™•μž₯ ν›ˆλ ¨ λ°μ΄ν„°μ˜ 개수λ₯Ό 2000κ°œλΆ€ν„° μ‹œμž‘ν–ˆκ³  1000κ°œμ”© ν™•μž₯ν•˜μ—¬ ν•™μŠ΅μ‹œμΌ°μŠ΅λ‹ˆλ‹€.

  2. ν”„λ‘¬ν”„νŠΈ ν…œν”Œλ¦Ώ λ³€κ²½ λ‹€μ–‘ν•œ ν”„λ‘¬ν”„νŠΈ ν…œν”Œλ¦Ώμ„ μ‹œλ„ν•˜μ—¬ μ–΄λ–€ ν˜•μ‹μ΄ λͺ¨λΈμ˜ μ„±λŠ₯을 ν–₯μƒμ‹œν‚€λŠ”μ§€ ν‰κ°€ν–ˆμŠ΅λ‹ˆλ‹€.

  3. ν›ˆλ ¨ 총 μŠ€ν… 수 λ³€κ²½ ν›ˆλ ¨ μŠ€ν…μ΄ λ†’μ„μˆ˜λ‘ 더 λ§Žμ€ 데이터λ₯Ό μ²˜λ¦¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€. ν•˜μ§€λ§Œ λ„ˆλ¬΄ λ†’κ±°λ‚˜ ν›ˆλ ¨ 데이터 κ°œμˆ˜κ°€ μΆ©λΆ„ν•˜μ§€ μ•Šλ‹€λ©΄ μ˜€λ²„ν”ΌνŒ…λ  수 있기 λ•Œλ¬Έμ— 800μ •λ„λ‘œ λ„ˆλ¬΄ 높지 μ•Šκ²Œ λ³€κ²½ν–ˆμŠ΅λ‹ˆλ‹€.

μœ„μ˜ 3가지 방법을 μ‘°ν•©ν•˜μ—¬ 정확도가 0.9 이상이 될 수 μžˆλ„λ‘ ν•™μŠ΅μ‹œμΌ°μŠ΅λ‹ˆλ‹€.

λΆ„λ₯˜ κ²°κ³Ό

Confusion Matrix

TP TN
PP 446 28
PN 62 464

Classification Report

precision recall f1-score support
Negative 0.88 0.94 0.91 492
Positive 0.94 0.88 0.91 508
accuracy 0.91 1000
macro avg 0.91 0.91 0.91 1000
weighted avg 0.91 0.91 0.91 1000

κ²°κ³Ό 뢄석

μ •ν™•λ„λŠ” 0.910으둜 λͺ¨λΈμ΄ 1000개 ν…ŒμŠ€νŠΈ 데이터 쀑 910κ°œμ— λŒ€ν•΄ μ •ν™•ν•œ μ˜ˆμΈ‘μ„ μˆ˜ν–‰ν–ˆλ‹€. TP : 446, TN : 464, FP : 28, FN : 62의 κ²°κ³Όκ°€ λ‚˜μ™”λ‹€. λ―Έμ„ΈνŠœλ‹λœ λͺ¨λΈμ€ 주둜 긍정적인 리뷰λ₯Ό λΆ€μ •μ μœΌλ‘œ 잘λͺ» μ˜ˆμΈ‘ν•˜λŠ” κ²½ν–₯이 μžˆλ‹€.