cheonyumin commited on
Commit
5a1a43c
β€’
1 Parent(s): 441bee4

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +20 -1
README.md CHANGED
@@ -7,7 +7,26 @@ base_model: meta-llama/Llama-2-7b-chat-hf
7
 
8
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/652250487bf8cc2dd2bd425d/EVXOPW10F1NnGTkbSMqkN.png)
9
 
10
-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
11
 
12
  # Model Card for Model ID
13
 
 
7
 
8
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/652250487bf8cc2dd2bd425d/EVXOPW10F1NnGTkbSMqkN.png)
9
 
10
+ adapter_config.json은 λ¨Έμ‹  λŸ¬λ‹μ—μ„œ μ–΄λŒ‘ν„°(Adapter) λͺ¨λΈμ„ κ΅¬μ„±ν•˜κΈ° μœ„ν•œ 섀정을 λ‹΄κ³  μžˆλŠ” JSON νŒŒμΌμž…λ‹ˆλ‹€. μ–΄λŒ‘ν„°λŠ” 사전 ν›ˆλ ¨λœ λͺ¨λΈμ— μΆ”κ°€ν•˜μ—¬ λͺ¨λΈμ˜ 일뢀λ₯Ό 적은 계산 λΉ„μš©μœΌλ‘œ μˆ˜μ •ν•  수 있게 ν•˜λŠ” λͺ¨λ“ˆμž…λ‹ˆλ‹€. 이 μ„€μ • νŒŒμΌμ—λŠ” μ–΄λŒ‘ν„° λ ˆμ΄μ–΄μ˜ 차원, ν•™μŠ΅λ₯ , ν™œμ„±ν™” ν•¨μˆ˜ λ“±μ˜ μ–΄λŒ‘ν„°μ— κ΄€ν•œ ꡬ성 μ˜΅μ…˜μ΄ 포함될 수 μžˆμŠ΅λ‹ˆλ‹€.
11
+
12
+ True Positives (TP): 257개의 μƒ˜ν”Œμ΄ κΈμ •μœΌλ‘œ μ˜¬λ°”λ₯΄κ²Œ λΆ„λ₯˜λ˜μ—ˆμŠ΅λ‹ˆλ‹€.
13
+ True Negatives (TN): 284개의 μƒ˜ν”Œμ΄ λΆ€μ •μœΌλ‘œ μ˜¬λ°”λ₯΄κ²Œ λΆ„λ₯˜λ˜μ—ˆμŠ΅λ‹ˆλ‹€.
14
+ False Positives (FP): 208개의 μƒ˜ν”Œμ΄ λΆ€μ •μž„μ—λ„ λΆˆκ΅¬ν•˜κ³  κΈμ •μœΌλ‘œ 잘λͺ» λΆ„λ₯˜λ˜μ—ˆμŠ΅λ‹ˆλ‹€.
15
+ False Negatives (FN): 251개의 μƒ˜ν”Œμ΄ κΈμ •μž„μ—λ„ λΆˆκ΅¬ν•˜κ³  λΆ€μ •μœΌλ‘œ 잘λͺ» λΆ„λ₯˜λ˜μ—ˆμŠ΅λ‹ˆλ‹€.
16
+ 정확도(Accuracy): μ •ν™•λ„λŠ” (TP + TN) / (TP + TN + FP + FN)으둜 κ³„μ‚°λ˜λ©°, 이 κ²½μš°μ—λŠ” 54.1%둜 κ³„μ‚°λ©λ‹ˆλ‹€.
17
+ 이 μ •ν™•λ„λŠ” λͺ¨λΈμ΄ λΆ„λ₯˜ μž‘μ—…μ„ μˆ˜ν–‰ν•˜λŠ” 데 μžˆμ–΄ 쀑간 μ •λ„μ˜ μ„±λŠ₯을 보여쀀닀고 ν•  수 μžˆμŠ΅λ‹ˆλ‹€. 일반적으둜 λΆ„λ₯˜ λͺ¨λΈμ˜ 정확도가 50%λ₯Ό 쑰금 λ„˜μœΌλ©΄ λ¬΄μž‘μœ„ μΆ”μΈ‘λ³΄λ‹€λŠ” λ‚«μ§€λ§Œ, μ—¬μ „νžˆ λ§Žμ€ κ°œμ„ μ΄ ν•„μš”ν•¨μ„ μ˜λ―Έν•©λ‹ˆλ‹€. 특히, FNκ³Ό FPκ°€ 높은 경우, λͺ¨λΈμ΄ νŠΉμ • 클래슀λ₯Ό λΆ„λ₯˜ν•˜λŠ” 데 λ¬Έμ œκ°€ μžˆμŒμ„ λ‚˜νƒ€λƒ…λ‹ˆλ‹€.
18
+
19
+ NSMC(Naver Sentiment Movie Corpus): 'nsmc'λŠ” 넀이버 μ˜ν™” 리뷰에 λŒ€ν•œ 감정 뢄석을 μœ„ν•œ λ°μ΄ν„°μ…‹μœΌλ‘œ, λŒ€λž΅ 20만 개의 리뷰둜 κ΅¬μ„±λ˜μ–΄ 있으며 각 λ¦¬λ·°μ—λŠ” 긍정 ν˜Ήμ€ λΆ€μ •μ˜ λ ˆμ΄λΈ”μ΄ μ§€μ •λ˜μ–΄ μžˆμŠ΅λ‹ˆλ‹€.
20
+ 데이터 μ‚¬μš©: 이 데이터셋은 주둜 ν•œκ΅­μ–΄ ν…μŠ€νŠΈμ˜ 감정 뢄석을 μœ„ν•΄ μ‚¬μš©λ˜λ©°, λͺ¨λΈμ΄ μžμ—°μ–΄ 이해 λŠ₯λ ₯을 ν•™μŠ΅ν•˜κ³  κ²€μ¦ν•˜λŠ” 데 μœ μš©ν•©λ‹ˆλ‹€. ν›ˆλ ¨ λ°μ΄ν„°λŠ” 'train' λΆ€λΆ„μ˜ 첫 2000개 μƒ˜ν”Œμ„, ν…ŒμŠ€νŠΈ λ°μ΄ν„°λŠ” 'test' λΆ€λΆ„μ˜ 첫 1000개 μƒ˜ν”Œμ„ μ‚¬μš©ν•˜κ³  μžˆμŠ΅λ‹ˆλ‹€.
21
+
22
+ ν…ŒμŠ€νŠΈ 쑰건:
23
+ μ‹œν€€μŠ€ 길이: ν…μŠ€νŠΈμ˜ μž…λ ₯ μ‹œν€€μŠ€ κΈΈμ΄λŠ” μ½”λ“œμ— 따라 μ„€μ •ν•  수 μžˆμœΌλ‚˜, GPU λ©”λͺ¨λ¦¬ λΆ€μ‘±μœΌλ‘œ 200κ³Ό 같이 μ„€μ •ν–ˆμŠ΅λ‹ˆλ‹€.
24
+ 배치 μ‚¬μ΄μ¦ˆ: ν•™μŠ΅κ³Ό 평가에 μ‚¬μš©λ˜λŠ” 배치 μ‚¬μ΄μ¦ˆλŠ” 각각 1둜 μ„€μ •λ˜μ–΄ 있으며, μ΄λŠ” 맀우 μž‘μ€ ν¬κΈ°μž…λ‹ˆλ‹€.
25
+ κ·ΈλΌλ””μ–ΈνŠΈ 좕적: λͺ¨λΈμ€ κ·ΈλΌλ””μ–ΈνŠΈλ₯Ό 2개의 μŠ€ν…λ§ˆλ‹€ μΆ•μ ν•©λ‹ˆλ‹€.
26
+ ν•™μŠ΅λ₯ : κΈ°λ³Έ μ„€μ •μœΌλ‘œλŠ” 1e-4의 ν•™μŠ΅λ₯ μ„ μ‚¬μš©ν•˜λ©°, 코사인 ν•™μŠ΅λ₯  μŠ€μΌ€μ€„λŸ¬(cosine learning rate scheduler)λ₯Ό μ‚¬μš©ν•©λ‹ˆλ‹€.
27
+ 에포크: λͺ¨λΈμ€ ν•œ 에포크(epoch) λ™μ•ˆ ν›ˆλ ¨λ©λ‹ˆλ‹€.
28
+ μ΅œμ ν™”κΈ°: νŽ˜μ΄μ§€λœ μ•„λ‹΄W 32λΉ„νŠΈ(paged_adamw_32bit) μ΅œμ ν™”κΈ°λ₯Ό μ‚¬μš©ν•©λ‹ˆλ‹€.
29
+ 정밀도: λͺ¨λΈμ€ λ°˜μ •λ°€λ„(fp16)λ₯Ό μ‚¬μš©ν•˜μ—¬ ν•™μŠ΅ν•©λ‹ˆλ‹€.
30
 
31
  # Model Card for Model ID
32