Yeon-Su Lee
commited on
Commit
โข
f67e878
1
Parent(s):
d56794e
Update README.md
Browse files
README.md
CHANGED
@@ -1,14 +1,58 @@
|
|
1 |
---
|
2 |
-
language:
|
3 |
-
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
4 |
base_model:
|
5 |
- google/gemma-2-2b-it
|
6 |
---
|
7 |
|
8 |
-
|
9 |
|
10 |
-
|
11 |
-
Gemma 2B ์ฌ์ ํ๋ จ๋ ๋ชจ๋ธ์ ๊ธฐ๋ฐ์ผ๋ก ์ถ๊ฐ ํ์ต์ ํตํด ๋ฒ๋ฅ ๋ฌธ์ ์์ฝ ์์
์ ์ ํฉํ๊ฒ ์กฐ์ ๋์์ต๋๋ค.
|
12 |
|
13 |
-
|
14 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
---
|
2 |
+
language: ko
|
3 |
+
license: apache-2.0
|
4 |
+
tags:
|
5 |
+
- summarization
|
6 |
+
- legal
|
7 |
+
- korean
|
8 |
+
datasets:
|
9 |
+
- ai-hub
|
10 |
+
model_name: gemma-2b-it-sum-ko-legal
|
11 |
base_model:
|
12 |
- google/gemma-2-2b-it
|
13 |
---
|
14 |
|
15 |
+
# Gemma-2B-it-sum-ko-legal
|
16 |
|
17 |
+
## ๋ชจ๋ธ ์ค๋ช
|
|
|
18 |
|
19 |
+
**Gemma-2B-it-sum-ko-legal**์ AI ํ๋ธ์ **๋ฒ๋ฅ ์ ๊ฒํ ๋ณด๊ณ ์ ์์ฝ ๋ฐ์ดํฐ์
**์ ๊ธฐ๋ฐ์ผ๋ก ํ์ต๋ ๋ชจ๋ธ์
๋๋ค. ์ด ๋ชจ๋ธ์ ๋ฒ๋ฅ ๋ฌธ์, ๋ฒ๋ฅ ์ ๊ฒํ ๋ณด๊ณ ์์ ๊ฐ์ ํ๊ตญ์ด ๋ฌธ์๋ฅผ ๊ฐ๊ฒฐํ๊ฒ ์์ฝํ๋ ๋ฐ ํนํ๋์ด ์์ผ๋ฉฐ, Hugging Face์ ์ฌ์ ํ์ต๋ **Gemma 2B** ๋ชจ๋ธ์ ๊ธฐ๋ฐ์ผ๋ก ๋ฏธ์ธ ์กฐ์ ๋์์ต๋๋ค. ๊ธด ๋ฒ๋ฅ ๋ฌธ์๋ฅผ ์ฒ๋ฆฌํ๊ณ ํต์ฌ ๋ด์ฉ์ ์๋์ผ๋ก ์ถ์ถํ์ฌ ๋ฒ๋ฅ ์ ๋ฌธ๊ฐ๋ค์ด ๋ ๋น ๋ฅด๊ณ ํจ์จ์ ์ผ๋ก ๋ฌธ์๋ฅผ ๊ฒํ ํ ์ ์๋๋ก ๋์ต๋๋ค.
|
20 |
+
|
21 |
+
- **์ง์ ์ธ์ด**: ํ๊ตญ์ด
|
22 |
+
- **ํน์ง**: ๋ฒ๋ฅ ๋ฌธ์ ์์ฝ์ ์ต์ ํ
|
23 |
+
|
24 |
+
## ๋ชจ๋ธ ํ์ต ๊ณผ์
|
25 |
+
|
26 |
+
### ๋ฐ์ดํฐ์
|
27 |
+
|
28 |
+
์ด ๋ชจ๋ธ์ **AI ํ๋ธ์ ๋ฒ๋ฅ ์ ๊ฒํ ๋ณด๊ณ ์ ์์ฝ ๋ฐ์ดํฐ์
**์ ์ฌ์ฉํ์ฌ ํ์ต๋์์ต๋๋ค. ํด๋น ๋ฐ์ดํฐ์
์ ๋ฒ๋ฅ ๋ฌธ์์ ๊ตฌ์กฐ์ ๋ด์ฉ์ ์ดํดํ๊ณ ์์ฝํ๋ ๋ฐ ์ ํฉํ ๋ฐ์ดํฐ๋ก, ์ฌ๋ฌ ๋ฒ๋ฅ ์ฃผ์ ๋ฅผ ํฌ๊ดํ๊ณ ์์ต๋๋ค.
|
29 |
+
|
30 |
+
### ํ์ต ๋ฐฉ๋ฒ
|
31 |
+
|
32 |
+
๋ชจ๋ธ์ Hugging Face์ **Gemma 2B** ์ฌ์ ํ์ต๋ ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ๋ฏธ์ธ ์กฐ์ ๋์์ผ๋ฉฐ, ๋ฒ๋ฅ ๋ฌธ์์ ํน์์ฑ์ ๋ฐ์ํ ์ถ๊ฐ ํ์ต์ ํตํด ์ต์ ํ๋์์ต๋๋ค. ๋ชจ๋ธ ํ์ต์๋ **FP16 ํผํฉ ์ ๋ฐ๋ ํ์ต**์ด ์ฌ์ฉ๋์์ผ๋ฉฐ, ์ฃผ์ ํ์ดํผํ๋ผ๋ฏธํฐ๋ ์๋์ ๊ฐ์ต๋๋ค:
|
33 |
+
|
34 |
+
- **๋ฐฐ์น ํฌ๊ธฐ**: 16
|
35 |
+
- **ํ์ต๋ฅ **: 5e-5
|
36 |
+
- **์ต์ ํ ๊ธฐ๋ฒ**: AdamW
|
37 |
+
- **ํ์ต ์ํญ**: 3
|
38 |
+
- **ํ๋์จ์ด**: NVIDIA A100 GPU
|
39 |
+
|
40 |
+
## ์ฝ๋ ์์
|
41 |
+
|
42 |
+
์๋ ์ฝ๋๋ฅผ ์ฌ์ฉํ์ฌ ์ด ๋ชจ๋ธ์ ๋ก๋ํ๊ณ ํ๊ตญ์ด ๋ฒ๋ฅ ๋ฌธ์๋ฅผ ์์ฝํ ์ ์์ต๋๋ค.
|
43 |
+
|
44 |
+
```python
|
45 |
+
from transformers import pipeline
|
46 |
+
|
47 |
+
# ๋ชจ๋ธ ๋ฐ ํ ํฌ๋์ด์ ๋ก๋
|
48 |
+
pipe_finetuned = pipeline("text-generation", model="your-username/gemma-2b-it-sum-ko-legal", tokenizer="your-username/gemma-2b-it-sum-ko-legal", max_new_tokens=512)
|
49 |
+
|
50 |
+
# ์์ฝํ ํ
์คํธ ์
๋ ฅ
|
51 |
+
paragraph = """
|
52 |
+
ํ๊ตญ์ ๋ฒ๋ฅ ์ ๊ฒํ ๋ณด๊ณ ์ ๋ด์ฉ์ ๋งค์ฐ ๋ณต์กํ๊ณ ๊ธด ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค.
|
53 |
+
์ด๋ฌํ ๋ฌธ์๋ฅผ ์์ฝํ์ฌ ์ฃผ์ ์ ๋ณด๋ฅผ ๋น ๋ฅด๊ฒ ํ์
ํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค.
|
54 |
+
"""
|
55 |
+
|
56 |
+
# ์์ฝ ์์ฒญ
|
57 |
+
summary = pipe_finetuned(paragraph, do_sample=True, temperature=0.2, top_k=50, top_p=0.95)
|
58 |
+
print(summary[0]["generated_text"])
|