Update README.md
Browse files
README.md
CHANGED
@@ -9,7 +9,14 @@ tags:
|
|
9 |
- merge
|
10 |
license: other
|
11 |
license_name: llama3
|
|
|
|
|
12 |
---
|
|
|
|
|
|
|
|
|
|
|
13 |
The original paper author claims density should be around 0.2~0.3, but in reality high number gets some better result. You should try other params for better result than this!
|
14 |
|
15 |
```python
|
@@ -17,6 +24,7 @@ messages = [
|
|
17 |
{"role": "system", "content": "μΉμ ν μ±λ΄μΌλ‘μ μλλ°©μ μμ²μ μ΅λν μμΈνκ³ μΉμ νκ² λ΅νμ. λͺ¨λ λλ΅μ νκ΅μ΄(Korean)μΌλ‘ λλ΅ν΄μ€."},
|
18 |
{"role": "user", "content": "νΌλ³΄λμΉ μμ΄μ΄ λμΌ? κ·Έλ¦¬κ³ νΌλ³΄λμΉ μμ΄μ λν΄ νμ΄μ¬ μ½λλ₯Ό μ§μ€λ³Όλ?"},
|
19 |
]
|
|
|
20 |
νΌλ³΄λμΉ μμ΄μ μνμμ κ°μ₯ μ λͺ
ν μμ΄ μ€ νλμ
λλ€. νΌλ³΄λμΉ μμ΄μ λ€μκ³Ό κ°μ κ·μΉμΌλ‘ μμ±λ©λλ€.
|
21 |
|
22 |
1. 첫 λ²μ§Έ μλ 0, λ λ²μ§Έ μλ 1
|
@@ -74,13 +82,13 @@ messages = [
|
|
74 |
|
75 |
μ΄μ κ°μ μ ν νλ²μ λνλ―Όκ΅μ νλ²μ κΈ°λ³Έμ§μλ₯Ό κ·μ νλ λ¬Έμλ‘, λνλ―Όκ΅μ κ΅νΈ, μν , κ΅λ―Ό, κ΅κ°μ νν, μ λΆμ μ‘°μ§, κ΅λ―Όμ κΆλ¦¬μ μ무, λ²λ₯ μ μ μ λ±μ λν΄ κ·μ νκ³ μμ΅λλ€.
|
76 |
```
|
77 |
-
|
78 |
```python
|
79 |
messages = [
|
80 |
{"role": "system", "content": "μΉμ ν μ±λ΄μΌλ‘μ μλλ°©μ μμ²μ μ΅λν μμΈνκ³ μΉμ νκ² λ΅νμ. λͺ¨λ λλ΅μ νκ΅μ΄(Korean)μΌλ‘ λλ΅ν΄μ€."},
|
81 |
{"role": "user", "content": "μΈμ’
λμμ μ§νμ λ§₯λΆ λμ§ μ¬κ±΄μ λν΄μ μκ³ μμ΄?"},
|
82 |
]
|
83 |
-
---
|
84 |
λ€, μΈμ’
λμμ΄ μ§νμ μμ λ§₯λΆμ λμ‘λ€λ μ΄μΌκΈ°λ μ¬μ€μ΄ μλλλ€. μ΄ μ΄μΌκΈ°λ μΈμ’
λμμ΄ νλ―Όμ μ μ°½μ λΉμμ μΌνλ‘, λΉμμ νμλ€μ΄ νλ―Όμ μμ μ°½μ μ λ°λνλ μ견μ λ΄μΈμ μΈμ’
λμμκ² νμλ₯Ό νμ, μΈμ’
λμμ΄ κ·Έλ€μ μ§μ±
νλ©΄μ νλ―Όμ μ μ°½μ λ₯Ό κ°μ‘°ν μΌνλ‘ μ ν΄μ§λλ€. νμ§λ§ μ΄ μΌνλ μ€μ λ‘ μΌμ΄λ μΌμ μλλ©°, νλ―Όμ μ μ°½μ μ λ°λνλ νμλ€μ μ€μ λ‘ μμμΌλ©°, μΈμ’
λμλ νλ―Όμ μ μ°½μ λ₯Ό κ°μ‘°ν μ μ μμ΅λλ€. μ΄ μ΄μΌκΈ°λ νλμ λ§λ€μ΄μ§ κ²μΌλ‘ μΆμ λ©λλ€.
|
85 |
|
86 |
μΈμ’
λμμ νλ―Όμ μ μ°½μ μ λν΄ λ§€μ° μ΄μλ₯Ό λ΄λ³΄μκ³ , νλ―Όμ μμ΄ μ°½μ λκΈ° μ μλ νκΈμ μ¬μ©νμ§ μμμ΅λλ€. νλ―Όμ μμ΄ μ°½μ λ νμλ νλ―Όμ μμ κΈ°λ°ν νκΈμ μ¬μ©νμ΅λλ€. νλ―Όμ μμ 1443λ
λΆν° 1446λ
κΉμ§ 4λ
λμμ κ±Έμ³ μ°½μ λμμ΅λλ€. μ΄ μκΈ°μ μΈμ’
λμμ νλ―Όμ μμ μ°½μ μ λ§€μ° κ΄μ¬μ κ°μ§κ³ μμμΌλ©°, νλ―Όμ μμ μ°½μ λ₯Ό μν΄ νμλ€μ λΆλ¬ λͺ¨μ νλ―Όμ μμ μ°½μ μ μ°Έμ¬νλλ‘ νμ΅λλ€. νλ―Όμ μμ΄ μ°½μ λ νμλ νλ―Όμ μμ κΈ°λ°ν νκΈμ μ¬μ©νκ³ , νκΈμ μ¬μ©νλ κ²μ μ₯λ €νμ΅λλ€.
|
|
|
9 |
- merge
|
10 |
license: other
|
11 |
license_name: llama3
|
12 |
+
language:
|
13 |
+
- ko
|
14 |
---
|
15 |
+
# Llama-3-Ko-8B-dare-ties
|
16 |
+
|
17 |
+
This is the series of 'Base + Language + Instruct', chat vector and various methods in mergekit.
|
18 |
+
Thank you again! @beomi
|
19 |
+
|
20 |
The original paper author claims density should be around 0.2~0.3, but in reality high number gets some better result. You should try other params for better result than this!
|
21 |
|
22 |
```python
|
|
|
24 |
{"role": "system", "content": "μΉμ ν μ±λ΄μΌλ‘μ μλλ°©μ μμ²μ μ΅λν μμΈνκ³ μΉμ νκ² λ΅νμ. λͺ¨λ λλ΅μ νκ΅μ΄(Korean)μΌλ‘ λλ΅ν΄μ€."},
|
25 |
{"role": "user", "content": "νΌλ³΄λμΉ μμ΄μ΄ λμΌ? κ·Έλ¦¬κ³ νΌλ³΄λμΉ μμ΄μ λν΄ νμ΄μ¬ μ½λλ₯Ό μ§μ€λ³Όλ?"},
|
26 |
]
|
27 |
+
---
|
28 |
νΌλ³΄λμΉ μμ΄μ μνμμ κ°μ₯ μ λͺ
ν μμ΄ μ€ νλμ
λλ€. νΌλ³΄λμΉ μμ΄μ λ€μκ³Ό κ°μ κ·μΉμΌλ‘ μμ±λ©λλ€.
|
29 |
|
30 |
1. 첫 λ²μ§Έ μλ 0, λ λ²μ§Έ μλ 1
|
|
|
82 |
|
83 |
μ΄μ κ°μ μ ν νλ²μ λνλ―Όκ΅μ νλ²μ κΈ°λ³Έμ§μλ₯Ό κ·μ νλ λ¬Έμλ‘, λνλ―Όκ΅μ κ΅νΈ, μν , κ΅λ―Ό, κ΅κ°μ νν, μ λΆμ μ‘°μ§, κ΅λ―Όμ κΆλ¦¬μ μ무, λ²λ₯ μ μ μ λ±μ λν΄ κ·μ νκ³ μμ΅λλ€.
|
84 |
```
|
85 |
+
Repetitive results, but I **really really** like this output tho
|
86 |
```python
|
87 |
messages = [
|
88 |
{"role": "system", "content": "μΉμ ν μ±λ΄μΌλ‘μ μλλ°©μ μμ²μ μ΅λν μμΈνκ³ μΉμ νκ² λ΅νμ. λͺ¨λ λλ΅μ νκ΅μ΄(Korean)μΌλ‘ λλ΅ν΄μ€."},
|
89 |
{"role": "user", "content": "μΈμ’
λμμ μ§νμ λ§₯λΆ λμ§ μ¬κ±΄μ λν΄μ μκ³ μμ΄?"},
|
90 |
]
|
91 |
+
---
|
92 |
λ€, μΈμ’
λμμ΄ μ§νμ μμ λ§₯λΆμ λμ‘λ€λ μ΄μΌκΈ°λ μ¬μ€μ΄ μλλλ€. μ΄ μ΄μΌκΈ°λ μΈμ’
λμμ΄ νλ―Όμ μ μ°½μ λΉμμ μΌνλ‘, λΉμμ νμλ€μ΄ νλ―Όμ μμ μ°½μ μ λ°λνλ μ견μ λ΄μΈμ μΈμ’
λμμκ² νμλ₯Ό νμ, μΈμ’
λμμ΄ κ·Έλ€μ μ§μ±
νλ©΄μ νλ―Όμ μ μ°½μ λ₯Ό κ°μ‘°ν μΌνλ‘ μ ν΄μ§λλ€. νμ§λ§ μ΄ μΌνλ μ€μ λ‘ μΌμ΄λ μΌμ μλλ©°, νλ―Όμ μ μ°½μ μ λ°λνλ νμλ€μ μ€μ λ‘ μμμΌλ©°, μΈμ’
λμλ νλ―Όμ μ μ°½μ λ₯Ό κ°μ‘°ν μ μ μμ΅λλ€. μ΄ μ΄μΌκΈ°λ νλμ λ§λ€μ΄μ§ κ²μΌλ‘ μΆμ λ©λλ€.
|
93 |
|
94 |
μΈμ’
λμμ νλ―Όμ μ μ°½μ μ λν΄ λ§€μ° μ΄μλ₯Ό λ΄λ³΄μκ³ , νλ―Όμ μμ΄ μ°½μ λκΈ° μ μλ νκΈμ μ¬μ©νμ§ μμμ΅λλ€. νλ―Όμ μμ΄ μ°½μ λ νμλ νλ―Όμ μμ κΈ°λ°ν νκΈμ μ¬μ©νμ΅λλ€. νλ―Όμ μμ 1443λ
λΆν° 1446λ
κΉμ§ 4λ
λμμ κ±Έμ³ μ°½μ λμμ΅λλ€. μ΄ μκΈ°μ μΈμ’
λμμ νλ―Όμ μμ μ°½μ μ λ§€μ° κ΄μ¬μ κ°μ§κ³ μμμΌλ©°, νλ―Όμ μμ μ°½μ λ₯Ό μν΄ νμλ€μ λΆλ¬ λͺ¨μ νλ―Όμ μμ μ°½μ μ μ°Έμ¬νλλ‘ νμ΅λλ€. νλ―Όμ μμ΄ μ°½μ λ νμλ νλ―Όμ μμ κΈ°λ°ν νκΈμ μ¬μ©νκ³ , νκΈμ μ¬μ©νλ κ²μ μ₯λ €νμ΅λλ€.
|