Update README.md
Browse files
README.md
CHANGED
@@ -69,6 +69,44 @@ chat('헬스장 가기는 싫은데 집에서 할만한 맨몸 운동 3개 정
|
|
69 |
3. 플랭크: 플랭크는 코어 근육을 강화하고 전반적인 체력 향상에 도움이 되는 또 다른 효과적인 맨몸 운동입니다. 플랭크를 수행하려면 팔을 어깨 너비로 벌리고 다리를 엉덩이 높이에 놓습니다. 그런 다음 몸을 곧게 펴고 코어 근육을 사용하여 몸을 지탱합니다. 이 자세를 30~60초 유지한 다음 원래 자세로 돌아갑니다. 이 과정을 2~3회 반복합니다.
|
70 |
```
|
71 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
72 |
## Llama_factory trainer_config.yaml
|
73 |
{data_dir}, {dataset_name}, {output_dir} is variable
|
74 |
```
|
|
|
69 |
3. 플랭크: 플랭크는 코어 근육을 강화하고 전반적인 체력 향상에 도움이 되는 또 다른 효과적인 맨몸 운동입니다. 플랭크를 수행하려면 팔을 어깨 너비로 벌리고 다리를 엉덩이 높이에 놓습니다. 그런 다음 몸을 곧게 펴고 코어 근육을 사용하여 몸을 지탱합니다. 이 자세를 30~60초 유지한 다음 원래 자세로 돌아갑니다. 이 과정을 2~3회 반복합니다.
|
70 |
```
|
71 |
|
72 |
+
## BenchMark (KOR)
|
73 |
+
|
74 |
+
```
|
75 |
+
# alias
|
76 |
+
A = youjunhyeok/llama3-8b-ko-sft-v1
|
77 |
+
B = youjunhyeok/llama3-8b-ko-sft-v1
|
78 |
+
C = meta-llama/Meta-Llama-3-8B
|
79 |
+
D = chihoonlee10/T3Q-ko-solar-dpo-v7.0 (24.05.24 ko 리더보드 1등)
|
80 |
+
```
|
81 |
+
|
82 |
+
| Benchmark (macro_f1) | A | B | C | D |
|
83 |
+
|---------------------------|:----:|:----:|:----:|:----:|
|
84 |
+
| kobest_boolq (0-shot) | 79.0 | 84.7 | 38.2 | 34.1 |
|
85 |
+
| kobest_boolq (5-shot) | 86.7 | 85.4 | 83.8 | 93.1 |
|
86 |
+
| kobest_copa (0-shot) | 60.3 | 60.6 | 63.1 | 81.0 |
|
87 |
+
| kobest_copa (5-shot) | 67.7 | 67.2 | 69.1 | 91.0 |
|
88 |
+
| kobest_hellaswag (0-shot) | 43.1 | 40.0 | 42.1 | 55.1 |
|
89 |
+
| kobest_hellaswag (5-shot) | 43.3 | 42.4 | 44.2 | 55.2 |
|
90 |
+
| kobest_sentineg (0-shot) | 65.1 | 52.1 | 51.5 | 82.7 |
|
91 |
+
| kobest_sentineg (5-shot) | 92.1 | 89.4 | 94.7 | 91.4 |
|
92 |
+
|
93 |
+
## BenchMark (ENG)
|
94 |
+
|
95 |
+
```
|
96 |
+
# alias
|
97 |
+
A = youjunhyeok/llama3-8b-ko-sft-dpo-v1
|
98 |
+
B = youjunhyeok/llama3-8b-ko-sft-v1
|
99 |
+
C = meta-llama/Meta-Llama-3-8B
|
100 |
+
```
|
101 |
+
|
102 |
+
| | A | B | C |
|
103 |
+
|:--------------|------:|------:|------:|
|
104 |
+
| openbookqa | 0.340 | 0.342 | 0.338 |
|
105 |
+
| hellaswag | 0.558 | 0.555 | 0.576 |
|
106 |
+
| boolq | 0.827 | 0.824 | 0.831 |
|
107 |
+
| arc_easy | 0.764 | 0.758 | 0.815 |
|
108 |
+
| arc_challenge | 0.476 | 0.464 | 0.529 |
|
109 |
+
|
110 |
## Llama_factory trainer_config.yaml
|
111 |
{data_dir}, {dataset_name}, {output_dir} is variable
|
112 |
```
|