youjunhyeok commited on
Commit
526d5f9
·
verified ·
1 Parent(s): a9fbd5d

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +38 -0
README.md CHANGED
@@ -69,6 +69,44 @@ chat('헬스장 가기는 싫은데 집에서 할만한 맨몸 운동 3개 정
69
  3. 플랭크: 플랭크는 코어 근육을 강화하고 전반적인 체력 향상에 도움이 되는 또 다른 효과적인 맨몸 운동입니다. 플랭크를 수행하려면 팔을 어깨 너비로 벌리고 다리를 엉덩이 높이에 놓습니다. 그런 다음 몸을 곧게 펴고 코어 근육을 사용하여 몸을 지탱합니다. 이 자세를 30~60초 유지한 다음 원래 자세로 돌아갑니다. 이 과정을 2~3회 반복합니다.
70
  ```
71
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
72
  ## Llama_factory trainer_config.yaml
73
  {data_dir}, {dataset_name}, {output_dir} is variable
74
  ```
 
69
  3. 플랭크: 플랭크는 코어 근육을 강화하고 전반적인 체력 향상에 도움이 되는 또 다른 효과적인 맨몸 운동입니다. 플랭크를 수행하려면 팔을 어깨 너비로 벌리고 다리를 엉덩이 높이에 놓습니다. 그런 다음 몸을 곧게 펴고 코어 근육을 사용하여 몸을 지탱합니다. 이 자세를 30~60초 유지한 다음 원래 자세로 돌아갑니다. 이 과정을 2~3회 반복합니다.
70
  ```
71
 
72
+ ## BenchMark (KOR)
73
+
74
+ ```
75
+ # alias
76
+ A = youjunhyeok/llama3-8b-ko-sft-v1
77
+ B = youjunhyeok/llama3-8b-ko-sft-v1
78
+ C = meta-llama/Meta-Llama-3-8B
79
+ D = chihoonlee10/T3Q-ko-solar-dpo-v7.0 (24.05.24 ko 리더보드 1등)
80
+ ```
81
+
82
+ | Benchmark (macro_f1) | A | B | C | D |
83
+ |---------------------------|:----:|:----:|:----:|:----:|
84
+ | kobest_boolq (0-shot) | 79.0 | 84.7 | 38.2 | 34.1 |
85
+ | kobest_boolq (5-shot) | 86.7 | 85.4 | 83.8 | 93.1 |
86
+ | kobest_copa (0-shot) | 60.3 | 60.6 | 63.1 | 81.0 |
87
+ | kobest_copa (5-shot) | 67.7 | 67.2 | 69.1 | 91.0 |
88
+ | kobest_hellaswag (0-shot) | 43.1 | 40.0 | 42.1 | 55.1 |
89
+ | kobest_hellaswag (5-shot) | 43.3 | 42.4 | 44.2 | 55.2 |
90
+ | kobest_sentineg (0-shot) | 65.1 | 52.1 | 51.5 | 82.7 |
91
+ | kobest_sentineg (5-shot) | 92.1 | 89.4 | 94.7 | 91.4 |
92
+
93
+ ## BenchMark (ENG)
94
+
95
+ ```
96
+ # alias
97
+ A = youjunhyeok/llama3-8b-ko-sft-dpo-v1
98
+ B = youjunhyeok/llama3-8b-ko-sft-v1
99
+ C = meta-llama/Meta-Llama-3-8B
100
+ ```
101
+
102
+ | | A | B | C |
103
+ |:--------------|------:|------:|------:|
104
+ | openbookqa | 0.340 | 0.342 | 0.338 |
105
+ | hellaswag | 0.558 | 0.555 | 0.576 |
106
+ | boolq | 0.827 | 0.824 | 0.831 |
107
+ | arc_easy | 0.764 | 0.758 | 0.815 |
108
+ | arc_challenge | 0.476 | 0.464 | 0.529 |
109
+
110
  ## Llama_factory trainer_config.yaml
111
  {data_dir}, {dataset_name}, {output_dir} is variable
112
  ```