nayohan commited on
Commit
04620d1
·
verified ·
1 Parent(s): 101d48e

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -5
README.md CHANGED
@@ -105,7 +105,7 @@ OUTPUT: 기술 및 기초 과학은 연구 측면에서 매우 중요합니다.
105
  <br>
106
 
107
  ## **Aihub 영-한 번역데이터셋 평가**
108
- * Aihub 평가 데이터셋은 모델들이 학습데이터셋에 포함되었을 수 있습니다. 카테고리별 성능을 확인하는 용도로만 참고해주세요.
109
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/TMo05LOUhPGYNbT2ADOgi.png)
110
  | model | aihub-111 | aihub-124 | aihub-125 | aihub-126 | aihub-563 | aihub-71265 | aihub-71266 | aihub-71382 | average |
111
  |:-----------------|------------:|------------:|------------:|------------:|------------:|--------------:|--------------:|--------------:|----------:|
@@ -120,7 +120,7 @@ OUTPUT: 기술 및 기초 과학은 연구 측면에서 매우 중요합니다.
120
  | our-instrucTrans | 24.89 | 47.00 | 22.78 | 21.78 | 24.27 | 27.98 | 31.31 | 15.42 |**26.92** |
121
  ## **FLoRes 영-한 번역데이터셋 평가**
122
  [FloRes](https://huggingface.co/datasets/facebook/flores)는 페이스북에서 공개한 영어와 적은 리소스의 언어 200개에 대해서 병렬로 구성한 번역 벤치마크 데이터셋입니다.
123
- traintogpb/aihub-flores-koen-integrated-sparta-30k를 활용하여 평가를 진행하였습니다. (한문장 구성)
124
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/ZDeA-7e-0xfXaGOmyS9zs.png)
125
  | model | flores-dev | flores-devtest | average |
126
  |:-----------------|-------------:|-----------------:|----------:|
@@ -134,9 +134,9 @@ traintogpb/aihub-flores-koen-integrated-sparta-30k를 활용하여 평가를 진
134
  | our-sharegpt | 14.71 | 16.69 | 15.70 |
135
  | our-instrucTrans | 14.49 | 17.69 | **16.09** |
136
  ## **iwslt-2023**
137
- 동일한 영어문장을 각각 반말, 존댓말의 한국어로 평가데이터셋이 구성되어 있습니다. 모델의 존대/반말 경향을 상대적으로 확인할 수 있습니다. (한문장 구성)
138
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/UJvuCnbjWokBWQNhD4L63.png)
139
- | model | iwlst_zondae | iwlst_banmal | average |
140
  |:-----------------|---------------------:|------------------:|----------:|
141
  | EEVE-10.8b-it | 4.62 | 3.79 | 4.20 |
142
  | KULLM3 | 5.94 | 5.24 | 5.59 |
@@ -148,7 +148,7 @@ traintogpb/aihub-flores-koen-integrated-sparta-30k를 활용하여 평가를 진
148
  | our-sharegpt | 7.83 | 6.35 | 7.09 |
149
  | our-instrucTrans | 8.63 | 6.97 | 7.80 |
150
  ## **ko_news_eval40**
151
- 24년5월 뉴스를 각 카테고리(4) 별 10개씩 기사 내 문단 일부를 수집하고, GPT4로 번역하여 구성하였습니다.
152
  영어를 일상뉴스에 사용되는 한국어로 잘 번역하는지를 평가합니다. (문단 구성)
153
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/OaE5z_yQT9sIIz0zsn644.png)
154
  | model | IT/과학 | 경제 | 사회 | 오피니언 | average |
 
105
  <br>
106
 
107
  ## **Aihub 영-한 번역데이터셋 평가**
108
+ * [Aihub 평가 데이터셋]](https://huggingface.co/datasets/traintogpb/aihub-flores-koen-integrated-sparta-30k)은 모델들이 학습데이터셋에 포함되었을 수 있습니다. 카테고리별 성능을 확인하는 용도로만 참고해주세요. [[카테고리 설명 링크]](https://huggingface.co/datasets/traintogpb/aihub-koen-translation-integrated-tiny-100k)
109
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/TMo05LOUhPGYNbT2ADOgi.png)
110
  | model | aihub-111 | aihub-124 | aihub-125 | aihub-126 | aihub-563 | aihub-71265 | aihub-71266 | aihub-71382 | average |
111
  |:-----------------|------------:|------------:|------------:|------------:|------------:|--------------:|--------------:|--------------:|----------:|
 
120
  | our-instrucTrans | 24.89 | 47.00 | 22.78 | 21.78 | 24.27 | 27.98 | 31.31 | 15.42 |**26.92** |
121
  ## **FLoRes 영-한 번역데이터셋 평가**
122
  [FloRes](https://huggingface.co/datasets/facebook/flores)는 페이스북에서 공개한 영어와 적은 리소스의 언어 200개에 대해서 병렬로 구성한 번역 벤치마크 데이터셋입니다.
123
+ [traintogpb/aihub-flores-koen-integrated-sparta-30k](https://huggingface.co/datasets/traintogpb/aihub-flores-koen-integrated-sparta-30k)를 활용하여 평가를 진행하였습니다. (한문장 구성)
124
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/ZDeA-7e-0xfXaGOmyS9zs.png)
125
  | model | flores-dev | flores-devtest | average |
126
  |:-----------------|-------------:|-----------------:|----------:|
 
134
  | our-sharegpt | 14.71 | 16.69 | 15.70 |
135
  | our-instrucTrans | 14.49 | 17.69 | **16.09** |
136
  ## **iwslt-2023**
137
+ [iwslt-2023 데이터셋](https://huggingface.co/datasets/shreevigneshs/iwslt-2023-en-ko-train-val-split-0.1)은 동일한 영어문장을 각각 반말, 존댓말의 한국어로 평가데이터셋이 구성되어 있습니다. 모델의 존대/반말 경향을 상대적으로 확인할 수 있습니다. (한문장 구성)
138
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/UJvuCnbjWokBWQNhD4L63.png)
139
+ | model | iwslt_zondae | iwslt_banmal | average |
140
  |:-----------------|---------------------:|------------------:|----------:|
141
  | EEVE-10.8b-it | 4.62 | 3.79 | 4.20 |
142
  | KULLM3 | 5.94 | 5.24 | 5.59 |
 
148
  | our-sharegpt | 7.83 | 6.35 | 7.09 |
149
  | our-instrucTrans | 8.63 | 6.97 | 7.80 |
150
  ## **ko_news_eval40**
151
+ [ko_news_eval40 데이터셋](https://huggingface.co/datasets/nayohan/ko_news_eval40)은 학습되지 않았을 새로운 데이터셋에 평가하고자 24년5월 뉴스를 각 카테고리(4) 별 10개씩 기사 내 문단 일부를 수집하고, GPT4로 번역하여 구성하였습니다.
152
  영어를 일상뉴스에 사용되는 한국어로 잘 번역하는지를 평가합니다. (문단 구성)
153
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/OaE5z_yQT9sIIz0zsn644.png)
154
  | model | IT/과학 | 경제 | 사회 | 오피니언 | average |