Update README.md
Browse files
README.md
CHANGED
@@ -105,7 +105,7 @@ OUTPUT: 기술 및 기초 과학은 연구 측면에서 매우 중요합니다.
|
|
105 |
<br>
|
106 |
|
107 |
## **Aihub 영-한 번역데이터셋 평가**
|
108 |
-
* Aihub 평가
|
109 |
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/TMo05LOUhPGYNbT2ADOgi.png)
|
110 |
| model | aihub-111 | aihub-124 | aihub-125 | aihub-126 | aihub-563 | aihub-71265 | aihub-71266 | aihub-71382 | average |
|
111 |
|:-----------------|------------:|------------:|------------:|------------:|------------:|--------------:|--------------:|--------------:|----------:|
|
@@ -120,7 +120,7 @@ OUTPUT: 기술 및 기초 과학은 연구 측면에서 매우 중요합니다.
|
|
120 |
| our-instrucTrans | 24.89 | 47.00 | 22.78 | 21.78 | 24.27 | 27.98 | 31.31 | 15.42 |**26.92** |
|
121 |
## **FLoRes 영-한 번역데이터셋 평가**
|
122 |
[FloRes](https://huggingface.co/datasets/facebook/flores)는 페이스북에서 공개한 영어와 적은 리소스의 언어 200개에 대해서 병렬로 구성한 번역 벤치마크 데이터셋입니다.
|
123 |
-
traintogpb/aihub-flores-koen-integrated-sparta-30k를 활용하여 평가를 진행하였습니다. (한문장 구성)
|
124 |
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/ZDeA-7e-0xfXaGOmyS9zs.png)
|
125 |
| model | flores-dev | flores-devtest | average |
|
126 |
|:-----------------|-------------:|-----------------:|----------:|
|
@@ -134,9 +134,9 @@ traintogpb/aihub-flores-koen-integrated-sparta-30k를 활용하여 평가를 진
|
|
134 |
| our-sharegpt | 14.71 | 16.69 | 15.70 |
|
135 |
| our-instrucTrans | 14.49 | 17.69 | **16.09** |
|
136 |
## **iwslt-2023**
|
137 |
-
동일한 영어문장을 각각 반말, 존댓말의 한국어로 평가데이터셋이 구성되어 있습니다. 모델의 존대/반말 경향을 상대적으로 확인할 수 있습니다. (한문장 구성)
|
138 |
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/UJvuCnbjWokBWQNhD4L63.png)
|
139 |
-
| model |
|
140 |
|:-----------------|---------------------:|------------------:|----------:|
|
141 |
| EEVE-10.8b-it | 4.62 | 3.79 | 4.20 |
|
142 |
| KULLM3 | 5.94 | 5.24 | 5.59 |
|
@@ -148,7 +148,7 @@ traintogpb/aihub-flores-koen-integrated-sparta-30k를 활용하여 평가를 진
|
|
148 |
| our-sharegpt | 7.83 | 6.35 | 7.09 |
|
149 |
| our-instrucTrans | 8.63 | 6.97 | 7.80 |
|
150 |
## **ko_news_eval40**
|
151 |
-
24년5월 뉴스를 각 카테고리(4) 별 10개씩 기사 내 문단 일부를 수집하고, GPT4로 번역하여 구성하였습니다.
|
152 |
영어를 일상뉴스에 사용되는 한국어로 잘 번역하는지를 평가합니다. (문단 구성)
|
153 |
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/OaE5z_yQT9sIIz0zsn644.png)
|
154 |
| model | IT/과학 | 경제 | 사회 | 오피니언 | average |
|
|
|
105 |
<br>
|
106 |
|
107 |
## **Aihub 영-한 번역데이터셋 평가**
|
108 |
+
* [Aihub 평가 데이터셋]](https://huggingface.co/datasets/traintogpb/aihub-flores-koen-integrated-sparta-30k)은 모델들이 학습데이터셋에 포함되었을 수 있습니다. 카테고리별 성능을 확인하는 용도로만 참고해주세요. [[카테고리 설명 링크]](https://huggingface.co/datasets/traintogpb/aihub-koen-translation-integrated-tiny-100k)
|
109 |
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/TMo05LOUhPGYNbT2ADOgi.png)
|
110 |
| model | aihub-111 | aihub-124 | aihub-125 | aihub-126 | aihub-563 | aihub-71265 | aihub-71266 | aihub-71382 | average |
|
111 |
|:-----------------|------------:|------------:|------------:|------------:|------------:|--------------:|--------------:|--------------:|----------:|
|
|
|
120 |
| our-instrucTrans | 24.89 | 47.00 | 22.78 | 21.78 | 24.27 | 27.98 | 31.31 | 15.42 |**26.92** |
|
121 |
## **FLoRes 영-한 번역데이터셋 평가**
|
122 |
[FloRes](https://huggingface.co/datasets/facebook/flores)는 페이스북에서 공개한 영어와 적은 리소스의 언어 200개에 대해서 병렬로 구성한 번역 벤치마크 데이터셋입니다.
|
123 |
+
[traintogpb/aihub-flores-koen-integrated-sparta-30k](https://huggingface.co/datasets/traintogpb/aihub-flores-koen-integrated-sparta-30k)를 활용하여 평가를 진행하였습니다. (한문장 구성)
|
124 |
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/ZDeA-7e-0xfXaGOmyS9zs.png)
|
125 |
| model | flores-dev | flores-devtest | average |
|
126 |
|:-----------------|-------------:|-----------------:|----------:|
|
|
|
134 |
| our-sharegpt | 14.71 | 16.69 | 15.70 |
|
135 |
| our-instrucTrans | 14.49 | 17.69 | **16.09** |
|
136 |
## **iwslt-2023**
|
137 |
+
[iwslt-2023 데이터셋](https://huggingface.co/datasets/shreevigneshs/iwslt-2023-en-ko-train-val-split-0.1)은 동일한 영어문장을 각각 반말, 존댓말의 한국어로 평가데이터셋이 구성되어 있습니다. 모델의 존대/반말 경향을 상대적으로 확인할 수 있습니다. (한문장 구성)
|
138 |
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/UJvuCnbjWokBWQNhD4L63.png)
|
139 |
+
| model | iwslt_zondae | iwslt_banmal | average |
|
140 |
|:-----------------|---------------------:|------------------:|----------:|
|
141 |
| EEVE-10.8b-it | 4.62 | 3.79 | 4.20 |
|
142 |
| KULLM3 | 5.94 | 5.24 | 5.59 |
|
|
|
148 |
| our-sharegpt | 7.83 | 6.35 | 7.09 |
|
149 |
| our-instrucTrans | 8.63 | 6.97 | 7.80 |
|
150 |
## **ko_news_eval40**
|
151 |
+
[ko_news_eval40 데이터셋](https://huggingface.co/datasets/nayohan/ko_news_eval40)은 학습되지 않았을 새로운 데이터셋에 평가하고자 24년5월 뉴스를 각 카테고리(4) 별 10개씩 기사 내 문단 일부를 수집하고, GPT4로 번역하여 구성하였습니다.
|
152 |
영어를 일상뉴스에 사용되는 한국어로 잘 번역하는지를 평가합니다. (문단 구성)
|
153 |
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6152b4b9ecf3ca6ab820e325/OaE5z_yQT9sIIz0zsn644.png)
|
154 |
| model | IT/과학 | 경제 | 사회 | 오피니언 | average |
|