Update README.md
Browse files
README.md
CHANGED
@@ -44,7 +44,7 @@ base model: [klue/roberta-large](https://huggingface.co/klue/roberta-large)
|
|
44 |
- aihub_dialog_topic: AIHub [한국어 대화 요약](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=117)의 10개 주제 class 분류
|
45 |
- ko_relation_fields: AIHub [한국어 지식기반 관계 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=71633) 의 13개 주제 및 분야 분류
|
46 |
|
47 |
-
###
|
48 |
|task|accuracy|
|
49 |
|---|---|
|
50 |
|nsmc|0.8742|
|
@@ -57,15 +57,13 @@ base model: [klue/roberta-large](https://huggingface.co/klue/roberta-large)
|
|
57 |
|kobest-wic|0.7984|
|
58 |
|
59 |
### CSATQA
|
60 |
-
|
61 |
-
|
62 |
-
|
63 |
-
|
|
64 |
-
|
|
65 |
-
|
|
66 |
-
|
|
67 |
-
|csatqa-WR|0.0909|0.0909|
|
68 |
-
|Average| 0.2261 | 0.2629 |
|
69 |
|
70 |
* GPT 3.5의 성능은 [CSATQA 데이터셋](https://huggingface.co/datasets/HAERAE-HUB/csatqa)의 README에서 가져왔습니다.
|
71 |
|
|
|
44 |
- aihub_dialog_topic: AIHub [한국어 대화 요약](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=117)의 10개 주제 class 분류
|
45 |
- ko_relation_fields: AIHub [한국어 지식기반 관계 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=71633) 의 13개 주제 및 분야 분류
|
46 |
|
47 |
+
### Seen Task 성능
|
48 |
|task|accuracy|
|
49 |
|---|---|
|
50 |
|nsmc|0.8742|
|
|
|
57 |
|kobest-wic|0.7984|
|
58 |
|
59 |
### CSATQA
|
60 |
+
|
61 |
+
| **Models** | **GR** | **LI** | **RCH** | **RCS** | **RCSS** | **WR** | **Average** |
|
62 |
+
|:-----------------:|:---------:|:---------:|:---------:|:---------:|:---------:|:---------:|:-----------:|
|
63 |
+
| polyglot-ko-12.8B | 32.0 | 29.73 | 17.14| 10.81 | 21.43 | 18.18 | 21.55|
|
64 |
+
| gpt-3.5-wo-token | 16.0 | 32.43 | 42.86 | 18.92 | 35.71 | 0.00 | 24.32 |
|
65 |
+
| gpt-3.5-w-token | 16.0 | 35.14 | 42.86 | 18.92 | 35.71 | 9.09 | 26.29 |
|
66 |
+
| **azou(ours)** | 24.0 | 22.32 | 25.71 | 21.62 | 30.95 | 9.09 | 22.61 |
|
|
|
|
|
67 |
|
68 |
* GPT 3.5의 성능은 [CSATQA 데이터셋](https://huggingface.co/datasets/HAERAE-HUB/csatqa)의 README에서 가져왔습니다.
|
69 |
|