tokenizer-arena / stats /compression_rate /CohereForAI.aya-101 @ cc100.ko.diff.json
xu-song's picture
add compression_rate details
a4208a2
[
{
"text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246 .270 .508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
"decoded_text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246.270.508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
"diff": [
"delete text[59:60] --> decoded_text[59:59] ' ' --> ''",
"delete text[64:65] --> decoded_text[63:63] ' ' --> ''"
],
"n_oov_chars": 0,
"oov_ratio": 0.0,
"oov_charset": "[]"
},
{
"text": "언제나 좋은 글 감사합니다ㅡㅡ",
"decoded_text": "언제나 좋은 글 감사합니다ᅳᅳ",
"diff": [
"replace text[14:16] --> decoded_text[14:16] 'ㅡㅡ' --> 'ᅳᅳ'"
],
"n_oov_chars": 2,
"oov_ratio": 0.125,
"oov_charset": "[\"ㅡ\"]"
},
{
"text": "그러나저지의 통산 펜웨이파크 안전공원 성적은 9경기 .083(36타수3안타) 1홈런 2타점으로 좋지 않다.",
"decoded_text": "그러나저지의 통산 펜웨이파크 안전공원 성적은 9경기.083(36타수3안타) 1홈런 2타점으로 좋지 않다.",
"diff": [
"delete text[28:29] --> decoded_text[28:28] ' ' --> ''"
],
"n_oov_chars": 0,
"oov_ratio": 0.0,
"oov_charset": "[]"
},
{
"text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 안전공원 피안타율이 .228인 반면 그 안으로 들어온 공의 피안타율은 .318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 피치를 던지는 능력은 커맨드다.",
"decoded_text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 안전공원 피안타율이.228인 반면 그 안으로 들어온 공의 피안타율은.318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 피치를 던지는 능력은 커맨드다.",
"diff": [
"delete text[58:59] --> decoded_text[58:58] ' ' --> ''",
"delete text[86:87] --> decoded_text[85:85] ' ' --> ''"
],
"n_oov_chars": 0,
"oov_ratio": 0.0,
"oov_charset": "[]"
},
{
"text": "좋은 자료 감사합니다ㅡ0ㅡ",
"decoded_text": "좋은 자료 감사합니다ᅳ0ᅳ",
"diff": [
"replace text[11:12] --> decoded_text[11:12] 'ㅡ' --> 'ᅳ'",
"replace text[13:14] --> decoded_text[13:14] 'ㅡ' --> 'ᅳ'"
],
"n_oov_chars": 2,
"oov_ratio": 0.14285714285714285,
"oov_charset": "[\"ㅡ\"]"
},
{
"text": "코리시거는 3타수3안타 1홈런(4호) 1타점 1볼넷(.337 .425 .561). 매팅리 감독은 빠르게 적응한 시거에 대한 입장을 이미 바꾼 상태다(당초 매팅리는 시거의 역할은 롤린스가 돌아올 때까지라고 축구일정 선을 그었다).",
"decoded_text": "코리시거는 3타수3안타 1홈런(4호) 1타점 1볼넷(.337.425.561). 매팅리 감독은 빠르게 적응한 시거에 대한 입장을 이미 바꾼 상태다(당초 매팅리는 시거의 역할은 롤린스가 돌아올 때까지라고 축구일정 선을 그었다).",
"diff": [
"delete text[33:34] --> decoded_text[33:33] ' ' --> ''",
"delete text[38:39] --> decoded_text[37:37] ' ' --> ''"
],
"n_oov_chars": 0,
"oov_ratio": 0.0,
"oov_charset": "[]"
},
{
"text": "*⁴시즌 백투백일정 이틀째 14경기 전승. 골든스테이트는 같은 부문 16경기 15승 1패다.(밀워키에게 일격을 당해 개막 축구일정 24연승 행진이 중단되었다)",
"decoded_text": "*4시즌 백투백일정 이틀째 14경기 전승. 골든스테이트는 같은 부문 16경기 15승 1패다.(밀워키에게 일격을 당해 개막 축구일정 24연승 행진이 중단되었다)",
"diff": [
"replace text[1:2] --> decoded_text[1:2] '⁴' --> '4'"
],
"n_oov_chars": 1,
"oov_ratio": 0.011363636363636364,
"oov_charset": "[\"⁴\"]"
},
{
"text": "*¹이번 시즌을 끝으로 5년 6,000만 달러 계약이 앰파이어카지노 마감된다.",
"decoded_text": "*1이번 시즌을 끝으로 5년 6,000만 달러 계약이 앰파이어카지노 마감된다.",
"diff": [
"replace text[1:2] --> decoded_text[1:2] '¹' --> '1'"
],
"n_oov_chars": 1,
"oov_ratio": 0.023255813953488372,
"oov_charset": "[\"¹\"]"
},
{
"text": "◇오승환 앰파이어카지노 vs 강정호…내셔널리그 중부지구 흥행요소 = 올해 시범경기에서 한국인 투수와 타자가 동시에 등장하는 장면을 더는 볼 수 없다.",
"decoded_text": "◇오승환 앰파이어카지노 vs 강정호...내셔널리그 중부지구 흥행요소 = 올해 시범경기에서 한국인 투수와 타자가 동시에 등장하는 장면을 더는 볼 수 없다.",
"diff": [
"replace text[19:20] --> decoded_text[19:22] '…' --> '...'"
],
"n_oov_chars": 1,
"oov_ratio": 0.012048192771084338,
"oov_charset": "[\"…\"]"
},
{
"text": "등도4쿼터초중반 달아나는 과정에서 높은 생산력을 자랑한다. *¹토론토는 여러 차례 언급했듯이 2017-18시즌 이견의 여지가 없는 벤치전력 앰파이어카지노 1위 팀이다.",
"decoded_text": "등도4쿼터초중반 달아나는 과정에서 높은 생산력을 자랑한다. *1토론토는 여러 차례 언급했듯이 2017-18시즌 이견의 여지가 없는 벤치전력 앰파이어카지노 1위 팀이다.",
"diff": [
"replace text[34:35] --> decoded_text[34:35] '¹' --> '1'"
],
"n_oov_chars": 1,
"oov_ratio": 0.010752688172043012,
"oov_charset": "[\"¹\"]"
}
]