avans06 commited on
Commit
a2ab49a
1 Parent(s): 9382f01

Upload README.md

Browse files
Files changed (1) hide show
  1. README.md +470 -0
README.md CHANGED
@@ -1,3 +1,473 @@
1
  ---
2
  license: apache-2.0
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: apache-2.0
3
+ language:
4
+ - multilingual
5
+ - en
6
+ - ru
7
+ - es
8
+ - fr
9
+ - de
10
+ - it
11
+ - pt
12
+ - pl
13
+ - nl
14
+ - vi
15
+ - tr
16
+ - sv
17
+ - id
18
+ - ro
19
+ - cs
20
+ - zh
21
+ - hu
22
+ - ja
23
+ - th
24
+ - fi
25
+ - fa
26
+ - uk
27
+ - da
28
+ - el
29
+ - 'no'
30
+ - bg
31
+ - sk
32
+ - ko
33
+ - ar
34
+ - lt
35
+ - ca
36
+ - sl
37
+ - he
38
+ - et
39
+ - lv
40
+ - hi
41
+ - sq
42
+ - ms
43
+ - az
44
+ - sr
45
+ - ta
46
+ - hr
47
+ - kk
48
+ - is
49
+ - ml
50
+ - mr
51
+ - te
52
+ - af
53
+ - gl
54
+ - fil
55
+ - be
56
+ - mk
57
+ - eu
58
+ - bn
59
+ - ka
60
+ - mn
61
+ - bs
62
+ - uz
63
+ - ur
64
+ - sw
65
+ - yue
66
+ - ne
67
+ - kn
68
+ - kaa
69
+ - gu
70
+ - si
71
+ - cy
72
+ - eo
73
+ - la
74
+ - hy
75
+ - ky
76
+ - tg
77
+ - ga
78
+ - mt
79
+ - my
80
+ - km
81
+ - tt
82
+ - so
83
+ - ku
84
+ - ps
85
+ - pa
86
+ - rw
87
+ - lo
88
+ - ha
89
+ - dv
90
+ - fy
91
+ - lb
92
+ - ckb
93
+ - mg
94
+ - gd
95
+ - am
96
+ - ug
97
+ - ht
98
+ - grc
99
+ - hmn
100
+ - sd
101
+ - jv
102
+ - mi
103
+ - tk
104
+ - ceb
105
+ - yi
106
+ - ba
107
+ - fo
108
+ - or
109
+ - xh
110
+ - su
111
+ - kl
112
+ - ny
113
+ - sm
114
+ - sn
115
+ - co
116
+ - zu
117
+ - ig
118
+ - yo
119
+ - pap
120
+ - st
121
+ - haw
122
+ - as
123
+ - oc
124
+ - cv
125
+ - lus
126
+ - tet
127
+ - gsw
128
+ - sah
129
+ - br
130
+ - rm
131
+ - sa
132
+ - bo
133
+ - om
134
+ - se
135
+ - ce
136
+ - cnh
137
+ - ilo
138
+ - hil
139
+ - udm
140
+ - os
141
+ - lg
142
+ - ti
143
+ - vec
144
+ - ts
145
+ - tyv
146
+ - kbd
147
+ - ee
148
+ - iba
149
+ - av
150
+ - kha
151
+ - to
152
+ - tn
153
+ - nso
154
+ - fj
155
+ - zza
156
+ - ak
157
+ - ada
158
+ - otq
159
+ - dz
160
+ - bua
161
+ - cfm
162
+ - ln
163
+ - chm
164
+ - gn
165
+ - krc
166
+ - wa
167
+ - hif
168
+ - yua
169
+ - srn
170
+ - war
171
+ - rom
172
+ - bik
173
+ - pam
174
+ - sg
175
+ - lu
176
+ - ady
177
+ - kbp
178
+ - syr
179
+ - ltg
180
+ - myv
181
+ - iso
182
+ - kac
183
+ - bho
184
+ - ay
185
+ - kum
186
+ - qu
187
+ - za
188
+ - pag
189
+ - ngu
190
+ - ve
191
+ - pck
192
+ - zap
193
+ - tyz
194
+ - hui
195
+ - bbc
196
+ - tzo
197
+ - tiv
198
+ - ksd
199
+ - gom
200
+ - min
201
+ - ang
202
+ - nhe
203
+ - bgp
204
+ - nzi
205
+ - nnb
206
+ - nv
207
+ - zxx
208
+ - bci
209
+ - kv
210
+ - new
211
+ - mps
212
+ - alt
213
+ - meu
214
+ - bew
215
+ - fon
216
+ - iu
217
+ - abt
218
+ - mgh
219
+ - mnw
220
+ - tvl
221
+ - dov
222
+ - tlh
223
+ - ho
224
+ - kw
225
+ - mrj
226
+ - meo
227
+ - crh
228
+ - mbt
229
+ - emp
230
+ - ace
231
+ - ium
232
+ - mam
233
+ - gym
234
+ - mai
235
+ - crs
236
+ - pon
237
+ - ubu
238
+ - fip
239
+ - quc
240
+ - gv
241
+ - kj
242
+ - btx
243
+ - ape
244
+ - chk
245
+ - rcf
246
+ - shn
247
+ - tzh
248
+ - mdf
249
+ - ppk
250
+ - ss
251
+ - gag
252
+ - cab
253
+ - kri
254
+ - seh
255
+ - ibb
256
+ - tbz
257
+ - bru
258
+ - enq
259
+ - ach
260
+ - cuk
261
+ - kmb
262
+ - wo
263
+ - kek
264
+ - qub
265
+ - tab
266
+ - bts
267
+ - kos
268
+ - rwo
269
+ - cak
270
+ - tuc
271
+ - bum
272
+ - cjk
273
+ - gil
274
+ - stq
275
+ - tsg
276
+ - quh
277
+ - mak
278
+ - arn
279
+ - ban
280
+ - jiv
281
+ - sja
282
+ - yap
283
+ - tcy
284
+ - toj
285
+ - twu
286
+ - xal
287
+ - amu
288
+ - rmc
289
+ - hus
290
+ - nia
291
+ - kjh
292
+ - bm
293
+ - guh
294
+ - mas
295
+ - acf
296
+ - dtp
297
+ - ksw
298
+ - bzj
299
+ - din
300
+ - zne
301
+ - mad
302
+ - msi
303
+ - mag
304
+ - mkn
305
+ - kg
306
+ - lhu
307
+ - ch
308
+ - qvi
309
+ - mh
310
+ - djk
311
+ - sus
312
+ - mfe
313
+ - srm
314
+ - dyu
315
+ - ctu
316
+ - gui
317
+ - pau
318
+ - inb
319
+ - bi
320
+ - mni
321
+ - guc
322
+ - jam
323
+ - wal
324
+ - jac
325
+ - bas
326
+ - gor
327
+ - skr
328
+ - nyu
329
+ - noa
330
+ - sda
331
+ - gub
332
+ - nog
333
+ - cni
334
+ - teo
335
+ - tdx
336
+ - sxn
337
+ - rki
338
+ - nr
339
+ - frp
340
+ - alz
341
+ - taj
342
+ - lrc
343
+ - cce
344
+ - rn
345
+ - jvn
346
+ - hvn
347
+ - nij
348
+ - dwr
349
+ - izz
350
+ - msm
351
+ - bus
352
+ - ktu
353
+ - chr
354
+ - maz
355
+ - tzj
356
+ - suz
357
+ - knj
358
+ - bim
359
+ - gvl
360
+ - bqc
361
+ - tca
362
+ - pis
363
+ - prk
364
+ - laj
365
+ - mel
366
+ - qxr
367
+ - niq
368
+ - ahk
369
+ - shp
370
+ - hne
371
+ - spp
372
+ - koi
373
+ - krj
374
+ - quf
375
+ - luz
376
+ - agr
377
+ - tsc
378
+ - mqy
379
+ - gof
380
+ - gbm
381
+ - miq
382
+ - dje
383
+ - awa
384
+ - bjj
385
+ - qvz
386
+ - sjp
387
+ - tll
388
+ - raj
389
+ - kjg
390
+ - bgz
391
+ - quy
392
+ - cbk
393
+ - akb
394
+ - oj
395
+ - ify
396
+ - mey
397
+ - ks
398
+ - cac
399
+ - brx
400
+ - qup
401
+ - syl
402
+ - jax
403
+ - ff
404
+ - ber
405
+ - tks
406
+ - trp
407
+ - mrw
408
+ - adh
409
+ - smt
410
+ - srr
411
+ - ffm
412
+ - qvc
413
+ - mtr
414
+ - ann
415
+ - kaa
416
+ - aa
417
+ - noe
418
+ - nut
419
+ - gyn
420
+ - kwi
421
+ - xmm
422
+ - msb
423
+ tags:
424
+ - ctranslate2
425
+ - quantization
426
+ - int8
427
+ - float16
428
+ - madlad400
429
  ---
430
+
431
+ # madlad400-7b-mt-bt model for CTranslate2
432
+
433
+ **The model is quantized version of the [jbochi/madlad400-7b-mt-bt](https://huggingface.co/jbochi/madlad400-7b-mt-bt) with int8_float16 quantization and can be used in [CTranslate2](https://github.com/OpenNMT/CTranslate2).**
434
+
435
+ **madlad400 is a multilingual machine translation model based on the T5 architecture introduced by Google DeepMind, Google Research in Sep 2023. It was trained on 250 billion tokens covering over 450 languages using publicly available data. The paper is titled "MADLAD-400: A Multilingual And Document-Level Large Audited Dataset" ([arXiv:2309.04662](https://arxiv.org/abs/2309.04662)).**
436
+
437
+ **madlad400-7b-mt-bt is finetuned version of the 7.2B parameter model on backtranslated data. Authors say in the [paper](https://arxiv.org/pdf/2309.04662.pdf) that:**
438
+
439
+ > While this setup is very likely sub-optimal, we see that back-translation
440
+ > greatly improves en2xx translation (by 3.0 chrf, in the case of Flores-200) in most cases.
441
+
442
+
443
+ ## Conversion details
444
+
445
+ The original model was converted on 2023-12 with the following command:
446
+
447
+ ```
448
+ ct2-transformers-converter --model jbochi/madlad400-7b-mt-bt --quantization int8_float16 --output_dir madlad400-7b-mt-bt-ct2-int8_float16 \
449
+ --copy_files added_tokens.json generation_config.json model.safetensors.index.json shared_vocabulary.json special_tokens_map.json spiece.model tokenizer.json tokenizer_config.json
450
+ ```
451
+
452
+
453
+ ## Example
454
+
455
+ This example code is obtained from [CTranslate2_transformers](https://opennmt.net/CTranslate2/guides/transformers.html#t5).
456
+ More detailed information about the `translate_batch` methon can be found at [CTranslate2_Translator.translate_batch](https://opennmt.net/CTranslate2/python/ctranslate2.Translator.html#ctranslate2.Translator.translate_batch).
457
+
458
+ ```python
459
+ import ctranslate2
460
+ import transformers
461
+
462
+ translator = ctranslate2.Translator("avans06/madlad400-7b-mt-bt-ct2-int8_float16", compute_type="auto")
463
+ tokenizer = transformers.AutoTokenizer.from_pretrained("jbochi/madlad400-7b-mt-bt")
464
+
465
+ prefix = "<2en> "
466
+ input_text = "Who is Alan Turing?"
467
+ input_tokens = tokenizer.convert_ids_to_tokens(tokenizer.encode(prefix + input_text))
468
+
469
+ results = translator.translate_batch([input_tokens])
470
+
471
+ output_tokens = results[0].hypotheses[0]
472
+ output_text = tokenizer.decode(tokenizer.convert_tokens_to_ids(output_tokens))
473
+ ```