|
{ |
|
"additional_special_tokens": [ |
|
"<|endoftext|>", |
|
"<|startoftranscript|>", |
|
"<|en|>", |
|
"<|zh|>", |
|
"<|de|>", |
|
"<|es|>", |
|
"<|ru|>", |
|
"<|ko|>", |
|
"<|fr|>", |
|
"<|ja|>", |
|
"<|pt|>", |
|
"<|tr|>", |
|
"<|pl|>", |
|
"<|ca|>", |
|
"<|nl|>", |
|
"<|ar|>", |
|
"<|sv|>", |
|
"<|it|>", |
|
"<|id|>", |
|
"<|hi|>", |
|
"<|fi|>", |
|
"<|vi|>", |
|
"<|iw|>", |
|
"<|uk|>", |
|
"<|el|>", |
|
"<|ms|>", |
|
"<|cs|>", |
|
"<|ro|>", |
|
"<|da|>", |
|
"<|hu|>", |
|
"<|ta|>", |
|
"<|no|>", |
|
"<|th|>", |
|
"<|ur|>", |
|
"<|hr|>", |
|
"<|bg|>", |
|
"<|lt|>", |
|
"<|la|>", |
|
"<|mi|>", |
|
"<|ml|>", |
|
"<|cy|>", |
|
"<|sk|>", |
|
"<|te|>", |
|
"<|fa|>", |
|
"<|lv|>", |
|
"<|bn|>", |
|
"<|sr|>", |
|
"<|az|>", |
|
"<|sl|>", |
|
"<|kn|>", |
|
"<|et|>", |
|
"<|mk|>", |
|
"<|br|>", |
|
"<|eu|>", |
|
"<|is|>", |
|
"<|hy|>", |
|
"<|ne|>", |
|
"<|mn|>", |
|
"<|bs|>", |
|
"<|kk|>", |
|
"<|sq|>", |
|
"<|sw|>", |
|
"<|gl|>", |
|
"<|mr|>", |
|
"<|pa|>", |
|
"<|si|>", |
|
"<|km|>", |
|
"<|sn|>", |
|
"<|yo|>", |
|
"<|so|>", |
|
"<|af|>", |
|
"<|oc|>", |
|
"<|ka|>", |
|
"<|be|>", |
|
"<|tg|>", |
|
"<|sd|>", |
|
"<|gu|>", |
|
"<|am|>", |
|
"<|yi|>", |
|
"<|lo|>", |
|
"<|uz|>", |
|
"<|fo|>", |
|
"<|ht|>", |
|
"<|ps|>", |
|
"<|tk|>", |
|
"<|nn|>", |
|
"<|mt|>", |
|
"<|sa|>", |
|
"<|lb|>", |
|
"<|my|>", |
|
"<|bo|>", |
|
"<|tl|>", |
|
"<|mg|>", |
|
"<|as|>", |
|
"<|tt|>", |
|
"<|haw|>", |
|
"<|ln|>", |
|
"<|ha|>", |
|
"<|ba|>", |
|
"<|jw|>", |
|
"<|su|>", |
|
"<|translate|>", |
|
"<|transcribe|>", |
|
"<|startoflm|>", |
|
"<|startofprev|>", |
|
"<|nocaptions|>", |
|
"<|notimestamps|>" |
|
], |
|
"bos_token": "<|endoftext|>", |
|
"eos_token": "<|endoftext|>", |
|
"pad_token": "<|endoftext|>", |
|
"unk_token": "" |
|
} |
|
|