|
{
|
|
"additional_special_tokens": [
|
|
"<|endoftext|>",
|
|
"<|startoftranscript|>",
|
|
"<|en|>",
|
|
"<|zh|>",
|
|
"<|de|>",
|
|
"<|es|>",
|
|
"<|ru|>",
|
|
"<|ko|>",
|
|
"<|fr|>",
|
|
"<|ja|>",
|
|
"<|pt|>",
|
|
"<|tr|>",
|
|
"<|pl|>",
|
|
"<|ca|>",
|
|
"<|nl|>",
|
|
"<|ar|>",
|
|
"<|sv|>",
|
|
"<|it|>",
|
|
"<|id|>",
|
|
"<|hi|>",
|
|
"<|fi|>",
|
|
"<|vi|>",
|
|
"<|iw|>",
|
|
"<|uk|>",
|
|
"<|el|>",
|
|
"<|ms|>",
|
|
"<|cs|>",
|
|
"<|ro|>",
|
|
"<|da|>",
|
|
"<|hu|>",
|
|
"<|ta|>",
|
|
"<|no|>",
|
|
"<|th|>",
|
|
"<|ur|>",
|
|
"<|hr|>",
|
|
"<|bg|>",
|
|
"<|lt|>",
|
|
"<|la|>",
|
|
"<|mi|>",
|
|
"<|ml|>",
|
|
"<|cy|>",
|
|
"<|sk|>",
|
|
"<|te|>",
|
|
"<|fa|>",
|
|
"<|lv|>",
|
|
"<|bn|>",
|
|
"<|sr|>",
|
|
"<|az|>",
|
|
"<|sl|>",
|
|
"<|kn|>",
|
|
"<|et|>",
|
|
"<|mk|>",
|
|
"<|br|>",
|
|
"<|eu|>",
|
|
"<|is|>",
|
|
"<|hy|>",
|
|
"<|ne|>",
|
|
"<|mn|>",
|
|
"<|bs|>",
|
|
"<|kk|>",
|
|
"<|sq|>",
|
|
"<|sw|>",
|
|
"<|gl|>",
|
|
"<|mr|>",
|
|
"<|pa|>",
|
|
"<|si|>",
|
|
"<|km|>",
|
|
"<|sn|>",
|
|
"<|yo|>",
|
|
"<|so|>",
|
|
"<|af|>",
|
|
"<|oc|>",
|
|
"<|ka|>",
|
|
"<|be|>",
|
|
"<|tg|>",
|
|
"<|sd|>",
|
|
"<|gu|>",
|
|
"<|am|>",
|
|
"<|yi|>",
|
|
"<|lo|>",
|
|
"<|uz|>",
|
|
"<|fo|>",
|
|
"<|ht|>",
|
|
"<|ps|>",
|
|
"<|tk|>",
|
|
"<|nn|>",
|
|
"<|mt|>",
|
|
"<|sa|>",
|
|
"<|lb|>",
|
|
"<|my|>",
|
|
"<|bo|>",
|
|
"<|tl|>",
|
|
"<|mg|>",
|
|
"<|as|>",
|
|
"<|tt|>",
|
|
"<|haw|>",
|
|
"<|ln|>",
|
|
"<|ha|>",
|
|
"<|ba|>",
|
|
"<|jw|>",
|
|
"<|su|>",
|
|
"<|translate|>",
|
|
"<|transcribe|>",
|
|
"<|startoflm|>",
|
|
"<|startofprev|>",
|
|
"<|nocaptions|>",
|
|
"<|notimestamps|>"
|
|
],
|
|
"bos_token": {
|
|
"content": "<|endoftext|>",
|
|
"lstrip": false,
|
|
"normalized": true,
|
|
"rstrip": false,
|
|
"single_word": false
|
|
},
|
|
"eos_token": {
|
|
"content": "<|endoftext|>",
|
|
"lstrip": false,
|
|
"normalized": true,
|
|
"rstrip": false,
|
|
"single_word": false
|
|
},
|
|
"pad_token": {
|
|
"content": "<|endoftext|>",
|
|
"lstrip": false,
|
|
"normalized": false,
|
|
"rstrip": false,
|
|
"single_word": false
|
|
},
|
|
"unk_token": {
|
|
"content": "",
|
|
"lstrip": false,
|
|
"normalized": true,
|
|
"rstrip": false,
|
|
"single_word": false
|
|
}
|
|
}
|
|
|