from model.tokenization_albert import FullTokenizer from model.modeling_albert import AlbertModel import torch content = 'ལས་ཁུངས་ཀྱི་ཏང་འཛུགས་སྐྱོང་གི་སྤུས་ཚད་ཕྱོགས་ཡོངས་ནས་མཐོར་གཏོང་བཅས་བྱེད་པའི་བྱེད་ཐབས་གལ་ཆེན་ཞིག་ཡིན་ལ།' tokenizer = FullTokenizer(vocab_file='tibetan-albert-syllable-base/vocab.txt', do_lower_case=False) token = content.split('་') print(token) token_ids = tokenizer.convert_tokens_to_ids(token) print(token_ids) token_ids = torch.LongTensor([token_ids]) albert_model = AlbertModel.from_pretrained('tibetan-albert-syllable-base') output = albert_model(input_ids=token_ids) print(output)