This is a RWKV6 architecture MLM model . The architect looks like:
Currently it's only trained with 25% of CCIA2 corpus which makes it biased to web crawled Chinese data.
Try to use it via https://github.com/yynil/RWKV_LM_EXT/blob/main/tests/test_mlm.py
The result looks like:
texts = ['法国的首都在[MASK]。',
'[MASK]首都在北京。',
'生活的真谛是[MASK]。',
'在二战中，阿道夫·希特勒是[MASK]。',
'1949年十月一号，发生了一件大事，那就是中华人民共和国[MASK]。',
'原子核的行星模型，现在普遍认为是[MASK]。',
'根据量子场论，质量来自[MASK]的作用。',
'雨后，彩虹出现在天边，小美陶醉地说："真[MASK]啊!"',]
法国的首都在巴黎。 <|endoftext|> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> prob is 0.6197544932365417 cum_prob is 0.6197544932365417
中国首都在北京。 <|endoftext|> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> prob is 0.08540000021457672 cum_prob is 0.08540000021457672
生活的真谛是快乐。 <|endoftext|> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> prob is 0.12731894850730896 cum_prob is 0.12731894850730896
在二战中，阿道夫·希特勒是领导者。 <|endoftext|> <eop> <eop> <eop> <eop> prob is 0.07036320120096207 cum_prob is 0.07036320120096207
1949年十月一号，发生了一件大事，那就是中华人民共和国成立。 <|endoftext|> <eop> <eop> prob is 0.7657460570335388 cum_prob is 0.7657460570335388
原子核的行星模型，现在普遍认为是行星。 <|endoftext|> <eop> <eop> <eop> <eop> <eop> <eop> prob is 0.043744392693042755 cum_prob is 0.043744392693042755
根据量子场论，质量来自质量的作用。 <|endoftext|> <eop> <eop> <eop> <eop> <eop> <eop> <eop> prob is 0.19818857312202454 cum_prob is 0.19818857312202454
雨后，彩虹出现在天边，小美陶醉地说："真美啊!" <|endoftext|> prob is 0.5407435297966003 cum_prob is 0.5407435297966003