Internal links in README.md tables are broken
Author: hhou435
Pull request: no

Hello, I found that the link in the model card is not working properly https://huggingface.co/uer/chinese_roberta_L-2_H-128
![image](https://user-images.githubusercontent.com/59219579/133232944-56f384d5-7443-4bcd-a894-dded911789b1.png)
Other model cards also have the same problem https://huggingface.co/google/bert_uncased_L-2_H-128_A-2
![image](https://user-images.githubusercontent.com/59219579/133233181-0df5c07a-e6e9-48af-9a4b-9bbea7d5f731.png)


Comments:
Can this problem be fixed?
It is inconvenient when the link is not working properly.

Hello, you should contact the author of the model, which seems to be part of the following GitHub organization: https://github.com/dbiir/UER-py

@LysandreJik Hello, I am the author of these models. These links worked normally before, and I did not make any changes. The same problem appeared in Google's model card. I think it might be a problem with the web page?

reporting this for @elishowk @Pierrci, might be a (new) issue with our markdown renderer?

Hi,

Thanks for reporting.
Seems like a bug on our side.
[Here's the same markdown rendered by markdownjs v2.1.3, and links are OK](https://marked.js.org/demo/?text=---%0Alanguage%3A%20Chinese%0Adatasets%3A%20CLUECorpusSmall%0Awidget%3A%20%0A-%20text%3A%20%22%E5%8C%97%E4%BA%AC%E6%98%AF%5BMASK%5D%E5%9B%BD%E7%9A%84%E9%A6%96%E9%83%BD%E3%80%82%22%0A%0A%0A%0A---%0A%0A%0A%23%20Chinese%20RoBERTa%20Miniatures%0A%0A%23%23%20Model%20description%0A%0AThis%20is%20the%20set%20of%2024%20Chinese%20RoBERTa%20models%20pre-trained%20by%20%5BUER-py%5D(https%3A%2F%2Fgithub.com%2Fdbiir%2FUER-py%2F)%2C%20which%20is%20introduced%20in%20%5Bthis%20paper%5D(https%3A%2F%2Farxiv.org%2Fabs%2F1909.05658).%0A%0A%5BTurc%20et%20al.%5D(https%3A%2F%2Farxiv.org%2Fabs%2F1908.08962)%20have%20shown%20that%20the%20standard%20BERT%20recipe%20is%20effective%20on%20a%20wide%20range%20of%20model%20sizes.%20Following%20their%20paper%2C%20we%20released%20the%2024%20Chinese%20RoBERTa%20models.%20In%20order%20to%20facilitate%20users%20to%20reproduce%20the%20results%2C%20we%20used%20the%20publicly%20available%20corpus%20and%20provided%20all%20training%20details.%0A%0AYou%20can%20download%20the%2024%20Chinese%20RoBERTa%20miniatures%20either%20from%20the%20%5BUER-py%20Modelzoo%20page%5D(https%3A%2F%2Fgithub.com%2Fdbiir%2FUER-py%2Fwiki%2FModelzoo)%2C%20or%20via%20HuggingFace%20from%20the%20links%20below%3A%0A%0A%7C%20%20%20%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%20%20%20%20H%3D128%20%20%20%20%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%20%20%20%20H%3D256%20%20%20%20%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%20%20%20%20%20H%3D512%20%20%20%20%20%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%20%20%20%20%20H%3D768%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%7C%20--------%20%7C%20%3A-----------------------%3A%20%7C%20%3A-----------------------%3A%20%7C%20%3A-------------------------%3A%20%7C%20%3A-------------------------%3A%20%7C%0A%7C%20**L%3D2**%20%20%7C%20%5B**2%2F128%20(Tiny)**%5D%5B2_128%5D%20%7C%20%20%20%20%20%20%5B2%2F256%5D%5B2_256%5D%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%5B2%2F512%5D%5B2_512%5D%20%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%5B2%2F768%5D%5B2_768%5D%20%20%20%20%20%20%20%20%7C%0A%7C%20**L%3D4**%20%20%7C%20%20%20%20%20%20%5B4%2F128%5D%5B4_128%5D%20%20%20%20%20%20%20%7C%20%5B**4%2F256%20(Mini)**%5D%5B4_256%5D%20%7C%20%5B**4%2F512%20(Small)**%5D%5B4_512%5D%20%20%7C%20%20%20%20%20%20%20%5B4%2F768%5D%5B4_768%5D%20%20%20%20%20%20%20%20%7C%0A%7C%20**L%3D6**%20%20%7C%20%20%20%20%20%20%5B6%2F128%5D%5B6_128%5D%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%5B6%2F256%5D%5B6_256%5D%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%5B6%2F512%5D%5B6_512%5D%20%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%5B6%2F768%5D%5B6_768%5D%20%20%20%20%20%20%20%20%7C%0A%7C%20**L%3D8**%20%20%7C%20%20%20%20%20%20%5B8%2F128%5D%5B8_128%5D%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%5B8%2F256%5D%5B8_256%5D%20%20%20%20%20%20%20%7C%20%5B**8%2F512%20(Medium)**%5D%5B8_512%5D%20%7C%20%20%20%20%20%20%20%5B8%2F768%5D%5B8_768%5D%20%20%20%20%20%20%20%20%7C%0A%7C%20**L%3D10**%20%7C%20%20%20%20%20%5B10%2F128%5D%5B10_128%5D%20%20%20%20%20%20%7C%20%20%20%20%20%5B10%2F256%5D%5B10_256%5D%20%20%20%20%20%20%7C%20%20%20%20%20%20%5B10%2F512%5D%5B10_512%5D%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%5B10%2F768%5D%5B10_768%5D%20%20%20%20%20%20%20%7C%0A%7C%20**L%3D12**%20%7C%20%20%20%20%20%5B12%2F128%5D%5B12_128%5D%20%20%20%20%20%20%7C%20%20%20%20%20%5B12%2F256%5D%5B12_256%5D%20%20%20%20%20%20%7C%20%20%20%20%20%20%5B12%2F512%5D%5B12_512%5D%20%20%20%20%20%20%20%7C%20%5B**12%2F768%20(Base)**%5D%5B12_768%5D%20%7C%0A%0AHere%20are%20scores%20on%20the%20devlopment%20set%20of%20six%20Chinese%20tasks%3A%0A%0A%7C%20Model%20%20%20%20%20%20%20%20%20%20%7C%20Score%20%7C%20douban%20%7C%20chnsenticorp%20%7C%20lcqmc%20%7C%20tnews(CLUE)%20%7C%20iflytek(CLUE)%20%7C%20ocnli(CLUE)%20%7C%0A%7C%20--------------%20%7C%20%3A---%3A%20%7C%20%3A----%3A%20%7C%20%3A----------%3A%20%7C%20%3A---%3A%20%7C%20%3A---------%3A%20%7C%20%3A-----------%3A%20%7C%20%3A---------%3A%20%7C%0A%7C%20RoBERTa-Tiny%20%20%20%7C%2072.3%20%20%7C%20%2083.0%20%20%7C%20%20%20%20%2091.4%20%20%20%20%20%7C%2081.8%20%20%7C%20%20%20%2062.0%20%20%20%20%20%7C%20%20%20%20%2055.0%20%20%20%20%20%20%7C%20%20%20%2060.3%20%20%20%20%20%7C%0A%7C%20RoBERTa-Mini%20%20%20%7C%2075.7%20%20%7C%20%2084.8%20%20%7C%20%20%20%20%2093.7%20%20%20%20%20%7C%2086.1%20%20%7C%20%20%20%2063.9%20%20%20%20%20%7C%20%20%20%20%2058.3%20%20%20%20%20%20%7C%20%20%20%2067.4%20%20%20%20%20%7C%0A%7C%20RoBERTa-Small%20%20%7C%2076.8%20%20%7C%20%2086.5%20%20%7C%20%20%20%20%2093.4%20%20%20%20%20%7C%2086.5%20%20%7C%20%20%20%2065.1%20%20%20%20%20%7C%20%20%20%20%2059.4%20%20%20%20%20%20%7C%20%20%20%2069.7%20%20%20%20%20%7C%0A%7C%20RoBERTa-Medium%20%7C%2077.8%20%20%7C%20%2087.6%20%20%7C%20%20%20%20%2094.8%20%20%20%20%20%7C%2088.1%20%20%7C%20%20%20%2065.6%20%20%20%20%20%7C%20%20%20%20%2059.5%20%20%20%20%20%20%7C%20%20%20%2071.2%20%20%20%20%20%7C%0A%7C%20RoBERTa-Base%20%20%20%7C%2079.5%20%20%7C%20%2089.1%20%20%7C%20%20%20%20%2095.2%20%20%20%20%20%7C%2089.2%20%20%7C%20%20%20%2067.0%20%20%20%20%20%7C%20%20%20%20%2060.9%20%20%20%20%20%20%7C%20%20%20%2075.5%20%20%20%20%20%7C%0A%0AFor%20each%20task%2C%20we%20selected%20the%20best%20fine-tuning%20hyperparameters%20from%20the%20lists%20below%2C%20and%20trained%20with%20the%20sequence%20length%20of%20128%3A%0A%0A-%20epochs%3A%203%2C%205%2C%208%0A-%20batch%20sizes%3A%2032%2C%2064%0A-%20learning%20rates%3A%203e-5%2C%201e-4%2C%203e-4%0A%0A%23%23%20How%20to%20use%0A%0AYou%20can%20use%20this%20model%20directly%20with%20a%20pipeline%20for%20masked%20language%20modeling%20(take%20the%20case%20of%20RoBERTa-Medium)%3A%0A%0A%60%60%60python%0A%3E%3E%3E%20from%20transformers%20import%20pipeline%0A%3E%3E%3E%20unmasker%20%3D%20pipeline(%27fill-mask%27%2C%20model%3D%27uer%2Fchinese_roberta_L-8_H-512%27)%0A%3E%3E%3E%20unmasker(%22%E4%B8%AD%E5%9B%BD%E7%9A%84%E9%A6%96%E9%83%BD%E6%98%AF%5BMASK%5D%E4%BA%AC%E3%80%82%22)%0A%5B%0A%20%20%20%20%7B%27sequence%27%3A%20%27%5BCLS%5D%20%E4%B8%AD%20%E5%9B%BD%20%E7%9A%84%20%E9%A6%96%20%E9%83%BD%20%E6%98%AF%20%E5%8C%97%20%E4%BA%AC%20%E3%80%82%20%5BSEP%5D%27%2C%20%0A%20%20%20%20%20%27score%27%3A%200.8701988458633423%2C%20%0A%20%20%20%20%20%27token%27%3A%201266%2C%20%0A%20%20%20%20%20%27token_str%27%3A%20%27%E5%8C%97%27%7D%2C%0A%20%20%20%20%7B%27sequence%27%3A%20%27%5BCLS%5D%20%E4%B8%AD%20%E5%9B%BD%20%E7%9A%84%20%E9%A6%96%20%E9%83%BD%20%E6%98%AF%20%E5%8D%97%20%E4%BA%AC%20%E3%80%82%20%5BSEP%5D%27%2C%0A%20%20%20%20%20%27score%27%3A%200.1194809079170227%2C%20%0A%20%20%20%20%20%27token%27%3A%201298%2C%20%0A%20%20%20%20%20%27token_str%27%3A%20%27%E5%8D%97%27%7D%2C%0A%20%20%20%20%7B%27sequence%27%3A%20%27%5BCLS%5D%20%E4%B8%AD%20%E5%9B%BD%20%E7%9A%84%20%E9%A6%96%20%E9%83%BD%20%E6%98%AF%20%E4%B8%9C%20%E4%BA%AC%20%E3%80%82%20%5BSEP%5D%27%2C%20%0A%20%20%20%20%20%27score%27%3A%200.0037803512532263994%2C%20%0A%20%20%20%20%20%27token%27%3A%20691%2C%20%0A%20%20%20%20%20%27token_str%27%3A%20%27%E4%B8%9C%27%7D%2C%0A%20%20%20%20%7B%27sequence%27%3A%20%27%5BCLS%5D%20%E4%B8%AD%20%E5%9B%BD%20%E7%9A%84%20%E9%A6%96%20%E9%83%BD%20%E6%98%AF%20%E6%99%AE%20%E4%BA%AC%20%E3%80%82%20%5BSEP%5D%27%2C%0A%20%20%20%20%20%27score%27%3A%200.0017127094324678183%2C%20%0A%20%20%20%20%20%27token%27%3A%203249%2C%0A%20%20%20%20%20%27token_str%27%3A%20%27%E6%99%AE%27%7D%2C%0A%20%20%20%20%7B%27sequence%27%3A%20%27%5BCLS%5D%20%E4%B8%AD%20%E5%9B%BD%20%E7%9A%84%20%E9%A6%96%20%E9%83%BD%20%E6%98%AF%20%E6%9C%9B%20%E4%BA%AC%20%E3%80%82%20%5BSEP%5D%27%2C%0A%20%20%20%20%20%27score%27%3A%200.001687526935711503%2C%0A%20%20%20%20%20%27token%27%3A%203307%2C%20%0A%20%20%20%20%20%27token_str%27%3A%20%27%E6%9C%9B%27%7D%0A%5D%0A%60%60%60%0A%0AHere%20is%20how%20to%20use%20this%20model%20to%20get%20the%20features%20of%20a%20given%20text%20in%20PyTorch%3A%0A%0A%60%60%60python%0Afrom%20transformers%20import%20BertTokenizer%2C%20BertModel%0Atokenizer%20%3D%20BertTokenizer.from_pretrained(%27uer%2Fchinese_roberta_L-8_H-512%27)%0Amodel%20%3D%20BertModel.from_pretrained(%22uer%2Fchinese_roberta_L-8_H-512%22)%0Atext%20%3D%20%22%E7%94%A8%E4%BD%A0%E5%96%9C%E6%AC%A2%E7%9A%84%E4%BB%BB%E4%BD%95%E6%96%87%E6%9C%AC%E6%9B%BF%E6%8D%A2%E6%88%91%E3%80%82%22%0Aencoded_input%20%3D%20tokenizer(text%2C%20return_tensors%3D%27pt%27)%0Aoutput%20%3D%20model(**encoded_input)%0A%60%60%60%0A%0Aand%20in%20TensorFlow%3A%0A%0A%60%60%60python%0Afrom%20transformers%20import%20BertTokenizer%2C%20TFBertModel%0Atokenizer%20%3D%20BertTokenizer.from_pretrained(%27uer%2Fchinese_roberta_L-8_H-512%27)%0Amodel%20%3D%20TFBertModel.from_pretrained(%22uer%2Fchinese_roberta_L-8_H-512%22)%0Atext%20%3D%20%22%E7%94%A8%E4%BD%A0%E5%96%9C%E6%AC%A2%E7%9A%84%E4%BB%BB%E4%BD%95%E6%96%87%E6%9C%AC%E6%9B%BF%E6%8D%A2%E6%88%91%E3%80%82%22%0Aencoded_input%20%3D%20tokenizer(text%2C%20return_tensors%3D%27tf%27)%0Aoutput%20%3D%20model(encoded_input)%0A%60%60%60%0A%0A%23%23%20Training%20data%0A%0A%5BCLUECorpusSmall%5D(https%3A%2F%2Fgithub.com%2FCLUEbenchmark%2FCLUECorpus2020%2F)%20is%20used%20as%20training%20data.%20We%20found%20that%20models%20pre-trained%20on%20CLUECorpusSmall%20outperform%20those%20pre-trained%20on%20CLUECorpus2020%2C%20although%20CLUECorpus2020%20is%20much%20larger%20than%20CLUECorpusSmall.%0A%0A%23%23%20Training%20procedure%0A%0AModels%20are%20pre-trained%20by%20%5BUER-py%5D(https%3A%2F%2Fgithub.com%2Fdbiir%2FUER-py%2F)%20on%20%5BTencent%20Cloud%5D(https%3A%2F%2Fcloud.tencent.com%2F).%20We%20pre-train%201%2C000%2C000%20steps%20with%20a%20sequence%20length%20of%20128%20and%20then%20pre-train%20250%2C000%20additional%20steps%20with%20a%20sequence%20length%20of%20512.%20We%20use%20the%20same%20hyper-parameters%20on%20different%20model%20sizes.%0A%0ATaking%20the%20case%20of%20RoBERTa-Medium%0A%0AStage1%3A%0A%0A%60%60%60%0Apython3%20preprocess.py%20--corpus_path%20corpora%2Fcluecorpussmall.txt%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--vocab_path%20models%2Fgoogle_zh_vocab.txt%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--dataset_path%20cluecorpussmall_seq128_dataset.pt%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--processes_num%2032%20--seq_length%20128%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--dynamic_masking%20--target%20mlm%0A%60%60%60%0A%0A%60%60%60%0Apython3%20pretrain.py%20--dataset_path%20cluecorpussmall_seq128_dataset.pt%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--vocab_path%20models%2Fgoogle_zh_vocab.txt%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--config_path%20models%2Fbert%2Fmedium_config.json%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--output_model_path%20models%2Fcluecorpussmall_roberta_medium_seq128_model.bin%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--world_size%208%20--gpu_ranks%200%201%202%203%204%205%206%207%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--total_steps%201000000%20--save_checkpoint_steps%20100000%20--report_steps%2050000%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--learning_rate%201e-4%20--batch_size%2064%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--embedding%20word_pos_seg%20--encoder%20transformer%20--mask%20fully_visible%20--target%20mlm%20--tie_weights%0A%60%60%60%0A%0AStage2%3A%0A%0A%60%60%60%0Apython3%20preprocess.py%20--corpus_path%20corpora%2Fcluecorpussmall.txt%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--vocab_path%20models%2Fgoogle_zh_vocab.txt%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--dataset_path%20cluecorpussmall_seq512_dataset.pt%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--processes_num%2032%20--seq_length%20512%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--dynamic_masking%20--target%20mlm%0A%60%60%60%0A%0A%60%60%60%0Apython3%20pretrain.py%20--dataset_path%20cluecorpussmall_seq512_dataset.pt%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--pretrained_model_path%20models%2Fcluecorpussmall_roberta_medium_seq128_model.bin-1000000%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--vocab_path%20models%2Fgoogle_zh_vocab.txt%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--config_path%20models%2Fbert%2Fmedium_config.json%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--output_model_path%20models%2Fcluecorpussmall_roberta_medium_seq512_model.bin%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--world_size%208%20--gpu_ranks%200%201%202%203%204%205%206%207%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--total_steps%20250000%20--save_checkpoint_steps%2050000%20--report_steps%2010000%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--learning_rate%205e-5%20--batch_size%2016%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--embedding%20word_pos_seg%20--encoder%20transformer%20--mask%20fully_visible%20--target%20mlm%20--tie_weights%0A%60%60%60%0A%0AFinally%2C%20we%20convert%20the%20pre-trained%20model%20into%20Huggingface%27s%20format%3A%0A%0A%60%60%60%0Apython3%20scripts%2Fconvert_bert_from_uer_to_huggingface.py%20--input_model_path%20models%2Fcluecorpussmall_roberta_medium_seq512_model.bin-250000%20%5C%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--output_model_path%20pytorch_model.bin%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--layers_num%208%20--target%20mlm%0A%60%60%60%0A%0A%23%23%23%20BibTeX%20entry%20and%20citation%20info%0A%0A%60%60%60%0A%40article%7Bdevlin2018bert%2C%0A%20%20title%3D%7BBert%3A%20Pre-training%20of%20deep%20bidirectional%20transformers%20for%20language%20understanding%7D%2C%0A%20%20author%3D%7BDevlin%2C%20Jacob%20and%20Chang%2C%20Ming-Wei%20and%20Lee%2C%20Kenton%20and%20Toutanova%2C%20Kristina%7D%2C%0A%20%20journal%3D%7BarXiv%20preprint%20arXiv%3A1810.04805%7D%2C%0A%20%20year%3D%7B2018%7D%0A%7D%0A%0A%40article%7Bliu2019roberta%2C%0A%20%20title%3D%7BRoberta%3A%20A%20robustly%20optimized%20bert%20pretraining%20approach%7D%2C%0A%20%20author%3D%7BLiu%2C%20Yinhan%20and%20Ott%2C%20Myle%20and%20Goyal%2C%20Naman%20and%20Du%2C%20Jingfei%20and%20Joshi%2C%20Mandar%20and%20Chen%2C%20Danqi%20and%20Levy%2C%20Omer%20and%20Lewis%2C%20Mike%20and%20Zettlemoyer%2C%20Luke%20and%20Stoyanov%2C%20Veselin%7D%2C%0A%20%20journal%3D%7BarXiv%20preprint%20arXiv%3A1907.11692%7D%2C%0A%20%20year%3D%7B2019%7D%0A%7D%0A%0A%40article%7Bturc2019%2C%0A%20%20title%3D%7BWell-Read%20Students%20Learn%20Better%3A%20On%20the%20Importance%20of%20Pre-training%20Compact%20Models%7D%2C%0A%20%20author%3D%7BTurc%2C%20Iulia%20and%20Chang%2C%20Ming-Wei%20and%20Lee%2C%20Kenton%20and%20Toutanova%2C%20Kristina%7D%2C%0A%20%20journal%3D%7BarXiv%20preprint%20arXiv%3A1908.08962v2%20%7D%2C%0A%20%20year%3D%7B2019%7D%0A%7D%0A%0A%40article%7Bzhao2019uer%2C%0A%20%20title%3D%7BUER%3A%20An%20Open-Source%20Toolkit%20for%20Pre-training%20Models%7D%2C%0A%20%20author%3D%7BZhao%2C%20Zhe%20and%20Chen%2C%20Hui%20and%20Zhang%2C%20Jinbin%20and%20Zhao%2C%20Xin%20and%20Liu%2C%20Tao%20and%20Lu%2C%20Wei%20and%20Chen%2C%20Xi%20and%20Deng%2C%20Haotang%20and%20Ju%2C%20Qi%20and%20Du%2C%20Xiaoyong%7D%2C%0A%20%20journal%3D%7BEMNLP-IJCNLP%202019%7D%2C%0A%20%20pages%3D%7B241%7D%2C%0A%20%20year%3D%7B2019%7D%0A%7D%0A%60%60%60%0A%0A%5B2_128%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-2_H-128%0A%5B2_256%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-2_H-256%0A%5B2_512%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-2_H-512%0A%5B2_768%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-2_H-768%0A%5B4_128%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-4_H-128%0A%5B4_256%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-4_H-256%0A%5B4_512%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-4_H-512%0A%5B4_768%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-4_H-768%0A%5B6_128%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-6_H-128%0A%5B6_256%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-6_H-256%0A%5B6_512%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-6_H-512%0A%5B6_768%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-6_H-768%0A%5B8_128%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-8_H-128%0A%5B8_256%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-8_H-256%0A%5B8_512%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-8_H-512%0A%5B8_768%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-8_H-768%0A%5B10_128%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-10_H-128%0A%5B10_256%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-10_H-256%0A%5B10_512%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-10_H-512%0A%5B10_768%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-10_H-768%0A%5B12_128%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-12_H-128%0A%5B12_256%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-12_H-256%0A%5B12_512%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-12_H-512%0A%5B12_768%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-12_H-768&options=%7B%0A%20%22baseUrl%22%3A%20null%2C%0A%20%22breaks%22%3A%20false%2C%0A%20%22extensions%22%3A%20null%2C%0A%20%22gfm%22%3A%20true%2C%0A%20%22headerIds%22%3A%20true%2C%0A%20%22headerPrefix%22%3A%20%22%22%2C%0A%20%22highlight%22%3A%20null%2C%0A%20%22langPrefix%22%3A%20%22language-%22%2C%0A%20%22mangle%22%3A%20true%2C%0A%20%22pedantic%22%3A%20false%2C%0A%20%22sanitize%22%3A%20false%2C%0A%20%22sanitizer%22%3A%20null%2C%0A%20%22silent%22%3A%20false%2C%0A%20%22smartLists%22%3A%20false%2C%0A%20%22smartypants%22%3A%20false%2C%0A%20%22tokenizer%22%3A%20null%2C%0A%20%22walkTokens%22%3A%20null%2C%0A%20%22xhtml%22%3A%20false%0A%7D&version=2.1.3)

Switching to markedjs v3 breaks it

@elishowk 

Actually, when copying the whole model card content, the online markdownjs demo [also fails to render properly](https://marked.js.org/demo/?text=---%0Alanguage%3A%20Chinese%0Adatasets%3A%20CLUECorpusSmall%0Awidget%3A%20%0A-%20text%3A%20%22%E5%8C%97%E4%BA%AC%E6%98%AF%5BMASK%5D%E5%9B%BD%E7%9A%84%E9%A6%96%E9%83%BD%E3%80%82%22%0A%0A%0A%0A---%0A%0A%0A%23%20Chinese%20RoBERTa%20Miniatures%0A%0A%23%23%20Model%20description%0A%0AThis%20is%20the%20set%20of%2024%20Chinese%20RoBERTa%20models%20pre-trained%20by%20%5BUER-py%5D(https%3A%2F%2Fgithub.com%2Fdbiir%2FUER-py%2F)%2C%20which%20is%20introduced%20in%20%5Bthis%20paper%5D(https%3A%2F%2Farxiv.org%2Fabs%2F1909.05658).%0A%0A%5BTurc%20et%20al.%5D(https%3A%2F%2Farxiv.org%2Fabs%2F1908.08962)%20have%20shown%20that%20the%20standard%20BERT%20recipe%20is%20effective%20on%20a%20wide%20range%20of%20model%20sizes.%20Following%20their%20paper%2C%20we%20released%20the%2024%20Chinese%20RoBERTa%20models.%20In%20order%20to%20facilitate%20users%20to%20reproduce%20the%20results%2C%20we%20used%20the%20publicly%20available%20corpus%20and%20provided%20all%20training%20details.%0A%0AYou%20can%20download%20the%2024%20Chinese%20RoBERTa%20miniatures%20either%20from%20the%20%5BUER-py%20Modelzoo%20page%5D(https%3A%2F%2Fgithub.com%2Fdbiir%2FUER-py%2Fwiki%2FModelzoo)%2C%20or%20via%20HuggingFace%20from%20the%20links%20below%3A%0A%0A%7C%20%20%20%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%20%20%20%20H%3D128%20%20%20%20%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%20%20%20%20H%3D256%20%20%20%20%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%20%20%20%20%20H%3D512%20%20%20%20%20%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%20%20%20%20%20H%3D768%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%7C%20--------%20%7C%20%3A-----------------------%3A%20%7C%20%3A-----------------------%3A%20%7C%20%3A-------------------------%3A%20%7C%20%3A-------------------------%3A%20%7C%0A%7C%20**L%3D2**%20%20%7C%20%5B**2%2F128%20(Tiny)**%5D%5B2_128%5D%20%7C%20%20%20%20%20%20%5B2%2F256%5D%5B2_256%5D%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%5B2%2F512%5D%5B2_512%5D%20%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%5B2%2F768%5D%5B2_768%5D%20%20%20%20%20%20%20%20%7C%0A%7C%20**L%3D4**%20%20%7C%20%20%20%20%20%20%5B4%2F128%5D%5B4_128%5D%20%20%20%20%20%20%20%7C%20%5B**4%2F256%20(Mini)**%5D%5B4_256%5D%20%7C%20%5B**4%2F512%20(Small)**%5D%5B4_512%5D%20%20%7C%20%20%20%20%20%20%20%5B4%2F768%5D%5B4_768%5D%20%20%20%20%20%20%20%20%7C%0A%7C%20**L%3D6**%20%20%7C%20%20%20%20%20%20%5B6%2F128%5D%5B6_128%5D%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%5B6%2F256%5D%5B6_256%5D%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%5B6%2F512%5D%5B6_512%5D%20%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%20%5B6%2F768%5D%5B6_768%5D%20%20%20%20%20%20%20%20%7C%0A%7C%20**L%3D8**%20%20%7C%20%20%20%20%20%20%5B8%2F128%5D%5B8_128%5D%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%5B8%2F256%5D%5B8_256%5D%20%20%20%20%20%20%20%7C%20%5B**8%2F512%20(Medium)**%5D%5B8_512%5D%20%7C%20%20%20%20%20%20%20%5B8%2F768%5D%5B8_768%5D%20%20%20%20%20%20%20%20%7C%0A%7C%20**L%3D10**%20%7C%20%20%20%20%20%5B10%2F128%5D%5B10_128%5D%20%20%20%20%20%20%7C%20%20%20%20%20%5B10%2F256%5D%5B10_256%5D%20%20%20%20%20%20%7C%20%20%20%20%20%20%5B10%2F512%5D%5B10_512%5D%20%20%20%20%20%20%20%7C%20%20%20%20%20%20%5B10%2F768%5D%5B10_768%5D%20%20%20%20%20%20%20%7C%0A%7C%20**L%3D12**%20%7C%20%20%20%20%20%5B12%2F128%5D%5B12_128%5D%20%20%20%20%20%20%7C%20%20%20%20%20%5B12%2F256%5D%5B12_256%5D%20%20%20%20%20%20%7C%20%20%20%20%20%20%5B12%2F512%5D%5B12_512%5D%20%20%20%20%20%20%20%7C%20%5B**12%2F768%20(Base)**%5D%5B12_768%5D%20%7C%0A%0AHere%20are%20scores%20on%20the%20devlopment%20set%20of%20six%20Chinese%20tasks%3A%0A%0A%7C%20Model%20%20%20%20%20%20%20%20%20%20%7C%20Score%20%7C%20douban%20%7C%20chnsenticorp%20%7C%20lcqmc%20%7C%20tnews(CLUE)%20%7C%20iflytek(CLUE)%20%7C%20ocnli(CLUE)%20%7C%0A%7C%20--------------%20%7C%20%3A---%3A%20%7C%20%3A----%3A%20%7C%20%3A----------%3A%20%7C%20%3A---%3A%20%7C%20%3A---------%3A%20%7C%20%3A-----------%3A%20%7C%20%3A---------%3A%20%7C%0A%7C%20RoBERTa-Tiny%20%20%20%7C%2072.3%20%20%7C%20%2083.0%20%20%7C%20%20%20%20%2091.4%20%20%20%20%20%7C%2081.8%20%20%7C%20%20%20%2062.0%20%20%20%20%20%7C%20%20%20%20%2055.0%20%20%20%20%20%20%7C%20%20%20%2060.3%20%20%20%20%20%7C%0A%7C%20RoBERTa-Mini%20%20%20%7C%2075.7%20%20%7C%20%2084.8%20%20%7C%20%20%20%20%2093.7%20%20%20%20%20%7C%2086.1%20%20%7C%20%20%20%2063.9%20%20%20%20%20%7C%20%20%20%20%2058.3%20%20%20%20%20%20%7C%20%20%20%2067.4%20%20%20%20%20%7C%0A%7C%20RoBERTa-Small%20%20%7C%2076.8%20%20%7C%20%2086.5%20%20%7C%20%20%20%20%2093.4%20%20%20%20%20%7C%2086.5%20%20%7C%20%20%20%2065.1%20%20%20%20%20%7C%20%20%20%20%2059.4%20%20%20%20%20%20%7C%20%20%20%2069.7%20%20%20%20%20%7C%0A%7C%20RoBERTa-Medium%20%7C%2077.8%20%20%7C%20%2087.6%20%20%7C%20%20%20%20%2094.8%20%20%20%20%20%7C%2088.1%20%20%7C%20%20%20%2065.6%20%20%20%20%20%7C%20%20%20%20%2059.5%20%20%20%20%20%20%7C%20%20%20%2071.2%20%20%20%20%20%7C%0A%7C%20RoBERTa-Base%20%20%20%7C%2079.5%20%20%7C%20%2089.1%20%20%7C%20%20%20%20%2095.2%20%20%20%20%20%7C%2089.2%20%20%7C%20%20%20%2067.0%20%20%20%20%20%7C%20%20%20%20%2060.9%20%20%20%20%20%20%7C%20%20%20%2075.5%20%20%20%20%20%7C%0A%0AFor%20each%20task%2C%20we%20selected%20the%20best%20fine-tuning%20hyperparameters%20from%20the%20lists%20below%2C%20and%20trained%20with%20the%20sequence%20length%20of%20128%3A%0A%0A-%20epochs%3A%203%2C%205%2C%208%0A-%20batch%20sizes%3A%2032%2C%2064%0A-%20learning%20rates%3A%203e-5%2C%201e-4%2C%203e-4%0A%0A%23%23%20How%20to%20use%0A%0AYou%20can%20use%20this%20model%20directly%20with%20a%20pipeline%20for%20masked%20language%20modeling%20(take%20the%20case%20of%20RoBERTa-Medium)%3A%0A%0A%60%60%60python%0A%3E%3E%3E%20from%20transformers%20import%20pipeline%0A%3E%3E%3E%20unmasker%20%3D%20pipeline(%27fill-mask%27%2C%20model%3D%27uer%2Fchinese_roberta_L-8_H-512%27)%0A%3E%3E%3E%20unmasker(%22%E4%B8%AD%E5%9B%BD%E7%9A%84%E9%A6%96%E9%83%BD%E6%98%AF%5BMASK%5D%E4%BA%AC%E3%80%82%22)%0A%5B%0A%20%20%20%20%7B%27sequence%27%3A%20%27%5BCLS%5D%20%E4%B8%AD%20%E5%9B%BD%20%E7%9A%84%20%E9%A6%96%20%E9%83%BD%20%E6%98%AF%20%E5%8C%97%20%E4%BA%AC%20%E3%80%82%20%5BSEP%5D%27%2C%20%0A%20%20%20%20%20%27score%27%3A%200.8701988458633423%2C%20%0A%20%20%20%20%20%27token%27%3A%201266%2C%20%0A%20%20%20%20%20%27token_str%27%3A%20%27%E5%8C%97%27%7D%2C%0A%20%20%20%20%7B%27sequence%27%3A%20%27%5BCLS%5D%20%E4%B8%AD%20%E5%9B%BD%20%E7%9A%84%20%E9%A6%96%20%E9%83%BD%20%E6%98%AF%20%E5%8D%97%20%E4%BA%AC%20%E3%80%82%20%5BSEP%5D%27%2C%0A%20%20%20%20%20%27score%27%3A%200.1194809079170227%2C%20%0A%20%20%20%20%20%27token%27%3A%201298%2C%20%0A%20%20%20%20%20%27token_str%27%3A%20%27%E5%8D%97%27%7D%2C%0A%20%20%20%20%7B%27sequence%27%3A%20%27%5BCLS%5D%20%E4%B8%AD%20%E5%9B%BD%20%E7%9A%84%20%E9%A6%96%20%E9%83%BD%20%E6%98%AF%20%E4%B8%9C%20%E4%BA%AC%20%E3%80%82%20%5BSEP%5D%27%2C%20%0A%20%20%20%20%20%27score%27%3A%200.0037803512532263994%2C%20%0A%20%20%20%20%20%27token%27%3A%20691%2C%20%0A%20%20%20%20%20%27token_str%27%3A%20%27%E4%B8%9C%27%7D%2C%0A%20%20%20%20%7B%27sequence%27%3A%20%27%5BCLS%5D%20%E4%B8%AD%20%E5%9B%BD%20%E7%9A%84%20%E9%A6%96%20%E9%83%BD%20%E6%98%AF%20%E6%99%AE%20%E4%BA%AC%20%E3%80%82%20%5BSEP%5D%27%2C%0A%20%20%20%20%20%27score%27%3A%200.0017127094324678183%2C%20%0A%20%20%20%20%20%27token%27%3A%203249%2C%0A%20%20%20%20%20%27token_str%27%3A%20%27%E6%99%AE%27%7D%2C%0A%20%20%20%20%7B%27sequence%27%3A%20%27%5BCLS%5D%20%E4%B8%AD%20%E5%9B%BD%20%E7%9A%84%20%E9%A6%96%20%E9%83%BD%20%E6%98%AF%20%E6%9C%9B%20%E4%BA%AC%20%E3%80%82%20%5BSEP%5D%27%2C%0A%20%20%20%20%20%27score%27%3A%200.001687526935711503%2C%0A%20%20%20%20%20%27token%27%3A%203307%2C%20%0A%20%20%20%20%20%27token_str%27%3A%20%27%E6%9C%9B%27%7D%0A%5D%0A%60%60%60%0A%0AHere%20is%20how%20to%20use%20this%20model%20to%20get%20the%20features%20of%20a%20given%20text%20in%20PyTorch%3A%0A%0A%60%60%60python%0Afrom%20transformers%20import%20BertTokenizer%2C%20BertModel%0Atokenizer%20%3D%20BertTokenizer.from_pretrained(%27uer%2Fchinese_roberta_L-8_H-512%27)%0Amodel%20%3D%20BertModel.from_pretrained(%22uer%2Fchinese_roberta_L-8_H-512%22)%0Atext%20%3D%20%22%E7%94%A8%E4%BD%A0%E5%96%9C%E6%AC%A2%E7%9A%84%E4%BB%BB%E4%BD%95%E6%96%87%E6%9C%AC%E6%9B%BF%E6%8D%A2%E6%88%91%E3%80%82%22%0Aencoded_input%20%3D%20tokenizer(text%2C%20return_tensors%3D%27pt%27)%0Aoutput%20%3D%20model(**encoded_input)%0A%60%60%60%0A%0Aand%20in%20TensorFlow%3A%0A%0A%60%60%60python%0Afrom%20transformers%20import%20BertTokenizer%2C%20TFBertModel%0Atokenizer%20%3D%20BertTokenizer.from_pretrained(%27uer%2Fchinese_roberta_L-8_H-512%27)%0Amodel%20%3D%20TFBertModel.from_pretrained(%22uer%2Fchinese_roberta_L-8_H-512%22)%0Atext%20%3D%20%22%E7%94%A8%E4%BD%A0%E5%96%9C%E6%AC%A2%E7%9A%84%E4%BB%BB%E4%BD%95%E6%96%87%E6%9C%AC%E6%9B%BF%E6%8D%A2%E6%88%91%E3%80%82%22%0Aencoded_input%20%3D%20tokenizer(text%2C%20return_tensors%3D%27tf%27)%0Aoutput%20%3D%20model(encoded_input)%0A%60%60%60%0A%0A%23%23%20Training%20data%0A%0A%5BCLUECorpusSmall%5D(https%3A%2F%2Fgithub.com%2FCLUEbenchmark%2FCLUECorpus2020%2F)%20is%20used%20as%20training%20data.%20We%20found%20that%20models%20pre-trained%20on%20CLUECorpusSmall%20outperform%20those%20pre-trained%20on%20CLUECorpus2020%2C%20although%20CLUECorpus2020%20is%20much%20larger%20than%20CLUECorpusSmall.%0A%0A%23%23%20Training%20procedure%0A%0AModels%20are%20pre-trained%20by%20%5BUER-py%5D(https%3A%2F%2Fgithub.com%2Fdbiir%2FUER-py%2F)%20on%20%5BTencent%20Cloud%5D(https%3A%2F%2Fcloud.tencent.com%2F).%20We%20pre-train%201%2C000%2C000%20steps%20with%20a%20sequence%20length%20of%20128%20and%20then%20pre-train%20250%2C000%20additional%20steps%20with%20a%20sequence%20length%20of%20512.%20We%20use%20the%20same%20hyper-parameters%20on%20different%20model%20sizes.%0A%0ATaking%20the%20case%20of%20RoBERTa-Medium%0A%0AStage1%3A%0A%0A%60%60%60%0Apython3%20preprocess.py%20--corpus_path%20corpora%2Fcluecorpussmall.txt%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--vocab_path%20models%2Fgoogle_zh_vocab.txt%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--dataset_path%20cluecorpussmall_seq128_dataset.pt%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--processes_num%2032%20--seq_length%20128%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--dynamic_masking%20--target%20mlm%0A%60%60%60%0A%0A%60%60%60%0Apython3%20pretrain.py%20--dataset_path%20cluecorpussmall_seq128_dataset.pt%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--vocab_path%20models%2Fgoogle_zh_vocab.txt%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--config_path%20models%2Fbert%2Fmedium_config.json%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--output_model_path%20models%2Fcluecorpussmall_roberta_medium_seq128_model.bin%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--world_size%208%20--gpu_ranks%200%201%202%203%204%205%206%207%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--total_steps%201000000%20--save_checkpoint_steps%20100000%20--report_steps%2050000%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--learning_rate%201e-4%20--batch_size%2064%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--embedding%20word_pos_seg%20--encoder%20transformer%20--mask%20fully_visible%20--target%20mlm%20--tie_weights%0A%60%60%60%0A%0AStage2%3A%0A%0A%60%60%60%0Apython3%20preprocess.py%20--corpus_path%20corpora%2Fcluecorpussmall.txt%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--vocab_path%20models%2Fgoogle_zh_vocab.txt%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--dataset_path%20cluecorpussmall_seq512_dataset.pt%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--processes_num%2032%20--seq_length%20512%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--dynamic_masking%20--target%20mlm%0A%60%60%60%0A%0A%60%60%60%0Apython3%20pretrain.py%20--dataset_path%20cluecorpussmall_seq512_dataset.pt%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--pretrained_model_path%20models%2Fcluecorpussmall_roberta_medium_seq128_model.bin-1000000%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--vocab_path%20models%2Fgoogle_zh_vocab.txt%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--config_path%20models%2Fbert%2Fmedium_config.json%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--output_model_path%20models%2Fcluecorpussmall_roberta_medium_seq512_model.bin%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--world_size%208%20--gpu_ranks%200%201%202%203%204%205%206%207%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--total_steps%20250000%20--save_checkpoint_steps%2050000%20--report_steps%2010000%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--learning_rate%205e-5%20--batch_size%2016%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--embedding%20word_pos_seg%20--encoder%20transformer%20--mask%20fully_visible%20--target%20mlm%20--tie_weights%0A%60%60%60%0A%0AFinally%2C%20we%20convert%20the%20pre-trained%20model%20into%20Huggingface%27s%20format%3A%0A%0A%60%60%60%0Apython3%20scripts%2Fconvert_bert_from_uer_to_huggingface.py%20--input_model_path%20models%2Fcluecorpussmall_roberta_medium_seq512_model.bin-250000%20%5C%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--output_model_path%20pytorch_model.bin%20%5C%5Cn%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20--layers_num%208%20--target%20mlm%0A%60%60%60%0A%0A%23%23%23%20BibTeX%20entry%20and%20citation%20info%0A%0A%60%60%60%0A%40article%7Bdevlin2018bert%2C%0A%20%20title%3D%7BBert%3A%20Pre-training%20of%20deep%20bidirectional%20transformers%20for%20language%20understanding%7D%2C%0A%20%20author%3D%7BDevlin%2C%20Jacob%20and%20Chang%2C%20Ming-Wei%20and%20Lee%2C%20Kenton%20and%20Toutanova%2C%20Kristina%7D%2C%0A%20%20journal%3D%7BarXiv%20preprint%20arXiv%3A1810.04805%7D%2C%0A%20%20year%3D%7B2018%7D%0A%7D%0A%0A%40article%7Bliu2019roberta%2C%0A%20%20title%3D%7BRoberta%3A%20A%20robustly%20optimized%20bert%20pretraining%20approach%7D%2C%0A%20%20author%3D%7BLiu%2C%20Yinhan%20and%20Ott%2C%20Myle%20and%20Goyal%2C%20Naman%20and%20Du%2C%20Jingfei%20and%20Joshi%2C%20Mandar%20and%20Chen%2C%20Danqi%20and%20Levy%2C%20Omer%20and%20Lewis%2C%20Mike%20and%20Zettlemoyer%2C%20Luke%20and%20Stoyanov%2C%20Veselin%7D%2C%0A%20%20journal%3D%7BarXiv%20preprint%20arXiv%3A1907.11692%7D%2C%0A%20%20year%3D%7B2019%7D%0A%7D%0A%0A%40article%7Bturc2019%2C%0A%20%20title%3D%7BWell-Read%20Students%20Learn%20Better%3A%20On%20the%20Importance%20of%20Pre-training%20Compact%20Models%7D%2C%0A%20%20author%3D%7BTurc%2C%20Iulia%20and%20Chang%2C%20Ming-Wei%20and%20Lee%2C%20Kenton%20and%20Toutanova%2C%20Kristina%7D%2C%0A%20%20journal%3D%7BarXiv%20preprint%20arXiv%3A1908.08962v2%20%7D%2C%0A%20%20year%3D%7B2019%7D%0A%7D%0A%0A%40article%7Bzhao2019uer%2C%0A%20%20title%3D%7BUER%3A%20An%20Open-Source%20Toolkit%20for%20Pre-training%20Models%7D%2C%0A%20%20author%3D%7BZhao%2C%20Zhe%20and%20Chen%2C%20Hui%20and%20Zhang%2C%20Jinbin%20and%20Zhao%2C%20Xin%20and%20Liu%2C%20Tao%20and%20Lu%2C%20Wei%20and%20Chen%2C%20Xi%20and%20Deng%2C%20Haotang%20and%20Ju%2C%20Qi%20and%20Du%2C%20Xiaoyong%7D%2C%0A%20%20journal%3D%7BEMNLP-IJCNLP%202019%7D%2C%0A%20%20pages%3D%7B241%7D%2C%0A%20%20year%3D%7B2019%7D%0A%7D%0A%60%60%60%0A%0A%5B2_128%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-2_H-128%0A%5B2_256%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-2_H-256%0A%5B2_512%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-2_H-512%0A%5B2_768%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-2_H-768%0A%5B4_128%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-4_H-128%0A%5B4_256%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-4_H-256%0A%5B4_512%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-4_H-512%0A%5B4_768%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-4_H-768%0A%5B6_128%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-6_H-128%0A%5B6_256%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-6_H-256%0A%5B6_512%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-6_H-512%0A%5B6_768%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-6_H-768%0A%5B8_128%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-8_H-128%0A%5B8_256%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-8_H-256%0A%5B8_512%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-8_H-512%0A%5B8_768%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-8_H-768%0A%5B10_128%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-10_H-128%0A%5B10_256%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-10_H-256%0A%5B10_512%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-10_H-512%0A%5B10_768%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-10_H-768%0A%5B12_128%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-12_H-128%0A%5B12_256%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-12_H-256%0A%5B12_512%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-12_H-512%0A%5B12_768%5D%3Ahttps%3A%2F%2Fhuggingface.co%2Fuer%2Fchinese_roberta_L-12_H-768&options=%7B%0A%20%22baseUrl%22%3A%20null%2C%0A%20%22breaks%22%3A%20false%2C%0A%20%22extensions%22%3A%20null%2C%0A%20%22gfm%22%3A%20true%2C%0A%20%22headerIds%22%3A%20true%2C%0A%20%22headerPrefix%22%3A%20%22%22%2C%0A%20%22highlight%22%3A%20null%2C%0A%20%22langPrefix%22%3A%20%22language-%22%2C%0A%20%22mangle%22%3A%20true%2C%0A%20%22pedantic%22%3A%20false%2C%0A%20%22sanitize%22%3A%20false%2C%0A%20%22sanitizer%22%3A%20null%2C%0A%20%22silent%22%3A%20false%2C%0A%20%22smartLists%22%3A%20false%2C%0A%20%22smartypants%22%3A%20false%2C%0A%20%22tokenizer%22%3A%20null%2C%0A%20%22walkTokens%22%3A%20null%2C%0A%20%22xhtml%22%3A%20false%0A%7D&version=master) the readme content


@elishowk if you try different Marked versions, you'll see that 2.x.x works fine, but 3.x.x doesn't

However the same markdown code works fine with other parsers, for instance https://dillinger.io/, https://stackedit.io/ and https://markdownlivepreview.com/

So it seems that a bug was introduced in Marked with the 3.0 version. One way to solve this in the short term would be to switch back to the last 2.x Marked version, and hope it doesn't create more issues.

thanks @beurkinger I'm on it

(I don’t remember why we upgraded marked, maybe it was me and I didn’t
check this model card)

On Tue, Sep 28, 2021 at 12:04 PM elishowk ***@***.***> wrote:

> thanks @beurkinger <https://github.com/beurkinger> I'm on it
>
> —
> You are receiving this because you commented.
> Reply to this email directly, view it on GitHub
> <https://github.com/huggingface/transformers/issues/13558#issuecomment-929044197>,
> or unsubscribe
> <https://github.com/notifications/unsubscribe-auth/AACPXMMAME3P5O6ERJXWVCTUEGHL3ANCNFSM5D7W5ZKQ>
> .
> Triage notifications on the go with GitHub Mobile for iOS
> <https://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675>
> or Android
> <https://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub>.
>
>


Hi everyone, this problem is resolved now.
Thanks