yuxin commited on
Commit
85c40aa
1 Parent(s): 0aaf00d

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -0
README.md CHANGED
@@ -22,6 +22,7 @@ The Variational Autoencoder (VAE) network comprises an encoder using Bert with 1
22
  * Wudao Corpus (with 280G samples)
23
 
24
  **防止后验崩塌 Avoiding posterior collapse**
 
25
  为了防止在通用语料上后验崩塌,我们在训练中加入以下措施,
26
  1. 使用KL annealing。对于正则项系数,采用梯形scheduler
27
  2. 加入free bits。设置free bits,避免过分靠近先验
@@ -39,6 +40,7 @@ We used several methods to avoid posterior collapse, as what follows,
39
 
40
 
41
  ## 使用 Usage
 
42
  ```shell
43
  git clone https://github.com/IDEA-CCNL/Fengshenbang-LM.git
44
  cd Fengshenbang-LM
 
22
  * Wudao Corpus (with 280G samples)
23
 
24
  **防止后验崩塌 Avoiding posterior collapse**
25
+
26
  为了防止在通用语料上后验崩塌,我们在训练中加入以下措施,
27
  1. 使用KL annealing。对于正则项系数,采用梯形scheduler
28
  2. 加入free bits。设置free bits,避免过分靠近先验
 
40
 
41
 
42
  ## 使用 Usage
43
+
44
  ```shell
45
  git clone https://github.com/IDEA-CCNL/Fengshenbang-LM.git
46
  cd Fengshenbang-LM