misawann commited on
Commit
b7944cf
1 Parent(s): 933dc0c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -3
README.md CHANGED
@@ -4,10 +4,10 @@ widget:
4
  ---
5
 
6
  ## モデル詳細
7
- [cl-tohoku/bert-base-japanese](https://huggingface.co/cl-tohoku/bert-base-japanese) を JaQuAD で fine-tuning した [SkelterLabsInc/bert-base-japanese-jaquad](https://huggingface.co/SkelterLabsInc/bert-base-japanese-jaquad) に対して [TextPruner](https://github.com/airaria/TextPruner) を使って
8
  Transformer Pruning したモデル。
9
- 枝刈りには,JaQuADの訓練データのうち1024件を使用し,10イテレーションで実施。
10
- FFNのサイズを30%, attention head の数を 10 % 削減 (ffn: 3072, head: 12 -> ffn: 2150, head: 10)。
11
 
12
 
13
 
 
4
  ---
5
 
6
  ## モデル詳細
7
+ - [cl-tohoku/bert-base-japanese](https://huggingface.co/cl-tohoku/bert-base-japanese) を JaQuAD で fine-tuning した [SkelterLabsInc/bert-base-japanese-jaquad](https://huggingface.co/SkelterLabsInc/bert-base-japanese-jaquad) に対して [TextPruner](https://github.com/airaria/TextPruner) を使って
8
  Transformer Pruning したモデル。
9
+ - 枝刈りには,JaQuADの訓練データのうち1024件を使用し,10イテレーションで実施。
10
+ - FFNのサイズを30%, attention head の数を 10 % 削減 (ffn: 3072, head: 12 -> ffn: 2150, head: 10)。
11
 
12
 
13