misawann commited on
Commit
addd801
1 Parent(s): 8e71170

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -3
README.md CHANGED
@@ -7,10 +7,10 @@ widget:
7
  ## モデル詳細
8
  - [cl-tohoku/bert-base-japanese](https://huggingface.co/cl-tohoku/bert-base-japanese) を JaQuAD で fine-tuning した [SkelterLabsInc/bert-base-japanese-jaquad](https://huggingface.co/SkelterLabsInc/bert-base-japanese-jaquad) に対して [TextPruner](https://github.com/airaria/TextPruner) を使って
9
  Transformer Pruning したモデル。
10
- - 枝刈りには,JaQuADの訓練データのうち1024件を使用し,10イテレーションで実施。
11
- - FFNのサイズを30%, attention head の数を 10 % 削減 (ffn: 3072, head: 12 -> ffn: 2150, head: 10)。
12
  - ※ [JaQuAD の実験コード](https://github.com/SkelterLabsInc/JaQuAD/blob/main/JaQuAD.ipynb)と同じ前処理をした上で使用してください。
13
- - ※ 上記の理由で,hf hub の Hosted inference API 上では適切な予測が出力されません。
14
 
15
 
16
 
7
  ## モデル詳細
8
  - [cl-tohoku/bert-base-japanese](https://huggingface.co/cl-tohoku/bert-base-japanese) を JaQuAD で fine-tuning した [SkelterLabsInc/bert-base-japanese-jaquad](https://huggingface.co/SkelterLabsInc/bert-base-japanese-jaquad) に対して [TextPruner](https://github.com/airaria/TextPruner) を使って
9
  Transformer Pruning したモデル。
10
+ - 枝刈りには,JaQuAD の訓練データのうち1024件を使用し,10イテレーションで実施。
11
+ - FFNのサイズを30%,attention head の数を 10 % 削減 (ffn: 3072, head: 12 -> ffn: 2150, head: 10)。
12
  - ※ [JaQuAD の実験コード](https://github.com/SkelterLabsInc/JaQuAD/blob/main/JaQuAD.ipynb)と同じ前処理をした上で使用してください。
13
+ - ※ 上記の理由で, hf hub の Hosted inference API 上では適切な予測が出力されません。
14
 
15
 
16