モデル詳細
- cl-tohoku/bert-base-japanese を JaQuAD で fine-tuning した SkelterLabsInc/bert-base-japanese-jaquad に対して TextPruner を使って Transformer Pruning したモデル。
- 枝刈りには，JaQuAD の訓練データのうち1024件を使用し，10イテレーションで実施。
- FFNのサイズを30%，attention head の数を 10 % 削減 (ffn: 3072, head: 12 -> ffn: 2150, head: 10)。
- ※ JaQuAD の実験コードと同じ前処理をした上で使用してください。
- ※ 上記の理由で， hf hub の Hosted inference API 上では適切な予測が出力されません。
JaQuAD の validation データでの性能
- フルモデル
- F1 score: 0.779
- Exact Match: 0.614
- 枝刈り後のモデル
- F1 score: 0.756
- Exact Match: 0.587
- Downloads last month
- 2