モデル詳細
- cl-tohoku/bert-base-japanese を JaQuAD で fine-tuning した SkelterLabsInc/bert-base-japanese-jaquad に対して TextPruner を使って Transformer Pruning したモデル。
- 枝刈りには,JaQuAD の訓練データのうち1024件を使用し,10イテレーションで実施。
- FFNのサイズを30%,attention head の数を 10 % 削減 (ffn: 3072, head: 12 -> ffn: 2150, head: 10)。
- ※ JaQuAD の実験コードと同じ前処理をした上で使用してください。
- ※ 上記の理由で, hf hub の Hosted inference API 上では適切な予測が出力されません。
JaQuAD の validation データでの性能
- フルモデル
- F1 score: 0.779
- Exact Match: 0.614
- 枝刈り後のモデル
- F1 score: 0.756
- Exact Match: 0.587
- Downloads last month
- 5
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.