Edit model card

モデル詳細

  • cl-tohoku/bert-base-japanese を JaQuAD で fine-tuning した SkelterLabsInc/bert-base-japanese-jaquad に対して TextPruner を使って Transformer Pruning したモデル。
  • 枝刈りには,JaQuAD の訓練データのうち1024件を使用し,10イテレーションで実施。
  • FFNのサイズを30%,attention head の数を 10 % 削減 (ffn: 3072, head: 12 -> ffn: 2150, head: 10)。
  • JaQuAD の実験コードと同じ前処理をした上で使用してください。
  • ※ 上記の理由で, hf hub の Hosted inference API 上では適切な予測が出力されません。

JaQuAD の validation データでの性能

  • フルモデル
    • F1 score: 0.779
    • Exact Match: 0.614
  • 枝刈り後のモデル
    • F1 score: 0.756
    • Exact Match: 0.587
Downloads last month
0
Hosted inference API
Question Answering
Examples
Examples
This model can be loaded on the Inference API on-demand.