metadata
widget:
- text: ドクウツボはインド洋とどの海域の熱帯域に分布しますか?
context: >-
ドクウツボ(毒鱓)Gymnothoraxjavanicus(Bleeker,1859)は体長3メートルの記録がある大型種で、鰓孔が黒いことで近縁種と区別できる。
インド洋と太平洋の熱帯域に広く分布し、日本では琉球列島で見られる。
モデル詳細
- cl-tohoku/bert-base-japanese を JaQuAD で fine-tuning した SkelterLabsInc/bert-base-japanese-jaquad に対して TextPruner を使って Transformer Pruning したモデル。
- 枝刈りには，JaQuAD の訓練データのうち1024件を使用し，10イテレーションで実施。
- FFNのサイズを30%，attention head の数を 10 % 削減 (ffn: 3072, head: 12 -> ffn: 2150, head: 10)。
- ※ JaQuAD の実験コードと同じ前処理をした上で使用してください。
- ※ 上記の理由で， hf hub の Hosted inference API 上では適切な予測が出力されません。
JaQuAD の validation データでの性能
- フルモデル
- F1 score: 0.779
- Exact Match: 0.614
- 枝刈り後のモデル
- F1 score: 0.756
- Exact Match: 0.587