metadata
widget:
- text: >-
ドクウツボ(毒鱓)Gymnothoraxjavanicus(Bleeker,1859)は体長3メートルの記録がある大型種で、鰓孔が黒いことで近縁種と区別できる。
インド洋と太平洋の熱帯域に広く分布し、日本では琉球列島で見られる。 ドクウツボはインド洋とどの海域の熱帯域に分布しますか?
モデル詳細
cl-tohoku/bert-base-japanese を JaQuAD で fine-tuning した SkelterLabsInc/bert-base-japanese-jaquad に対して TextPruner を使って
Transformer Pruning したモデル。
枝刈りには,JaQuADの訓練データのうち1024件を使用し,10イテレーションで実施。
FFNのサイズを30%, attention head の数を 10 % 削減 (ffn: 3072, head: 12 -> ffn: 2150, head: 10)。
JaQuAD の validation データでの性能
- フルモデル
- F1 score: 0.779
- Exact Match: 0.614
- 枝刈り後のモデル
- F1 score: 0.756
- Exact Match: 0.587