metadata

license: mit
language: ja
library_name: transformers
tags:
  - pytorch
  - deberta
  - deberta-v2
  - question-answering
  - question answering
  - squad
datasets:
  - wikipedia
  - cc100
  - oscar
metrics:
  - accuracy

このモデルはdeberta-v2-tiny-japaneseをファインチューニングしてQAタスクに用いれるようにしたものです。

このモデルはdeberta-v2-tiny-japaneseを運転ドメインQAデータセット（DDQA）（　https://nlp.ist.i.kyoto-u.ac.jp/index.php?Driving%20domain%20QA%20datasets　）を用いてファインチューニングしたものです。

Question-Answeringタスク（SQuAD）に用いることができます。

This model is fine-tuned model for Question-Answering which is based on deberta-v2-tiny-japanese

This model is fine-tuned by using DDQA dataset.

You could use this model for Question-Answering tasks.

How to use 使い方

transformersおよびpytorchをインストールしてください。以下のコードを実行することで、Question-Answeringタスクを解かせることができます。 please execute this code.

import torch
from transformers import AutoTokenizer, AutoModelForQuestionAnswering

tokenizer = AutoTokenizer.from_pretrained('Mizuiro-sakura/deberta-v2-tiny-japanese-finetuned-QA')
model=AutoModelForQuestionAnswering.from_pretrained('Mizuiro-sakura/deberta-v2-tiny-japanese-finetuned-QA') # 学習済みモデルの読み込み

text={
    'context':'私の名前はEIMIです。好きな食べ物は苺です。 趣味は皆さんと会話することです。',
    'question' :'好きな食べ物は何ですか'
}

input_ids=tokenizer.encode(text['question'],text['context']) # tokenizerで形態素解析しつつコードに変換する
output= model(torch.tensor([input_ids])) # 学習済みモデルを用いて解析
prediction = tokenizer.decode(input_ids[torch.argmax(output.start_logits): torch.argmax(output.end_logits)]) # 答えに該当する部分を抜き取る
print(prediction)

モデルの精度 accuracy of model

Exact Match(厳密一致) :0.46698564593301434

f1 : 0.5808696453091605

deberta-v2-base-japaneseとは？

日本語Wikipedeia（3.2GB）および、cc100(85GB)、oscar(54GB)を用いて訓練されたモデルです。京都大学黒橋研究室が公表されました。

Model description

This is a Japanese DeBERTa V2 tiny model pre-trained on Japanese Wikipedia, the Japanese portion of CC-100, and the Japanese portion of OSCAR.

Acknowledgments 謝辞

モデルを公開してくださった京都大学黒橋研究室には感謝いたします。 I would like to thank Kurohashi Lab at Kyoto University.