Model Card for Model ID

料理を検索するための質問文から、検索検索用キーワードである固有表現を抽出します

Model Details

Model Description

例えば、「東京の肉料理で、春に食べられる、鶏肉を使った料理を教えてください」という文章を入力すると、

「東京　→　都道府県/地方(AREA)」　「肉料理　→　種類(TYPE)」　「春　→　季節(SZN)」　「鶏肉　→　食材(INGR)」

のように、固有表現を抽出します

抽出対象は、AREA、TYPE、SZN、INGRの４つです

Language(s) (NLP): 日本語
License: mit
Finetuned from model: tohoku-nlp/bert-base-japanese-v2

Model Sources

Repository: wolf4032/nlp-token-classification
- データセット、言語モデル、アプリの作成に使ったコードが掲載されています
Documentation: Qiita
Demo: wolf4032/japanese-token-classification-search-local-cuisine

How to Get Started with the Model

Google Colaboratoryの場合

!pip install transformers fugashi ipadic
!pip install unidic-lite

from transformers import BertJapaneseTokenizer, BertForTokenClassification
from transformers import pipeline

model_name = 'wolf4032/bert-japanese-token-classification-search-local-cuisine'

model = BertForTokenClassification.from_pretrained(model_name)
tokenizer = BertJapaneseTokenizer.from_pretrained(model_name)

ner_pipeline = pipeline(
    'token-classification',
    model=model,
    tokenizer=tokenizer,
    aggregation_strategy='simple'
)

input = '東京の肉料理で、春に食べられる、鶏肉を使った料理を教えてください'
ner_pipeline(input)

Training Details

Training Data

wolf4032/token-classification-japanese-search-local-cuisine

Evaluation

Testing Data, Factors & Metrics

Testing Data