kimdwan/klue-roberta-finetuned-korquad-LOGAN

허깅페이스 korquad를 추가적으로 파인튜닝한 모델입니다. 코드는 아래와 같습니다. 많은 사랑 부탁드립니다.

from transformers import RobertaForQuestionAnswering,AutoTokenizer 
import torch 

path = 'kimdwan/klue-roberta-finetuned-korquad-LOGAN'
model = RobertaForQuestionAnswering.from_pretrained(path)
tokenizer = AutoTokenizer.from_pretrained(path)

# 문장예시 입니다. 
text = """
대한민국(大韓民國, 영어: Republic of Korea, ROK), 약칭 한국(韓國, 영어: Korea), 남한(南韓, 영어: South Korea), 남조선(南朝鮮)은 동아시아의 한반도 남부에 위치한 국가이다. 
현정체제는 대한민국 제6공화국이다. 
대한민국의 국기는 대한민국 국기법에 따라 태극기[5]이며, 국가는 관습상 애국가, 국화는 관습상 무궁화이다. 
공용어는 한국어와 한국 수어이다. 수도는 서울이다. 인구는 2023년을 기준으로 약 5,174만 명으로, 전체 인구 중 절반이(약 2,624만 명) 수도권에 살고 있다.[6]
대한민국은 1948년 5월 10일 총선거를 통해 제헌국회를 구성하였고, 1948년 8월 15일 대한민국 정부를 수립하였다. 
1948년 제헌 국회에서 대한민국의 국호를 계승하여 헌법에 명시하였고, 다시 1950년 1월 16일 국무원 고시 제7호 ‘국호 및 일부 지방명과 지도색 사용에 관한 건’에 의해 확정하였다.
"""
# 질문을 적습니다. 
question = "대한민국 정부 수립 시기는?"

#이제 부터입니다. 
confix = question + "[SEP]" + text
token = tokenizer(confix,return_tensors="pt")
model.eval()
output = model(**token)
_,start = torch.max(output['start_logits'],dim=-1)
_,end = torch.max(output['end_logits'],dim=-1)
last = token["input_ids"][0][start.item():end.item()+1]
tokenizer.decode(last)