divakaivan/t5-large-finetuned-reviewer-kr

Fine-tuned using this notebook

Sample Usage

# Load the model
import torch
from peft import PeftModel, PeftConfig
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
 
### Load peft config for pre-trained checkpoint etc.
peft_model_id = "results"
config = PeftConfig.from_pretrained(peft_model_id)
 
### Load base LLM model and tokenizer
model = AutoModelForSeq2SeqLM.from_pretrained("divakaivan/t5-large-finetuned-reviewer-kr",  load_in_8bit=True,  device_map={"":0})
tokenizer = AutoTokenizer.from_pretrained("divakaivan/t5-large-finetuned-reviewer-kr")
 
### Load the Lora model
model = PeftModel.from_pretrained(model, peft_model_id, device_map={"":0})
model.eval()

# Sample Input

### Review
review = """리뷰 1: 불후의 성량으로 제목 바꿔라. 이건 뭐 소리만 꽥꽥 지르고 지들끼리 감동이래. 전혀 공감 못 하겠구만 쯧;  리뷰 2: 난 원래 기린(이광수) 싫어한다 크크크.... 능력자가 좋다;  리뷰 3: 그래도 결과를 보던 드라만데요...이선남이랑 민지수가 잘되길 바래는 마음에서요..근데 오늘 아침드라만 정말 실망했어요. 눈물이 핑돌더라구요..어쩜 한평생 당하고 착하게만 사람은 죽어야하나요.. 이드라마작가 최악의 최악이예요.. 드라마다신보고싶지않아요;  리뷰 4: 끝까지 앉아있기가 넘 힘들었음.. 재미도.. 내용도.. 감동도.. 최악임..;  리뷰 5: 그냥 인간극장이 더 날듯..티비로보구만다;  리뷰 6: 사고뭉치이지만 어머니에 대한 뜨건운 사랑이 눌물겨워 감동적이었다.;  리뷰 7: 설장우 친구역으로 나온 배우분 누구지? 제일 웃겼음;  리뷰 8: 은현수 너무 답답한캐릭터 보고있음 짜증돋아요ㅡㅡ아 연기도 그닥;  리뷰 9: 이영화보고싶은데 ㅠㅠ 어디서 봐요? ㅠㅠ 찾을수가없어요ㅠㅠ;  리뷰 10: 이 영화한번 더볼려고,스파이더맨,첫사랑,조폭2..보지도 않았다!;  리뷰 11: 코코몽나왔을때도 울었습니다..;  리뷰 12: 아직안봤지만 마틴때문에본다ㅋㅋㅋㅋ;  리뷰 13: 영화상영 내내 곳곳에서 터져나오는 실소. 코미디로 생각하고 보면 의외로 괜찮을지도;  리뷰 14: 일점도 아깝다 진짜OOO영화 ㅋㅋㅋㅋ 알바야솔직히 이건양심에찔리지않니?;  리뷰 15: 섹시한건 둘째치고 카스미가 전혀 딴판이잖아ㅡㅡ;  리뷰 16: 나를 위한 이야기 .;  리뷰 17: 라민, 시에라, 하들리 나오는 줄 알고 DVD 구매했다가 눈물흘림. LND 노래는 좋은데 얘네가 못부르고 연기도 못함;;;  리뷰 18: 최고의 영화. 이 영화를 보고서 흘리는 눈물은 .... 쓰면서 달다.;  리뷰 19: 통제가 안 되니 산으로 가다.;  리뷰 20: 재밌게 봤던 추억의 드라마;  리뷰 21: 뻔한반전 ,;  리뷰 22: 말이 필요없는 역대 최고의 명작입니다.;  리뷰 23: 별 한개도 아까운 쓰레기영화... 짜증나;  리뷰 24: ㅠㅅㅠ)bbbb;  리뷰 25: 자신을 바로보고 삶을 선택하는 것이 나에게도 주변인에게도 행복이 아닐까..싶었다.내가 내삶에 만족하지 못하고 불행하면 내주위도 결코 행복할 수 없다.이기적일까..아니 숙명이다.;  리뷰 26: 제목부터 바꿔라 타계하신 레이 브래드버리가 그렇게 역정을 냈는데도 뻔뻔하네;  리뷰 27: 스릴러 팬이지만 이건 뭐 아니네요...;  리뷰 28: 성장영화라는 틀에 가두면 촌스러워진다. 직설어법을 피한 현실과 꿈, 아파서 좋았다.;  리뷰 29: 꿀잼 허니잼 ㅠㅠ 보는내내 웃음지으면서본 영호ㅓ ㅜㅜ 겁자 연기잘하네;  리뷰 30: 이거 보고 조승우가 더 좋아짐..;  리뷰 31: 게임 심즈하는 것 같이 아기자기함. 큰 재미는 아니지만 처음부터 끝까지 소소하게 유쾌함.;  리뷰 32: 먹방도 아니고 쳐묵쳐묵 하는 장면만 너무 클로즈업 해서 오래보여주니……. 뭔 드라마가 이런지?;  리뷰 33: 2015년에 보니 너무 테러블하다..;  리뷰 34: 재미있다. 여성감독으로서 스케일 큰 작품을 만들 수 있는 능력!;  리뷰 35: 소심한 복수, 그러나 너무 통쾌;  리뷰 36: 한국에도 이런 영화가 있구나 .. 보고도 믿을 수가 없다한 장면 한 장면 다 주옥같은 대사들과 더불어 내 삶을 되돌아 보게 만드는 영화인것 같다;  리뷰 37: 한희정이다...........;  리뷰 38: 생각보다너무괜찮았던영화, 연기파 배우들의 연기가 특히 돋보인다;  리뷰 39: 거짓말쟁이들이 만든 영화;  리뷰 40: 빨리 점 찍어....빨리;  리뷰 41: 한 번 생각 해봐. 소수의 유태인들이 어떻게 독일 경제를 갉아 먹었는 지를….;  리뷰 42: 꽃보다 소년들 ♥♥♥♥;  리뷰 43: 기분이 좋아지네요^^;  리뷰 44: 일방적, 편협한 사고들이 만들어낸 일반화와 각인효과로 인해 한 인간의 삶이 어떻게 바뀔수 있는지 알수 있는 영화다. 오히려 어린아이니깐 또는 사회적 약자이기에 당연하고 맞을것이라는 생각의 오점이 얼마나 큰 실수가 될 수 있는지 알아야 할 것이다.;  리뷰 45: "아련하네요, ""거절 할테다."" ""이제 헤어지자"" ""네"";  리뷰 46: 견자단 액션만으로 최고였음...;  리뷰 47: 완전 대박 짱 잼있었다. 그리고 아.... 반전.... 진짜 장난아니다.;  리뷰 48: 이거 1점준것들은 더러운 OO자식인듯...;  리뷰 49: 장국영이 없는 영채신 별로 였다. ㅡㅡ;  리뷰 50: ㅆ ㅂ .... OOO같은 OOO 영화;"""

### Prompt
prompt = "Your task is to summarise. You are a helpful assistant that helps me evaluate Korean reviews. For each movie you are given 50 reviews. Analyze the reviews, and for the movie itself return a score(1 to 10) and explanation for each of the following criteria: Emotional, Characters, Plot, Visuals, Pacing. Return the review in Korean."

### Model Input
model_input = prompt + review

# Run Inference

input_ids = tokenizer(model_input, return_tensors="pt", truncation=True).input_ids.cuda()
outputs = model.generate(input_ids=input_ids, max_new_tokens=1000, do_sample=True, top_p=0.9)
output = tokenizer.batch_decode(outputs.detach().cpu().numpy(), skip_special_tokens=True)[0]
 
print(output)