์๋ ํ์ธ์ Ai hub์์ ์ ๊ณตํ๋ ๊ธฐ์ ๊ณผํ ์์ฝ ๋ฐ์ดํฐ(์ฐธ๊ณ )๋ฅผ ์ฐธ๊ณ ํ์ฌ ํ์ธํ๋ํ ๋ชจ๋ธ์ ๋๋ค. ์ฌ์ฉ๋ฐฉ๋ฒ์ ์๋์ ๊ฐ์ต๋๋ค. aihub๋ฐ์ดํฐ: https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&dataSetSn=71532
!pip install transformers
!pip install sentence_transformers
from transformers import T5ForConditionalGeneration,AutoTokenizer
path = "kimdwan/t5-base-korean-summarize-LOGAN"
model = T5ForConditionalGeneration.from_pretrained(path)
tokenizer = AutoTokenizer.from_pretrained(path)
#์ฌ๊ธฐ์ ์ํ๋ ๋ฌธ์ฅ์ ์
๋ ฅํ์๊ธธ ๋ฐ๋๋๋ค.
text= """ (์์ธ=๋ด์ค1) ์ด๋น์ฌ ๊ธฐ์ = ์ค์ํ ๊ตญ๋ฏผ์ํ ์์์ 18์ผ ์ด์ฒ ๊ท ์ฌ๋ฌด์ด์ฅ์ '์น์ ๋ถ๊ฐ' ๋ฐ์ธ๊ณผ ๊ด๋ จํด "๋ฌด์์ด ์๊ธฐ์ธ์ง ๋ณธ์ง์ ์ ๋ชจ๋ฅด๊ณ ์๋ค๋ ๊ฒ ์ง์ง ์๊ธฐ"๋ผ๊ณ ๋งํ๋ค.
์ค ์์์ ์ด๋ SBS ๋ผ๋์ค '๊นํํ์ ์ ์น์ผ' ์ธํฐ๋ทฐ์์ "๊ตญ๋ฏผ์ํ์ด ๋๋ถ์ด๋ฏผ์ฃผ๋น์ ๋นผ๋๊ณ ์ 3์ ๋น์ด ๋์ค๋ฉด ์ง์ง์จ์ด ๋น์ทํ๋ค. ์ด๊ฒ์ด ์๊ธฐ ์๋๋. ๊ทธ๋ฐ๋ฐ ์ด๋ฐ ๊ฒ์ ๊ดํด์ (์ด์ผ๊ธฐ)ํ๋ฉด ์ด๊ฒ์ ์ด์ํ๊ฒ ๋ฐ์๋ค์ด๋๋ฐ, ๊ทธ๋์ ์๊ธฐ๊ฐ ์๊ธฐ๋ผ๋ ๊ฒ"์ด๋ผ๊ณ ๋งํ๋ค.
์ค ์์์ "์๋๊ถ ์ธ์์ ์๋จ๊ถ ์ธ์๊ณผ ๋ค๋ฅด๋ค. ์๋๊ถ ๊ฑฐ์ ๋ชจ๋ ์ง์ญ์ด 1000ํ, 1500ํ ์ธ์ ์๋๋"๋ฉฐ "์ 3์ ๋น์ด ๋์์ ๋ ๊ตญ๋ฏผ์ํ ํ๋ฅผ ๋บ์ด๊ฐ๋ค. ์น๋ถ๋ฅผ ๊ฐ๋ฅด๋ ๊ฒฐ์ ์ ์ธ ์์ธ์ด ๋ ์ ์๊ธฐ ๋๋ฌธ์ 3์ง๋์ ์๋ ์ฌ๋๋ค๋ ํฌ์ฉํ๊ณ ์ ๋ต์ ๊ฐ์ถ๋ ๊ฒ์ ๋ํด ๋ง์๋๋ฆฐ ๊ฒ"์ด๋ผ๊ณ ๋งํ๋ค.
์์ ์ด ์ฌ๋ฌด์ด์ฅ์ ์ง๋ 16์ผ ๋น๊ณต๊ฐ ์์์ดํ์์ "๋ฐฐ๋ฅผ ์นจ๋ชฐ์ํค๋ ค๋ ์น๊ฐ์ ํจ๊ปํ์ง ๋ชปํ๋ค"๊ณ ๋ฐ์ธํ๋ค. ์ด๋ฅผ ๋๊ณ ๋ด๋
์ด์ ์๋๊ถ ์๊ธฐ๋ก ๊ณผ ๋น ์ง๋๋ถ ์ฑ
์์ ์ธ๊ธํ๋ฉฐ ๊ณต๊ฐ์ ์ผ๋ก ๋นํ ์
์ฅ์ ๋ฐํ์จ ์ค ์์์ด ๋ฐ์ธ์ ํ์ ์ด์๋ค๋ ๊ด์ธก์ด ๋์๋ค.
์ค ์์์ ์ด ์ฌ๋ฌด์ด์ฅ์ ๋ฐ์ธ์ด ์์ ์ ๊ฒจ๋ฅํ๋ค๋ ๊ด์ธก๊ณผ ๊ด๋ จํด "๋น์ ๋ํ ์ถฉ์ ์ผ๋ก ๋ง์๋๋ฆฐ ๊ฒ"์ด๋ผ๋ฉฐ "๋น์ด๋ผ๋ ๋ฐฐ๋ฅผ ์ข์ด์ํค๋ ค๋ ์๋๋ ์์๋ค"๊ณ ๋งํ๋ค.
์ค ์์์ "๋น์ด๋ผ๋ ๋ฐฐ๊ฐ ์ข์ด๋๊ฑฐ๋ ์ด๋ ค์์ง๋ฉด ๋น ์ง๋๋ถ ์์์ด ์๋๋ผ ์๋๊ถ์ ์๋ ์์์ด ๊ฐ์ฅ ๋จผ์ ์ฃฝ๋๋ค"๋ฉฐ "๋๊ตฌ๋ฅผ ๊ธฐ๋ถ ๋์๊ฒ ํ ๋ง์์ผ๋ก (์ด์ผ๊ธฐ)ํ ๊ฒ์ด ์๋๋ผ ๋น์ ๋ํ ์ง์ ์ฑ์ผ๋ก ์ด์ผ๊ธฐํ ๊ฒ"์ด๋ผ๊ณ ํ๋ค."""
prefix = "summarize: " + text
token = tokenizer(prefix ,return_tensors="pt")
output = model.generate(input_ids=token["input_ids"],attention_mask = token["attention_mask"])
text = tokenizer.decode(output[0])[5:-4]
text
- Downloads last month
- 2
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.