pipeline_tag: summarization language: - ko tags: - T5
t5-base-korean-summarization
This is T5 model for korean text summarization.
Finetuned based on t5-base-korean-summarization model.
Finetuned with 4 datasets. Specifically, it is described below.
Usage (HuggingFace Transformers)
# Use a pipeline as a high-level helper
from transformers import pipeline
pipe = pipeline("summarization", model="t5-base-trained-model")
pipe("""๋ฏธ ํญ๊ณต์ฐ์ฃผ๊ตญ(NASA)์ด 2014๋
ํ๋ฐ๋์ ๋ฐค์ ์์ฑ์ผ๋ก ์ดฌ์ํด ํ์ ๊ฐ ๋ ์ฌ์ง์ด ์๋ค.
๋น์ผ๋ก ๊ฝ ์ฐฌ ํ๊ตญ๊ณผ ๋ฌ๋ฆฌ, ๋ถํ์ ํ์์๋ง ๋ถ๋น์ด ๋ณด์ผ ๋ฟ ์ปด์ปดํ ์ด๋ ์ด ๊ฐ๋ํ๋ค. ์ด ์ฌ์ง์ ์ ํํ ํต๊ณ ์๋ฃ๊ฐ ๋ถ์กฑํ ๋ถํ ๊ฒฝ์ ์ ์ค์์ ์ง์๊ฒ ํ๋ ๊ณ๊ธฐ๊ฐ ๋๋ค.
์ด๋ฐ ์์ฑ ์ฌ์ง๊ณผ ๋๋ถ์ด ์ต๊ทผ์ ์ธ๊ณต์ง๋ฅ(AI) ๊ธฐ์ ๋ก ๋ถํ์ ์ข ๋ ๊ฐ๊ด์ ์ผ๋ก ๋ค์ฌ๋ค๋ณด๋ ์ฐ๊ตฌ๋ค์ด ๋์ค๊ณ ์๋ค.
์ง๋ํด ๋ง, ํ๊ตญ ์นด์ด์คํธ(KAIST)๋ ๊ธฐ์ด๊ณผํ์ฐ๊ตฌ์, ์๊ฐ๋, ํ์ฝฉ๊ณผ๊ธฐ๋, ์ฑ๊ฐํฌ๋ฅด๊ตญ๋ฆฝ๋์ ์์ฑ์์์ ํ์ฉํด ๋ถํ์ฒ๋ผ ๊ธฐ์ด ๋ฐ์ดํฐ๊ฐ ๋ถ์กฑํ ์ง์ญ์ ๊ฒฝ์ ์ํฉ์ ๋ถ์ํ๋ AI ๊ธฐ๋ฒ์ ๊ฐ๋ฐํ๋ค. ์ปดํจํฐ ์ฌ์ด์ธ์ค, ๊ฒฝ์ , ์ง๋ฆฌํ ๋ฑ ์ ๋ฌธ๊ฐ 10์ฌ ๋ช
์ด ํ์ ํฉ์น ๊ฒ.
์ฐ๊ตฌํ์ ํ๊ตญ์ ์๋ฆฌ๋, ์ ๋ฝ์ ์ผํฐ๋ฌ ๋ฑ ์ธ๊ณต์์ฑ ์์์ ํ๊ท 0.23ใข ๋ก ์ธ๋ฐํ๊ฒ ๋๋ด๋ค. ๊ทธ๋ฆฌ๊ณ ๊ตฌ์ญ ์์ ๊ฑด๋ฌผ๊ณผ ๋๋ก, ๋
น์ง ๋ฑ์ ์๊ฐ ์ ๋ณด๋ฅผ ์์นํํด AI๊ฐ ๊ฒฝ์ ๋ฐ์ ์ ๋๋ฅผ ์ ์๋ก ๋งค๊ธฐ๋๋ก ํ๋ค.
์ด๋ฅผ ํตํด ํน์ ๊ธฐ๊ฐ ํด๋น ์ง์ญ์์ ์ด๋ ์ ๋์ ๋ณํ๊ฐ ์์๋์ง๋ฅผ ๋น๊ตํ๊ณ ์ ์ ์๋ค.
์ฐ๊ตฌํ์ ์ด ๊ธฐ์ ์ ๋ถํ์ ์ ์ฉํด ๋ถ์ํ๋ค.
์ฃผ์ ์ฐ๊ตฌ์ง์ผ๋ก ์ฐธ์ฌํ ๊น์งํฌ ์นด์ด์คํธ ๊ต์๋ BBC ์ฝ๋ฆฌ์์ "๋ถํ์ ๊ฒฝ์ฐ์ ๋๋ถ๋ถ์ ๋๋ผ์ ์๋ ์๋, ์์ฐ, ์ธ๊ตฌ ๋ฑ์ ์๋ฃ๊ฐ ์ถฉ๋ถ์น ์๊ธฐ์ ์ ๋์ ๊ฒฝ์ ์งํ๊ฐ ๊ฑฐ์ ์๋ค"๋ฉฐ "์๋์ ์ธ ๋ฐ์ ์ ๋๋ผ๋ ํ๋ฒ ํ์
ํด ๋ณด๊ณ ์ถ์๋คโ๊ณ ์ฐ๊ตฌ ๋ชฉ์ ์ ์ค๋ช
ํ๋ค.
๊ทธ๋ฌ๋ฉด์ "๊ทธ๋์ ์์ฑ์ฌ์ง์ผ๋ก๋ (๋ณํ๊ฐ ์์ผ๋ฆฌ๋ผ ์์ธก๋๋) ์์น๋ฅผ ์์๋ก ์ ์ ํ๊ณ ์ถ์ ๊ฐ์๋ฅผ ํ๋๋ฐ, ๊ฐ๋ฐํ AI ๋ชจ๋ธ์ ์ ์ง์ญ์ ๊ฐ์งํ ์ ์๊ธฐ ๋๋ฌธ์ ๊ทธ๋ฐ ๊ณผ์ ์์ด ๋ถํ ์ ์ญ์ ์ธ๋ฐํ๊ฒ ๊ด์ธกํ ์ ์๋ค" ๊ณ ํ๋ค.""")
RESULT >> [{'summary_text': ํ๊ตญ ์นด์ด์คํธ๋ ๊ธฐ์ด๊ณผํ์ฐ๊ตฌ์๊ณผ ์๊ฐ๋ ํ์ฝฉ๊ณผ๊ธฐ๋ ์ฑ๊ฐํฌ๋ฅด๊ตญ๋ฆฝ๋์ ํจ๊ป ์์ฑ ์์์ ํ์ฉํด ๋ถํ์ฒ๋ผ ๊ธฐ์ด ๋ฐ์ดํฐ๊ฐ ๋ถ์กฑํ ์ง์ญ์ ๊ฒฝ์ ์ํฉ์ ๋ถ์ํ๋ AI ๊ธฐ๋ฒ์ ๊ฐ๋ฐํ๋ค.}]
Evalutation Result
- Epoch Training Loss ValidationLoss Rouge1 Rouge2 Rougel Rougelsum
- csebuetnlp/xlsum
8 1.051100 1.718005 18.211300 3.563200 18.000500 18.001100
- daekeun-ml/naver-news-summarization-ko
8 No log 0.441769 50.047600 23.509700 49.730000 49.806500
- ํ๊ตญ์ด ๋ฉํฐ์ธ์
๋ํ
8 1.072700 1.624539 7.749500 1.273900 7.744200 7.768000
Training
The model was trained with the parameters:
- training arguments
batch_size = 8
num_train_epochs = 8
args = Seq2SeqTrainingArguments(
evaluation_strategy="epoch",
learning_rate=5.6e-5,
per_device_train_batch_size=batch_size,
per_device_eval_batch_size=batch_size,
weight_decay=0.01, #weight_decay:
save_total_limit=3,#:
num_train_epochs=num_train_epochs,
predict_with_generate=True,
logging_steps=logging_steps,
push_to_hub=True,
save_steps=1000,
)
- Downloads last month
- 35
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.