minhunhooo/video-subtitle-summarization-mt5

Multilingual Video Transcript Summarizer (vi · en · fr · es)

Fine-tuned từ csebuetnlp/mT5_multilingual_XLSum trong 4 epoch trên 44,000 mẫu từ: vietnews, vt-ssum (video en), xlsum-en, xlsum-es, xlsum-fr, xlsum-vi.

Cách dùng

Đầu vào cần có prefix ngôn ngữ: summarize <lang>: <văn bản>, với <lang> ∈ {vi, en, fr, es}.

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tok = AutoTokenizer.from_pretrained("minhunhooo/video-subtitle-summarization-mt5")
model = AutoModelForSeq2SeqLM.from_pretrained("minhunhooo/video-subtitle-summarization-mt5")
x = tok("summarize vi: " + text, max_length=512, truncation=True, return_tensors="pt")
print(tok.decode(model.generate(**x, max_new_tokens=128, num_beams=4, no_repeat_ngram_size=3)[0], skip_special_tokens=True))

Với video/văn bản dài hơn 512 token, dùng Map-Reduce phân cấp (chunk ≤ 400 token, tối đa 3 vòng reduce) thay vì cắt cụt.

Kết quả (test độc lập từng nguồn, ROUGE F1 Unicode-NFC)

Nguồn	N	Hệ thống	rouge1	rouge2	rougeL
vietnews	300	Lead-3	24.34	10.25	17.96
vietnews	300	Zero-shot	22.06	8.16	17.96
vietnews	300	Fine-tuned (ours)	27.81	10.86	22.3
vt-ssum (video en)	300	Lead-3	40.32	29.51	35.12
vt-ssum (video en)	300	Zero-shot	14.78	3.22	11.55
vt-ssum (video en)	300	Fine-tuned (ours)	38.77	27.16	33.65
xlsum-en	300	Lead-3	18.72	2.8	12.38
xlsum-en	300	Zero-shot	34.74	13.27	27.88
xlsum-en	300	Fine-tuned (ours)	35.87	13.86	28.38
xlsum-es	200	Lead-3	21.46	4.16	14.12
xlsum-es	200	Zero-shot	30.34	11.69	24.08
xlsum-es	200	Fine-tuned (ours)	30.14	11.63	23.76
xlsum-fr	200	Lead-3	22.74	7.36	15.43
xlsum-fr	200	Zero-shot	34.06	16.22	28.22
xlsum-fr	200	Fine-tuned (ours)	33.52	15.96	27.69
xlsum-vi	300	Lead-3	22.06	8.27	14.01
xlsum-vi	300	Zero-shot	32.87	17.01	26.23
xlsum-vi	300	Fine-tuned (ours)	33.02	16.69	26.14

Trung bình macro

Hệ thống	rouge1	rouge2	rougeL
Lead-3	24.94	10.39	18.17
Zero-shot	28.14	11.6	22.65
Fine-tuned (ours)	33.19	16.03	26.99

Kiểm định paired bootstrap (Fine-tuned so với baseline, ROUGE-L)

Nguồn	So với	ΔROUGE-L	CI95 thấp	CI95 cao	p(Δ≤0)	Có ý nghĩa
vietnews	Lead-3	4.34	2.9	5.89	0.0	True
vietnews	Zero-shot	4.34	3.01	5.73	0.0	True
xlsum-vi	Lead-3	12.14	10.87	13.53	0.0	True
xlsum-vi	Zero-shot	-0.09	-0.94	0.82	0.575	False
xlsum-en	Lead-3	16.0	14.42	17.53	0.0	True
xlsum-en	Zero-shot	0.5	-0.69	1.64	0.211	False
xlsum-fr	Lead-3	12.26	10.38	14.25	0.0	True
xlsum-fr	Zero-shot	-0.52	-1.94	0.95	0.767	False
xlsum-es	Lead-3	9.64	7.85	11.58	0.0	True
xlsum-es	Zero-shot	-0.32	-1.25	0.59	0.7405	False
vt-ssum (video en)	Lead-3	-1.47	-5.53	2.68	0.744	False
vt-ssum (video en)	Zero-shot	22.1	19.27	25.33	0.0	True

Ablation: Map-Reduce vs cắt cụt

Tập	N	Token TB	ROUGE-L F1 cắt cụt	ROUGE-L F1 Map-Reduce	ΔF1	CI95 thấp	CI95 cao	ROUGE-L Recall cắt cụt	ROUGE-L Recall Map-Reduce	Có ý nghĩa
Video đầy đủ (VT-SSum)	30	6643	14.03	16.37	2.34	-1.37	5.47	11.01	11.4	False
Bài báo dài (> 1,5× giới hạn)	30	1473	17.04	21.09	4.05	0.36	8.14	16.27	19.1	True

Độ chịu lỗi ASR (mô phỏng)

Nguồn	Tỉ lệ lỗi từ	N	rouge1	rouge2	rougeL	% ROUGE-L còn lại
vietnews	0.0	60	28.52	11.24	22.82	100.0
vietnews	0.05	60	28.11	10.5	21.63	94.8
vietnews	0.1	60	29.69	12.01	23.64	103.6
vietnews	0.2	60	26.49	9.94	21.55	94.4
vietnews	0.3	60	26.14	8.93	21.15	92.7
xlsum-en	0.0	60	35.44	13.18	28.95	100.0
xlsum-en	0.05	60	34.01	11.73	27.78	96.0
xlsum-en	0.1	60	35.33	12.93	28.39	98.1
xlsum-en	0.2	60	33.89	11.11	26.42	91.3
xlsum-en	0.3	60	33.06	10.87	25.43	87.8
vt-ssum (video en)	0.0	60	38.19	25.84	32.67	100.0
vt-ssum (video en)	0.05	60	37.48	24.03	31.66	96.9
vt-ssum (video en)	0.1	60	34.99	21.79	28.96	88.6
vt-ssum (video en)	0.2	60	34.97	20.67	29.37	89.9
vt-ssum (video en)	0.3	60	37.03	23.0	31.47	96.3

Hạn chế

• Mô hình sinh có thể bịa chi tiết; ROUGE đo độ trùng lặp, không đo tính đúng sự thật.
• Tham chiếu của VT-SSum là trích chọn câu, khác với tóm tắt tóm lược của XL-Sum/VietNews, nên điểm giữa các nguồn không so sánh trực tiếp được.
• Thí nghiệm chịu lỗi ASR dùng lỗi mô phỏng, chưa phải đầu ra Whisper thật.
• Chỉ đánh giá vi/en/fr/es.