chibao24's picture
Upload README.md with huggingface_hub
055b511 verified
metadata
tags:
  - generated_from_trainer
metrics:
  - rouge
model-index:
  - name: vietnamese_mt5_summary_model_2
    results: []
datasets:
  - TrongNghiaCS/vietnews_clean
language:
  - vi
pipeline_tag: summarization
widget:
  - text: >-
      Phương án chuyển một số quỹ nhà tái định cư chưa sử dụng thành nhà ở xã
      hội từng được cơ quan chức năng tính đến nhưng vẫn gặp nhiều khó khăn khi
      triển khai. Tham gia tư vấn một trường hợp cụ thể, tôi mới cảm nhận rõ đây
      thực sự là bài toán khó từ nhiều khía cạnh: điều chỉnh thủ tục pháp lý,
      thiết kế và cả trở ngại từ phía địa phương.Thủ tục pháp lý là nút thắt đầu
      tiên khi chuyển đổi công năng nhà tái định cư bỏ hoang sang nhà ở xã hội.
      Xuất phát điểm của hai loại dự án này khác nhau nên thủ tục pháp lý, tiêu
      chuẩn thiết kế cũng khác biệt. Khi chuyển đổi công năng, cơ quan chức năng
      phải điều chỉnh lại gần như toàn bộ thủ tục pháp lý dự án.
    example_title: Example 1
  - text: >-
      Trẻ cuối cấp sẽ ráo riết ôn thi. Con gái người bạn tôi - được mẹ định
      hướng thi vào trường THPT hàng đầu ở thủ đô - đã bắt đầu từ tuần này lịch
      học sáu buổi mỗi tuần. Có hôm, cháu học cả ngày, trưa chỉ kịp ghé hàng
      quán, hoặc ăn vội bát mỳ ở nhà. Các buổi tối, cháu sẽ tập trung ôn lại
      kiến thức trong lớp học thêm. Bạn tôi nói, nếu không vào guồng như vậy,
      cháu sẽ không cạnh tranh nổi với tỷ lệ chọi mười em lấy một.Học sinh không
      thuộc các lớp cuối cấp cũng học hè để biết trước kiến thức mới, mà theo
      nhiều phụ huynh, là nhằm tạo đà, giúp con chạy nhanh hơn các bạn khi vào
      năm học chính thức. Số trẻ còn lại, không nhất thiết lao theo cuộc đua
      kiến thức và thành tích, thì cần một chỗ để ký gửi vì không có ai trông
      trong những ngày hè.
    example_title: Example 2
  - text: >-
      Vài tuần trước khi cháu thi vào lớp 10 - kỳ thi khốc liệt nhất trong cuộc
      đời đa số bạn trẻ ở Hà Nội, mẹ con lại nói chuyện. Tôi nói, 10 năm trước
      mắt có thể là 10 năm quan trọng nhất cuộc đời con. Vào trường nào, đại học
      ngành gì, công việc đầu tiên ở đâu, và rất có thể là mối tình thứ nhất,
      rồi kết hôn và sinh con. Tất cả đều có thể diễn ra trong khoảng thời gian
      15 đến 25 tuổi. Và những quyết định trong thời gian này, nhất là quyết
      định về nghề nghiệp, gần như sẽ ảnh hưởng tới toàn bộ quãng đời còn lại.
    example_title: Example 3
  - text: >-
      Giữa năm ngoái, Bộ Lao động, Thương binh và Xã hội ra hướng dẫn: lao động
      bị nợ bảo hiểm xã hội sẽ được giải quyết theo hướng đóng đến đâu hưởng đến
      đó, tức thời gian nợ được khoanh lại. Người lao động có thể tham gia bảo
      hiểm xã hội theo hình thức tự nguyện cho các tháng còn thiếu để được nhận
      lương hưu. Tuy nhiên, không phải ai cũng chấp nhận cách này. Vì số tiền
      một cục bỏ ra để đóng là khá lớn, trong khi lương hưu hàng tháng nhận được
      có thể chỉ hơn một triệu đồng, do không được nâng lên bằng lương cơ sở
      (1,8 triệu đồng) như người có cả quá trình tham gia bắt buộc. Hội bạn già
      của cô còn nói gở: đóng xong, xui rủi ra đường xe tông hoặc ốm đau, trời
      gọi sớm, thì coi như lỗ. Tuổi già lắm bệnh như chuối chín cây.
    example_title: Example 4

vietnamese_mt5_summary_model_2

This model was trained from scratch on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 1.4813
  • Rouge1: 57.2618
  • Rouge2: 23.5562
  • Rougel: 35.4717
  • Rougelsum: 37.1259

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.001
  • train_batch_size: 16
  • eval_batch_size: 16
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 3000
  • num_epochs: 10

Training results

Training Loss Epoch Step Validation Loss Rouge1 Rouge2 Rougel Rougelsum
1.5757 1.0 313 1.4225 57.3823 23.8437 35.6288 37.1079
1.5452 2.0 626 1.4219 56.809 23.4657 35.0977 36.7606
1.5074 3.0 939 1.4122 55.9095 23.0128 35.0274 36.4447
1.4701 4.0 1252 1.4256 56.621 23.1876 35.1323 36.5518
1.431 5.0 1565 1.4381 57.2067 23.6087 35.1239 36.7421
1.3929 6.0 1878 1.4338 57.1248 23.9446 35.3666 36.9974
1.3558 7.0 2191 1.4727 57.0482 23.1001 34.8187 36.1817
1.3197 8.0 2504 1.4928 56.0409 23.1702 35.4414 36.858
1.2861 9.0 2817 1.4917 57.1416 23.7555 35.5747 36.9418
1.2367 10.0 3130 1.4813 57.2618 23.5562 35.4717 37.1259

Framework versions

  • Transformers 4.41.2
  • Pytorch 2.3.1+cu121
  • Datasets 2.19.2
  • Tokenizers 0.19.1