hiudev/bge-m3-deepedu-ver2

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("hiudev/bge-m3-deepedu-ver2")
# Run inference
sentences = [
    'Số trang của cuốn sách được ghi trong đoạn thứ hai không?',
    "Sửa bản in: NÔNG THỊ HUỆ – PHẠM LAN ANH Chế bản: CÔNG TY CỔ PHẦN ĐẦU TƯ' VÀ PHÁT TRIỂN GIÁO DỤC HÀ NỘI # Bàn quyền thuộc Nhà xuất bản Giáo dục Việt Nam Tất cả các phần của nội dung cuốn sách này đều không được sao chép, lưu trữ, chuyển thể dưới bất kì hình thức nào khi chưa có sự cho phép bằng văn bản của Nhà xuất bản Giáo dục Việt Nam. # ÂM NHAC 8 Mã số: G3HH8R001A23 In ......bàn, (QĐ ......) khô 19 x 26.5cm Đơn vị in: ...... địa chỉ ...... Số QĐXB: 8-2023/CXBIPH/186-2097/GD Số ĐKXB: /QĐ – GD – HN ngày ...... tháng ...... năm 20...",
    '# Lời giới thiệu cuốn sách Nhóc Ni-cô-la: những chuyên chưa kế AN-NO GÔ-XI-NHI $^{(1)}$ (ANNE GOSCINNY) Sau làn xuất bản Nhóc Ni-cô-la: những chuyên chưa kể vào tháng 10 năm 2004, bốn mươi lăm mâu chuyên khác, cũng chưa được kể, đã được chuẩn bị giới thiệu với công chúng. # Theo dõi Nhan đề, thể loại, hoàn cảnh ra đời của cuốn sách. Đã đến thời điểm những mẫu chuyên từng xuất hiện trên tờ Tây Nam Chủ nhật và Hoa tiêu vào khoảng thời gian từ 1959 đến 1965 từ trong bóng tối của những tập tài liệu lưu trữ của cha tôi, bước ra ảnh sáng trước niềm vui thích của độc giả, những người sẽ được khán phá các mẫu chuyên ấy. Tập 3 của Nhóc Ni-cô-la: những chuyên chưa kể lần này sẽ mang đến cho chúng ta những câu pha trò mới tỉnh của câu học trò nổi tiếng nhất trong số những câu nhóc tiểu học. Một lần nữa, các tác giả lại khiến ta ngạc nhiên khi dẫn đất nhân vật của họ đến những tỉnh huống chằng ai ngờ tới [...]. # Theo dõi Đề tài và đặc điểm nổi bạt về nội dung, nghệ thuật của cuốn sách.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.5138, 0.3615],
#         [0.5138, 1.0000, 0.3398],
#         [0.3615, 0.3398, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 62,177 training samples
• Columns: anchor, positive, negative_1, negative_2, negative_3, and negative_4
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative_1	negative_2	negative_3	negative_4
  type	string	string	string	string	string	string
  details	min: 8 tokens mean: 19.75 tokens max: 60 tokens	min: 13 tokens mean: 177.7 tokens max: 512 tokens	min: 33 tokens mean: 205.95 tokens max: 512 tokens	min: 18 tokens mean: 204.92 tokens max: 512 tokens	min: 34 tokens mean: 201.57 tokens max: 512 tokens	min: 16 tokens mean: 200.27 tokens max: 512 tokens

• Samples:

  anchor	positive	negative_1	negative_2	negative_3	negative_4
  Thao tác chèn văn bản vào ảnh để ghi chú và tạo hiệu ứng là gì?	# BÀI 10b # THÊM VĂN BẦN, TẠO HIỆU ỨNG CHO ẦNH # Sau bài học này em sẽ: - Thực hiện được các thao tác xử lí ảnh: thêm văn bản, điều chỉnh độ sáng, độ tương phản, làm mờ, làm sắc nét. An: Minh ơi, câu xem một vài bức ảnh tố chụp trường mình này. Tớ muốn chỉnh sửa các ảnh đó và thêm chú thích từng khu vực trong trường vào ảnh để gửi cho bạn học cùng trường tiểu học. Cậu có biết công cụ nào của phần mềm chỉnh sửa ảnh làm được điều đó không? Minh: Có chú. Tór thấy một số ảnh cầu chụp bị tối, cần tăng độ sáng lên và chỉnh thêm về màu sắc ảnh nữa thì sẽ đẹp đáy.	Bước 5: Chèn và định dạng hộp văn bản. a) Chèn hộp văn bản - Tạo hộp văn bản nằm ở lớp trên của các ảnh nền như Hình 3.1. 1. Chèn hình khối chữ nhật đặt ở vị trí lớp trên ảnh nên, di chuyển hình khối tới vị trí chính giữa như Hình 3.1. 2. Chọn hình khối vừa chèn, nháy nút phải chuột, nháy chọn Add Text trong danh sách lệnh hiện ra (Hình 3.5). 3. Con trò soan thảo sẽ xuất hiện bên trong hình khối, cho phép ta gỗ vào nội dung giới thiệu. b) Định dạng hộp văn bản	Hình ảnh được chèn thêm văn bản # 2. TẠO HIỆU ỨNG CHO ẢNH # Hoạt động 2 Độ sáng của hình ảnh 1. Em hãy quan sát các bức ảnh ở Hình 10b.1 và cho nhận xét về độ sáng của mỗi ảnh. 2. Theo em có thể thay đổi độ sáng của ảnh không? Hình ảnh được chụp từ máy ảnh kĩ thuật số không phải lúc nào cũng hoàn hảo.	# Hoạt động khởi động Mục tiêu Tiền hành Kết quả Chú ý Hoạt động này đặt HS vào việc khi chụp ảnh có thể sẽ gặp phải những bức ảnh như hình 10b.1 và có mong muốn thay đổi, chỉnh sửa để có bức ảnh đẹp hơn. – GV yêu cầu HS làm việc theo nhóm. Với mỗi nhóm cụ thể GV cung cấp các hình ảnh khác nhau và yêu cầu HS duża ra mong muốn chỉnh sửa cho bức ảnh nhóm nhận được.– HS đọc nội dung phân khởi động, thảo luận duża ra các ý kiến cá nhân.– GV tổ chức cho cá nhân hoặc nhóm nhận xét các câu trả lời. Mỗi nhóm HS sẽ duża ra được ý tưởng thay đổi bức ảnh khác nhau. Tổng hợp các ý kiến và nội dung của hoạt động khởi động chính là nội dung sẽ học trong bài. Thời gian cho hoạt động khoảng 5 phút. # 1. Thêm văn bản Hoạt động 1. Thêm văn bản vào ảnh <... Mục tiêu Tiền hành Kết quả Chú ý Bước 2: Chèn ảnh vào văn bản. Trong tiết lí thuyết, chúng ta đã phân tích Hình 2.1 gồm 4 ảnh với vị trí và bổ cục như Hình 2.8. Để làm được như vậy, lần lượt thực hiện các thao tác sau: text_image Ảnh số 1 Ảnh số 2 Ảnh số 3 Ảnh số 4 Hình 2.8. Công cụ nào trong phần mềm chỉnh sửa ảnh cho phép điều chỉnh độ sáng và độ tương phản? natural_image Outdoor mural display with colorful painted murals and potted plants, no visible text or symbols a natural_image Close-up of a vibrant red rose surrounded by green foliage (no text or symbols visible) Đặt 1 hạt dưa chuột nằm ngang giữa ô bầu. Dùng ngón tay ấn nhẹ hạt xuống sâu khoảng 0,5 cm. Gạt giá thể xung quanh lên hạt để lắp kín hạt. Dùng ô doa tươi đẩm khay bầu ngay sau khi gieo. Bước 3. Ghi chép nhật kí Ghi thông tin về giống, giá thể worm cây, phân bón và người lao động theo mẫu Bằng 11.2, 11.3. Bước 4. Chăm sóc Hằng ngày tưới giữ ẩm; # 1. Tính oxi hoá # a) Tác dụng với kim loại O nhiệt độ cao, nito tác dụng được với một số kim loại hoạt động như Ca, Mg, Al,... tạo thành nitrua kim loại. Thí dụ : $$ 3 \mathrm{Mg} + \stackrel {0} {\mathrm{N}} _ {2} \xrightarrow {\mathrm{t} ^ {\circ}} \mathrm{Mg} _ {3} \stackrel {- 3} {\mathrm{N}} _ {2} \text { magie nitrua } $$ # b) Tác dụng với hidro O nhiệt độ cao, áp suất cao và có mặt chất xúc tác, nito tác dụng trực tiếp với hidro, tạo ra khí amoniac. Liu y: Khi giới thiệu động tác mới (đi đều vòng bên phải), GV cân tăng cường sử dụng các phương tiện trực quan, đa dạng hoá các hoạt động trong giờ học để thu hút và tạo hứng thú cho HS, GV không nên sử dụng đơn điều phương pháp giảng giải (thuyết trình) trong thời gian dài. Lời nói của GV phải đơn giản, để hiểu, ngắn gọn và phù hợp với vốn từ vựng của các em. # 2.3. Hình thành động tác mới GV có thể tiến hành nhu sau: – GV làm mẫu, cả lớp quan sát. Sau đó, GV gọi lân lượt một vài HS lên tập động tác đi đều vòng bên phải, cả lớp quan sát và nhận xét bạn tập. - GV gọi 4 - 5 HS lên, huống dẫn cách thực hiện động tác một hàng dọc đi đều vòng bên phải và cho các em thực hiện 1 - 2 lần; cả lớp quan sát và nhận xét. Sau đó, GV cho các hàng thực hiện động tác này. # III. LUYÊN TÂP # GIÁO VIÊN CHO HỌC SINH TẬP LUYÊN VỚI NHẠC # 1. Luyện tập đồng loạt – theo nhóm - Luyên tập đồng loạt: + Giáo viên cho học sinh đúng thành nhiều hàng ngang cách một sai tay và xen kê. + Giáo viên đếm nhịp cho cả lớp cùng tập: Giáo viên đếm chậm từng cử động của động tác cho học sinh tập theo. + Khi học sinh đã thực hiện tương đối theo nhịp chậm, giáo viên sẽ đếm nhịp nhanh hơn theo tốc độ của kĩ thuật động tác. + Giáo viên cho cả lớp cùng đếm để thuộc nhịp động tác, sau đó giáo viên có thể gọi một học sinh lên thực hiện cho cả lớp xem và nhận xét, sửa sai. Việc tăng độ sáng cho ảnh có thể gây ra hậu quả gì nếu ảnh ban đầu quá tối? Hình ảnh được chèn thêm văn bản # 2. TẠO HIỆU ỨNG CHO ẢNH # Hoạt động 2 Độ sáng của hình ảnh 1. Em hãy quan sát các bức ảnh ở Hình 10b.1 và cho nhận xét về độ sáng của mỗi ảnh. 2. Theo em có thể thay đổi độ sáng của ảnh không? Hình ảnh được chụp từ máy ảnh kĩ thuật số không phải lúc nào cũng hoàn hảo. Tuy nhiên, việc thêm quá nhiều độ mờ, độ sắc nét có thể làm cho hình ảnh trong xấu hơn hoặc dẫn đến mất chi tiết của ảnh. natural_image Close-up of a vibrant red rose with green leaves in the background (no text or symbols visible) a) Ảnh gốc natural_image text_image a) Ānh gốc b) Ānh sau khi tăng độ tương phải Hình 10b.4. Điều chỉnh độ tương phản cho ảnh # c) Độ mò, độ sắc nét (Blur, Sharpen) Phần mềm xử lí ảnh cung cấp công cụ làm mờ, làm sắc nét ảnh. Em có thể sử dụng để làm mờ một vùng quá nổi bật trong ảnh, làm sắc nét riêng một đối tượng hoặc làm mờ nền xung quanh ảnh để làm nổi bật chủ thể bức ảnh. # BÀI 10b # THÊM VĂN BẦN, TẠO HIỆU ỨNG CHO ẦNH # Sau bài học này em sẽ: - Thực hiện được các thao tác xử lí ảnh: thêm văn bản, điều chỉnh độ sáng, độ tương phản, làm mờ, làm sắc nét. An: Minh ơi, câu xem một vài bức ảnh tố chụp trường mình này. Tớ muốn chỉnh sửa các ảnh đó và thêm chú thích từng khu vực trong trường vào ảnh để gửi cho bạn học cùng trường tiểu học. Cậu có biết công cụ nào của phần mềm chỉnh sửa ảnh làm được điều đó không? Minh: Có chú. Tór thấy một số ảnh cầu chụp bị tối, cần tăng độ sáng lên và chỉnh thêm về màu sắc ảnh nữa thì sẽ đẹp đáy. bảo vệ môi trường làng nghề; bảo vệ môi trường khu đủ thị, khu dân cư; bảo vệ môi trường nông thôn; bảo vệ môi trường nơi công cộng và bảo vệ môi trường đối với hộ gia đình, cá nhân. # 1. Ô nhiễm ánh sáng O nhiễm ánh sáng xáy ra do việc sử dụng sai hương (hình 1.2) hoặc quá mức ánh sáng nhân tạo từ đến điện (bảng 1.1). Đảy là tác động tiêu cực của quá trình độ thị hoá, gây ánh hương đến sức khoé, phá vỡ hệ sinh thái. Ảnh sáng chói dẫn đến điều kiện lái xe không an toàn. Tiếp xúc với ảnh sáng lâu sẽ gây ra đau đầu, một mới, lo âu, trầm cảm, căng thẳng thần kinh (rối loạn nhịp sinh học). Loss: MultipleNegativesRankingLoss with these parameters: { "scale": 50.0, "similarity_fct": "cos_sim", "gather_across_devices": false, "directions": [ "query_to_doc" ], "partition_mode": "joint", "hardness_mode": null, "hardness_strength": 0.0 } Training Hyperparameters Non-Default Hyperparameters learning_rate: 1e-05 warmup_steps: 0.1 gradient_accumulation_steps: 16 bf16: True tf32: True gradient_checkpointing: True dataloader_num_workers: 4 All Hyperparameters Click to expand per_device_train_batch_size: 8 num_train_epochs: 3 max_steps: -1 learning_rate: 1e-05 lr_scheduler_type: linear lr_scheduler_kwargs: None warmup_steps: 0.1 optim: adamw_torch_fused optim_args: None weight_decay: 0.0 adam_beta1: 0.9 adam_beta2: 0.999 adam_epsilon: 1e-08 optim_target_modules: None gradient_accumulation_steps: 16 average_tokens_across_devices: True max_grad_norm: 1.0 label_smoothing_factor: 0.0 bf16: True fp16: False bf16_full_eval: False fp16_full_eval: False tf32: True gradient_checkpointing: True gradient_checkpointing_kwargs: None torch_compile: False torch_compile_backend: None torch_compile_mode: None use_liger_kernel: False liger_kernel_config: None use_cache: False neftune_noise_alpha: None torch_empty_cache_steps: None auto_find_batch_size: False log_on_each_node: True logging_nan_inf_filter: True include_num_input_tokens_seen: no log_level: passive log_level_replica: warning disable_tqdm: False project: huggingface trackio_space_id: None trackio_bucket_id: None trackio_static_space_id: None per_device_eval_batch_size: 8 prediction_loss_only: True eval_on_start: False eval_do_concat_batches: True eval_use_gather_object: False eval_accumulation_steps: None include_for_metrics: [] batch_eval_metrics: False save_only_model: False save_on_each_node: False enable_jit_checkpoint: False push_to_hub: False hub_private_repo: None hub_model_id: None hub_strategy: every_save hub_always_push: False hub_revision: None load_best_model_at_end: False ignore_data_skip: False restore_callback_states_from_checkpoint: False full_determinism: False seed: 42 data_seed: None use_cpu: False accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} parallelism_config: None dataloader_drop_last: False dataloader_num_workers: 4 dataloader_pin_memory: True dataloader_persistent_workers: False dataloader_prefetch_factor: None remove_unused_columns: True label_names: None train_sampling_strategy: random length_column_name: length ddp_find_unused_parameters: None ddp_bucket_cap_mb: None ddp_broadcast_buffers: False ddp_static_graph: None ddp_backend: None ddp_timeout: 1800 fsdp: [] fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} deepspeed: None debug: [] skip_memory_metrics: True do_predict: False resume_from_checkpoint: None warmup_ratio: None local_rank: -1 prompts: None batch_sampler: batch_sampler multi_dataset_batch_sampler: proportional router_mapping: {} learning_rate_mapping: {} Training Logs Click to expand Epoch Step Training Loss 0.0206 10 1.2557 0.0412 20 1.2348 0.0618 30 1.1959 0.0823 40 1.0658 0.1029 50 1.1173 0.1235 60 1.1275 0.1441 70 1.0173 0.1647 80 1.0356 0.1853 90 0.9688 0.2058 100 0.9334 0.2264 110 0.9136 0.2470 120 0.8736 0.2676 130 0.9035 0.2882 140 0.8790 0.3088 150 0.8694 0.3293 160 0.8705 0.3499 170 0.8325 0.3705 180 0.8218 0.3911 190 0.8452 0.4117 200 0.7862 0.4323 210 0.8408 0.4528 220 0.8132 0.4734 230 0.8198 0.4940 240 0.7949 0.5146 250 0.6873 0.5352 260 0.7716 0.5558 270 0.7671 0.5764 280 0.7307 0.5969 290 0.7620 0.6175 300 0.7708 0.6381 310 0.7212 0.6587 320 0.6933 0.6793 330 0.6994 0.6999 340 0.7340 0.7204 350 0.7296 0.7410 360 0.7343 0.7616 370 0.8042 0.7822 380 0.6925 0.8028 390 0.6789 0.8234 400 0.7442 0.8439 410 0.7017 0.8645 420 0.7641 0.8851 430 0.6801 0.9057 440 0.7007 0.9263 450 0.6646 0.9469 460 0.6827 0.9675 470 0.7416 0.9880 480 0.6733 1.0082 490 0.6312 1.0288 500 0.6133 1.0494 510 0.5231 1.0700 520 0.5333 1.0906 530 0.5601 1.1112 540 0.5642 1.1317 550 0.5612 1.1523 560 0.5444 1.1729 570 0.5265 1.1935 580 0.4946 1.2141 590 0.5270 1.2347 600 0.4905 1.2552 610 0.5314 1.2758 620 0.5452 1.2964 630 0.5281 1.3170 640 0.5010 1.3376 650 0.5559 1.3582 660 0.5225 1.3787 670 0.5258 1.3993 680 0.5316 1.4199 690 0.5249 1.4405 700 0.4575 1.4611 710 0.5228 1.4817 720 0.4986 1.5023 730 0.5095 1.5228 740 0.4978 1.5434 750 0.4766 1.5640 760 0.5158 1.5846 770 0.4839 1.6052 780 0.4729 1.6258 790 0.5596 1.6463 800 0.4919 1.6669 810 0.5107 1.6875 820 0.5088 1.7081 830 0.5174 1.7287 840 0.5165 1.7493 850 0.5056 1.7698 860 0.4505 1.7904 870 0.5459 1.8110 880 0.4451 1.8316 890 0.5129 1.8522 900 0.5454 1.8728 910 0.5479 1.8933 920 0.5240 1.9139 930 0.5382 1.9345 940 0.4979 1.9551 950 0.5008 1.9757 960 0.4863 1.9963 970 0.4615 2.0165 980 0.4193 2.0371 990 0.4029 2.0576 1000 0.4048 2.0782 1010 0.3903 2.0988 1020 0.3739 2.1194 1030 0.3749 2.1400 1040 0.3981 2.1606 1050 0.3775 2.1811 1060 0.3786 2.2017 1070 0.3935 2.2223 1080 0.4290 2.2429 1090 0.3707 2.2635 1100 0.3691 2.2841 1110 0.3954 2.3046 1120 0.3714 2.3252 1130 0.4227 2.3458 1140 0.3912 2.3664 1150 0.4053 2.3870 1160 0.3830 2.4076 1170 0.4461 2.4281 1180 0.3826 2.4487 1190 0.3898 2.4693 1200 0.3854 2.4899 1210 0.3616 2.5105 1220 0.3733 2.5311 1230 0.4123 2.5517 1240 0.4071 2.5722 1250 0.4083 2.5928 1260 0.3672 2.6134 1270 0.3671 2.6340 1280 0.3974 2.6546 1290 0.3968 2.6752 1300 0.3605 2.6957 1310 0.4023 2.7163 1320 0.3901 2.7369 1330 0.4048 2.7575 1340 0.3882 2.7781 1350 0.3848 2.7987 1360 0.3502 2.8192 1370 0.3768 2.8398 1380 0.3622 2.8604 1390 0.3541 2.8810 1400 0.3627 2.9016 1410 0.3677 2.9222 1420 0.3914 2.9428 1430 0.3810 2.9633 1440 0.4304 2.9839 1450 0.3961 Training Time Training: 2.6 hours Framework Versions Python: 3.12.3 Sentence Transformers: 5.4.1 Transformers: 5.8.0 PyTorch: 2.11.0+cu130 Accelerate: 1.13.0 Datasets: 4.8.5 Tokenizers: 0.22.2 Citation BibTeX Sentence Transformers @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } MultipleNegativesRankingLoss @misc{oord2019representationlearningcontrastivepredictive, title={Representation Learning with Contrastive Predictive Coding}, author={Aaron van den Oord and Yazhe Li and Oriol Vinyals}, year={2019}, eprint={1807.03748}, archivePrefix={arXiv}, primaryClass={cs.LG}, url={https://arxiv.org/abs/1807.03748}, }