Edit model card

SentenceTransformer based on vinai/phobert-base-v2

This is a sentence-transformers model finetuned from vinai/phobert-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: vinai/phobert-base-v2
  • Maximum Sequence Length: 256 tokens
  • Output Dimensionality: 768 tokens
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/phobert_ContrastiveLoss")
# Run inference
sentences = [
    'Chế độ sinh hoạt & phòng ngừa viêm phụ khoa',
    'Chế độ sinh hoạt & phòng ngừa viêm phụ khoa Những thói quen sinh hoạt có thể giúp bạn hạn chế diễn tiến của viêm phụ khoa Chế độ sinh hoạt: Giữ vệ sinh vùng kín đúng cách, ưu tiên dùng nước sạch hoặc dung dịch vệ sinh phù hợp có pH cân bằng. Tránh thụt rửa âm đạo làm mất cân bằng vi khuẩn tự nhiên trong âm đạo, gây viêm nhiễm hoặc làm tình trạng viêm phụ khoa nặng hơn. Sử dụng quần lót thoáng khí: Chọn quần lót bằng cotton, tránh mặc quần lót chật hoặc quần ẩm ướt để giảm thiểu nguy cơ nhiễm nấm và vi khuẩn. Tạm ngừng quan hệ tình dục trong thời gian điều trị viêm phụ khoa. Tránh sử dụng băng vệ sinh, tampon hoặc khăn lau chứa hương liệu có thể gây kích ứng. Đảm bảo thay băng vệ sinh và tampon thường xuyên trong kỳ kinh. Tránh căng thẳng vì stress làm suy yếu hệ miễn dịch, khiến cơ thể khó chống lại vi khuẩn và nấm gây bệnh. Vệ sinh vùng kín đúng cách Chế độ dinh dưỡng: Tăng cường thực phẩm giàu probiotic như sữa chua, kefir, miso và kim chi chứa lợi khuẩn giúp cân bằng hệ vi sinh trong cơ thể, đặc biệt là trong âm đạo. Bổ sung thực phẩm chứa chất chống viêm như cá hồi, dầu ô liu, quả óc chó và hạt chia giàu omega-3 có tác dụng giảm viêm, hỗ trợ cơ thể chống lại các tác nhân gây viêm nhiễm. Hạn chế chất bột đường vì có thể thúc đẩy sự phát triển của nấm Candida gây nhiễm nấm âm đạo. Tránh đồ ngọt, bánh mì trắng và thực phẩm chế biến sẵn. Uống đủ nước giúp cơ thể thanh lọc và loại bỏ các độc tố, đồng thời duy trì độ ẩm tự nhiên của vùng kín, ngăn ngừa tình trạng khô và kích ứng âm đạo. Bổ sung thực phẩm giàu vitamin C giúp tăng cường hệ miễn dịch, hỗ trợ cơ thể trong việc phòng ngừa và điều trị viêm phụ khoa. Các thực phẩm giàu vitamin C bao gồm cam, chanh, kiwi và dâu tây. Bổ sung tỏi và thực phẩm kháng khuẩn tự nhiên, có thể giúp ngăn ngừa nhiễm trùng âm đạo. Phòng ngừa viêm phụ khoa Để phòng ngừa viêm phụ khoa, các chị em cần chú ý một số điểm sau: Giữ vệ sinh vùng kín đúng cách: Rửa nhẹ nhàng vùng kín bằng nước sạch hoặc dung dịch vệ sinh phù hợp có pH cân bằng. Lau từ trước ra sau sau khi đi vệ sinh để tránh vi khuẩn từ hậu môn lây lan lên âm đạo. Tránh thụt rửa âm đạo: Thụt rửa có thể làm mất cân bằng vi khuẩn tự nhiên trong âm đạo, gây viêm nhiễm hoặc làm tình trạng viêm phụ khoa nặng hơn. Sử dụng quần lót thoáng khí: Chọn quần lót bằng cotton, tránh mặc quần lót chật hoặc quần ẩm ướt để giảm thiểu nguy cơ nhiễm nấm và vi khuẩn. Quan hệ tình dục an toàn: Sử dụng bao cao su khi quan hệ tình dục và tránh quan hệ với nhiều bạn tình để giảm nguy cơ lây nhiễm bệnh qua đường tình dục. Tránh sử dụng băng vệ sinh, tampon hoặc khăn lau chứa hương liệu có thể gây kích ứng. Đảm bảo thay băng vệ sinh và tampon thường xuyên trong kỳ kinh. Tránh căng thẳng: Thực hành các kỹ thuật giảm căng thẳng như thiền, yoga, hoặc tập thể dục thường xuyên. Chế độ ăn uống cân bằng, giảm đường và thực phẩm chế biến sẵn, tăng cường bổ sung probiotic, giữ tinh thần thoải mái, và tránh căng thẳng. Bổ sung lợi khuẩn probiotic',
    'Mô tả ngắn:\nThuốc Ravenell-62,5 là sản phẩm của Công ty Cổ phần Dược phẩm Đạt Vi Phú chứa hoạt chất Bosentan (dưới dạng Bosentan monohydrat) dùng điều trị tăng áp lực động mạch phổi (PAH) để cải thiện khả năng gắng sức và triệu chứng ở bệnh nhân độ III theo phân loại của WHO.\nThành phần:\nBosentan: 62.5mg\nChỉ định:\nThuốc Ravenell-62,5 chỉ định điều trị tăng áp lực động mạch phổi (PAH) để cải thiện khả năng gắng sức và triệu chứng ở bệnh nhân độ III theo phân loại của WHO. Hiệu quả đã được chứng minh trong:\nTăng áp lực động mạch phổi tiên phát (vô căn hoặc di truyền). Tăng áp lực động mạch phổi thứ phát do xơ cứng bì mà không có bệnh phổi kẽ nặng.\nĐã ghi nhận bosentan cho một số tác dụng cải thiện ở bệnh nhân bị tăng áp lực động mạch phổi độ II theo phân loại WHO.\nBosentan cũng được chỉ định để giảm số lượng vết loét ngón tay/chân mới ở bệnh nhân xơ cứng bì toàn thể và vết loét ngón tay/chân đang tiến triển.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Metric Value
cosine_accuracy@1 0.5307
cosine_accuracy@2 0.6227
cosine_accuracy@5 0.7363
cosine_accuracy@10 0.8081
cosine_accuracy@100 0.9702
cosine_precision@1 0.5307
cosine_precision@2 0.3114
cosine_precision@5 0.1473
cosine_precision@10 0.0808
cosine_precision@100 0.0097
cosine_recall@1 0.5307
cosine_recall@2 0.6227
cosine_recall@5 0.7363
cosine_recall@10 0.8081
cosine_recall@100 0.9702
cosine_ndcg@10 0.663
cosine_mrr@1 0.5307
cosine_mrr@2 0.5767
cosine_mrr@5 0.6077
cosine_mrr@10 0.6173
cosine_mrr@100 0.6245
cosine_map@100 0.6245
dot_accuracy@1 0.508
dot_accuracy@2 0.6074
dot_accuracy@5 0.7235
dot_accuracy@10 0.7984
dot_accuracy@100 0.9708
dot_precision@1 0.508
dot_precision@2 0.3037
dot_precision@5 0.1447
dot_precision@10 0.0798
dot_precision@100 0.0097
dot_recall@1 0.508
dot_recall@2 0.6074
dot_recall@5 0.7235
dot_recall@10 0.7984
dot_recall@100 0.9708
dot_ndcg@10 0.6472
dot_mrr@1 0.508
dot_mrr@2 0.5577
dot_mrr@5 0.5895
dot_mrr@10 0.5995
dot_mrr@100 0.6072
dot_map@100 0.6072

Training Details

Training Dataset

Unnamed Dataset

  • Size: 87,608 training samples
  • Columns: sentence1, sentence2, and label
  • Approximate statistics based on the first 1000 samples:
    sentence1 sentence2 label
    type string string int
    details
    • min: 6 tokens
    • mean: 75.42 tokens
    • max: 256 tokens
    • min: 5 tokens
    • mean: 188.29 tokens
    • max: 256 tokens
    • 0: ~50.00%
    • 1: ~50.00%
  • Samples:
    sentence1 sentence2 label
    Em bị 1 vết sưng tấy đường kính khoảng 2 cm hồng hồng ở vùng da thịt mông, nó không phải mụn nhọt, nó giống vết bị côn trùng cắt, không sưng u mà giống như miếng thịt sần sùi nhấp nhô. Không đau lắm, nhưng rờ vô thì cứng cứng đau nhói. Nằm ở vùng da mông không có gần hậu môn. Lúc trước nó xuất hiện rồi lại biến mất. Mỗi lần đi ngoài táo bón là hình như nó xuất hiện. BS coi giùm em nó bị gì, em hơi lo lắng. Em cảm ơn.


    (Hoàng Bảo - Đồng Nai)
    Chào em Bảo, Sang thương da của em gồ trên bề mặt da, xù xì, tái đi tái lại nhiều lần. Với tính chất này thì ít nghĩ đến trường hợp dị ứng da thông thường. Do sang thương gồ và cứng nhiều khả năng cần sinh thiết da mới biết rõ bản chất để loại trừ nguyên nhân bệnh ở da. Không rõ hiện tại em có còn sang thương trên da hay không. Nếu vẫn còn thì em đừng ngại, hãy đến khám BS da liễu để tìm ra bệnh và điều trị đúng cách. Thân mến! 1
    Em bị 1 vết sưng tấy đường kính khoảng 2 cm hồng hồng ở vùng da thịt mông, nó không phải mụn nhọt, nó giống vết bị côn trùng cắt, không sưng u mà giống như miếng thịt sần sùi nhấp nhô. Không đau lắm, nhưng rờ vô thì cứng cứng đau nhói. Nằm ở vùng da mông không có gần hậu môn. Lúc trước nó xuất hiện rồi lại biến mất. Mỗi lần đi ngoài táo bón là hình như nó xuất hiện. BS coi giùm em nó bị gì, em hơi lo lắng. Em cảm ơn.


    (Hoàng Bảo - Đồng Nai)
    Thanh thân mến, Mô tả của em khá sơ sài, không thể dựa vào cảm nhận mà biết là hay do nguyên nhân nào khác được. Em có thể chụp hình tổn thương gửi về chương trình, mô tả kĩ hơn về thời gian đau, hoàn cảnh khởi phát, tính chất đau, hướng lan cũng như những bệnh lý liên quan để BS tư vấn cụ thể hơn, em nhé! Trân trọng! 0
    Chào AloBacsi,


    Em 22 tuổi bị u tuyến yên, phát hiện bệnh năm 2013 với kích thước 91113mm, prolactin 9933, đã dùng thuốc Doxtinex. Tháng 6/2014 đã mổ nội soi lấy u tại BV Việt Đức. Sau mổ 1 tháng và dùng thuốc Doxtinex (4 viên), em tái khám prolactin 66, BS dặn tiếp tục dùng thuốc, 3 tháng khám lại.


    AloBacsi ơi, trong quá trình dùng thuốc thì dấu hiệu nào nên đi khám ngay ạ? Em chân thành cám ơn! (Ho Van Anh - Bắc Ninh)
    - nguồn internet Bạn Anh thân mến, Qua các thông tin bạn cung cấp thì có khả năng bạn bị tiết Prolactin, kích thước khối u này khá lớn, có nhiều khả năng bệnh sẽ tái phát (khi mổ, phẫu thuật viên không thể lấy hết khối u được). BS dặn bạn tái khám là đúng và trong khi đang uống thuốc mà xuất hiện các tác dụng phụ của thuốc hay bệnh tái phát thì bạn nên khám lại ngay. Các tác dụng phụ của Doxtinex có thể gặp: buồn nôn, nôn, choáng váng đau dầu, mệt mỏi, táo bón,… Hay các biểu hiện bênh tái phát như: tiết sữa bất thường (mà không có thai), không có kinh, kinh ít hay vô sinh, giảm ham muốn tình dục,… lúc đó, bạn cần tái khám ngay để đo nồng độ Prolactin. Chào bạn và chúc bạn luôn vui, khỏe. 1
  • Loss: ContrastiveLoss with these parameters:
    {
        "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
        "margin": 0.5,
        "size_average": true
    }
    

Evaluation Dataset

Unnamed Dataset

  • Size: 10,952 evaluation samples
  • Columns: sentence1, sentence2, and label
  • Approximate statistics based on the first 1000 samples:
    sentence1 sentence2 label
    type string string int
    details
    • min: 5 tokens
    • mean: 79.68 tokens
    • max: 256 tokens
    • min: 24 tokens
    • mean: 186.71 tokens
    • max: 256 tokens
    • 0: ~50.00%
    • 1: ~50.00%
  • Samples:
    sentence1 sentence2 label
    Nguyên nhân viêm xoang Nguyên nhân viêm xoang Nguyên nhân dẫn đến Viêm xoang Virus: Đa số các trường hợp bị viêm xoang là do chứng cảm lạnh thông thường với sự xâm nhập của các virus đến các xoang. Cảm lạnh có thể dẫn đến viêm xoang bởi lẽ mũi của người bệnh lúc này dễ bị kích ứng trước sự tấn công của các virus gây bệnh làm sung huyết các mô mũi, chặn bít các lỗ thông thường dẫn lưu xoang. Một số virus gây bệnh điển hình: Rhinoviruses; Adenovirus; Virus parainfluenza ở người; Virus hợp bào đường hô hấp; Enterovirus. Vi khuẩn: Khoảng 10% bệnh nhân bị viêm xoang do vi khuẩn. Nếu bị cảm lạnh và không có dấu hiệu thuyên giảm sau 10 – 15 ngày nguyên nhân có thể do vi khuẩn khu trú trong các khoang mũi họng, khi cơ thể gặp vấn đề về sức khỏe, chúng sẽ phát triển và gây bệnh. Cảm lạnh sau một thời gian sẽ biến chứng thành viêm xoang. Một số vi khuẩn gây bệnh điển hình: Haemophilus influenzae; Streptococcus pneumoniae ; Trực khuẩn mủ xanh ( P.aeruginosa ); E.coli ; Cầu khuẩn (tụ cầu và liên cầu); Klebsiella; Moraxella catarrhalis. Nấm: Nhiễm trùng xoang thường gặp ở người có hệ miễn dịch yếu nhưng người khỏe mạnh cũng không nằm ngoài nguy cơ. Aspergillus là loại nấm phổ biến gây viêm xoang. Khi hệ thống miễn dịch suy yếu, nấm có cơ hội phát triển, đặc biệt là trong môi trường ẩm và tối tăm như các xoang. Dị ứng: Người bị viêm xoang do dị ứng có xu hướng bị nặng hơn so với bệnh nhân mắc bệnh do yếu tố khác. Vì vậy, nếu cơ địa dễ bị mẫn cảm với phấn hoa, lông vật nuôi, nấm mốc, bụi bẩn, nước hoa… hãy tránh xa những thứ này. Polyp mũi: Polyp mũi là những u nhỏ lành tính phát triển từ các mô mũi hoặc xoang, khiến các hốc xoang bị tắc nghẽn, ngăn cản dịch mũi chảy ra và gây nhiễm trùng xoang. Những u nhỏ này cũng có thể hạn chế đường dẫn khí, gây đau đầu, giảm độ nhạy của khứu giác. Một số nguyên nhân khác: Ô nhiễm không khí; Lạm dụng các chất kích thích như rượu, bia, thuốc lá; Lạm dụng thuốc xịt mũi; Sự thay đổi đột ngột của áp suất không khí như khi đi máy bay, lặn sâu dưới biển; Ảnh hưởng từ các cuộc tiểu phẫu vùng mũi hoặc do biến chứng của việc tác động vật lý lên vùng mũi; Viêm mũi dị ứng ; Bất thường cấu trúc mũi. 1
    Nguyên nhân viêm xoang Nguyên nhân viêm khớp vai Nguyên nhân dẫn đến viêm khớp vai Viêm khớp vai được chia thành nhiều loại, trong đó có 5 loại viêm khớp vai thường gặp nhất. Tùy thuộc vào loại viêm khớp vai mà có các nguyên nhân khác nhau, và tồn tại một số nguyên nhân gây viêm khớp vai vẫn chưa được biết rõ. Thoái hóa khớp vai Thoái hóa có thể ảnh hưởng đến các vị trí khớp như gối, háng, bàn tay và khớp vai của bạn. Tương tự như ở khớp gối, thoái hóa khớp vai là tình trạng hao mòn liên quan đến tiến trình lão hóa. Bên cạnh tuổi tác, các yếu tố di truyền, chấn thương hay tư thế gây áp lực lên khớp lâu ngày cũng sẽ thúc đẩy quá trình thoái hóa. Thoái hóa khớp gây ra sự phá hủy sụn bảo vệ khớp, sụn sẽ bị bào mòn và dần dần mất đi. Các triệu chứng có thể gặp phải là đau, hạn chế vận động và cứng khớp. Nếu không được điều trị, tình trạng có thể nặng dần theo thời gian, gây yếu cơ, mất vững và mất cử động khớp vai. Viêm khớp dạng thấp Viêm khớp dạng thấp là bệnh lý tự miễn có thể dẫn đến viêm khớp vai. Thông thường, viêm khớp dạng thấp sẽ ảnh hưởng ở cả hai bên cơ thể, nên khả năng bạn sẽ bị viêm cả hai bên vai. Đồng thời, bạn có thể gặp các triệu chứng khác kèm theo: Đau, nóng, sưng tại khớp vai. Cảm giác cứng khớp vai, đặc biệt là vào buổi sáng. Các nốt thấp: Là những vết sưng hình thành dưới da tại các bề mặt chịu áp lực như khuỷu tay, khớp ngón tay hoặc khớp vai. Mệt mỏi , sụt cân, sốt. Sụt cân có thể là một trong những dấu hiệu của viêm khớp dạng thấp Tình trạng viêm khớp dạng thấp nếu không được chẩn đoán và điều trị, lâu ngày có thể gây bào mòn xương và biến dạng khớp vai. Viêm khớp vai sau chấn thương Nếu bạn từng gãy xương hay trật khớp vai, bạn có thể sẽ gặp phải một tình trạng viêm khớp vai được gọi là viêm khớp sau chấn thương. Thông thường, cơ thể có thể sẽ tự hồi phục tình trạng viêm khớp sau chấn thương. Tuy nhiên, tình trạng này có thể trở thành mãn tính nếu triệu chứng kéo dài hơn 6 tháng. Hoại tử vô mạch Hoại tử vô mạch, hay còn gọi là hoại tử xương, hầu hết sẽ ảnh hưởng đến khớp háng (xương đùi). Tuy nhiên, tình trạng này có thể ảnh hưởng đến bất kỳ xương nào, trong đó có xương cánh tay, từ đó dẫn đến viêm khớp vai. Hoại tử vô mạch là tình trạng phát sinh do có sự gián đoạn trong việc cung cấp máu cho xương. Nguyên nhân gây hoại tử vô mạch có thể khác nhau như sử dụng nhiều corticoid, uống nhiều rượu, chấn thương vùng vai, bệnh hồng cầu hình liềm hay vô căn (không có nguyên nhân). Nếu không điều trị, tình trạng hoại tử vô mạch sẽ dẫn đến tổn thương xương, có thể cần phải can thiệp phẫu thuật. Bệnh lý rách chóp xoay Xương bả vai và phần trên của xương cánh tay được nối với nhau qua một tập hợp các gân và cơ được gọi là nhóm cơ chóp xoay. Khi các gân cơ chóp xoay bị rách (phổ biến nhất là do chấn thương), sẽ gây mất áp lực, chuyển động và sự ổn định ở vai. Nếu các vết rách không lành lại, hoặc vết rách quá lớn, sẽ dẫn đến tổn thương sụn và xương, từ đó dẫn đến bệnh lý viêm khớp vai do rách chóp xoay. Rách chóp xoay có thể gây viêm khớp vai Tình trạng viêm khớp vai do rách chóp xoay có thể dẫn đến đau dữ dội và suy nhược nếu không được điều trị. Đối phó với nguyên nhân, tránh biến chứng: Nguyên nhân đau mỏi 2 khớp vai thường gặp? 0
    Dạ xin chào bác sĩ,Tôi 71 tuổi, có bệnh cao huyết áp, giãn phế quản do viêm phế quản mãn tính. Tôi có một thắc mắc hỏi và xin được bác sĩ tư vấn cho ạ. Vào đầu năm 1989 tôi bị sốt do cảm cúm, đã uống 2 viên Paracetamol 500mg, có chích thêm Vitamin C đường tĩnh mạch. Sau đó tôi đã bị choáng và ngất phải nhập viện cấp cứu. Kết luận lúc ra viện là bị sốc phản vệ Vitamin C. Xin bác sĩ tư vấn cho tôi có thể chích vắc xin ngừa COVID-19 không ạ? Xin cảm ơn bác sĩ. Hình minh họa Chào bác, Theo Hướng dẫn sàng lọc trước tiêm chủng vắc xin phòng COVID-19 của Bộ Y tế, những trường hợp có tiền sử dị ứng nặng (phản vệ từ độ 2 trở lên) do mọi nguyên nhân đều không được chỉ định tiêm vắc xin phòng COVID-19. Và trường hợp của bác là rơi vào tình huống này, lớn tuổi, có bệnh lý nền nặng, tiền căn thì có sốc phản vệ với vitamin C, cho nên bác sẽ được trì hoãn tiêm vắc xin phòng COVID-19 trong chiến dịch tiêm vắc xin ngoài cộng đồng hiện nay, bác nhé. 1
  • Loss: ContrastiveLoss with these parameters:
    {
        "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
        "margin": 0.5,
        "size_average": true
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • learning_rate: 2e-05
  • num_train_epochs: 5
  • warmup_ratio: 0.1
  • fp16: True
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 5
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Training Logs

Click to expand
Epoch Step Training Loss Validation Loss cosine_map@100
0 0 - - 0.1388
0.0183 100 0.0316 - -
0.0365 200 0.0255 - -
0.0548 300 0.016 - -
0.0730 400 0.0115 - -
0.0913 500 0.0098 - -
0.1096 600 0.0085 - -
0.1278 700 0.0086 - -
0.1461 800 0.0078 - -
0.1644 900 0.0077 - -
0.1826 1000 0.0073 - -
0.2009 1100 0.0069 - -
0.2191 1200 0.0073 - -
0.2374 1300 0.0066 - -
0.2557 1400 0.0067 - -
0.2739 1500 0.0066 - -
0.2922 1600 0.0066 - -
0.3104 1700 0.0068 - -
0.3287 1800 0.0057 - -
0.3470 1900 0.0059 - -
0.3652 2000 0.0065 - -
0.3835 2100 0.006 - -
0.4018 2200 0.006 - -
0.4200 2300 0.0057 - -
0.4383 2400 0.0054 - -
0.4565 2500 0.0057 - -
0.4748 2600 0.0057 - -
0.4931 2700 0.0053 - -
0.5113 2800 0.0056 - -
0.5296 2900 0.0051 - -
0.5478 3000 0.0056 - -
0.5661 3100 0.0059 - -
0.5844 3200 0.0052 - -
0.6026 3300 0.0051 - -
0.6209 3400 0.0051 - -
0.6392 3500 0.0054 - -
0.6574 3600 0.0054 - -
0.6757 3700 0.0049 - -
0.6939 3800 0.0049 - -
0.7122 3900 0.0053 - -
0.7305 4000 0.0047 - -
0.7487 4100 0.0045 - -
0.7670 4200 0.0048 - -
0.7852 4300 0.0045 - -
0.8035 4400 0.0045 - -
0.8218 4500 0.0044 - -
0.8400 4600 0.0044 - -
0.8583 4700 0.0047 - -
0.8766 4800 0.0045 - -
0.8948 4900 0.0045 - -
0.9131 5000 0.005 - -
0.9313 5100 0.0047 - -
0.9496 5200 0.0048 - -
0.9679 5300 0.0043 - -
0.9861 5400 0.0042 - -
1.0044 5500 0.0043 - -
1.0226 5600 0.0045 - -
1.0409 5700 0.0043 - -
1.0592 5800 0.0041 - -
1.0774 5900 0.0039 - -
1.0957 6000 0.0036 - -
1.1140 6100 0.004 - -
1.1322 6200 0.0043 - -
1.1505 6300 0.0036 - -
1.1687 6400 0.004 - -
1.1870 6500 0.0033 - -
1.2053 6600 0.0038 - -
1.2235 6700 0.0041 - -
1.2418 6800 0.0037 - -
1.2600 6900 0.0037 - -
1.2783 7000 0.0035 - -
1.2966 7100 0.0036 - -
1.3148 7200 0.0038 - -
1.3331 7300 0.003 - -
1.3514 7400 0.0034 - -
1.3696 7500 0.0036 - -
1.3879 7600 0.0033 - -
1.4061 7700 0.0034 - -
1.4244 7800 0.0031 - -
1.4427 7900 0.0031 - -
1.4609 8000 0.003 - -
1.4792 8100 0.003 - -
1.4974 8200 0.003 - -
1.5157 8300 0.0028 - -
1.5340 8400 0.0029 - -
1.5522 8500 0.0031 - -
1.5705 8600 0.0031 - -
1.5888 8700 0.0031 - -
1.6070 8800 0.0027 - -
1.6253 8900 0.003 - -
1.6435 9000 0.0029 - -
1.6618 9100 0.0028 - -
1.6801 9200 0.0027 - -
1.6983 9300 0.0025 - -
1.7166 9400 0.0029 - -
1.7348 9500 0.0027 - -
1.7531 9600 0.0025 - -
1.7714 9700 0.0025 - -
1.7896 9800 0.0023 - -
1.8079 9900 0.0024 - -
1.8262 10000 0.0024 - -
1.8444 10100 0.0023 - -
1.8627 10200 0.0026 - -
1.8809 10300 0.0024 - -
1.8992 10400 0.0027 - -
1.9175 10500 0.003 - -
1.9357 10600 0.0027 - -
1.9540 10700 0.0027 - -
1.9722 10800 0.0024 - -
1.9905 10900 0.0025 - -
2.0088 11000 0.0025 - -
2.0270 11100 0.0025 - -
2.0453 11200 0.0023 - -
2.0636 11300 0.0024 - -
2.0818 11400 0.0021 - -
2.1001 11500 0.0023 - -
2.1183 11600 0.0021 - -
2.1366 11700 0.0026 - -
2.1549 11800 0.002 - -
2.1731 11900 0.0023 - -
2.1914 12000 0.0021 - -
2.2096 12100 0.0022 - -
2.2279 12200 0.0025 - -
2.2462 12300 0.002 - -
2.2644 12400 0.0023 - -
2.2827 12500 0.002 - -
2.3009 12600 0.0021 - -
2.3192 12700 0.0022 - -
2.3375 12800 0.0018 - -
2.3557 12900 0.002 - -
2.3740 13000 0.0023 - -
2.3923 13100 0.0021 - -
2.4105 13200 0.0018 - -
2.4288 13300 0.002 - -
2.4470 13400 0.0018 - -
2.4653 13500 0.0018 0.0030 0.6298
2.4836 13600 0.0019 - -
2.5018 13700 0.002 - -
2.5201 13800 0.0017 - -
2.5383 13900 0.0018 - -
2.5566 14000 0.0019 - -
2.5749 14100 0.0018 - -
2.5931 14200 0.0019 - -
2.6114 14300 0.0018 - -
2.6297 14400 0.002 - -
2.6479 14500 0.002 - -
2.6662 14600 0.0019 - -
2.6844 14700 0.0016 - -
2.7027 14800 0.0017 - -
2.7210 14900 0.0019 - -
2.7392 15000 0.0017 - -
2.7575 15100 0.0016 - -
2.7757 15200 0.0016 - -
2.7940 15300 0.0014 - -
2.8123 15400 0.0014 - -
2.8305 15500 0.0014 - -
2.8488 15600 0.0016 - -
2.8671 15700 0.0016 - -
2.8853 15800 0.0016 - -
2.9036 15900 0.0017 - -
2.9218 16000 0.0018 - -
2.9401 16100 0.0019 - -
2.9584 16200 0.0017 - -
2.9766 16300 0.0015 - -
2.9949 16400 0.0017 - -
3.0131 16500 0.0016 - -
3.0314 16600 0.0015 - -
3.0497 16700 0.0015 - -
3.0679 16800 0.0016 - -
3.0862 16900 0.0013 - -
3.1045 17000 0.0014 - -
3.1227 17100 0.0015 - -
3.1410 17200 0.0015 - -
3.1592 17300 0.0014 - -
3.1775 17400 0.0014 - -
3.1958 17500 0.0014 - -
3.2140 17600 0.0016 - -
3.2323 17700 0.0017 - -
3.2505 17800 0.0012 - -
3.2688 17900 0.0014 - -
3.2871 18000 0.0014 - -
3.3053 18100 0.0014 - -
3.3236 18200 0.0013 - -
3.3419 18300 0.0012 - -
3.3601 18400 0.0015 - -
3.3784 18500 0.0013 - -
3.3966 18600 0.0013 - -
3.4149 18700 0.0011 - -
3.4332 18800 0.0013 - -
3.4514 18900 0.0012 - -
3.4697 19000 0.0011 - -
3.4879 19100 0.0013 - -
3.5062 19200 0.0012 - -
3.5245 19300 0.001 - -
3.5427 19400 0.0014 - -
3.5610 19500 0.0012 - -
3.5793 19600 0.0013 - -
3.5975 19700 0.0013 - -
3.6158 19800 0.0012 - -
3.6340 19900 0.0014 - -
3.6523 20000 0.0011 - -
3.6706 20100 0.0012 - -
3.6888 20200 0.0012 - -
3.7071 20300 0.0012 - -
3.7253 20400 0.0013 - -
3.7436 20500 0.001 - -
3.7619 20600 0.0011 - -
3.7801 20700 0.0011 - -
3.7984 20800 0.0009 - -
3.8167 20900 0.0011 - -
3.8349 21000 0.0009 - -
3.8532 21100 0.0011 - -
3.8714 21200 0.001 - -
3.8897 21300 0.0011 - -
3.9080 21400 0.0011 - -
3.9262 21500 0.0011 - -
3.9445 21600 0.0013 - -
3.9627 21700 0.0011 - -
3.9810 21800 0.001 - -
3.9993 21900 0.0011 - -
4.0175 22000 0.0011 - -
4.0358 22100 0.0011 - -
4.0541 22200 0.001 - -
4.0723 22300 0.0011 - -
4.0906 22400 0.0009 - -
4.1088 22500 0.001 - -
4.1271 22600 0.0011 - -
4.1454 22700 0.0011 - -
4.1636 22800 0.001 - -
4.1819 22900 0.0009 - -
4.2001 23000 0.0009 - -
4.2184 23100 0.0012 - -
4.2367 23200 0.0011 - -
4.2549 23300 0.0009 - -
4.2732 23400 0.0009 - -
4.2915 23500 0.0011 - -
4.3097 23600 0.001 - -
4.3280 23700 0.0008 - -
4.3462 23800 0.0009 - -
4.3645 23900 0.001 - -
4.3828 24000 0.0009 - -
4.4010 24100 0.001 - -
4.4193 24200 0.0009 - -
4.4375 24300 0.0009 - -
4.4558 24400 0.0008 - -
4.4741 24500 0.0009 - -
4.4923 24600 0.001 - -
4.5106 24700 0.0008 - -
4.5289 24800 0.0009 - -
4.5471 24900 0.001 - -
4.5654 25000 0.0009 - -
4.5836 25100 0.0009 - -
4.6019 25200 0.001 - -
4.6202 25300 0.0009 - -
4.6384 25400 0.001 - -
4.6567 25500 0.0009 - -
4.6749 25600 0.0009 - -
4.6932 25700 0.0009 - -
4.7115 25800 0.001 - -
4.7297 25900 0.001 - -
4.7480 26000 0.0009 - -
4.7663 26100 0.0008 - -
4.7845 26200 0.0007 - -
4.8028 26300 0.0008 - -
4.8210 26400 0.0008 - -
4.8393 26500 0.0009 - -
4.8576 26600 0.0009 - -
4.8758 26700 0.0008 - -
4.8941 26800 0.0009 - -
4.9123 26900 0.001 - -
4.9306 27000 0.0009 0.0029 0.6245
4.9489 27100 0.001 - -
4.9671 27200 0.0009 - -
4.9854 27300 0.0009 - -

Framework Versions

  • Python: 3.10.14
  • Sentence Transformers: 3.2.1
  • Transformers: 4.45.1
  • PyTorch: 2.4.0
  • Accelerate: 0.34.2
  • Datasets: 3.0.1
  • Tokenizers: 0.20.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}
Downloads last month
6
Safetensors
Model size
135M params
Tensor type
F32
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for meandyou200175/phobert_ContrastiveLoss

Finetuned
(185)
this model

Evaluation results