SentenceTransformer based on vinai/phobert-base-v2
This is a sentence-transformers model finetuned from vinai/phobert-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
Model Details
Model Description
- Model Type: Sentence Transformer
- Base model: vinai/phobert-base-v2
- Maximum Sequence Length: 256 tokens
- Output Dimensionality: 768 tokens
- Similarity Function: Cosine Similarity
Model Sources
- Documentation: Sentence Transformers Documentation
- Repository: Sentence Transformers on GitHub
- Hugging Face: Sentence Transformers on Hugging Face
Full Model Architecture
SentenceTransformer(
(0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
Usage
Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/phobert_ContrastiveLoss")
# Run inference
sentences = [
'Chế độ sinh hoạt & phòng ngừa viêm phụ khoa',
'Chế độ sinh hoạt & phòng ngừa viêm phụ khoa Những thói quen sinh hoạt có thể giúp bạn hạn chế diễn tiến của viêm phụ khoa Chế độ sinh hoạt: Giữ vệ sinh vùng kín đúng cách, ưu tiên dùng nước sạch hoặc dung dịch vệ sinh phù hợp có pH cân bằng. Tránh thụt rửa âm đạo làm mất cân bằng vi khuẩn tự nhiên trong âm đạo, gây viêm nhiễm hoặc làm tình trạng viêm phụ khoa nặng hơn. Sử dụng quần lót thoáng khí: Chọn quần lót bằng cotton, tránh mặc quần lót chật hoặc quần ẩm ướt để giảm thiểu nguy cơ nhiễm nấm và vi khuẩn. Tạm ngừng quan hệ tình dục trong thời gian điều trị viêm phụ khoa. Tránh sử dụng băng vệ sinh, tampon hoặc khăn lau chứa hương liệu có thể gây kích ứng. Đảm bảo thay băng vệ sinh và tampon thường xuyên trong kỳ kinh. Tránh căng thẳng vì stress làm suy yếu hệ miễn dịch, khiến cơ thể khó chống lại vi khuẩn và nấm gây bệnh. Vệ sinh vùng kín đúng cách Chế độ dinh dưỡng: Tăng cường thực phẩm giàu probiotic như sữa chua, kefir, miso và kim chi chứa lợi khuẩn giúp cân bằng hệ vi sinh trong cơ thể, đặc biệt là trong âm đạo. Bổ sung thực phẩm chứa chất chống viêm như cá hồi, dầu ô liu, quả óc chó và hạt chia giàu omega-3 có tác dụng giảm viêm, hỗ trợ cơ thể chống lại các tác nhân gây viêm nhiễm. Hạn chế chất bột đường vì có thể thúc đẩy sự phát triển của nấm Candida gây nhiễm nấm âm đạo. Tránh đồ ngọt, bánh mì trắng và thực phẩm chế biến sẵn. Uống đủ nước giúp cơ thể thanh lọc và loại bỏ các độc tố, đồng thời duy trì độ ẩm tự nhiên của vùng kín, ngăn ngừa tình trạng khô và kích ứng âm đạo. Bổ sung thực phẩm giàu vitamin C giúp tăng cường hệ miễn dịch, hỗ trợ cơ thể trong việc phòng ngừa và điều trị viêm phụ khoa. Các thực phẩm giàu vitamin C bao gồm cam, chanh, kiwi và dâu tây. Bổ sung tỏi và thực phẩm kháng khuẩn tự nhiên, có thể giúp ngăn ngừa nhiễm trùng âm đạo. Phòng ngừa viêm phụ khoa Để phòng ngừa viêm phụ khoa, các chị em cần chú ý một số điểm sau: Giữ vệ sinh vùng kín đúng cách: Rửa nhẹ nhàng vùng kín bằng nước sạch hoặc dung dịch vệ sinh phù hợp có pH cân bằng. Lau từ trước ra sau sau khi đi vệ sinh để tránh vi khuẩn từ hậu môn lây lan lên âm đạo. Tránh thụt rửa âm đạo: Thụt rửa có thể làm mất cân bằng vi khuẩn tự nhiên trong âm đạo, gây viêm nhiễm hoặc làm tình trạng viêm phụ khoa nặng hơn. Sử dụng quần lót thoáng khí: Chọn quần lót bằng cotton, tránh mặc quần lót chật hoặc quần ẩm ướt để giảm thiểu nguy cơ nhiễm nấm và vi khuẩn. Quan hệ tình dục an toàn: Sử dụng bao cao su khi quan hệ tình dục và tránh quan hệ với nhiều bạn tình để giảm nguy cơ lây nhiễm bệnh qua đường tình dục. Tránh sử dụng băng vệ sinh, tampon hoặc khăn lau chứa hương liệu có thể gây kích ứng. Đảm bảo thay băng vệ sinh và tampon thường xuyên trong kỳ kinh. Tránh căng thẳng: Thực hành các kỹ thuật giảm căng thẳng như thiền, yoga, hoặc tập thể dục thường xuyên. Chế độ ăn uống cân bằng, giảm đường và thực phẩm chế biến sẵn, tăng cường bổ sung probiotic, giữ tinh thần thoải mái, và tránh căng thẳng. Bổ sung lợi khuẩn probiotic',
'Mô tả ngắn:\nThuốc Ravenell-62,5 là sản phẩm của Công ty Cổ phần Dược phẩm Đạt Vi Phú chứa hoạt chất Bosentan (dưới dạng Bosentan monohydrat) dùng điều trị tăng áp lực động mạch phổi (PAH) để cải thiện khả năng gắng sức và triệu chứng ở bệnh nhân độ III theo phân loại của WHO.\nThành phần:\nBosentan: 62.5mg\nChỉ định:\nThuốc Ravenell-62,5 chỉ định điều trị tăng áp lực động mạch phổi (PAH) để cải thiện khả năng gắng sức và triệu chứng ở bệnh nhân độ III theo phân loại của WHO. Hiệu quả đã được chứng minh trong:\nTăng áp lực động mạch phổi tiên phát (vô căn hoặc di truyền). Tăng áp lực động mạch phổi thứ phát do xơ cứng bì mà không có bệnh phổi kẽ nặng.\nĐã ghi nhận bosentan cho một số tác dụng cải thiện ở bệnh nhân bị tăng áp lực động mạch phổi độ II theo phân loại WHO.\nBosentan cũng được chỉ định để giảm số lượng vết loét ngón tay/chân mới ở bệnh nhân xơ cứng bì toàn thể và vết loét ngón tay/chân đang tiến triển.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
Evaluation
Metrics
Information Retrieval
- Evaluated with
InformationRetrievalEvaluator
Metric | Value |
---|---|
cosine_accuracy@1 | 0.5307 |
cosine_accuracy@2 | 0.6227 |
cosine_accuracy@5 | 0.7363 |
cosine_accuracy@10 | 0.8081 |
cosine_accuracy@100 | 0.9702 |
cosine_precision@1 | 0.5307 |
cosine_precision@2 | 0.3114 |
cosine_precision@5 | 0.1473 |
cosine_precision@10 | 0.0808 |
cosine_precision@100 | 0.0097 |
cosine_recall@1 | 0.5307 |
cosine_recall@2 | 0.6227 |
cosine_recall@5 | 0.7363 |
cosine_recall@10 | 0.8081 |
cosine_recall@100 | 0.9702 |
cosine_ndcg@10 | 0.663 |
cosine_mrr@1 | 0.5307 |
cosine_mrr@2 | 0.5767 |
cosine_mrr@5 | 0.6077 |
cosine_mrr@10 | 0.6173 |
cosine_mrr@100 | 0.6245 |
cosine_map@100 | 0.6245 |
dot_accuracy@1 | 0.508 |
dot_accuracy@2 | 0.6074 |
dot_accuracy@5 | 0.7235 |
dot_accuracy@10 | 0.7984 |
dot_accuracy@100 | 0.9708 |
dot_precision@1 | 0.508 |
dot_precision@2 | 0.3037 |
dot_precision@5 | 0.1447 |
dot_precision@10 | 0.0798 |
dot_precision@100 | 0.0097 |
dot_recall@1 | 0.508 |
dot_recall@2 | 0.6074 |
dot_recall@5 | 0.7235 |
dot_recall@10 | 0.7984 |
dot_recall@100 | 0.9708 |
dot_ndcg@10 | 0.6472 |
dot_mrr@1 | 0.508 |
dot_mrr@2 | 0.5577 |
dot_mrr@5 | 0.5895 |
dot_mrr@10 | 0.5995 |
dot_mrr@100 | 0.6072 |
dot_map@100 | 0.6072 |
Training Details
Training Dataset
Unnamed Dataset
- Size: 87,608 training samples
- Columns:
sentence1
,sentence2
, andlabel
- Approximate statistics based on the first 1000 samples:
sentence1 sentence2 label type string string int details - min: 6 tokens
- mean: 75.42 tokens
- max: 256 tokens
- min: 5 tokens
- mean: 188.29 tokens
- max: 256 tokens
- 0: ~50.00%
- 1: ~50.00%
- Samples:
sentence1 sentence2 label Em bị 1 vết sưng tấy đường kính khoảng 2 cm hồng hồng ở vùng da thịt mông, nó không phải mụn nhọt, nó giống vết bị côn trùng cắt, không sưng u mà giống như miếng thịt sần sùi nhấp nhô. Không đau lắm, nhưng rờ vô thì cứng cứng đau nhói. Nằm ở vùng da mông không có gần hậu môn. Lúc trước nó xuất hiện rồi lại biến mất. Mỗi lần đi ngoài táo bón là hình như nó xuất hiện. BS coi giùm em nó bị gì, em hơi lo lắng. Em cảm ơn.
(Hoàng Bảo - Đồng Nai)Chào em Bảo, Sang thương da của em gồ trên bề mặt da, xù xì, tái đi tái lại nhiều lần. Với tính chất này thì ít nghĩ đến trường hợp dị ứng da thông thường. Do sang thương gồ và cứng nhiều khả năng cần sinh thiết da mới biết rõ bản chất để loại trừ nguyên nhân bệnh ở da. Không rõ hiện tại em có còn sang thương trên da hay không. Nếu vẫn còn thì em đừng ngại, hãy đến khám BS da liễu để tìm ra bệnh và điều trị đúng cách. Thân mến!
1
Em bị 1 vết sưng tấy đường kính khoảng 2 cm hồng hồng ở vùng da thịt mông, nó không phải mụn nhọt, nó giống vết bị côn trùng cắt, không sưng u mà giống như miếng thịt sần sùi nhấp nhô. Không đau lắm, nhưng rờ vô thì cứng cứng đau nhói. Nằm ở vùng da mông không có gần hậu môn. Lúc trước nó xuất hiện rồi lại biến mất. Mỗi lần đi ngoài táo bón là hình như nó xuất hiện. BS coi giùm em nó bị gì, em hơi lo lắng. Em cảm ơn.
(Hoàng Bảo - Đồng Nai)Thanh thân mến, Mô tả của em khá sơ sài, không thể dựa vào cảm nhận mà biết là hay do nguyên nhân nào khác được. Em có thể chụp hình tổn thương gửi về chương trình, mô tả kĩ hơn về thời gian đau, hoàn cảnh khởi phát, tính chất đau, hướng lan cũng như những bệnh lý liên quan để BS tư vấn cụ thể hơn, em nhé! Trân trọng!
0
Chào AloBacsi,
Em 22 tuổi bị u tuyến yên, phát hiện bệnh năm 2013 với kích thước 91113mm, prolactin 9933, đã dùng thuốc Doxtinex. Tháng 6/2014 đã mổ nội soi lấy u tại BV Việt Đức. Sau mổ 1 tháng và dùng thuốc Doxtinex (4 viên), em tái khám prolactin 66, BS dặn tiếp tục dùng thuốc, 3 tháng khám lại.
AloBacsi ơi, trong quá trình dùng thuốc thì dấu hiệu nào nên đi khám ngay ạ? Em chân thành cám ơn! (Ho Van Anh - Bắc Ninh)- nguồn internet Bạn Anh thân mến, Qua các thông tin bạn cung cấp thì có khả năng bạn bị tiết Prolactin, kích thước khối u này khá lớn, có nhiều khả năng bệnh sẽ tái phát (khi mổ, phẫu thuật viên không thể lấy hết khối u được). BS dặn bạn tái khám là đúng và trong khi đang uống thuốc mà xuất hiện các tác dụng phụ của thuốc hay bệnh tái phát thì bạn nên khám lại ngay. Các tác dụng phụ của Doxtinex có thể gặp: buồn nôn, nôn, choáng váng đau dầu, mệt mỏi, táo bón,… Hay các biểu hiện bênh tái phát như: tiết sữa bất thường (mà không có thai), không có kinh, kinh ít hay vô sinh, giảm ham muốn tình dục,… lúc đó, bạn cần tái khám ngay để đo nồng độ Prolactin. Chào bạn và chúc bạn luôn vui, khỏe.
1
- Loss:
ContrastiveLoss
with these parameters:{ "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", "margin": 0.5, "size_average": true }
Evaluation Dataset
Unnamed Dataset
- Size: 10,952 evaluation samples
- Columns:
sentence1
,sentence2
, andlabel
- Approximate statistics based on the first 1000 samples:
sentence1 sentence2 label type string string int details - min: 5 tokens
- mean: 79.68 tokens
- max: 256 tokens
- min: 24 tokens
- mean: 186.71 tokens
- max: 256 tokens
- 0: ~50.00%
- 1: ~50.00%
- Samples:
sentence1 sentence2 label Nguyên nhân viêm xoang
Nguyên nhân viêm xoang Nguyên nhân dẫn đến Viêm xoang Virus: Đa số các trường hợp bị viêm xoang là do chứng cảm lạnh thông thường với sự xâm nhập của các virus đến các xoang. Cảm lạnh có thể dẫn đến viêm xoang bởi lẽ mũi của người bệnh lúc này dễ bị kích ứng trước sự tấn công của các virus gây bệnh làm sung huyết các mô mũi, chặn bít các lỗ thông thường dẫn lưu xoang. Một số virus gây bệnh điển hình: Rhinoviruses; Adenovirus; Virus parainfluenza ở người; Virus hợp bào đường hô hấp; Enterovirus. Vi khuẩn: Khoảng 10% bệnh nhân bị viêm xoang do vi khuẩn. Nếu bị cảm lạnh và không có dấu hiệu thuyên giảm sau 10 – 15 ngày nguyên nhân có thể do vi khuẩn khu trú trong các khoang mũi họng, khi cơ thể gặp vấn đề về sức khỏe, chúng sẽ phát triển và gây bệnh. Cảm lạnh sau một thời gian sẽ biến chứng thành viêm xoang. Một số vi khuẩn gây bệnh điển hình: Haemophilus influenzae; Streptococcus pneumoniae ; Trực khuẩn mủ xanh ( P.aeruginosa ); E.coli ; Cầu khuẩn (tụ cầu và liên cầu); Klebsiella; Moraxella catarrhalis. Nấm: Nhiễm trùng xoang thường gặp ở người có hệ miễn dịch yếu nhưng người khỏe mạnh cũng không nằm ngoài nguy cơ. Aspergillus là loại nấm phổ biến gây viêm xoang. Khi hệ thống miễn dịch suy yếu, nấm có cơ hội phát triển, đặc biệt là trong môi trường ẩm và tối tăm như các xoang. Dị ứng: Người bị viêm xoang do dị ứng có xu hướng bị nặng hơn so với bệnh nhân mắc bệnh do yếu tố khác. Vì vậy, nếu cơ địa dễ bị mẫn cảm với phấn hoa, lông vật nuôi, nấm mốc, bụi bẩn, nước hoa… hãy tránh xa những thứ này. Polyp mũi: Polyp mũi là những u nhỏ lành tính phát triển từ các mô mũi hoặc xoang, khiến các hốc xoang bị tắc nghẽn, ngăn cản dịch mũi chảy ra và gây nhiễm trùng xoang. Những u nhỏ này cũng có thể hạn chế đường dẫn khí, gây đau đầu, giảm độ nhạy của khứu giác. Một số nguyên nhân khác: Ô nhiễm không khí; Lạm dụng các chất kích thích như rượu, bia, thuốc lá; Lạm dụng thuốc xịt mũi; Sự thay đổi đột ngột của áp suất không khí như khi đi máy bay, lặn sâu dưới biển; Ảnh hưởng từ các cuộc tiểu phẫu vùng mũi hoặc do biến chứng của việc tác động vật lý lên vùng mũi; Viêm mũi dị ứng ; Bất thường cấu trúc mũi.
1
Nguyên nhân viêm xoang
Nguyên nhân viêm khớp vai Nguyên nhân dẫn đến viêm khớp vai Viêm khớp vai được chia thành nhiều loại, trong đó có 5 loại viêm khớp vai thường gặp nhất. Tùy thuộc vào loại viêm khớp vai mà có các nguyên nhân khác nhau, và tồn tại một số nguyên nhân gây viêm khớp vai vẫn chưa được biết rõ. Thoái hóa khớp vai Thoái hóa có thể ảnh hưởng đến các vị trí khớp như gối, háng, bàn tay và khớp vai của bạn. Tương tự như ở khớp gối, thoái hóa khớp vai là tình trạng hao mòn liên quan đến tiến trình lão hóa. Bên cạnh tuổi tác, các yếu tố di truyền, chấn thương hay tư thế gây áp lực lên khớp lâu ngày cũng sẽ thúc đẩy quá trình thoái hóa. Thoái hóa khớp gây ra sự phá hủy sụn bảo vệ khớp, sụn sẽ bị bào mòn và dần dần mất đi. Các triệu chứng có thể gặp phải là đau, hạn chế vận động và cứng khớp. Nếu không được điều trị, tình trạng có thể nặng dần theo thời gian, gây yếu cơ, mất vững và mất cử động khớp vai. Viêm khớp dạng thấp Viêm khớp dạng thấp là bệnh lý tự miễn có thể dẫn đến viêm khớp vai. Thông thường, viêm khớp dạng thấp sẽ ảnh hưởng ở cả hai bên cơ thể, nên khả năng bạn sẽ bị viêm cả hai bên vai. Đồng thời, bạn có thể gặp các triệu chứng khác kèm theo: Đau, nóng, sưng tại khớp vai. Cảm giác cứng khớp vai, đặc biệt là vào buổi sáng. Các nốt thấp: Là những vết sưng hình thành dưới da tại các bề mặt chịu áp lực như khuỷu tay, khớp ngón tay hoặc khớp vai. Mệt mỏi , sụt cân, sốt. Sụt cân có thể là một trong những dấu hiệu của viêm khớp dạng thấp Tình trạng viêm khớp dạng thấp nếu không được chẩn đoán và điều trị, lâu ngày có thể gây bào mòn xương và biến dạng khớp vai. Viêm khớp vai sau chấn thương Nếu bạn từng gãy xương hay trật khớp vai, bạn có thể sẽ gặp phải một tình trạng viêm khớp vai được gọi là viêm khớp sau chấn thương. Thông thường, cơ thể có thể sẽ tự hồi phục tình trạng viêm khớp sau chấn thương. Tuy nhiên, tình trạng này có thể trở thành mãn tính nếu triệu chứng kéo dài hơn 6 tháng. Hoại tử vô mạch Hoại tử vô mạch, hay còn gọi là hoại tử xương, hầu hết sẽ ảnh hưởng đến khớp háng (xương đùi). Tuy nhiên, tình trạng này có thể ảnh hưởng đến bất kỳ xương nào, trong đó có xương cánh tay, từ đó dẫn đến viêm khớp vai. Hoại tử vô mạch là tình trạng phát sinh do có sự gián đoạn trong việc cung cấp máu cho xương. Nguyên nhân gây hoại tử vô mạch có thể khác nhau như sử dụng nhiều corticoid, uống nhiều rượu, chấn thương vùng vai, bệnh hồng cầu hình liềm hay vô căn (không có nguyên nhân). Nếu không điều trị, tình trạng hoại tử vô mạch sẽ dẫn đến tổn thương xương, có thể cần phải can thiệp phẫu thuật. Bệnh lý rách chóp xoay Xương bả vai và phần trên của xương cánh tay được nối với nhau qua một tập hợp các gân và cơ được gọi là nhóm cơ chóp xoay. Khi các gân cơ chóp xoay bị rách (phổ biến nhất là do chấn thương), sẽ gây mất áp lực, chuyển động và sự ổn định ở vai. Nếu các vết rách không lành lại, hoặc vết rách quá lớn, sẽ dẫn đến tổn thương sụn và xương, từ đó dẫn đến bệnh lý viêm khớp vai do rách chóp xoay. Rách chóp xoay có thể gây viêm khớp vai Tình trạng viêm khớp vai do rách chóp xoay có thể dẫn đến đau dữ dội và suy nhược nếu không được điều trị. Đối phó với nguyên nhân, tránh biến chứng: Nguyên nhân đau mỏi 2 khớp vai thường gặp?
0
Dạ xin chào bác sĩ,Tôi 71 tuổi, có bệnh cao huyết áp, giãn phế quản do viêm phế quản mãn tính. Tôi có một thắc mắc hỏi và xin được bác sĩ tư vấn cho ạ. Vào đầu năm 1989 tôi bị sốt do cảm cúm, đã uống 2 viên Paracetamol 500mg, có chích thêm Vitamin C đường tĩnh mạch. Sau đó tôi đã bị choáng và ngất phải nhập viện cấp cứu. Kết luận lúc ra viện là bị sốc phản vệ Vitamin C. Xin bác sĩ tư vấn cho tôi có thể chích vắc xin ngừa COVID-19 không ạ? Xin cảm ơn bác sĩ.
Hình minh họa Chào bác, Theo Hướng dẫn sàng lọc trước tiêm chủng vắc xin phòng COVID-19 của Bộ Y tế, những trường hợp có tiền sử dị ứng nặng (phản vệ từ độ 2 trở lên) do mọi nguyên nhân đều không được chỉ định tiêm vắc xin phòng COVID-19. Và trường hợp của bác là rơi vào tình huống này, lớn tuổi, có bệnh lý nền nặng, tiền căn thì có sốc phản vệ với vitamin C, cho nên bác sẽ được trì hoãn tiêm vắc xin phòng COVID-19 trong chiến dịch tiêm vắc xin ngoài cộng đồng hiện nay, bác nhé.
1
- Loss:
ContrastiveLoss
with these parameters:{ "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", "margin": 0.5, "size_average": true }
Training Hyperparameters
Non-Default Hyperparameters
eval_strategy
: stepsper_device_train_batch_size
: 16per_device_eval_batch_size
: 16learning_rate
: 2e-05num_train_epochs
: 5warmup_ratio
: 0.1fp16
: Truebatch_sampler
: no_duplicates
All Hyperparameters
Click to expand
overwrite_output_dir
: Falsedo_predict
: Falseeval_strategy
: stepsprediction_loss_only
: Trueper_device_train_batch_size
: 16per_device_eval_batch_size
: 16per_gpu_train_batch_size
: Noneper_gpu_eval_batch_size
: Nonegradient_accumulation_steps
: 1eval_accumulation_steps
: Nonetorch_empty_cache_steps
: Nonelearning_rate
: 2e-05weight_decay
: 0.0adam_beta1
: 0.9adam_beta2
: 0.999adam_epsilon
: 1e-08max_grad_norm
: 1.0num_train_epochs
: 5max_steps
: -1lr_scheduler_type
: linearlr_scheduler_kwargs
: {}warmup_ratio
: 0.1warmup_steps
: 0log_level
: passivelog_level_replica
: warninglog_on_each_node
: Truelogging_nan_inf_filter
: Truesave_safetensors
: Truesave_on_each_node
: Falsesave_only_model
: Falserestore_callback_states_from_checkpoint
: Falseno_cuda
: Falseuse_cpu
: Falseuse_mps_device
: Falseseed
: 42data_seed
: Nonejit_mode_eval
: Falseuse_ipex
: Falsebf16
: Falsefp16
: Truefp16_opt_level
: O1half_precision_backend
: autobf16_full_eval
: Falsefp16_full_eval
: Falsetf32
: Nonelocal_rank
: 0ddp_backend
: Nonetpu_num_cores
: Nonetpu_metrics_debug
: Falsedebug
: []dataloader_drop_last
: Falsedataloader_num_workers
: 0dataloader_prefetch_factor
: Nonepast_index
: -1disable_tqdm
: Falseremove_unused_columns
: Truelabel_names
: Noneload_best_model_at_end
: Falseignore_data_skip
: Falsefsdp
: []fsdp_min_num_params
: 0fsdp_config
: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap
: Noneaccelerator_config
: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed
: Nonelabel_smoothing_factor
: 0.0optim
: adamw_torchoptim_args
: Noneadafactor
: Falsegroup_by_length
: Falselength_column_name
: lengthddp_find_unused_parameters
: Noneddp_bucket_cap_mb
: Noneddp_broadcast_buffers
: Falsedataloader_pin_memory
: Truedataloader_persistent_workers
: Falseskip_memory_metrics
: Trueuse_legacy_prediction_loop
: Falsepush_to_hub
: Falseresume_from_checkpoint
: Nonehub_model_id
: Nonehub_strategy
: every_savehub_private_repo
: Falsehub_always_push
: Falsegradient_checkpointing
: Falsegradient_checkpointing_kwargs
: Noneinclude_inputs_for_metrics
: Falseeval_do_concat_batches
: Truefp16_backend
: autopush_to_hub_model_id
: Nonepush_to_hub_organization
: Nonemp_parameters
:auto_find_batch_size
: Falsefull_determinism
: Falsetorchdynamo
: Noneray_scope
: lastddp_timeout
: 1800torch_compile
: Falsetorch_compile_backend
: Nonetorch_compile_mode
: Nonedispatch_batches
: Nonesplit_batches
: Noneinclude_tokens_per_second
: Falseinclude_num_input_tokens_seen
: Falseneftune_noise_alpha
: Noneoptim_target_modules
: Nonebatch_eval_metrics
: Falseeval_on_start
: Falseuse_liger_kernel
: Falseeval_use_gather_object
: Falsebatch_sampler
: no_duplicatesmulti_dataset_batch_sampler
: proportional
Training Logs
Click to expand
Epoch | Step | Training Loss | Validation Loss | cosine_map@100 |
---|---|---|---|---|
0 | 0 | - | - | 0.1388 |
0.0183 | 100 | 0.0316 | - | - |
0.0365 | 200 | 0.0255 | - | - |
0.0548 | 300 | 0.016 | - | - |
0.0730 | 400 | 0.0115 | - | - |
0.0913 | 500 | 0.0098 | - | - |
0.1096 | 600 | 0.0085 | - | - |
0.1278 | 700 | 0.0086 | - | - |
0.1461 | 800 | 0.0078 | - | - |
0.1644 | 900 | 0.0077 | - | - |
0.1826 | 1000 | 0.0073 | - | - |
0.2009 | 1100 | 0.0069 | - | - |
0.2191 | 1200 | 0.0073 | - | - |
0.2374 | 1300 | 0.0066 | - | - |
0.2557 | 1400 | 0.0067 | - | - |
0.2739 | 1500 | 0.0066 | - | - |
0.2922 | 1600 | 0.0066 | - | - |
0.3104 | 1700 | 0.0068 | - | - |
0.3287 | 1800 | 0.0057 | - | - |
0.3470 | 1900 | 0.0059 | - | - |
0.3652 | 2000 | 0.0065 | - | - |
0.3835 | 2100 | 0.006 | - | - |
0.4018 | 2200 | 0.006 | - | - |
0.4200 | 2300 | 0.0057 | - | - |
0.4383 | 2400 | 0.0054 | - | - |
0.4565 | 2500 | 0.0057 | - | - |
0.4748 | 2600 | 0.0057 | - | - |
0.4931 | 2700 | 0.0053 | - | - |
0.5113 | 2800 | 0.0056 | - | - |
0.5296 | 2900 | 0.0051 | - | - |
0.5478 | 3000 | 0.0056 | - | - |
0.5661 | 3100 | 0.0059 | - | - |
0.5844 | 3200 | 0.0052 | - | - |
0.6026 | 3300 | 0.0051 | - | - |
0.6209 | 3400 | 0.0051 | - | - |
0.6392 | 3500 | 0.0054 | - | - |
0.6574 | 3600 | 0.0054 | - | - |
0.6757 | 3700 | 0.0049 | - | - |
0.6939 | 3800 | 0.0049 | - | - |
0.7122 | 3900 | 0.0053 | - | - |
0.7305 | 4000 | 0.0047 | - | - |
0.7487 | 4100 | 0.0045 | - | - |
0.7670 | 4200 | 0.0048 | - | - |
0.7852 | 4300 | 0.0045 | - | - |
0.8035 | 4400 | 0.0045 | - | - |
0.8218 | 4500 | 0.0044 | - | - |
0.8400 | 4600 | 0.0044 | - | - |
0.8583 | 4700 | 0.0047 | - | - |
0.8766 | 4800 | 0.0045 | - | - |
0.8948 | 4900 | 0.0045 | - | - |
0.9131 | 5000 | 0.005 | - | - |
0.9313 | 5100 | 0.0047 | - | - |
0.9496 | 5200 | 0.0048 | - | - |
0.9679 | 5300 | 0.0043 | - | - |
0.9861 | 5400 | 0.0042 | - | - |
1.0044 | 5500 | 0.0043 | - | - |
1.0226 | 5600 | 0.0045 | - | - |
1.0409 | 5700 | 0.0043 | - | - |
1.0592 | 5800 | 0.0041 | - | - |
1.0774 | 5900 | 0.0039 | - | - |
1.0957 | 6000 | 0.0036 | - | - |
1.1140 | 6100 | 0.004 | - | - |
1.1322 | 6200 | 0.0043 | - | - |
1.1505 | 6300 | 0.0036 | - | - |
1.1687 | 6400 | 0.004 | - | - |
1.1870 | 6500 | 0.0033 | - | - |
1.2053 | 6600 | 0.0038 | - | - |
1.2235 | 6700 | 0.0041 | - | - |
1.2418 | 6800 | 0.0037 | - | - |
1.2600 | 6900 | 0.0037 | - | - |
1.2783 | 7000 | 0.0035 | - | - |
1.2966 | 7100 | 0.0036 | - | - |
1.3148 | 7200 | 0.0038 | - | - |
1.3331 | 7300 | 0.003 | - | - |
1.3514 | 7400 | 0.0034 | - | - |
1.3696 | 7500 | 0.0036 | - | - |
1.3879 | 7600 | 0.0033 | - | - |
1.4061 | 7700 | 0.0034 | - | - |
1.4244 | 7800 | 0.0031 | - | - |
1.4427 | 7900 | 0.0031 | - | - |
1.4609 | 8000 | 0.003 | - | - |
1.4792 | 8100 | 0.003 | - | - |
1.4974 | 8200 | 0.003 | - | - |
1.5157 | 8300 | 0.0028 | - | - |
1.5340 | 8400 | 0.0029 | - | - |
1.5522 | 8500 | 0.0031 | - | - |
1.5705 | 8600 | 0.0031 | - | - |
1.5888 | 8700 | 0.0031 | - | - |
1.6070 | 8800 | 0.0027 | - | - |
1.6253 | 8900 | 0.003 | - | - |
1.6435 | 9000 | 0.0029 | - | - |
1.6618 | 9100 | 0.0028 | - | - |
1.6801 | 9200 | 0.0027 | - | - |
1.6983 | 9300 | 0.0025 | - | - |
1.7166 | 9400 | 0.0029 | - | - |
1.7348 | 9500 | 0.0027 | - | - |
1.7531 | 9600 | 0.0025 | - | - |
1.7714 | 9700 | 0.0025 | - | - |
1.7896 | 9800 | 0.0023 | - | - |
1.8079 | 9900 | 0.0024 | - | - |
1.8262 | 10000 | 0.0024 | - | - |
1.8444 | 10100 | 0.0023 | - | - |
1.8627 | 10200 | 0.0026 | - | - |
1.8809 | 10300 | 0.0024 | - | - |
1.8992 | 10400 | 0.0027 | - | - |
1.9175 | 10500 | 0.003 | - | - |
1.9357 | 10600 | 0.0027 | - | - |
1.9540 | 10700 | 0.0027 | - | - |
1.9722 | 10800 | 0.0024 | - | - |
1.9905 | 10900 | 0.0025 | - | - |
2.0088 | 11000 | 0.0025 | - | - |
2.0270 | 11100 | 0.0025 | - | - |
2.0453 | 11200 | 0.0023 | - | - |
2.0636 | 11300 | 0.0024 | - | - |
2.0818 | 11400 | 0.0021 | - | - |
2.1001 | 11500 | 0.0023 | - | - |
2.1183 | 11600 | 0.0021 | - | - |
2.1366 | 11700 | 0.0026 | - | - |
2.1549 | 11800 | 0.002 | - | - |
2.1731 | 11900 | 0.0023 | - | - |
2.1914 | 12000 | 0.0021 | - | - |
2.2096 | 12100 | 0.0022 | - | - |
2.2279 | 12200 | 0.0025 | - | - |
2.2462 | 12300 | 0.002 | - | - |
2.2644 | 12400 | 0.0023 | - | - |
2.2827 | 12500 | 0.002 | - | - |
2.3009 | 12600 | 0.0021 | - | - |
2.3192 | 12700 | 0.0022 | - | - |
2.3375 | 12800 | 0.0018 | - | - |
2.3557 | 12900 | 0.002 | - | - |
2.3740 | 13000 | 0.0023 | - | - |
2.3923 | 13100 | 0.0021 | - | - |
2.4105 | 13200 | 0.0018 | - | - |
2.4288 | 13300 | 0.002 | - | - |
2.4470 | 13400 | 0.0018 | - | - |
2.4653 | 13500 | 0.0018 | 0.0030 | 0.6298 |
2.4836 | 13600 | 0.0019 | - | - |
2.5018 | 13700 | 0.002 | - | - |
2.5201 | 13800 | 0.0017 | - | - |
2.5383 | 13900 | 0.0018 | - | - |
2.5566 | 14000 | 0.0019 | - | - |
2.5749 | 14100 | 0.0018 | - | - |
2.5931 | 14200 | 0.0019 | - | - |
2.6114 | 14300 | 0.0018 | - | - |
2.6297 | 14400 | 0.002 | - | - |
2.6479 | 14500 | 0.002 | - | - |
2.6662 | 14600 | 0.0019 | - | - |
2.6844 | 14700 | 0.0016 | - | - |
2.7027 | 14800 | 0.0017 | - | - |
2.7210 | 14900 | 0.0019 | - | - |
2.7392 | 15000 | 0.0017 | - | - |
2.7575 | 15100 | 0.0016 | - | - |
2.7757 | 15200 | 0.0016 | - | - |
2.7940 | 15300 | 0.0014 | - | - |
2.8123 | 15400 | 0.0014 | - | - |
2.8305 | 15500 | 0.0014 | - | - |
2.8488 | 15600 | 0.0016 | - | - |
2.8671 | 15700 | 0.0016 | - | - |
2.8853 | 15800 | 0.0016 | - | - |
2.9036 | 15900 | 0.0017 | - | - |
2.9218 | 16000 | 0.0018 | - | - |
2.9401 | 16100 | 0.0019 | - | - |
2.9584 | 16200 | 0.0017 | - | - |
2.9766 | 16300 | 0.0015 | - | - |
2.9949 | 16400 | 0.0017 | - | - |
3.0131 | 16500 | 0.0016 | - | - |
3.0314 | 16600 | 0.0015 | - | - |
3.0497 | 16700 | 0.0015 | - | - |
3.0679 | 16800 | 0.0016 | - | - |
3.0862 | 16900 | 0.0013 | - | - |
3.1045 | 17000 | 0.0014 | - | - |
3.1227 | 17100 | 0.0015 | - | - |
3.1410 | 17200 | 0.0015 | - | - |
3.1592 | 17300 | 0.0014 | - | - |
3.1775 | 17400 | 0.0014 | - | - |
3.1958 | 17500 | 0.0014 | - | - |
3.2140 | 17600 | 0.0016 | - | - |
3.2323 | 17700 | 0.0017 | - | - |
3.2505 | 17800 | 0.0012 | - | - |
3.2688 | 17900 | 0.0014 | - | - |
3.2871 | 18000 | 0.0014 | - | - |
3.3053 | 18100 | 0.0014 | - | - |
3.3236 | 18200 | 0.0013 | - | - |
3.3419 | 18300 | 0.0012 | - | - |
3.3601 | 18400 | 0.0015 | - | - |
3.3784 | 18500 | 0.0013 | - | - |
3.3966 | 18600 | 0.0013 | - | - |
3.4149 | 18700 | 0.0011 | - | - |
3.4332 | 18800 | 0.0013 | - | - |
3.4514 | 18900 | 0.0012 | - | - |
3.4697 | 19000 | 0.0011 | - | - |
3.4879 | 19100 | 0.0013 | - | - |
3.5062 | 19200 | 0.0012 | - | - |
3.5245 | 19300 | 0.001 | - | - |
3.5427 | 19400 | 0.0014 | - | - |
3.5610 | 19500 | 0.0012 | - | - |
3.5793 | 19600 | 0.0013 | - | - |
3.5975 | 19700 | 0.0013 | - | - |
3.6158 | 19800 | 0.0012 | - | - |
3.6340 | 19900 | 0.0014 | - | - |
3.6523 | 20000 | 0.0011 | - | - |
3.6706 | 20100 | 0.0012 | - | - |
3.6888 | 20200 | 0.0012 | - | - |
3.7071 | 20300 | 0.0012 | - | - |
3.7253 | 20400 | 0.0013 | - | - |
3.7436 | 20500 | 0.001 | - | - |
3.7619 | 20600 | 0.0011 | - | - |
3.7801 | 20700 | 0.0011 | - | - |
3.7984 | 20800 | 0.0009 | - | - |
3.8167 | 20900 | 0.0011 | - | - |
3.8349 | 21000 | 0.0009 | - | - |
3.8532 | 21100 | 0.0011 | - | - |
3.8714 | 21200 | 0.001 | - | - |
3.8897 | 21300 | 0.0011 | - | - |
3.9080 | 21400 | 0.0011 | - | - |
3.9262 | 21500 | 0.0011 | - | - |
3.9445 | 21600 | 0.0013 | - | - |
3.9627 | 21700 | 0.0011 | - | - |
3.9810 | 21800 | 0.001 | - | - |
3.9993 | 21900 | 0.0011 | - | - |
4.0175 | 22000 | 0.0011 | - | - |
4.0358 | 22100 | 0.0011 | - | - |
4.0541 | 22200 | 0.001 | - | - |
4.0723 | 22300 | 0.0011 | - | - |
4.0906 | 22400 | 0.0009 | - | - |
4.1088 | 22500 | 0.001 | - | - |
4.1271 | 22600 | 0.0011 | - | - |
4.1454 | 22700 | 0.0011 | - | - |
4.1636 | 22800 | 0.001 | - | - |
4.1819 | 22900 | 0.0009 | - | - |
4.2001 | 23000 | 0.0009 | - | - |
4.2184 | 23100 | 0.0012 | - | - |
4.2367 | 23200 | 0.0011 | - | - |
4.2549 | 23300 | 0.0009 | - | - |
4.2732 | 23400 | 0.0009 | - | - |
4.2915 | 23500 | 0.0011 | - | - |
4.3097 | 23600 | 0.001 | - | - |
4.3280 | 23700 | 0.0008 | - | - |
4.3462 | 23800 | 0.0009 | - | - |
4.3645 | 23900 | 0.001 | - | - |
4.3828 | 24000 | 0.0009 | - | - |
4.4010 | 24100 | 0.001 | - | - |
4.4193 | 24200 | 0.0009 | - | - |
4.4375 | 24300 | 0.0009 | - | - |
4.4558 | 24400 | 0.0008 | - | - |
4.4741 | 24500 | 0.0009 | - | - |
4.4923 | 24600 | 0.001 | - | - |
4.5106 | 24700 | 0.0008 | - | - |
4.5289 | 24800 | 0.0009 | - | - |
4.5471 | 24900 | 0.001 | - | - |
4.5654 | 25000 | 0.0009 | - | - |
4.5836 | 25100 | 0.0009 | - | - |
4.6019 | 25200 | 0.001 | - | - |
4.6202 | 25300 | 0.0009 | - | - |
4.6384 | 25400 | 0.001 | - | - |
4.6567 | 25500 | 0.0009 | - | - |
4.6749 | 25600 | 0.0009 | - | - |
4.6932 | 25700 | 0.0009 | - | - |
4.7115 | 25800 | 0.001 | - | - |
4.7297 | 25900 | 0.001 | - | - |
4.7480 | 26000 | 0.0009 | - | - |
4.7663 | 26100 | 0.0008 | - | - |
4.7845 | 26200 | 0.0007 | - | - |
4.8028 | 26300 | 0.0008 | - | - |
4.8210 | 26400 | 0.0008 | - | - |
4.8393 | 26500 | 0.0009 | - | - |
4.8576 | 26600 | 0.0009 | - | - |
4.8758 | 26700 | 0.0008 | - | - |
4.8941 | 26800 | 0.0009 | - | - |
4.9123 | 26900 | 0.001 | - | - |
4.9306 | 27000 | 0.0009 | 0.0029 | 0.6245 |
4.9489 | 27100 | 0.001 | - | - |
4.9671 | 27200 | 0.0009 | - | - |
4.9854 | 27300 | 0.0009 | - | - |
Framework Versions
- Python: 3.10.14
- Sentence Transformers: 3.2.1
- Transformers: 4.45.1
- PyTorch: 2.4.0
- Accelerate: 0.34.2
- Datasets: 3.0.1
- Tokenizers: 0.20.0
Citation
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
ContrastiveLoss
@inproceedings{hadsell2006dimensionality,
author={Hadsell, R. and Chopra, S. and LeCun, Y.},
booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
title={Dimensionality Reduction by Learning an Invariant Mapping},
year={2006},
volume={2},
number={},
pages={1735-1742},
doi={10.1109/CVPR.2006.100}
}
- Downloads last month
- 6
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.
Model tree for meandyou200175/phobert_ContrastiveLoss
Base model
vinai/phobert-base-v2Evaluation results
- Cosine Accuracy@1 on Unknownself-reported0.531
- Cosine Accuracy@2 on Unknownself-reported0.623
- Cosine Accuracy@5 on Unknownself-reported0.736
- Cosine Accuracy@10 on Unknownself-reported0.808
- Cosine Accuracy@100 on Unknownself-reported0.970
- Cosine Precision@1 on Unknownself-reported0.531
- Cosine Precision@2 on Unknownself-reported0.311
- Cosine Precision@5 on Unknownself-reported0.147
- Cosine Precision@10 on Unknownself-reported0.081
- Cosine Precision@100 on Unknownself-reported0.010