Xin tips minning hard negative
#4
by
bravend
- opened
Mình đang muốn làm một model tương tự nhưng với dữ liệu news/wiki. Mình đã thử dùng một số phương pháp sau:
- Chỉ sử dụng positives làm in-batch-negative: score tăng đến một ngưỡng rồi không tăng nữa, dù có thêm nhiều dữ liệu vào
- in-batch-negative thêm hard-negative được mining bằng BM25, mình có thử lấy random 1 bài trong các top (1-10), (20-30), (40-60) làm hard-negative nhưng mà kết quả lại tụt thảm so với chỉ dùng in-batch-negative.
Mình muốn tham khảo cách làm của nhóm. Cám ơn nhóm đã tạo ra một pre-train rất hữu ích !