ducanhdinh/jepa_proof_barlow_twins

BERT encoder pretrained from scratch với Barlow Twins.

Augmentation strategy

Hai view được tạo bằng span masking độc lập (non-overlapping):

	Mô tả
View 1	Câu gốc với các span ngẫu nhiên bị mask
View 2	Câu gốc với các span ngẫu nhiên khác bị mask (không overlap)

Kiến trúc Barlow Twins

View 1 ──► Encoder (θ) ──► Projector (θ) ──► z1  ──┐
                                                     ├──► Cross-correlation C = Z1ᵀZ2 / N  ──► Loss
View 2 ──► Encoder (θ) ──► Projector (θ) ──► z2  ──┘

Loss = Σ(C_ii - 1)²  +  λ · Σ_{i≠j} C_ij²

Thông số huấn luyện

Tham số	Giá trị
Max sequence length	256
Batch size	256
Epochs	10
Learning rate	0.0001
Projector hidden dim	2048
Projector out dim	8192
Off-diagonal coeff (λ)	0.005
Max span length	5

Cách dùng

from transformers import BertModel, BertTokenizerFast
import torch

tokenizer = BertTokenizerFast.from_pretrained("ducanhdinh/jepa_proof_barlow_twins")
bert      = BertModel.from_pretrained("ducanhdinh/jepa_proof_barlow_twins/encoder")

encoded = tokenizer(
    ["Hello world!", "Barlow Twins pretraining."],
    return_tensors="pt",
    padding=True,
    truncation=True,
)
with torch.no_grad():
    out     = bert(**encoded)
    cls_emb = out.last_hidden_state[:, 0, :]   # [CLS] token → (B, 768)