Dat1710/gemma-dgmc-boolq

Gemma + DGMC (Dual-Gated Memory Consolidation) — fine-tuned on BoolQ

Adapter DGMC (Dual-Gated Memory Consolidation) huấn luyện trên bộ dữ liệu BoolQ, gắn thêm vào mô hình nền tảng đóng băng hoàn toàn google/gemma-4-E2B-it-qat-q4_0-unquantized. Chỉ các tham số của module DGMC được huấn luyện (dgmc_params/1e6:.1fM tham số).

Kết quả

Model	Method	Trainable Params	Accuracy	F1 Macro
Gemma (Zero-Shot)	Next-token logit scoring	0	72.84%	0.7279
Gemma + DGMC	DGMC fine-tuned (LM)	28.3M	81.07%	0.7974

Cải thiện: +8.23 điểm phần trăm so với zero-shot.

Cấu hình DGMC

• block_size: 64
• memory_dim: 1536
• decay_alpha: 0.1

Cách sử dụng

Tải file dgmc_boolq_weights.pt rồi load lại vào module DGMC tương ứng với kiến trúc trong notebook huấn luyện gốc:

import torch
ckpt = torch.load("dgmc_boolq_weights.pt", map_location="cpu")
dgmc.load_state_dict(ckpt["dgmc_state_dict"])

Model nền tảng google/gemma-4-E2B-it-qat-q4_0-unquantized cần được tải riêng và giữ đóng băng (frozen); adapter DGMC này chỉ bổ sung một module memory consolidation nhẹ, không thay thế attention gốc của model.

Huấn luyện

• Epochs: 10
• Learning rate: 0.0002
• Gradient accumulation steps: 16
• Max sequence length: 256