Thuở nhỏ, do thân phụ Từ Mi Sinh không đỗ đạt nên chỉ ở nhà dạy học, vì thế Từ Giác được thụ hưởng nền giáo dục rất nghiêm cẩn. Cụ để lại cho ông tập Tự Di Thất tùng sao (自怡室叢鈔).