La familia entonces partió a Hackney, y luego en 1847 se instaló en Enfield (Middlesex), donde Pater asistió al establecimiento Enfield Grammar School, y donde recibió el sobrenombre de « Parson Pater » por su seriedad.