Pater ble født i Stepney i Londons East End som den andre sønnen til Richard Glode Pater, en lege som hadde flyttet til London tidlig på 1800-tallet og fungerte som doktor for fattige. Hans far døde mens han fortsatt var liten og familien flyttet da til Enfield i Middlesex hvor han begynte på stedets gymnas.