Hans far hadde tilbragt noen år i ungdommen på Saint Kitts i Vestindien, og fikk avsmak for hvordan plantasjeeierne behandlet de innfødte. Han drømte om å bli artist, men ble isteden en vanlig enkel tjenestemann ved Bank of England. Hans mor, Sarah Anna Wiedemann, var av skotsk-tysk opprinnelse og elsket kunst, musikk og hagearbeid.