E.B. Tylor ble født i 1832 i Camberwell, London som sønn av Joseph Tylor og Harriet Skipper, en familie velstående kvekere, eiere av en London-basert messingfabrikk.