Edward Aveling ble født den 29. november 1849 i Stoke Newington som det femte av åtte barn av Thomas William Baxter Aveling (1815–1884), en kongregasjonalistiske prest, og hans hustru Mary Ann (død 1877), datter av bonden og vertshuseieren Thomas Goodall i Wisbech, Cambridgeshire.