Worsleys fødested Akaroa var en liten havneby på Banks Peninsula nær Christchurch. Han var andre sønn av Henry Theophilus Worsley og hans hustru Georgina. Hans bestefar hadde utvandret i 1851 fra Rugby i England til New Zealand.