William es el hijo de James Ellis, un oficial de la guardia, y de Ann Webb, cuyo matrimonio inició en 1804 en Exeter.