Hughes ble født i Clerkenwell-distriktet i London i 1851 som det eneste barnet til Edward Hughes og Harriet Foord. Familien Hughes var av walisiske avstamming og det synes å ha vært en tradisjon å bli inngift i Foord-familien ettersom maleren Arthur Hughes, Edwards onkel, ble gift med en Trypheena Foord. Edward ble tidlig dratt mot sin kunstneriske onkels familie og fikk sin første tegneundervisning hos ham.