Lord Carnarvon giftet seg først med Lady Evelyn Stanhope, datter av George Stanhope, 6. jarl av Chesterfield, i 1861. De fikk en sønn, George Edward Herbert, berømt i forbindelse med utgravningene av Tutankhamun, og tre døtre (hans eldste datter, lady Winifred, giftet seg med lord Burghclere som sin andre ektemann og ble mor til Evelyn, den første hustruen til romanforfatteren Evelyn Waugh). Etter lady Evelyns død i 1875 giftet Herbert seg for andre gang med sin kusine Elizabeth Catherine Howard, datter av Henry Howard, i 1878. De fikk to sønner hvorav den eldste var diplomaten Aubrey Herbert. Sønnen Aubrey ble far til Laura Herbert som ble den andre hustruen til Evelyn Waugh.