Lord Carnarvon giftet seg med Almina Victoria Maria Alexandra Wombwell, en datter utenfor ekteskap av millionæren Alfred de Rothschild, fra Rothschildfamilien, den 26. juni 1895. Rothschild sørget for en ekteskapsavtale på £500 000 og betalte all gjelden til lord Carnarvon. De fikk to barn, Henry George Herbert, 6. jarl av Carnarvon (1898–1987) og Evelyn Leonora Almina Herbert (1901–1980).