Han ble født på familiegodset Highclere Castle i Hampshire og ble titulert som lord Porchester fra fødselen av ved å være den eneste sønnen til Henry Herbert, 4. jarl av Carnarvon, en torypolitiker, og hans første hustru Evelyn Stanhope, datter av George Stanhope, 6. jarl av Chesterfield. Aubrey Herbert var hans halvbror.