Han var sønn av Archibald John Primrose, lord Dalmeny (1809-1851) og lady Catherine Lucy Stanhope (1819-1901).