Argylls kone, født Elizabeth Georgiana Leveson-Gower, tjenestegjorde som Mistress of the Robes. I 1871 blei hertugens sønn og arving, lord Lorne, gift med ei av dronning Viktorias døtre, Prinsesse Louise.