Era la hija más joven de Henry Manners, 8º Duque de Rutland, y de Marion Margaret Violet Lindsay, pero se ha supuesto que el padre biológico de Lady Diana fue el escritor Henry Cust.