Después de que se retirara Buckingham en 1676, "lady" Charlotte Fitzroy, una hija ilegítima de doce años de Carlos II, se mudó a la casa cuando se casó con el conde de Lichfield, Magister Equitum.