Sin embargo, su reputación sufrió un duro revés debido a una intriga en la corte en 1839, cuando el abdomen de una de las damas de compañía de su madre, Flora Hastings, empezó a crecer de forma anormal, creando rumores de que se había quedado embarazada, fuera del matrimonio, de John Conroy.