I 1847 ble hun involvert i en skandale da hun ble sett i et sommerhus med en beryktet promiskuøs man, George Smythe MP, arving til en adelstittel. Smythe nektet å gifte seg med henne, og hennes foreldres handlinger og uttalelser ødelagt hennes omdømme. I 1847 giftet hun seg med en fetter tyve år eldre enn henne, en Reginald Henry Nevill (d. 1878), sønnesønn av den 1. Jarl av Abergavenny, og fikk seks barn, fire av dem overlevde barndommen. Hun reiste mye og dyrket en stor krets av litterære og kunstneriske venner, ispedd politikere, inkludert James McNeill Whistler, Richard Cobden, Joseph Chamberlain og Disraeli, som hun sterkt beundret. Hun ble imidlertid aldri mottatt av Dronning Victoria.