Caroline ble nektet å tilbringe tid med sin datter regelmessig, og i 1799 ble hun også forvist til et privat hjem i Charlton. Senere ble hun sendt videre til Montagu House, jarlen av Sandwichs hjem.