Se evita entonces que Carolina participe de alguna manera en la vida cotidiana de su hija, y finalmente es desterrada en 1799 a una residencia privada en Blackheath, conocida como ""La Pagoda"", en donde ella alegó haber tenido relaciones adúlteras con el político Jorge Canning y el almirante Sir Sidney Smith.