Paret oppholdt seg i St. Petersburg i to år til Annas more døde. Heretter ble stemningen mere kjølig overfor dem, og Anna og Carl Frederik følte seg tvunget til å reise til Holsten. De flyttet inn i Kiel slott, hvor forholdene var langt mindre enn de var vant til. Hertugen endret personlighet fra den muntre og galante herremann han var kjent som i St. Petersburg, til en uhøflig drukkenbolt. Han muntret seg mest med venner og fruentimmere, mens Anna ble overlatt til seg selv. Hun var ikke vandt til den slags behandling, og skrev derfor lange og beklagende brev til søsteren i Petersburg, for å få avløp for sin frustrasjon.