Ekteskapet ble imidlertid ulykkelig. Charlotte Frederikke ble beskrevet som svært vakker i ungdommen, men ble også ansett som lunefull, lettsindig og mytoman, egenskaper som senere ble sagt å gå igjen hos hennes sønn, Frederik VII. Da det ble kjent at prinsessen hadde et forhold til sin franske sanglærer, Édouard du Puy, sørget kong Frederik VI for at ekteskapet ble opphevet. Charlotte Frederikke ble forvist til Horsens og fikk forbud mot å noensinne se sønnen igjen, og du Puy ble forvist til Sverige – han fikk to timer på seg til å forlate Danmark og sitt hjem i Vingårdstræde 15, hvor prinsessen hadde besøkt ham. Charlotte Frederikke forlot Danmark i 1829, konverterte til den romersk-katolske kirke og bodde fra 1833 i Roma, hvor hun døde i 1840 etter lang tids sykdom. Det sies at Christian VIII ble plaget hele livet av minnet om dette ekteskapet.