Dette var i en periode hvor Frederik VI var konge av Danmark-Norge og Christian Frederik – den senere Christian VIII – bodde som relativt nygift på Amalienborg sammen med sin ektefelle Charlotte Frederikke og deres sønn Frederik født i 1808. Charlotte Frederikke hadde en god sangstemme og ønsket å få undervisning av Du Puy. Ektefellen syntes opplagt at dette var en god ide og Du Puy ble en stadig gjest på slottet. Du Puy og Charlotte Frederikke innledet et forhold, og da dette etter en stund ble oppdaget, fikk det store konsekvenser for dem begge. Du Puy ble utvist fra Danmark og fikk bare noen timer på seg til å forlate sin familie. Charlotte Frederikke ble skilt fra sin mann og sønn og sendt i internt eksil til Horsens.