Prins Frederiks foreldre ble skilt et år etter at han var født pga. Charlotte Frederikkes affære med komponisten Édouard du Puy. Hun ble forvist til Horsens og fikk ikke tillatelse til å se sin sønn igjen. Prinsens oppvekst ble preget av tilfeldig oppdragelse av diverse tanter og onkler.