Fra 1898 var slottet sommerresidens for daværende arveprins Christian (senere kong Christian 10). Etter hans død i 1947 ble Sorgenfri bolig for arveprins Knud, og var bebodd av hans enke, prinsesse Caroline-Mathilde, til hennes død 1995. I Kavaleribygningen fra 1740-årene holder det lokale Hjemmeværnet til.