Etter kongens død i 1863 arvet grevinne Danner slottet og hadde det som fast bopel. I 1867 opprettet hun et barnehjem i den tidligere kavalerfløyen. Kort tid før sin død stiftet hun av 30. oktober 1873. Stiftelsen innebar at Jægerspris slott skulle innredes til barnehjem for fattige og ulykkelig stilte piker etter grevinnens død. Slottet inneholder i dag også et museum med kong Frederik og Danners værelser og møbler, samt en arkeologisk utstilling med funn fra nærområdet.