Frederiksborg skulle dog ikke længe stå iført sit pragtfulde skrud. Allerede under krigen med Sverige 1643-45 måtte Christian IV lade slå mønt af den del af det ædle metal, der var anvendt til dets udsmykning, og under krigen med Karl Gustav huserede fjenden slemt på Frederiksborg. Da budskabet om, at den svenske konge 5.-6. februar 1658 var gået over isen, nåede til København, fik man travlt med at flytte kostbarhederne herfra ind til hovedstaden, og efter Roskildefreden 1658 havde Frederik III den bitre ære at beværte sin sejrrige modstander på Frederiksborg.