Frederiksborg skulle imidlertid ikke få i fred lenge. Allerede under Hannibalfeiden med Sverige 1643–45 måtte Christian IV slå mynt av en del av det edle metallet som var benyttet til slottets utsmykking og under krigen med Karl X Gustav av Sverige gikk det hardt utover Frederiksborg. Da budskapet om at den svenske kongen 5.–6. februar 1658 var gått over isen nådde til København, fikk man det travelt med å flytte kostbarhetene herfra inn til hovedstaden og etter Roskildefreden i 1658 hadde Frederik III den bitre ære å beværte sin motstander på Frederiksborg.