I 1652 besøgte den nye konge, Frederik III, ham på Graasten, men ellers nåede Philip ikke at få meget fornøjelse af sin nye ejendom. Under Karl Gustav-krigene (1657-1660) blev egnen voldsomt hærget af fjendtlige tropper. Philip så sig derfor i 1662 nødsaget til at sælge nogle godser fra for at overleve økonomisk. Køberen var Frederik Ahlefeldt, der var ejer af Gråsten Slot fra 1662 til 1682. Sønnen Carl Ahlefeldt opførtse kort før år 1700 et barokslot, der nedbrændte i 1757. Opførelsen af det nuværende slot blev påbegyndt i 1759. Slottet blev genopført af Johann Gottfried Rosenberg i rokokostil.