Ved Svenskekrigens udbrud 1657 har den sandsynligvis været et let bytte for de svenske tropper; 4. november 1659 tog den danske general Ernst Albrecht von Eberstein Hindsgavl med storm, men forinden eller muligvis under stormen var bygningerne blevet så ødelagte, at lensmanden måtte fraflytte Hindsgavl som ubeboeligt. 1664 blev gård og gods udlagt landsdommeren i Fyn, Jens Lassen, for tilgodehavende hos Kronen; denne fik dog atter gården tilbage som udlæg for skatterestancer 1681. 1685 blev den bortforpagtet til en borger i Middelfart, Hans Svendsen, der 1692 fik lov til at flytte ladebygningerne til et bekvemmere sted, men "det i gl. og store grundmurede Hus, som kaldes Slottet Hindsgavl, som af forrige Tider har staaet der [på Bjerget] urørligt, skal og der fremdeles blive staaende". I en samtidig synsforretning ses det, at alle murene samt tårnet stod endnu i betydelig højde med skillerum og alt, men det ville koste mange penge at lade Hindsgavl restaurere, "saasom den var meget brøstfældig". På grund af den dejlige beliggenhed, udsigten til Koldinghus mm. havde de kgl. herskaber "stort Behag til Stedet", og Christian V har sikkert tænkt på at skaffe midler til at rejse den gl. borg på ny, men en januar 1694 indtruffet voldsom storm og vandflod anrettede så megen skade på ruinen, at disse planer blev opgivet. Hindsgavl sattes på auktion 1695 og tilsloges for 7209 Rdl og 81 Skilling kældermester H.D. Freinz' arvinger, der på denne måde fik dækning for en gl. vinregning fra Frederik III's tid.