Bij het beleg van 1673 en dat van 1676, tijdens de Hollandse Oorlog, werd het kasteel verwoest, maar daarna weer hersteld. In 1740 was het kasteel nog bewoond, maar na een brand in 1747 was het geheel in verval geraakt. De brand was mogelijk een gevolg van inkwartiering voor en na de Slag bij Lafelt. Op het kasteelterrein werd daarna een gesloten hoeve gebouwd, waarvan het woonhuis nog bestaat. Het poortgebouw met geknikt schilddak en de hierbij gelegen stallen zijn in 1816 gebouwd.