Na Alva's vertrek veranderde de vesting in een waar roversnest, dat een belangrijke rol speelde tijdens de Spaanse furie. In 1583 werd Mortsel, in de aanloop naar de "Val van Antwerpen" (1585) volledig ontvolkt en platgebrand door Alexander Farnese. Van de 126 gezinnen die Mortsel aanvankelijk bewoonden, resteerden er nadien nog slechts drie. Voornamelijk de wijk Luithagen werd zwaar getroffen. Na 1609 kon men voor het eerst herademen, maar het einde van de militaire opvorderingen was nog lang niet in zicht. In de loop van de 17de eeuw belandde Cantincrode in handen van de familie de Fiennes die het huidige herenhuis lieten optrekken.