Na de Portugese Restauratieoorlog, tijdens het bewind van koning Johan IV, bepaalde de oorlogsraad dat de kloosterruïnes gesloopt dienden te worden en met de rotsblokken een kustverdediging te bouwen die zou helpen bij de bescherming van de nederzettingen aan de kust; het Fort van São João Baptista das Berlengas is opgebouwd uit de overblijfselen van de kloosterruïnes. In 1655, tijdens de bouw, weerstond het al een aanval door drie kustpiraten.