Solo en tiempos de guerra, el caballero al cargo del castillo, localmente llamado "castlà" o castellano, residía en la fortaleza. El 28 de marzo de 1463, los consejeros de Vich propusieron su derribo, ya que estaba en muy mal estado debido a los terremotos del año 1427 y 1428 . Durante la Guerra Civil Catalana (1462-1472) de la Generalidad y el Consejo de Ciento contra Juan II de Aragón, conde de Barcelona, se refugiaron en el castillo algunos campesinos. En 1554, el marqués de Tarifa ordenó la demolición de las murallas para evitar que bandidos y bandoleros hicieran uso de él. La última incidencia grave fue en septiembre de 1767, cuando una terrible tormenta derribó una parte de los restos, dejando solo la torre, que ha sido parcialmente restaurada durante los últimos años del siglo XX.