A partir del siglo XV, entra en decadencia por el traslado de residencia de la familia al castillo de Blanes y sobre todo por los estragos de la guerra de los Remensas durante los años 1462/1472.