El 7 de junio de 1656, hacia mediodía, la población fue víctima de un fuerte terrremoto que derribó la primitiva iglesia parroquial de San Pedro Intramuros, la Casa de la Villa y cuarenta casas más; los lienzos de las murallas y los torreones del castillo que habían sido construidos con suntuosidad en la pendiente del monte, según cuenta el obispo Gavaldá que visitó el Rincón después del seísmo, también fueron destruidos.