Pero las obras hechas a finales del siglo XVI no bastaron para impedir la ruina del edificio, cimentado sobre un suelo arenoso, y en 1641 se derrumbó parcialmente.