Pero a finales del siglo XVII empezó su decadencia influenciada por varios factores: la crisis política del imperio, la guerra con Portugal, gobernantes locales poco aptos, la expulsión morisca y sucesivas pestes que la mantuvieron aislada del exterior durante cuarentenas.