Los siglos y son de decadencia para la ciudad, inmersa en la crisis general de España, que ve cómo su pasado esplendor se apaga. La falta de una política proteccionista para la artesanía, las importaciones de la lana de Burgos, la subida de los precios por las malas cosechas, la injusta presión fiscal para las guerras, la corrupción, el poder del Clero, el proceso inflacionista por abundancia de metales, las continuas levas militares, las epidemias, y la emigración a Indias son algunos de los factores que contribuyeron a esa merma. Úbeda perdió hasta el control del tráfico de madera de los robles y pinos del Segura, en favor de comerciantes sevillanos. Todo ello va descapitalizando a la ciudad, agudizando las diferencias sociales e incrementando la miseria de la mayoría. Algunas fechas de los desastres que asolaron la ciudad en esta etapa fueron las pestes de 1585 y 1681 y el terremoto de Lisboa de 1755, que quebranta bastantes casas de la ciudad. Para rematar, la persecución de los cristianos nuevos y la expulsión de los moriscos en 1609 va a ser seriamente lamentado por el Concejo, por el impacto económico al perder su más valioso tejido económico.