Durante la Baja Edad Media y Edad Moderna, Aracena continuó creciendo desde el Cerro del Castillo hasta el valle, primero como tierra realenga dependiente de Sevilla y posteriormente como Señorío bajo la jurisdicción del Conde Duque de Olivares, en el siglo XVII, y más tarde, del Conde de Altamira, quien se tituló Príncipe de Aracena.