Pero no es de origen andalusí el primer edificio que ocupa su recinto, el palacio de Carlos V se encuentra desde el siglo XV en el lugar en el que anteriormente se localizaba la galería sur del Palacio de Comares.