El monarca Alfonso XI de Castilla ordenó su construcción en el año 1328 sobre el antiguo Alcázar andalusí, antes residencia del gobernador romano y la aduana.