Carlos V encarga su ampliación, gestándose un edificio de complicada composición: varios patios, capilla y salones.