La parte hoy conservada se debe al monarca Pedro IV, quien sin conocerse la razón, a la muerte de Jaime II, decidió derribar el palacio aún sin finalizar de su precedesor y trasladar su construcción hacia el año 1350 al mismo emplazamiento del primero ordenado por Pedro III.