En el palacio, conocido como del Real y reedificado por Pedro IV de Aragón, se alojaron Juan I, Martín el Humano, Alfonso el Magnánimo y su esposa la reina Doña María, entre otros monarcas, fue una de sus residencias favoritas; ocasionalmente se alojaron Carlos I, Felipe II y Felipe III, a cuyas bodas con Margarita de Austria sirvió de marco admirable.