El palacio sirvió como residencia de recreo de Felipe IV y Carlos II; los dos primeros soberanos Borbón, Felipe V y Fernando VI, lo usaron como residencia oficial, sin embargo bajo los reinados de Carlos III y Carlos IV fue perdiendo importancia.