Durante el reinado de Felipe IV fue residencia de Luis de Haro y Guzmán, favorito del monarca tras el conde-duque de Olivares y albergó los últimos días de Mariana de Austria hasta su fallecimiento en 1696.