Estas dependencias fueron ampliadas en 1561 por orden de Felipe II (1527-1598) y sobre ellas terminaría construyéndose, durante el reinado de Felipe IV (1605-1665), el Real Sitio del Buen Retiro, un conjunto de palacios, bosques y jardines, que darían lugar al parque actual.