Este palacio formó parte de las residencias palaciegas de Felipe II, en donde se celebraron los festejos nupciales, tras casarse este rey por cuarta vez en el Alcázar de Segovia.