Fue así como, siguiendo los deseos de Fernando VI, Isabel de Farnesio mandó construir el palacio en 1751 en un antiguo coto de caza en la provincia de Segovia.