Los orígenes de este Real Sitio se remontan a 1562, un año antes de colocarse la primera piedra del Monasterio de El Escorial, cuyo solar se encontraba en las inmediaciones de El Escorial, por entonces una pequeña aldea perteneciente a la Comunidad de Villa y Tierra de Segovia.