La estructura administrativa diseñada por Felipe II fue desdibujándose, primero con el nombramiento de un gobernador del Real Sitio por parte de Carlos III –en menoscabo de los poderes del alcalde mayor de El Escorial y del prior– y, posteriormente, con la privatización de tierras que tuvo lugar con la desamortización de 1820.Ésta resultó clave para la configuración del actual municipio de San Lorenzo de El Escorial, ya que pasaron a manos privadas prácticamente todas las fincas del Real Sitio, excepto La Herrería y las tierras que rodeaban al Monasterio y a las Casitas del Príncipe y del Infante.