Se emplaza en lo que fue un monte de robles entre el Monasterio y la población de El Escorial, de ahí su denominación popular de Casita de Abajo.