La tradición señala que este era el lugar desde donde Felipe II vigilaba las obras del Monasterio de El Escorial, que se extendieron desde 1563 hasta 1584.