Desde el siglo XVI y hasta el XIX varios frailes agustinos habitaron la localidad, teniendo su congregación propiedades tanto urbanas como rústicas en Colmenar, entre ellos la ermita que erigieron en honor a la Virgen de la Consolación, que fue abandonada en el siglo XIX, cuando los agustinos tuvieron que abandonar la localidad.