No se sabe cuándo se despobló el caserío, pero sí que a finales del siglo XVI ya lo estaba, pues en un pleito que tuvo lugar en 1594 “en la Villa de Madrid”, una de las partes estaba representada por Rodrigo de Orozco, “vecino de la Villa de Buitrago y heredero del Lugar del Villar, que es un Lugar despoblado de la jurisdiccion de la dha Villa, por si y en voz y en nombre de los demas herederos o vecinos del dho Lugar (…)”; la parte contraria era el concejo de Robledillo, y ambos litigantes defendían para sí los derechos de aprovechamiento de “el exido del Villar (…) que esta xunto al dho Lugar del Villar”.