A raíz de cuando desapareció el caserío, su templo, sin duda más resistente que las demás casas del poblado, debió de quedar en aceptable estado y ser utilizado en lo sucesivo para algún culto esporádico, propio de las ermitas, por parte de los feligreses de Robledillo, de cuya práctica parece provenir el topónimo Ermita del Villar con que el paraje ha venido denominándose hasta nuestros días.