La localidad de Villares de Yeltes se localiza en terrenos precámbricos correspondientes a la facies Monterrubio, caracterizada por la presencia de pizarras y conglomerados. En este sentido es sintomático advertir la utilización de materiales alóctonos como el granito en la fábrica del castillo. Éste puede provenir de la cercana localidad de Villavieja de Yeltes, cuyo territorio está inscrito en el ámbito de los granitoides de grano medio-grueso.
El castillo del siglo XV se localiza en el propio casco urbano de la localidad. Sólo subsiste una torre de planta rectangular en mampostería, protegida por un recinto del que se mantienen algunos muros con troneras, a pesar de que por su disposición parece indicar que la torre se hallaba aislada y al exterior de él. Además, según las informaciones orales recabadas, en las proximidades de la iglesia parroquial, al realizarse una vivienda se localizaron algunos enterramientos posiblemente asociados a su necrópolis, aunque este extremo no ha podido ser corroborado, ni podemos precisar su tipología.
En general, la bibliografía no aporta excesivos datos acerca del castillo, a excepción de que es obra probable del siglo XV, dado el almenado piramidal que corona la torre. Únicamente se menciona en el catastro del Marqués de la Ensenada que en el siglo XVIII pertenecía al Conde de Canillas. Según García $\mathrm { M } ^ { \mathrm { a } }$ . I. (1991): La fábrica es de mampostería de cuarcita, cuarzo, pizarra y granito, concertada con mortero, pero que en las esquinas y huecos se refuerza con sillares de granito. En el interior se aprecian dos hileras de mechinales correspondientes a las dos plantas y por encima un posible paseo de ronda y almenado que se conserva en su totalidad.
La puerta de acceso se abre en la cara Noreste, es de sillería de granito, con dintel rebajado y muescas para los goznes de una puerta que debió ser de dos hojas. Los huecos para las ventanas de la planta baja son de fábrica de sillería de granito, abocinadas, pudiéndose considerar casi troneras. Se sitúan en los muros Nordeste y Noroeste.
Los restantes vanos, ya propiamente ventanas, en las plantas primera y segunda son de mampostería con granito al exterior. Todos los huecos presentan saetera al exterior. El interior de la torre se encuentra vaciado.
Según Pinilla, J. (1989), la torre se remata en almenado piramidal símbolo de jurisdicción.
Datos tomados de las fichas de inventario. Autor: Lerín Sanz, M. Bibliografía: PINILLA GONZALEZ, J. (1970): Aportación al estudio de los castillos de la provincia de Salamanca. Depositado en el Servicio Territorial de Cultura de Salamanca.; GARCIA BOIZA, A. (1937): Inventario de castillos, murallas puentes, monasterios, ermitas, lugares pintorescos o de recuerdo histórico así como de la riqueza nobiliaria, artística e histórica de las corporaciones o particulares que se pueda tener noticia en la provincia de Salamanca. Salamanca; PINILLA GONZALEZ, J. (1989): Castillos de Zamora y Salamanca. Ediciones Lancia, León.; GARCÍA MUÑOZ, M I. et
alii (1991): Documentación básica del Castillo de Villares de Yeltes (Salamanca).
Depositado en el Servicio Territorial de Cultura de Salamanca.