Al SE del casco urbano de El Payo a poco más de 200 m. al que se accede por un camino que conduce directamente al cementerio, se localizan los restos del desaparecido castillo. Se trata de grandes trozos de lienzos de calicanto trabados con argamasa y que parecen desplazados de su posición original. El de mayores dimensiones alcanza los 60 m de longitud, 3 de anchura y más de uno de altura. Nada podemos apuntar acerca de su posición original en el viejo castillo que allí se levantó. Parece que el castillo, ya se encontraba en pie en el siglo XVII, momento de enfrentamiento entre España y Portugal en la Guerra de Sucesión, de modo que este castillo formaría parte de una cadena de emplazamientos defensivos que aseguraban la defensa de los territorios españoles frente al país vecino. Pero en el s. XVIII ya estaba en ruina bajo la posesión el Marqués de Espeja El castillo fue derribado hacia 1983, y pocos restos nos quedan., alguna fotografía como la de 1946 de Cesar Morán que fotografió los restos de un torreón de planta cuadrangular donde aún se observaba la mampostería de su fábrica, los sillares en ángulo, el perfil de alguna ventana. Aparte de los elementos propiamente constructivos, no se documentan en la zona otro tipo de materiales arqueológicos por más que Gómez Nieto habla en la ficha de inventario de la campaña de 1992 de "cerámica a mano", tejas curvas y ladrillos. Datos tomados de las fichas de inventario. Autor: Cruz Sánchez, Pedro Javier Bibliografía: COBOS GUERRA, F. y DE CASTRO FERNÁNDEZ, J. J. (1998): Castillos y Fortalezas de Castilla y León: 282. León.; MARTÍN VICENTE, J. (1990): Historia de El Payo. Corazón de El Rebollar: 47-62. Salamanca; MORÁN BARDÓN, C. (1982): Reseña Histórico Artística de la Provincia de Salamanca. (Edición facsímil de la original de 1946): 26. Salamanca.