Según escribe Edward Cooper en Castillos Señoriales de Castilla “el castillo de Cespedosa tal vez no se haya constituido nunca más que en una única torre, ahora en ruina, que se levanta sobre una terreno elevado que domina el valle del Tormes”.
“Es probable que el escudo de armas de Cespedosa y las evidentes alteraciones y adicciones al el Puente de Congosto sean consecuencia de los acontecimientos que se relatan en el apéndice documental número 152. Las armas de Puente de Congosto, pueden referirse al hermano de Juan Dávila o a sus padres. La información biográfica sobre los últimos es sospechosa tanto como contradictoria. El 17 de noviembre de 1456 la viuda de Gil González Dávila, Aldonza de Guzmán, cambió Cespedosa y Puente de Congosto por otras propiedades con el conde de Alba de Tormes. Esta transacción fue probablemente revocada o anulada más tarde”.
Cooper nos describe el castillo diciendo que “existe una serie de semejanzas con el castillo de Puente de Congosto sobre todo en el material de construcción utilizado”.
“Los ángulos están formados con mochetas de patrón similar, ya las almenas y estructura de las troneras son idénticas. En ambos casos los antepechos de las ventanas están perforados con troneras, siendo el ejemplo de Cespedosa el de un único orificio circular, perforado con admirable destreza en el centro de una piedra, mientras que las de Puente de Congosto son de tipo más elaborado. Finalmente puede notarse que los matacanes en el parapeto de su estructura central son idénticas a los de Cespedosa”.
Documentación básica de monumentos. Junta de Castilla y León. Informe elaborado por Sanz Ceballos, C; Millán García M, Millán García M.L; Berroya Mendizábal J.M. Bibliografía: ALVAREZ VILAR, J. Heráldica salmantina. Univesidad de Salamanca. 1966; CIRLOT, E. Salamanca y su provincia. 1956; GARCÍA BOIZA, A. Inventario de los Castillos, Murallas, Puentes, Monasterios de los que se puede tener noticia en la provincia de Salamanca. Salamanca 1937; CAMON AZNAR, J. Guía de Salamanca. Madrid 1953; GOMEZ MORENO, M. Catálogo monumental de España. Provincia de Salamanca. Valencia 1967; MORAN BARDON, C. Reseña histórico artística de la provincia de Salamanca. Salamanca 1946; QUADRADO J.M Salamanca Ávila y Segovia. Ed el Albir Barcelona 1979; COOPER F. Castillos señoriales de Castillas s. XV y XVI. Fundación universitaria 1981.
Se accede desde el pueblo, a pie, recorriendo $4 0 0 \mathrm { m }$ . en dirección Este.
Según los diversos autores pudo ser erigido en el siglo XV por los Dávila a quienes fue entregado el señorío de la villa junto con el Puente del Congosto por Enrique III.