Durante el resto del siglo XIX, el castillo vive una época de abandono y, dado el nulo uso como fortaleza militar que tenía, el gobierno decide cedérselo al ayuntamiento de la Puebla de Sanabria.