El conde José Francisco Sarmiento reedificó el convento de franciscanos en dicho palacio, a la sombra del monte A Picaraña — en pleno Valle del río Tea — dando como resultado el actual Convento de San Diego de Canedo.