La torre del lado suroeste es anterior a la fundación del palacio y según se cuenta dio cobijo a San Francisco de Asís en su peregrinación a Santiago de Compostela en los inicios del siglo XIII.