Posteriormente, Alba de Tormes pasó a manos de Alfonso de la Cerda, que era hijo del infante Fernando de la Cerda y nieto de Alfonso X, y estuvo en su poder hasta el año 1312, en que el rey Fernando IV "el Emplazado" la incorporó al realengo junto con la villa de Béjar.