Gutierre cedió este señorío a su sobrino Fernando Álvarez de Toledo y Sarmiento, a quien el propio rey Juan II concedió el título de conde de Alba de Tormes en 1438.