En fecha desconocida, el castillo volvió de nuevo a la Corona, pues en 1465, el rey Enrique IV dona la villa de El Carpio, con toda su tierra y fortaleza, a García Álvarez de Toledo, último conde y primer duque de Alba de Tormes, a cuya casa pertenecía todavía en 1752, según indica el Catastro del Marqués de la Ensenada.