Posteriormente los avatares de las luchas políticas entre el monarca y sus primos los infantes de Aragón, obligaron a Pedro de Zúñiga a ceder Ledesma al infante Enrique (su anterior propietario).