Siguió apoyando la causa del rey Enrique IV hasta la muerte de este en 1474; a partir de ese momento cambió otra vez de bando defendiendo el partido de Isabel la Católica contra la princesa Juana y su marido Alfonso V de Portugal y en 1475 era prisionero de los portugueses, así que se les entregó Portillo y su fortaleza como trueque para su liberación.Más tarde Fernando el Católico le ayudó a recuperarlo todo, asegurándole además título y propiedad para él y sus descendientes.