Mantuvo también desavenencias con su primo, el marqués del Cenete y con el Gran Capitán, cuando estuvo en su destierro de Loja.