Suárez' død førte til at Audienciaen brøt med visekongen. I den tro at de kunne stole på hjelp fra Gonzalo Pizarro, Francisco Pizarros bror, bestemte de seg for å fjerne Núñez fra stillingen og repatriere ham til Spania. På dette tidspunktet hadde Pizarro allerede etablert en liten hær til bruk mot visekongen. 18. september 1544 avsatte de Núñez og beordret han fengslet. Visekongen ble sendt som fange til øya San Lorenzo, i oidor Álvarez' varetekt. Sammen forlot de San Lorenzo og satte kurs for Panama den 24. september. Rett etter at de la fra kai fortalte Álvarez visekongen at han var en fri mann før han overlot kommandoen av skipet til ham.