Al poco tiempo, fue destituido y enviado a Lima, Perú para finalmente establecerse en Panamá y fallecer en esa ciudad el 28 de marzo de 1569.