Fue calumniado por sus enemigos en la corte con acusaciones de robo y corrupción y fue llamado a Portugal y encarcelado por orden del nuevo rey, Juan III, por la acusación de contrabando de oro, aunque actualmente no se conocen todavía las verdaderas razones de la decisión del monarca.