Alertado sobre una presunta conspiración de Vaca de Castro en su contra, el virrey lo tomó prisionero y lo confinó en la Casa Real, imponiéndole una fianza de 100.000 castellanos; pero temeroso de la reacción de sus partidarios, dispuso que se le trasladase a un barquichuelo anclado en la rada del Callao; y allí se encontraba cuando la rebelión de Gonzalo Pizarro se extendió a Lima.