Su segunda etapa se distinguió por acaecer la primera insurrección de esclavos negros (el 26 de diciembre de 1522), y por los continuos conflictos con la audiencia y los oficiales reales, culminando todo el proceso en el año 1523, en que el rey Carlos I de España y V del Sacro Imperio Romano Germánico le suspendió en sus funciones y le obligó a regresar a España, donde prosiguió los pleitos y siguió acompañando a la corte en sus continuos viajes.