Cavendish regresó entonces a Brasil, donde perdió la mayor parte de su tripulación en una batalla contra los portugueses, en la villa de Vitória, en el estado de Espírito Santo.