Por problemas administrativos se retrasó su viaje al Perú, hasta que al fin, rodeado de un numeroso grupo de oficiales, deudos y protegidos, partió el 28 de enero de 1560 desde el puerto de Cádiz.