La fecha de nacimiento y familia son desconocidos, pero algunos sucesos en la vida de Cabrillo hacen pensar a Kelsey que Cabrillo nació en una familia humilde «alrededor de 1498 o 1500», y que sus padres trabajaban en la casa de un importante comerciante sevillano.