Era el segundo de cinco hermanos; su padre, llamado Antonio Pereira, poseía una pequeña tienda de ""xerguería"", es decir, de jergas o tejidos y paños de baja calidad en dicha villa; su madre, de nombre Margarita de Medina, murió en 1515 y sus hijos pasaron al cuidado de su tía Ana de Ávila.