Su familia era de las más nobles de Andalucía: llevaba el apellido de Afán de Ribera, siendo por la línea materna de la casta de los Silíceos, por lo cual se enorgullecía de ser pariente del arzobispo de este nombre.