Hijo de Rufus Yerby, afroamericano y Wilhemenia Yerby, escocesa, la mezcla de razas lo llevó a tener problemas con el Ku Klux Klan desde temprana edad.