La abuela de Rustin, Julia, era cuáquera, también era miembro de la asociación National Association for the Advancement of Colored People (NAACP) y fundadora de una guardía para niños negros en Chester.