Rustin se mudó a Harlem en 1937 y comenzó a estudiar en el City College of New York.