Rustin pasó dos años y medio en la cárcel como objetor de conciencia durante la Segunda Guerra Mundial y luchó en California en la defensa de los bienes de los americanos de ascendencia japonesa, confinados en campos de internamiento.