Hennes far var kveker, og hadde satt seg opp mot kvekersamfunnets konvensjoner og forventninger da han giftet seg med en kvinne som ikke var kveker. Susan Brownell Anthony vokste derfor opp i en ukonvensjonell familie med foreldre som hadde svært ulik bakgrunn. Familien var liberal; de var motstandere av slaveri og de var for kvinners rettigheter. Datteren Susan fikk skolegang på linje med sine brødre.