Kelley hadde også meningsmotstandere i bevegelsen, og etter hvert blei det splittelse mellom de radikale og mer konservative medlemmer av American Anti-Slavery Society. De siste brøyt i 1840 ut og danna ei alternativ forening. En utløsende årsak var et forslag om at Kelley (ei kvinne!) skulle velges inn i selskapets økonomiutvalg.