I 1836 slutta Sarah seg til Anti-Slavery Society og her følte at hun at hun hadde funnet et sted hvor hun virkelig hørte hjemme, et sted der hennes tanker og ideer blei oppmuntra. Men da søstrene tok til å snakke også om viktigheten av kvinners rettigheter, møtte de mye kritikk. Det blei sett som svært ukvinnelig at de talte offentlig i forsamlinger med både menn og kvinner til stede, og særlig når de tok til orde mot menn de var uenige med. I enkelte kretser av slaveribekjempere blei de ansett som ekstreme, og de blei omtalt som «gammeljomfruer» som ikke kunne finne noen som ville gifte seg med dem. Også i kvekersamfunnet møtte søstrene motstand, noe som fikk Sarah til å erkjenne at enda om kirka og hun var enige i teorien, så mangla det en del i praksisen.