Fra 1819 bodde Sarah Grimké det meste av tida i Philadelphia. Her blei hun kjent med kvekerismen, og etter hvert forlot hun den episkopale kirka hun var oppdratt i og forsøkte å bli kvekerprest. Men også her møtte hun motstand fra menighetens menn. I 1827 fikk hun besøk av den tretten år yngre søstra Angelina, som også gikk over til kvekerbevegelsen. Søstrene reiste mye rundt i New England og holdt møter i private hjem eller små kirker. Her talte de om avskaffelse av slaveriet og om kvinners rettigheter.