Kampen for kvinners rettigheter blei med tida sentral for Kelley og andre «ultras». Allerede i 1843 – fem år før møtet i Seneca Falls, som regnes som starten på kvinnebevegelsen – talte hun på stemmerettsmøter. Hun bidrog også i 1850 med å organisere det første nasjonale kvinnerettsmøtet i USA i Worcester, som da var hennes hjemby.