I 1832 hørte Kelley et foredrag av den kjente radikale slaverimotstanderen William Lloyd Garrison. Dette gjorde sterkt inntrykk på henne, men det tok noen år før hun sjøl trådte inn i aktivistenes rekker. I Lynn blei hun med i lokalavdelinga av ei antislaveriforening for kvinner, Female Anti-Slavery Society. Under en kampanje i 1837 for å samle underskrifter med oppfordring til den føderale regjeringa om å avvikle slaveriet i hovedstadsområdet lyktes Kelley og et annet medlem å få støtte fra nærmere halvparten av kvinnene i byen. I alt fikk foreninga inn mer enn 6000 underskrifter.