Abigail Kelley vokste opp i en barnerik kvekerfamilie. Hun fikk ei god utdanning etter datidas forhold og familiens økonomi, delvis finansiert ved at hun underviste sjøl.