Ann Sewell kom fra en hengiven kvekerfamilie. Faren hennes var Isaac Phillip Sewell (1793–1879). Moren, Mary Wright Sewell (1798–1884), var en vellykket forfatter av barnebøker. Hun hadde ett søsken, en yngre bror som het Philip. Barna ble i stor grad utdannet hjemme av sin mor på grunn av mangel på penger til skolegang..