Mary Ashton Rice va néixer a Boston, Massachusetts el 19 de desembre de 1821, filla de Timothy Rice i Zebiah Vose (de soltera, Ashton) Rice. Era descendent directa d'Edmund Rice, un antic immigrant purità en la colònia de la badia de Massachusetts. Livermore procedia d'una família militar: el seu pare va lluitar en la Guerra de 1812 i la seva mare era descendent del capità Nathaniel Ashton de Londres. Destacava la seva gran intel·ligència, graduant-se de les escoles públiques de Boston als 14 anys. Degut a la l'absència d'opcions públiques d'educació secundària o universitat per a dones en aquesta època, va assistir a l'escola en un seminari exclusivament femení a Charlestown, Massachusetts, i va llegir la Bíblia completa cada any fins a l'edat de 23 anys.