Mary era también viuda de Benjamin Foster, con el cual tuvo dos hijos: William Vincent Foster y Anna Maria Wells, quien llegaría también a ser poetisa y mantendría una estrecha relación con Frances.