1861 માં તેના કાકા અને વાલીએ ઓફિસ છોડી દીધી હતી, પછી સાત રાજ્યોએ અગાઉથી અલગ પડી ગયા હતા, હેરિએટ પેન્સિલવેનિયામાં તેમની સાથે રહેવા ગયા હતા તેમણે 1866 માં હેનરી ઇલિયટ જોહન્સ્ટન સાથે લગ્ન કર્યાં.