હેરિએટની માતા રોક્સાના મૃત્યુ પામી જ્યારે હેરિયેટ ચાર વર્ષનો હતો અને સૌથી જૂની બહેન કેથરીનએ અન્ય બાળકોની સંભાળ લીધી.