તેણીનું જન્મનું નામ આર્મિન્તા હતું, અને તેણીને નાની તરીકે ઓળખાતી હતી ત્યાં સુધી તેણીનું નામ હેરિએટમાં બદલ્યું - તેની માતા પછી - તેના પ્રારંભિક યુવા વર્ષોમાં તેના માતાપિતા, બેન્જામિન રોસ અને હેરિએટ ગ્રીન, અગિયાર બાળકો ધરાવતા અશાન્તી આફ્રિકનો ગુલામ હતા, અને ઘણા જૂના બાળકોને ડીપ સાઉથમાં વેચી દીધા હતા.