Harriet heredó la condición de esclava desde su nacimiento, pero tuvo la suerte de ser criada por su madre Delilah hasta la muerte de esta en 1819.