En 1825, Margaret Horniblow falleció y Harriet fue enviada con el sobrino de Horniblow, cuyo padre, el doctor James Norcom, se convirtió en su nuevo amo.