Under oppveksten ble Tubman både slått og pisket på plantasjene hun ble satt til å arbeide på. Som ganske liten fikk hun en alvorlig hodeskade etter at en rasende oppsynsmann traff henne med en tung metallvekt som han hadde kastet etter en annen slave. Hun fikk store senskader, som blant annet forårsaket anfall, epilepsi, kramper, hodepine, kraftige visjoner og drømmer gjennom resten av livet hennes.