Hans mor, Charity flyktet to ganger fra Maryland. Første gang flyktet hun med fire barn som alle ble tatt til fange og ført tilbake til slaveriet. Et par måneder senere rømte Charity igjen, og tok bare sine to yngste døtre med seg og traff sin mann i New Jersey.