Cuando Anthony murió, Douglass fue entregado a la señora Lucretia, esposa del capitán Thomas Auld; luego, cuando tenía ya unos doce años, pasó al servicio del hermano de este, Hugh, que vivía en Baltimore, por lo que se trasladó allí.