ડૌગ્લાસના પ્રારંભિક બાળપણ દરમિયાન, તેઓ તેમના માતા દાદી, બેટી બેઈલી સાથે રહ્યા હતા પરંતુ વાવેતરના માલિકના ઘરમાં રહેવા માટે મોકલવામાં આવ્યા હતા.