长大，六岁与外祖母分开，被送往塔尔博特县的瓦伊种植园（Wye House），阿伦·安东尼在此担任监工。安东尼的健康状况下滑后，他被安东尼的女儿、托马斯·奥尔德（Thomas Auld）的妻子庐克雷西亚·奥尔德（Lucretia Auld）派给其夫在巴尔的摩的兄弟休·奥尔德（Hugh Auld）。道格拉斯十二岁的时候，休的妻子索菲亚教他认识字母，后来道格拉斯回忆说索菲亚是一个好心肠的人，“把他当作人看”。但休最终阻止了索菲亚的行为，因为他相信这会促使道格拉斯滋生反叛心理。最终索菲亚被休说服，相信黑奴确实不