。奴隶主开始将奴隶制称为“特色制度”来与其它强迫劳动相区别。他们辩称这种制度较之北方自由劳工来说并不残忍。在十九世纪早期，大量的社会组织出现，将黑人送出美国以便他们重获自由；有的在非洲开辟殖民地，其他人则提倡向外移民。在十九世纪二十到三十年代，美国殖民协会成为将非裔美国人“送回”非洲的主要组织。美国殖民协会主要由贵格会和奴隶主组成，两者对奴隶制持不同意见，但是因在“遣返”问题上达成一致而合作。大多数黑人不愿意被遣返；而是想要在美国获得全部的权利，因为他们在当地出生，已经有多个世代了。1822年，美