迪逊在的种植园用奴隶做劳工，他认为这是南方经济必要成分，但奴隶人口不断扩大，他担心这样的基础会造成社会不稳定。在费城会议后，麦迪逊支持立刻停止进口奴隶，但国会最终拒绝在1808年前讨论此事。他也建议美国参议院人数要对应各州自由和奴役人口数量，最终导致五分之三妥协通过。麦迪逊认为原奴隶不大会成功融入南方社会，并在1780年代晚期想到在非洲建立殖民地。在1830年代，麦迪逊担任美国殖民协会一任主席，协会为原奴隶在利比里亚建立安置地
遗产.历史学家加里·威尔斯写道：“麦迪逊并非因始终如一