迪逊支持立刻停止进口奴隶，但国会最终拒绝在1808年前讨论此事。他也建议美国参议院人数要对应各州自由和奴役人口数量，最终导致五分之三妥协通过。麦迪逊认为原奴隶不大会成功融入南方社会，并在1780年代晚期想到在非洲建立殖民地。在1830年代，麦迪逊担任美国殖民协会一任主席，协会为原奴隶在利比里亚建立安置地
遗产.历史学家加里·威尔斯写道：“麦迪逊并非因始终如一或担任总统而赢得我们的尊敬。他有别的美德。... 作为宪法作者和卫士，他无可披靡。 ... 作为总统，麦迪逊最佳业绩是捍卫宪法