历史学家发现大学毕业后麦迪逊没有宗教倾向， 但一些学者认为他倾向自然神论。另一些人认为麦迪逊接受基督教义，形成自己的世界观。无论他的宗教信仰如何，麦迪逊支持宗教自由，在1770-1780年间唿吁弗吉尼亚对圣公会施行政教分离。 他也反对在国会和军队任命随行神职人员，认为这样导致宗教排斥和政治纷争。
奴隶制.麦迪逊在的种植园用奴隶做劳工，他认为这是南方经济必要成分，但奴隶人口不断扩大，他担心这样的基础会造成社会不稳定。在费城会议后，麦迪逊支持立刻停止进口奴隶，但国会最终拒绝在1808年