作为宪法作者和卫士，他无可披靡。 ... 作为总统，麦迪逊最佳业绩是捍卫宪法。... 无人能为国家面面俱到 — 华盛顿也不行。麦迪逊比大多数人做得多，在一些地方做的比别人好。这就足矣。”家人在蒙彼利埃的种植园成为历史名胜。詹姆斯·麦迪逊纪念堂成为国会图书馆一栋建筑。1986年，国会为纪念宪法两百周年建立詹姆斯·麦迪逊纪念基金。一些地方也由麦迪逊命名，包括阿拉巴马州麦迪逊县和威斯康辛麦迪逊县。其它地方有麦迪逊广场、詹姆斯麦迪逊大学和海军詹姆斯·麦迪逊号潜艇。