盛顿也不行。麦迪逊比大多数人做得多，在一些地方做的比别人好。这就足矣。”家人在蒙彼利埃的种植园成为历史名胜。詹姆斯·麦迪逊纪念堂成为国会图书馆一栋建筑。1986年，国会为纪念宪法两百周年建立詹姆斯·麦迪逊纪念基金。一些地方也由麦迪逊命名，包括阿拉巴马州麦迪逊县和威斯康辛麦迪逊县。其它地方有麦迪逊广场、詹姆斯麦迪逊大学和海军詹姆斯·麦迪逊号潜艇。