En sus últimos años, Madison llegó a estar extremadamente preocupado con su legado histórico.