Madisons portrett var på den amerikanske seddelen verdt 5000 dollar. Der var rundt tjue forskjellige varianter av 5000-dollarsedler som ble gitt ut mellom 1861 og 1846, og alle unntatt tre hadde James Madison.