Madisons tid i Kongressen ble preget av hans ønske om å begrense makten til den føderale styresmakten. En hendelse som demonstrerer dette ønsket, er debatten om den første banken av De forente stater, hvor Madison og andre tilhengere av Thomas Jefferson tilbakeviste at den føderale styresmakten hadde makt til å danne sin egen bank.