Second Bank ble møtt med motstand fra forretningsbanker, da sentralbankens reguleringer hindret deres vekst. Videre ble også bønder skeptiske til sentralbanken, da lånemarkedet ble strammere. Dette førte til at Andrew Jackson la ned veto mot kongressvedtaket om å fornye den tyveårige konsesjonen til Second Bank, og banken opphørte å være sentralbank i 1836.