În 1834, cei care nu erau de acord cu expansiunea puterii executive a lui Jackson s-au unificat și au format Partidul Whig, numindu-l pe Jackson „Regele Andrew I”. Partidul lor era botezat după care se opusese în secolul al XVII-lea monarhiei britanice. A apărut o mișcare în rândul Whig-ilor din Senat pentru adoptarea unei moțiuni de cenzură contra lui Jackson. Aceasta a fost o manevră politică condusă de Clay, și care a servit doar să perpetueze animozitatea între el și Jackson. Jackson l-a făcut pe Clay „nesocotit și plin de furie ca un bețiv într-un bordel.” La 28 martie, Senatul a votat în favoarea moțiunii contra lui Jackson cu 26–20, și a respins și numirea lui Taney în funcția de secretar al Trezoreriei. Camera însă, condusă de președintele James K. Polk, a declarat la 4 aprilie că Banca „nu ar mai trebui reautorizată” și că depozitele „nu ar mai trebui restaurate”. Ea a votat și în favoarea continuării folosirii băncilor de casă pentru depozite și a votat cu o majoritate și mai covârșitoare să ancheteze dacă Banca nu cumva produsese în mod artificial criza economică. Jackson a spus despre adoptarea acestor hotărâri că reprezintă un „triumf glorios”. În esență, ele au pecetluit soarta Băncii. Democrații au suferit apoi un pas înapoi temporar. Polk a candidat pentru postul de speaker al Camerei, în locul lui . După ce sudiștii au descoperit legăturile lui cu Van Buren, a fost învins de John Bell, tot din Tennessee, un democrat trecut în tabăra Whig, care se opunea politicii lui Jackson de retragere a depozitelor.