Saken tilspisset seg da visepresident John C. Calhoun, i South Carolinas utmelding og protest i 1828 støttet kravet til sin hjemstat, South Carolina, om at den hadde rett til å «nullifisere», erklære ulovlig, tolloven av 1828, og mer generelt om de enkelte delstatenes rett til å nullifisere lover som gikk mot dens interesser. Selv om Jackson sympatiserte med sørstatene i tolldebatten, var han også sterk tilhenger av en sterk union med betydelig makt lagt til de sentrale styresmaktene. Jackson forsøkte å dempe Calhoun i saken, men det førte til en bitter rivalisering mellom de to mennene. Særlig berømt er hendelsen den 13. april 1830 ved middagen på da de skulle skåle etter middag. Jackson reiste seg først, stirret på Calhoun og skrek med høy stemme: «Vår føderale union: DEN MÅ BEHOLDES!» En tydelig utfordring til Calhoun. Calhoun stirret på Jackson og skrek med skjelvende stemme: «Unionen: NEST ETTER FRIHETEN, MEST KJÆR!» Året etter brøt Calhoun og Jackson med hverandre. Dette var første gang noe slikt hadde skjedd i USA. Calhoun trakk seg i 1832 for å tjene som senator for South Carolina.