Sus luchas con el Congreso se personificaron en la rivalidad personal que tenía con Clay, quien era del disgusto de Jackson y quien dirigía la oposición desde el recién creado Partido Whig.