Embora a nação tenha sido devastada pela Crise de 1857 e pelo Bleeding Kansas, as eleições em Massachusetts naquele ano dependiam de outros fatores. Gardner foi criticado pelos Republicanos (e o ex-Sabe Nada) Nathaniel Prentice Banks e pelo Democrata Erasmus Beach. Gardner foi acusado de ter tornado-se pouco mais do que um instrumento dos interesses industriais dos ex-Whig, e Banks era perito em trazer muitos ex-Sabe Nadas para seu grupo, principalmente John Z. Goodrich, que afirmava as fortes credenciais antiescravista de Banks. Gardner procurou focar as disputas em questões locais, mas a escravidão predominou como questão e Banks obteve uma vitória confortável.