国内は1857年恐慌と血を流すカンザスのために割れていたが、同年のマサチューセッツ州の選挙は別の要因が引っかかっていた。ガードナーは共和党（および元ノウ・ナッシング）のナサニエル・プレンティス・バンクスと民主党のエラスムス・ビーチの挑戦を受けた。ガードナーは元ホイッグ党の工業資本家の道具以上のものになっていないと非難され、バンクスは元ノウ・ナッシングの支持者の多くを自陣に取り込むのがうまく、特にジョン・Z・グッドリッチはバンクスの強力な反奴隷制度の姿勢を保証した。ガードナーは地方の問題で争おうとしたが、奴隷制度が中心命題となり、バンクスが余裕をもって当選した。