La victoire surprise de l'outsider démocrate James K. Polk lors de l'élection présidentielle de 1844 ravit Pierce qui s'était lié d'amitié avec l'ancien président de la Chambre des représentants durant son passage au Congrès et avait fait campagne pour lui dans le New Hampshire. En retour, le nouveau président le nomma juge à la cour de district du New Hampshire. Le principal objectif de l'administration Polk était de réaliser l'annexion du Texas qui avait fait sécession du Mexique en 1836. Cette question provoqua une rupture entre Pierce et son ancien allié Hale qui siégeait à présent à la Chambre des représentants. Ce dernier écrivit une lettre à plus de du New Hampshire pour exposer son opposition à l'adhésion d'un nouvel État esclavagiste. En réaction, Pierce organisa une convention du Parti démocrate du New Hampshire pour retirer son soutien à un éventuel second mandat de Hale. Cela provoqua un scandale politique et Pierce rompit ses liens avec son vieil ami et avec son partenaire Fowler qui soutenait ce dernier. Hale refusa de retirer sa candidature et comme aucun candidat ne parvenait à obtenir une majorité, la situation était bloquée et le siège vacant. Les whigs et les démocrates partisans de Hale parvinrent finalement à un accord et prirent le contrôle de la législature ; le whig fut élu gouverneur et le retour de Hale au Sénat ulcéra Pierce.