Jane Pierce mourut de la tuberculose à Andover en et elle fut inhumée dans le cimetière de Concord ; le chagrin de Pierce fut aggravé par le décès de son ami Nathaniel Hawthorne en . Certains démocrates cherchèrent à nouveau à présenter son nom pour la convention de 1864 mais il refusa. Lincoln remporta facilement l'élection mais fut assassiné en . Peu après, une foule se rassembla autour de la résidence de Pierce à Concord pour savoir pourquoi il n'avait pas accroché de drapeau pour montrer sa peine. L'ancien président s'énerva et déclara que s'il était peiné de la mort de Lincoln, il ne voyait pas le besoin d'en faire publiquement démonstration. Il ajouta que son parcours militaire et politique était une preuve suffisante de son patriotisme et cela convainquit la foule de se disperser.