Jane morreu de tuberculose em dezembro de 1863, sendo enterrada no Old North Cemetery em Concord. Pierce ficou ainda mais abalado pela morte de Hawthorne em maio do ano seguinte; os dois estavam juntos quando o autor morreu repentinamente. De forma controversa, Hawthorne tinha dedicado seu último livro ao ex-presidente. Alguns democratas novamente tentaram colocar o nome de Pierce para consideração na eleição de 1864, porém ele manteve distância e Lincoln facilmente foi reeleito. Uma multidão reuniu-se do lado de fora da casa de Pierce em Concord quando espalharam-se as notícias do assassinato de Lincoln em abril de 1865, com o povo exigindo saber o motivo do ex-presidente não ter hasteado uma bandeira como gesto de luto. Pierce ficou furioso, expressando tristeza pela morte do presidente mas negando a necessidade de qualquer gesto público. Ele afirmou que seu histórico de serviço militar e público provava seu patriotismo, algo que foi suficiente para aquietar a multidão.