Pierce zog sich mit dem Ende seiner Präsidentschaft ins Privatleben zurück. Nach dem Verlust der Präsidentschaftsnominierung für eine zweite Amtszeit witzelte Pierce, wie erzählt wird, „es gibt nichts mehr zu tun, als zu trinken“ – was er offensichtlich häufiger tat. So soll er eine ältere Fußgängerin mit seiner Kutsche im betrunkenen Zustand umgefahren haben. Der Fall wurde aus Mangel an Beweisen fallen gelassen. Speziell nach dem Tode seiner Frau 1863 nahmen seine Alkoholprobleme zu. Während des Bürgerkrieges von 1861 bis 1865 lehnte er die Politik von Präsident Abraham Lincoln entschieden ab, weshalb er in den nördlichen Landesteilen sogar als Verräter gebrandmarkt wurde. Nach dem tödlichen Attentat auf Lincoln 1865 wurde Pierces Haus von einem aufgebrachten Mob, Anhänger des ermordeten Präsidenten, verschmutzt. Auch sein Amtsvorgänger Millard Fillmore sah sich aufgrund seiner Kritik an Präsident Lincoln mit Angriffen auf sein Haus konfrontiert.