Pierce var episkopal og sterkt påvirket av sin kone Jane Means Appleton (1806-63), en prestedatter fra Hampton i New Hampshire. Faren hennes hadde vært rektor for Bowdoin College der Pierce studerte. De var imot Janes ekteskap med Pierce, og Jane selv gjorde hva hun kunne for å trekke sin mann bort fra politikken. Paret giftet seg i 1834 og fikk tre sønner. Da én sønn døde som nyfødt, og Jane mislikte Washington D.C., besluttet Pierce å trekke seg fra sin stilling som senator i 1842. Året etter døde Frank Robert, sønn nr 2, av tyfus. Da Pierce ble nominert til presidentkandidat, besvimte hans kone av nyheten. På en reise 6. januar 1853 sporet toget deres av, og sønnen Benny ble drept foran øynene på sine foreldre. Da ulykken skjedde, var familien på vei til Concord for et siste besøk før de flyttet til Det hvite hus. Vognen de satt i, ble slynget ned en elvebredd i Massachusetts. Benny var drept på stedet. Jane kom aldri over sønnens dødsfall, og pådro seg i tillegg tuberkulose som svekket henne slik at hun måtte bæres da de flyttet ut av Det hvite hus.