就职典礼上感染风寒，后来恶化成肺炎，于1853年3月30日在首都撒手人寰。伤心的前总统返回水牛城将妻子下葬，家庭悲剧也令他不能通过社交途径寻求工作职位，只能靠投资收入维持生计。1854年7月26日，菲尔莫尔再度遭遇失去亲人的打击，年仅22岁的女儿玛丽死于霍乱。道格拉斯参议员提出的《堪萨斯-内布拉斯加法案》在全美引发热议，菲尔莫尔也在此时回到公众视野。法案将为1820年《密苏里妥协》中北方州的奴隶制禁令划上句点，同时开放路易斯安那购地的北方地区，准许公民前往定居，对奴隶制也没有限制。依然拥有大批支持的菲尔