唿吁对南方宽大处理。林肯政府认为这是攻击联邦的言论，在大选年不能容忍，批判菲尔莫尔的报纸文章蜂拥而至，谴责他就像混在联邦内部的民主党铜头蛇（），甚至骂他叛徒，这也导致许多群体对菲尔莫尔的恶感旷日持久。菲尔莫尔在1864年总统大选中支持民主党候选人乔治·B·麦克莱伦，认为民主党立即停战、准许脱离联邦各州保留奴隶制回归的计划最有希望恢复联邦。1865年4月林肯遇刺后，菲尔莫尔家中房子因未像其他人那样以各种形式表示哀悼被人投掷黑墨水，显然他此时不在水牛城，回家后马上就为窗户换上黑色窗帘。虽然他还是水牛城的头面