他就像混在联邦内部的民主党铜头蛇（），甚至骂他叛徒，这也导致许多群体对菲尔莫尔的恶感旷日持久。菲尔莫尔在1864年总统大选中支持民主党候选人乔治·B·麦克莱伦，认为民主党立即停战、准许脱离联邦各州保留奴隶制回归的计划最有希望恢复联邦。1865年4月林肯遇刺后，菲尔莫尔家中房子因未像其他人那样以各种形式表示哀悼被人投掷黑墨水，显然他此时不在水牛城，回家后马上就为窗户换上黑色窗帘。虽然他还是水牛城的头面人物，林肯的丧葬列车经过该市时还获选为总统送行，但许多人仍对他的战时立场耿耿于怀。菲尔莫尔支持安德鲁·约翰