Пасля распаду партыі вігаў распаўся ў 1854-56 гадах, Філмар адмовіўся далучыцца да Рэспубліканскай партыі. Хоць кансерватыўныя вігі далучыліся да Амерыканскай партыі, палітычныя мэты якой былі антыімігрантскія і антыкаталіцкія погляды, аднак Філмар не далучыўся да Амерыканскай партыі. Амерыканская партыя вылучыла Філмара кандыдатам на пасаду прэзідэнта ў 1856 годзе, але ён заняў трэцяе месца на выбарах, абыйшоўшы кандыдата Рэспубліканскай партыі. Падчас амерыканскай грамадзянскай вайны, Філмар асудзіў раскол і падтрымаў заявы, што Саюз павінен быць захаваны сілай, калі гэта неабходна; але вельмі крытычна ставіўся да ваеннай палітыкі прэзідэнта Аўраама Лінкальна. Пасля вайны ён падтрымліваў рэканструкцыйную палітыку прэзідэнта Эндру Джонсана. Хоць многія гісторыкі і ўхваляюць стрыманую знешнюю палітыку Філмара, аднак ён падвяргаецца крытыцы за пагаршэнне напружанасці у адносінах паміж абаліцыяністамі і рабаўладальнікамі; і ў выніку ён знаходзіцца ў ніжняй дзясятцы гістарычнага рэйтынгу прэзідэнтаў Злучаных Штатаў, складзенага на падставе розных навуковых абследаванняў.