El 10 de febrero de 1858, Fillmore contrajo matrimonio con Caroline McIntosh, una viuda rica y compró una casa grande en Buffalo, Nueva York, donde residirían.