Den 10. februar 1858 giftet han seg med enken Caroline Fillmore, idet hans første hustru, Abigail Powers Fillmore, hadde dødd 30. mars 1853.