Fillmore ble født i en tømmerstue som sønn av Nathaniel Fillmore og Phoebe Millard Fillmore. Hans familie var fattig, og Fillmore var det åttende og nest siste barnet.