Fue el segundo hijo de un total de nueve del matrimonio entre Natahniel Fillmore y Phoebe Millard, y el mayor de los varones.Se casó el 26 de febrero de 1826 con Abigail Powers, a quien conoció mientras estudiaba en la Academia New Hope y ella era su profesora.