Fils de Joseph Louis Fillon (1787-1858), percepteur des contributions directes, ancien officier de l'Empire, et de Joséphine Joussemet, il est issu d'une famille de la petite bourgeoisie de Fontenay-le-Comte. Durant la Révolution française, elle a compté parmi les Bleus de Vendée.