À la fin de sa vie, il conte son histoire et ses origines dans les deux volumes de "Une famille de républicains fouriéristes" ; les documents personnels et archives historiques qui ont servi pour la rédaction de cet ouvrage sont d'abord proposés à Charles Péguy. Ils contiennent, entre autres, des chansons de son père Félix Milliet, des lettres de son frère Fernand, engagé volontaire dans l’armée de Garibaldi pendant la guerre d'Italie, de sa sœur Alix Payen, infirmière durant la Commune de Paris, ainsi que des lettres de Victor Hugo et de Béranger. Charles Péguy en écrit la préface, parue en dans les "Cahiers de la Quinzaine" sous le titre "Notre Jeunesse". Les onze chapitres sont quelques années après, en 1915, regroupés et complétés afin d'être publiés en deux volumes.