Durante los episodios del Sitio y la Comuna de París, temporalmente inoperante la censura literaria, publicó tres libros que causaron una enorme polémica en su tiempo y consolidaron su fama de republicano radical y anticlericalista (visible también en la mayor parte de su obra poética): "Catéchisme populaire républicain"(por el que a punto estuvo de ser procesado)", Histoire populaire de la Révolution française", e "Histoire populaire du christianisme." En este último, siguiendo un estricto orden cronológico, narra la historia del cristianismo hasta el año 1700 en un estilo aséptico e imparcial, rematando su obra con este epílogo: "El cristianismo, entendiendo como tal el conjunto de las comunidades cristianas, desde el catolicismo romano hasta las más ínfimas sectas protestantes o cismáticas, no ha ejercido nunca más que una influencia deplorable en las mentes y las costumbres.