Su esposa, partidaria de las ideas libertarias de la comuna de París, se negó a casarse por la Iglesia ni a bautizar a sus hijos, y por ello Péguy decía de sí mismo que era un "cristiano sin Iglesia".