Lafayette se mantuvo como miembro de la restaurada Cámara de Diputados hasta 1823, cuando las nuevas reglas plurales del voto causaron su derrota en la reelección.