Egli ne uscì convertito (aveva trascorso i suoi mesi in prigione traducendo i salmi) e rivolto a ideali molto più conservatori. Si mise a frequentare ostentatamente le chiese, e nei corsi che teneva al liceo, non smise di attaccare violentemente gli Enciclopedisti. Queste opinioni gli costarono la proscrizione dopo il colpo di Stato del 18 fruttidoro (1797). La Harpe ritornò in Francia dopo il 18 brumaio, fu proscritto di nuovo nel 1802 a causa delle sue relazioni con l'ambiente monarchico. Si risposò, ma la moglie chiese il divorzio dopo solo qualche settimana. Morì l'11 febbraio 1803.