De 1802 à 1804 il parcourt la France donnant missions villageoises et retraites spirituelles. En 1804, Clorivière est arrêté, soupçonné d’avoir participé au complot (dit « de la machine infernale ») contre le premier consul Napoléon (dans lequel son neveu semble avoir trempé). Il passe plusieurs années à la prison du Temple. Écrivain dans l’âme il y passe son temps à achever des livres de commentaires bibliques. En 1809, il recouvre la liberté.