Pour soutenir les chrétiens fidèles à l’Église Lenfant reste à Paris, mais il vit de plus en plus dans la clandestinité, changeant fréquemment de logement et de déguisement. Il est malgré tout arrêté et incarcéré à la prison de l'Abbaye, le . Il s’y trouve en compagnie d’un grand nombre de prêtres réfractaires. Ils devaient être déportés en Guyane (via les pontons de Rochefort). Un prêtre assermenté et député, Simon-Edme Monnel, qui a des contacts avec la Commune de Paris tente de le faire échapper, mais il échoue. Lenfant, avec les autres, est finalement victime de la furie révolutionnaire de septembre 1792.