Den 8. mars 1788 ble Borderies presteviet. Under den franske revolusjon dro han i eksil til London, og returnerte til Frankrike i 1795. Der gjeninnførte han den katolske rite ved Sainte-Chapelle i Paris. I 1802 ble han sokneprest ved kirken , i 1819 generalvikar for bispedømmet Paris og erkediakon av Saint-Denis.