Dufresse ble presteviet den 17. september 1774 og sendt som misjonær til Øst-Asia i 1776, der han ankom i Macao. Så snart han ankom den kinesiske provinsen Sichuan konsentrerte han seg i ni år om å lære det kinesiske språk samtidig som han besøkte isolerte katolikker i den nordlige del av provinsen. Han ble arrestert og deportert i 1785 til Filippinene, men vendte tilbake derfra i all hemmelighet fire år etter og gjenopptok sitt arbeide blant katolikkene, denne gang i Guizhou og det vestlige Sichuan.