Zijn carrière verliep erg grillig in een periode in Frankrijk dat wisselende regimes kende voor en na de Franse Revolutie, met Napoleon Bonaparte en de Restauratie. In 1783 werd Dufour tot priester gewijd. Hij werd in het revolutionaire jaar 1789 vicaris-generaal van de aartsbisschop van Rouen, Dominique de La Rochefoucauld-Langeac, een familielid van hem. Datzelfde jaar zetelde hij in de Staten-Generaal, namens de clerus van Normandië en vervolgens in de Constituante. Net zoals de aartsbisschop van Rouen, was Dufour een felle tegenstander van elke hervorming door de Franse revolutie. Ondanks de steun van de clerus en van Normandische adel vluchtte hij naar de Oostenrijkse Nederlanden en leefde in Brussel (1790-1792), waar hij antirevolutionaire pamfletten schreef. Na de Franse overwinning bij Jemappes (1792) leefde hij in Westfalen (1792-1793). Na de Oostenrijkse overwinning bij Neerwinden (1793) keerde hij terug naar Brussel om terug te verdwijnen na de Franse overwinning in Fleurus (1794).