Depuis 1778, la France est alliée aux insurgés américains contre le Royaume de Grande-Bretagne et en 1779, pour soutenir militairement les Américains, le vice-amiral Charles Henri d'Estaing embarque à Saint-Domingue des troupes dont fait partie Dufay. L'armée française échoue à reprendre la ville de Savannah. Revenu sur l'île, Dufay démissionne en 1779. Le dans la paroisse de Grande Rivière, il épouse Catherine Thérèse Joly, veuve qui possède une sucrerie, une poterie et une caféterie. Par ce mariage, Dufay rencontre les riches colons propriétaires de sucreries. Bien que tous les biens appartiennent à sa femme, Dufay s'intéresse à la gestion de la sucrerie qui assure un revenu important au couple. 141 esclaves travaillent alors dans la sucrerie. En 1785, il revient en France. En 1788, vivant séparé de son épouse, il est arrêté le mais dès le lendemain il est libéré grâce à la caution d'un ami.