Dufaure var sønn av marineoffiseren Pierre Stanislas Dufaure som også ble borgermester i Grézac (Charente-Maritime, den gang var dette departementet Charente-Inférieure, og hans hustru Catherine de Chal.