En 1808, cuando Duvergé contaba un año de edad, la familia regresó a Santo Domingo, instalándose en la parte este del país en El Seibo donde residieron por varios años dedicándose a actividades agrícolas y posteriormente en Baní y San Cristobal donde los Duvergé tenían familia.