Duvergé se casó en San Cristóbal el 27 de agosto de 1831 con Rosa Montás (1813-19 de octubre de 1895), hija de Juan Claudio (Dusón) Montás Clebride (1787-22 de octubre de 1841), oriundo también de Mirabelés, Saint Domingue, con la que tuvo siete hijos siendo estos: Isabel, Maria Loreto, Policarpio, Alcides, Jose Daniel, Nicanor y Tomás.