Il padre di Duarte fu Juan José Duarte da Vejer de la Frontera, Cadice, in Spagna, e sua madre era Manuela Díez Jiménez da El Seybo, Captaincy General of Santo Domingo ed era figlia di padre spagnolo e madre dominicana. Nel 1802 Duarte e la Jiménez emigrarono da Santo Domingo a Mayagüez nell'isola di Porto Rico. Questo fu fatto per eludere le imposizioni francesi su Santo Domingo. Questa trasformazione dell'esperienza coloniale dell'isola iniziò un anno prima, quando Toussaint Louverture, governatore di Santo Domingo (ora Haiti), una colonia della Francia localizzata ad occidente di Hispaniola, prese il controllo di Santo Domingo, situata nei due terzi orientali dell'isola. A quel tempo la Francia e Santo Domingo stavano attraversando movimenti sociali esaustivi, cioè la Rivoluzione francese e la Rivoluzione haitiana.