Joseph quitte son île natale de Saint-Domingue en 1804, à l'indépendance de Haïti. Débarqué en métropole à Marseille, il exerce différents métiers à Paris avant d'être recruté en 1808 comme acrobate dans la troupe de Madame Saqui. De grands peintres remarquent alors son physique athlétique, qui évoque à la fois les mythes du sauvage de l'époque et du héros de l'Antiquité.