Joseph bodde primært i USA (hvor han han solgte de juveler han hadde tatt med fra Spania - eller tatt fra Spania) i perioden 1817–1832, mest i New York City og Philadelphia, hvor hans hus ble et senter for franske innvandrere, men senere flyttet han til en eiendom kalt Point Breeze tidligere eid av Stephen Sayre, i Bordentown i New Jersey. Josephs hjem lå nær der hvor elvene Crosswicks Creek og Delaware River flyter sammen. Han utvidet Sayres hjem betydelig og anla storslåtte og pittoreske hager. Da hans første hjem ble ødelagt ved brann i januar 1820 bygde han om stallene til sitt andre storslåtte hus. I Point Breeze ble Joseph underholdt av mange av de ledende av den tids intellektuelle og politiske personligheter.