După Bătălia de la Waterloo și a doua cădere a lui Napoleon, Joseph a cumpărat o proprietate în Statul New York, în apropiere de Râul Delaware cu veniturile din vânzarea picturilor spaniole luate din palatele, castelele, mănăstirile și primăriile din Madrid.