Hans yngre sønner Armand (1800–1878) og Paul (1801–1886), som ble den tredje og fjerde hertugen, flyttet i 1822 til Sverige, der Armand i 1870 kjøpte herregården Stjärnholm utenfor Oxelösund. En gang før 1877 kjøpte broren Paul eller Pauls sønn Gustav (1840–1910), femte hertug, herregården Elghammar utenfor Stjärnhov (i Gnesta kommune).