Desideria var datter av silkehandler François Clary (1725 –1794) og hans andre ektefelle Francois Rose (1737–1815), født Somis og vokste opp under den franske revolusjonen.