Julia Clary fue hija de François Clary, un rico comerciante de sedas de Marsella (1725–1794) y de su segunda esposa, Françoise Rose Somis (1737–1815), además de hermana mayor de Deseada Clary, quien llegaría a ser reina de Suecia y Noruega.