Durante los primeros años de su matrimonio vivieron en su propio palacio en San Petersburgo, que fue construido para ellos en 1861.