Hun var den tredje datter av et senatsmedlem, greve Vorontsov. Moren, Marfa Ivanovna Surmina døde i en alder av 26 år av tyfus. Hun etterlot tre døtre og to sønner. Onkelen Mikhael Larionovitsj Vorontsov og hennes bror Aleksander Romanovitsj Vorontsov tjenestegjorde begge som rikskanslere, hennes andre bror Semjon Romanovitsj Vorontsov var en kjent anglofil.