Za panování cara Petra III. (v lednu až červenci roku 1762) byl Voroncov nejmocnějším mužem v Rusku a jeho neteř Jelizavěta se stala carovou milenkou. Petrova manželka Kateřina II., když odhalila plán manžela nechat se s ní rozvést a oženit se s Jelizavětou Voroncovovou, nechala manžela sesadit z trůnu, za vydatné pomoci své blízké důvěrnice, Jekatěriny Romanovny Voroncov-Daškovové, manželky knížete Daškova. Oba bratři Jekatěriny Daškovové, Alexandr a Semjon Romanovič Voroncovové se pak stali významnými diplomaty a Semjonův syn, Michail Semjonovič Voroncov (1782-1856) se stal prominentním generálem, který se zasloužil o kolonizaci Nového Ruska a vedl ruskou armádu v bojích kavkazské války. Voroncovové z této linie byli velcí anglofilové a podporovali množství anglických umělců, malířů a architektů.