Gdy w 1768 wybuchła wojna rosyjsko-turecka, Rumiancew stanął na czele 2 Armii; w 1769 był dowódcą ekspedycji, której celem było zdobycie twierdzy Azow. Od sierpnia 1769 był dowódcą 1 Armii. W lecie 1770 odniósł nad Turkami i Tatarami dwa znakomite zwycięstwa nad Largą i nad Kagułem, po których przeprawił się przez Dunaj i wkroczył na Wołoszczyznę, rozbijając przeważające siły tureckie. Sukcesy te przyniosły mu w 1774 stopień feldmarszałka, a w 1775 honorowy przydomek do nazwiska – „Zadunajski”. Gdy jego wojska dotarły do Szumenu, nowy sułtan Abdülhamid I zaproponował zawarcie pokoju, który podpisano 21 lipca we wsi Küczük Kajnardży.