Po vypuknutí rusko-turecké války v roce 1768 převzal Rumjancev velení nad armádou vyslanou dobýt Azov. Turky porazil na hlavu v bitvách Largy a Kahulu, překročil Dunaj a postoupil k Rumunsku. Za tato oslnivá vítězství se stal polním maršálem a získal titul "Zadunajskij" (tj. „Za"dunajský"“). Když se jeho armády v roce 1774 přiblížily k Šumenu, nový sultán Abdulhamid I. podlehl panice a žádal o mír, který Rumjancev podepsal na vojenském bubnu v jisté vesnici (smlouva z Küçük Kaynarca).