Da den russisk-tyrkiske krig brøt ut i 1768, tok Rumjantsev kommandoen over en hær som skulle erobre Azov. Han slo osmanene i slagene ved Larga-elven og Kagula, krysset Donau og rykket inn i Romania. For disse oppsiktsvekkende seirene ble han utnevnt til feltmarskalk og gitt ærestittelen («den andre siden av Donau»). Da hans tropper begynte å nærme seg Sjumen i Bulgaria i 1774, fikk den nye osmanske sultanen Abd-ul-Hamid I panikk og ba om fredsforhandlinger, og Rumjantsev undertegnet på vegne av Det russiske keiserdømmet Küçük Kaynarca-traktaten som la grunnlaget for Russlands sterke stilling i det sørøstlige Europa.