Během druhé rusko-turecké války Rumjancev podezříval Potěmkina, že záměrně zdržuje dodávky pro Rumjancevovu armádu, a proto se vzdal velení. V polském tažení v roce 1794 byl znovu jmenován vrchním velitelem, ale ve skutečnosti armády do bitvy vedl jeho rival Suvorov. Rumjancev se tehdy neobtěžoval ani opustit své ukrajinské panství v Tašanu, které přestavěl na pevnost. Zemřel tam 19. prosince 1796, jen něco málo přes měsíc po Kateřině smrti, a byl pohřben v kyjevské Pečerské lávře.