Durante la Segunda guerra ruso-turca, Rumyantsev sospechaba que Potemkin deliberadamente recortaba los suministros de su ejército y en ese momento presentó su renuncia al mando. En la campaña polaca de 1794 de nuevo se ganó la designación de comandante en jefe, pero su rival Suvorov realmente dirigió los ejércitos en batalla. En esta ocasión Rumyantsev no se molestó si quiera en abandonar su mansión ucraniana en Tashan que había reconstruido en una fortaleza. Murió ahí el 19 de diciembre de 1796, justo un mes después de la muerte de Catalina, y fue enterrado en la Pecherska Lavra en Kiev.