Румянцев не был женат, но с 1784 по 1803 года находился в близких отношениях с Анастасией Николаевной Нелединской-Мелецкой, рожд. графиней Головиной (1754—1803), которая была второю женой А. Ю. Нелединского, отца писателя, и до него жила с князем H. В. Репниным. Румянцев имел незаконных детей, сначала они носили фамилию Сергеевых, а потом Кагульских, в память о победе их деда над турками при Кагуле. Им он передал своё большое состояние: