Самым важным делом Румянцева была работа о свободных хлебопашцах. В 1802 году он через Н. Н. Новосильцева подал императору «Записку о вольных земледельцах» с предположением об увольнении крестьян в свободные хлебопашцы. После рассмотрения этого вопроса в Государственном Совете Александр I издал указ о вольных хлебопашцах (1803). Первое практическое применение указа взял на себя , а за ним — Румянцев, отпустивший на волю с наделом землею своих вологодских, ярославских и рязанских крестьян. Позднее, летом 1834 года, Румянцев в своем селе Тарутине Калужской губернии воздвигнул монумент в память победы, одержанной над французами 5 октября 1812 года на деньги, полученные Румянцевым за освобожденных крестьян этого села.