В 1812 году усадьба, называемая в просторечии "Канаржи", была разорена французами; тогда же сгорела и шуточная крепость в турецком вкусе, где принимали в 1775 году императрицу. Сын полководца, Сергей Петрович (1755—1838), один из старожилов московского высшего общества, питал к этому имению особую привязанность. Уже распродав другие отцовские усадьбы, в Павлино он строил мавзолей-часовню, куда намеревался перенести из Киева прах отца.