Пасля Папкова дом па спадчыне перайшоў да яго пляменніцы, баранэсы Фіцінгоф, і ўжо ад яе домаўласніцтва перайшло ў рукі генерал-маёра А. Г. Рэмі, абшарніка пасля сыходу ў адстаўку. У 1840-41 гадах па дарозе на Каўказ дом Папкова наведаў калега Рэмі М. Ю. Лермантаў. З 1890-х гадоў будынак прыналежаў мужу Рэмі, Марыю, з пачатку XX стагоддзя яе дачцэ, Кацярыне, а яе брат, Мікалай Аляксандравіч, уладальнікам дома стаў перад самай Кастрычніцкай рэвалюцыяй.