Помимо учредителя Союза спасения, в Осташёво приезжал другой сын генерал-майора, Николай, в 1855 году командовавший взятием Карса. Здесь прошла юность церковного историка Андрея Николаевича Муравьёва, чьё имя носит Андреевская беседка над рекой. После смерти отца обременённое долгами имение досталось Александру, который поселился в Осташеве и стал проводить хозяйственные усовершенствования в надежде погасить долг. Он построил в необычном для своего времени псевдоготическом стиле монументальный конный двор с высокой башней над въездом, со стрельчатыми окнами и наличниками. Несмотря на все старания, имение не приносило дохода и в 1859 г. ушло с молотка.