Дочь и наследница графа Толстого, Аграфена Фёдоровна, известна сегодня благодаря крылатым строкам Пушкина: «"И мимо всех условий света Стремится до утраты сил, Как беззаконная комета В кругу расчисленном светил"». После свадьбы графини Толстой с блестящим военным Арсением Закревским дом в Ивановском видел многих из его боевых товарищей — героев 1812 года.