После смерти Остермана в 1804 году Тютчевы поселились в его имении в Москве, которое затем продали в 1810 году, приобретя вместо него усадьбу в Армянском переулке. В 1812 году, опасаясь нашествия французов, семья уехала в Ярославль, откуда вернулась в ноябре того же года.