В 1821—1828 гг. Вяземский находился в опале, под тайным надзором, и жил преимущественно в Москве («терем казарменного типа» в Вознесенском переулке, принадлежавший ему в 1821—1844 гг.) и подмосковном имении Остафьево. С конца 1827 года и до осени 1829 года, с перерывами, Вяземский находился в имении родителей жены, селе Мещерском Сердобского уезда Саратовской губернии, ныне Сердобского района Пензенской области. Неоднократно бывал в Пензе, где получал письма от А. С. Пушкина, Д. В. Давыдова. Не будучи сторонником декабристов, воспринял разгром восстания 14 декабря 1825 г. как личную трагедию и резко осудил казнь пятерых участников восстания, трех из которых знал лично. В 1831 г. также осудил Жуковского и Пушкина, опубликовавших оды на разгром Польского восстания 1830—1831 гг. Однако в дальнейшем пересмотрел многие свои оценки: в старости отзывался о декабристах без всякого сочувствия, в 1863 г. в связи с Польским восстанием 1863—1864 гг. опубликовал резкую антипольскую брошюру.