1811-ben Pjotr Vjazemszkij házasságra lépett Vera Fjodorovna Gagarina hercegnővel (1790–1886), egy gazdag arisztokrata leánnyal. Miután moszkvai otthonuk megsemmisült a napóleoni hadjárat során, Osztafjevo lett a család fő otthona. Pjotr Andrejevicsnek és Vera Fjodorovnának több gyermeke is született, azonban csak négy érte meg a felnőttkort: