Pjotr Vjazemski syntyi rikkaaseen aatelisperheeseen ja sai erinomaisen kotisivistyksen. Isän kuoltua hänen holhoojanaan toimi kirjailija Nikolai Karamzin. Vuoden 1812 isänmaallisessa sodassa Vjazemski osallistui Borodinon taisteluun. Sodan jälkeen hän suhtautui kriittisesti hallituksen toimintaan. Vuodesta 1817 lähtien Vjazemski työskenteli virkamiehenä Varsovassa, jossa hän osallistui Venäjän perustuslain valmisteluun ja seurusteli puolalaisten liberaalien kanssa. Oppositiohenkisten kannanottojensa takia hänet erotettiin palveluksesta vuonna 1821.