Hänen isänsä oli hovimies Andrei Vasiljevitš Tolstoi. Pjotr Tolstoista tuli hovipalvelija ("stolnik") tsaari Aleksei Mihailovitšin aikana. Vuonna 1682 hän auttoi Aleksein tytärtä Sofia Aleksejevnaa pääsemään nuorempien veljiensä Iivana V:n ja Pietari I:n sijaishallitsijaksi. Kun Pietari vuonna 1689 syrjäytti Sofia Aleksejevnan, myös Tolstoi karkotettiin hovista, vaikka hän oli vetänyt Sofialta tukensa pois. Tolstoi oli sen jälkeen epäsuosiossa vuoteen 1697, jolloin hän tarjoutui lähtemään tsaarin edustajana Italiaan opiskelemaan merenkulkua, mihin Pietari suostui. Kahden vuoden opintojen jälkeen Tolstoi sai voitettua tsaarin luottamuksen puolelleen ja pääsi näin siirtymään diplomaatinuralle. Hän oli vuosina 1701–1714 Venäjän lähettiläänä Ottomaanien valtakunnan hovissa. Venäjän käydessä Suurta Pohjan sotaa Ruotsia vastaan Tolstoi pyrki parhaansa mukaan parantamaan Venäjän ja Turkin suhteita ja siten varmistamaan rauhan valtakunnan etelärajalla. Vaikka turkkilaisia ärsytti se, että Pietari Suuri rakensi Venäjän uutta sotalaivastoa Mustallemerelle, rauha säilyi lähes vuosikymmenen ajan. Turkin politiikka kuitenkin muuttui, kun Ruotsin kuningas Kaarle XII Pultavan tappion jälkeen siirtyi pakolaisena Konstantinopoliin. Tolstoi vangittiin marraskuussa 1710 ja Turkki julisti sodan Venäjälle. Hänet vapautettiin huhtikuussa 1712 aselevon tultua voimaan ja hän osallistui seuraavana vuonna rauhanneuvotteluihin Adrianopolissa.