I sin ungdom var Sjeremetev page hos tsar Aleksej Michajlovitj av Ryssland. Senare deltog han bland andra med Mazepa i kriget mot osmanerna under 1690-talet. Han var med den ryska armén i anfallet mot Narva 1700 vid utbrottet av Stora nordiska kriget, men drevs tillbaka från Estland av Karl XII. Därefter blev han befälhavare för de ryska styrkorna i de baltiska provinserna. Sjeremetev blev sedan slagen av Schlippenbach vid Rauge 1701, men segrade senare samma år vid Errastfer efter vilket han blev fältmarskalk. Därefter erövrade han fästningarna Nöteborg och Nyenskans 1703, vilket möjliggjorde grundläggandet av staden Sankt Petersburg, och de betydelsefulla baltiska städerna Dorpat och Narva 1704. År 1705 sändes han till Astrachan där han framgångsrikt slog ner ett uppror.