In 1700 nam hij deel aan de Slag bij Narva, maar hij moest zijn positie verlaten in Estland door de aanval van Karel XII van Zweden. Hij werd leider over de Russische troepen die het Zweeds leger moest tegenhouden in Ingermanland, Karelië en Estland. Sjeremetevs leger verloor van het Zweedse leger onder leiding van Wolmar Anton von Schlippenbach nabij Rauge in 1701, maar kon daarna de Zweden terugslaan in de Slag bij Erastvere. Hierdoor kreeg hij de titel van veldmaarschalk. Hierna slaagde hij er ook in om de Slag bij Hummelshof in 1702 tot een goed einde te brengen. Ook de vestigingen van Sjlisselburg en Nyenschantz vielen in 1703 dankzij Sjeremetev in Russische handen, waardoor de bouw van Sint-Petersburg kon beginnen. In 1705 werd hij naar Astrachan gestuurd, waar hij met succes de opstand neersloeg.