El 1700 s'uní a l'atac de l'exèrcit rus a Narva, als inicis de la Gran Guerra del Nord, però foren rebutjats i obligats a retirar-se a les seves posicions a Estònia. Després es convertí en comandant de les forces russes que combatien els suecs a les Províncies Bàltiques. Xeremétev fou derrotat per W. A. Schlippenbach a Rauge el 1701, però després el derrotà a Erastfer. Aquesta victòria li valgué el títol de Mariscal de camp, i aconseguí una altra victòria a la batalla de Hummelshof el 1702. A continuació va prendre les fortaleses de Nöteborg i Nyenskans el 1703, el que permeté la fundació de Sant Petersburg, i ocupà les importants ciutats bàltiques de Dorpat i Narva el 1704. El 1705 va ser enviat a Àstrakhan, on va reprimir amb força i èxit la Revolta d'Àstrakhan.