Cheremetiev combat avec courage et efficacité pendant la grande guerre du Nord (1700-1721), ce qui lui vaut la confiance de Pierre le Grand. Il est envoyé en Courlande après la bataille de Narva. Il bat les Suédois du général von Schlippenbach à la bataille d'Erastfer (aujourd'hui Erastvere en Estonie) du / en Livonie suédoise, ce qui constitue l'une des premières victoires des Russes dans cette guerre. Il reçoit l'ordre de Saint-André pour cette victoire et il est nommé maréchal de camp (Feldmarschall). Il poursuit sa lutte contre les Suédois qui occupaient les côtes de la mer Baltique et les anciennes possessions teutoniques baltes et les bat à nouveau à Hummelshof en Livonie, le . Il leur prend Wolmar, Marienburg et Nöteborg, forteresse qui sera nommée ensuite Schlüsselburg. C'est à Marienburg qu'il prend avec lui Marthe Skavronskaïa, domestique du pasteur luthérien de l'endroit, Ernst Glück. Elle deviendra la future impératrice Catherine… Enfin, il fait le siège de Dörpt ("Dorpat" en allemand, aujourd'hui Tartu) qui tombe en 1704. C'est à cette époque (en 1703) qu'il perd son épouse tendrement aimée.