Senare under Stora nordiska kriget drabbade Sjeremetev samman med den svenske generalen Lewenhaupt, som besegrade honom vid Gemäuerthof 1705, och led nederlag också mot Karl XII vid Holowczyn 1708. I slaget vid Lesnaja (Lesna) den 29 september 1708 tillintetgjorde tsar Peter I och Sjeremetev en underhållskolonn under Lewenhaupt, vilket möjligen kom att försvaga den svenska huvudarmén. Vid Poltava 1709 förde han närmast under tsaren befälet över den ryska armén.