In 1705 kwam hij ook in aanvaring met de Zweedse generaal Adam Ludwig Loewenhaupt, waar Sjeremetev het onderspit moest delven in de Slag bij Gemauerthof. Ook Karel XII versloeg hem in de Slag bij Holowczyn. Zijn wraak was rijp in 1709 in Poltava, waar bij samen met Mensjikov het Zweedse leger in de pan hakte. In 1710 nam hij Riga in.