Gordov lutou na Guerra de Inverno como Chefe do Estado-Maior do 7º Exército, mas foi afastado do comando após alegados fracassos. Ele foi transferido para o Distrito Militar Báltico, onde se tornou seu Chefe do Estado-Maior. Promovido a major-general em junho de 1940, foi Chefe do Estado-Maior do 21º Exército, após a Operação Barbarossa, e foi então seu comandante em outubro de 1941, lutando na Batalha de Smolensk e na Batalha de Kiev.