Gordov combatté nella Guerra d'inverno come capo dello stato maggiore della 7ª Armata, ma fu rimosso da tale ruolo in seguito a numerosi presunti fallimenti. Fu spostato nel Distretto militare del Baltico, di cui divenne nuovamente capo dello stato maggiore. Fu promosso al rango di Maggior generale nel giugno del 1940. Fu capo di stato maggiore della 21ª Armata dopo l'inizio dell'Operazione Barbarossa e infine suo comandante dall'ottobre del 1941, combattendo nella Battaglia di Smolensk e nella Battaglia di Kiev.