Etter at Nazi-Tyskland invaderte Sovjetunionen i juni 1941, ledet Govorov artilleriet på vestfronten i Belarus fra august til oktober 1941. Under slaget om Moskva, ble han utnevnt til sjef for artilleriet i den 5. armé, under kommando av generalmajor Dmitri Lelyushenko. Da Lelyushenko ble såret den 18. oktober, ble Govorov gitt kommandoen over hæren. Han var leder under den sovjetiske motoffensiven vinteren 1941-1942, da Mozjajsk ble frigjort. Som et resultat ble han forfremmet til graden generalløytnant av alt sovjetisk artilleri.