Come comandante dell'11ª divisione, Ščerbakov combatté con valore, perciò nel febbraio del 1942 fu insignito di nuovo dell'Ordine della Bandiera Rossa e il 6 marzo dello stesso anno fu promosso al comando della 14ª armata (comando che tenne fino alla fine della guerra) che, impegnata all'estremo nord della Russia nella difesa della regione fra Murmansk, Kandalakša e Uhtua contro forze tedesche e finlandesi numericamente superiori, riuscì a impedire ai nazisti di catturare Murmansk e la ferrovia che collegava la città al resto della Russia. Per il valore dimostrato come comandante della 14ª armata, nel 1943 fu promosso al grado di generale di corpo d'armata. Nell'autunno del 1944 guidò la 14ª armata durante la vittoriosa Offensiva di Petsamo-Kirkenes, ricacciando le truppe tedesche dal territorio sovietico, catturando la città portuale finlandese di Petsamo e liberando l'estremo settentrione della Norvegia con la cittadina di Kirkenes.