Tijdens het begin van de Tweede Wereldoorlog voerde hij het commando over het 2e bataljon van het "SS-Regiment „Der Führer“". Na de Slag om Frankrijk, werd hij tot commandant van het "SS-Grenadier-Regiment "Nordland"" benoemd. Op 30 januari 1940 werd Scholz tot SS-Obersturmbannführer bevorderd. In december 1940 werd hij bij het SS-Division Wiking ingedeeld, en voerde het commando over het "Regiment Westland". Vanaf april 1941 vocht hij in Rusland, en voerde daarna hij het "SS-Regiment „Nordland“" aan. Op 1 oktober 1941 werd Scholz tot SS-Oberführer in de "Waffen-SS" bevorderd. Op 22 november 1941 werd hij met het Duitse Kruis in goud onderscheiden.