Berger kan in veel opzichten als geestelijk vader van de Waffen-SS worden gezien, omdat hij verantwoordelijk was voor de rekrutering. Hij stelde zijn protegé Oskar Dirlewanger aan als leider van het "Sonderkommando Dirlewanger", een bataljon veroordeelde criminelen, dat vele oorlogsmisdaden zou plegen. In de eindfase van de Tweede Wereldoorlog kwam het plan om 50.000 Oost-Europese kinderen te ontvoeren en tot slaaf te maken, de zogenaamde Heuaktion, uit zijn koker. Berger werd in augustus 1944 benoemd tot bevelhebber in Slowakije om de daar ontstane opstand neer te slaan. Een maand later werd hij stafchef van de Volkssturm en generaal-inspecteur van de krijgsgevangenkampen.