ヒムラーから高く評価され、1940年8月15日にはアウグスト・ハイスマイヤーに代わって親衛隊本部（SS-Hauptamt）の本部長に任じられた。これにより武装親衛隊の人材確保は一層組織化された。戦争が激化してくるとベルガーは外国人義勇兵もどんどん受け入れるようになった。オランダ人、フランス人、デンマーク人、ノルウェー人、スウェーデン人、フィンランド人などが続々と武装親衛隊に従軍した。独ソ戦が開始された際には2400人だった外国人義勇兵の数は1941年末の時点で1万2000人になっていた。刑務所から恩赦と引き換えに出した犯罪者なども親衛隊員として採用するようになった。特にスターリングラードの戦い以降は、ドイツ軍や武装親衛隊員の戦死者が目に見えて多くなり、ベルガーも更に人材集めにより尽力せねばならなかった。募集もますます脅迫的になり、ほぼ「人狩り」に近くなっていった。またナチスが劣等人種とみなしていたスラブ人も親衛隊義勇兵として徴募するようになっていった。