Etter de lange knivers natt 30. juni 1934, da blant andre SAs leder Ernst Röhm ble myrdet, gikk Berger inn i SS. Han steg i gradene og ble på grunn av sitt organisasjonstalent i 1940 utnevnt av Heinrich Himmler til sjef for SS-Hauptamt, SS' «hovedkontor». Dette var opprinnelig det overordnede administrasjonskontoret til SS, men selv om det i løpet av krigen mistet en rekke oppgaver knyttet til personell og organisasjonsledelse til andre nyopprettede enheter i SS' stab, beholdt det hele tiden ansvaret for rekruttering og for en rekke mindre oppgaver som rekvisisjoner og lignende. SS-Hauptamt bestyrte også kontoret Germanische Leitstelle i en rekke land. Disse stod for samordningen av rekrutteringen av ikke-tyske frivillige til Waffen-SS og alt «germansk arbeide». Bergers svigersønn Karl Leib ledet fra 1942 Germanische Leitstelle i Oslo. Berger var som sin sjef Heinrich Himmler en overbevist pangermanist, og slikt meget interessert i Norge da han mente at landet hadde bevart mye av det han så som den opprinnelig germanske kulturen og at den ariske rasen var renere i det nordlige Europa.