W 1940 Berger został przez Himmlera powołany na stanowiska szefa Głównego Urzędu SS ("SS-Hauptamt"), który zajmował się głównie werbunkiem do SS, a zwłaszcza formowaniem oddziałów Waffen-SS. Również w 1940 został on szefem sztabu Himmlera do spraw wojskowych. Berger okazał się na tych stanowiskach rzutkim i bezwzględnym organizatorem. W 1942 został także osobistym przedstawicielem Himmlera przy Ministerstwie Rzeszy do spraw Okupowanych Terytoriów Wschodnich, które zajmowało się zarządzaniem okupowanych ziem ZSRR i kierowane było przez Alfreda Rosenberga. W sierpniu 1933 został wybrany jako poseł do Reichstagu z okręgu wyborczego Düsseldorf-Wschód oraz został prezydentem Związku Niemiecko-Chorwackiego. Berger nadal owładnięty był ideą zjednoczonej pod władzą nazistów Europy. 31 sierpnia 1944 powołano go na stanowisko dowódcy sił mających stłumić powstanie narodowe na Słowacji. Jego zadaniem była pacyfikacja miejscowej ludności (co wykonał brutalnie i skutecznie) oraz zachowanie marionetkowego rządu, współpracującego z III Rzeszą. Wreszcie 1 października 1944 otrzymał jeszcze jedną wysoką funkcję, zostając Generalnym Inspektorem do spraw Jeńców Wojennych. Pod koniec wojny wziął udział w spisku przeciw Hitlerowi i uratował wielu alianckich jeńców wojennych, transportując ich do Szwajcarii.